阿里雲存儲發布「盤古」2.0引擎 如何通過升級應對數據爆炸時代
1月9日，阿里雲宣布推出新一代高性能企業級存儲產品家族，並對分散式存儲引擎進行了全面升級。後者包括塊存儲、對象存儲在內的雲存儲家族，混合雲存儲陣列、混合雲容災的混合雲存儲服務，以及高性能分散式專有存儲方案。
升級具體應用在性能、可靠性、成本、自動化運維等方面，最終實現在底層提供微秒級延遲與百億級IOPS（Input/Output Operations Per Second，即每秒進行讀寫操作的次數，多用於資料庫等場合，衡量隨機訪問的性能）。基於全新一代分散式引擎，相比上一代整體IOPS性能提升50%，並新增ESSD雲盤、極速型OSS、NAS Plus等新品。
數據大爆炸時代，什麼樣的存儲才適配？
阿里雲資深總監Jason吳結生於現場表示，互聯網的應用、電商、支付寶，以及萬物互聯，促進整個數據大爆炸，加快數據採集速度。這對於存儲行業人士來講，既是機遇也是挑戰。數據爆炸時代，存儲系統應該如何應對挑戰？
Jason表示，阿里雲將新時代存儲系統標準定為4V：
第一個V就是容量（Volume at Scale），怎樣提供一個存儲系統來存儲所有的數據，而且用戶的數據不能刪。
第二個V是速度（Velocity at Scale），即當數據產生的速度越來越快，包括IOT產生的數據速度，互聯網汽車產生數據的速度等，阿里雲存儲系統需要跟數據產生的速度進行匹配。
第三個V就是多樣性（Variety at Scale ），手機、跑步機、汽車等不同設備，都會產生數據，數據產生的多樣性越來越多，這也要求存儲系統進行相應匹配。
第四個V就是普惠（Value at Scale），即讓存儲系統高可靠、高可用，能夠讓每位用戶或者每個應用都享受得到。普惠的另外一層意義，就是怎樣讓存儲成本不斷下降，讓用戶持續地保存更多的數據。
Jason回顧自2008年，阿里雲組建團隊，探索通過存儲系統滿足阿里集團內部業務，包括虛擬機、阿里金融、郵箱搜索等。2009年阿里雲團隊開始創建分散式存儲1.0，主要面對阿里集團內部挑戰，提供虛擬機存儲服務。
據雷鋒網了解，隨著技術演進與業務擴大，2015年，阿里雲存儲引擎在五千台機器基礎上進行升級，支持五千台機器存儲集成，並首次在377秒過程中完成100TB的數據排序。
2016年，阿里雲將存儲規模和存儲系統進行升級，支持1萬台機器的存儲規模。2018年，阿里雲即將發布分散式存儲引擎2.0，內部代號盤古2.0，其出發點就是面向人工智慧、面向新一代的存儲應用場景，構建下一代存儲引擎。
Jason表示，新一代阿里雲存儲引擎，要打造世界上最全的存儲產品系列，包括對象、文件、塊、表格等各種存儲格式，且每個存儲陣列里都有不同忠烈，形成完全的產品矩陣，「這是第一條公有雲產品矩陣。」
其次，阿里雲也在打造混合雲產品線——即如何把線下存儲和線上存儲連很好地銜接起來。
第三條產品線，就是阿里雲專有雲與企業存儲——做到將雲上分散式存儲能力，輸入到用戶自己的數據中心內。
阿里雲存儲升級的目的是什麼
（一）保證安全
Jason表示，安全對於阿里雲來講，是始終堅持的最重要功能——多層次、全鏈路、全方位的安全。即從整體安全機制來看，阿里雲提供業務安全、安全運營、數據安全、網路安全、應用安全、主機安全和帳戶安全，以及底層數據中心安全。
（二）使上雲與雲存儲管理足夠簡單
第一，不需要改動任何的代碼就可以上雲，就是說應用通過網路文件系統提供網路文件系統，就可以讓你的代碼不需要做任何的改動就可以上雲。
第二，完全的脫管服務，也就是說你不需要自己來看容量的規劃，或者你需要擴容你也不需要做操作系統，要找到安全的等，安全運維方面工作都可以省掉，也不需要去做備份我們有一套備份的系統能夠把你數據做備份。
第三，開通方便，Jason表示，數據爆發時代，雲存儲標準除了上文所提的4V之外，易用性是普惠最重要的一點。
（三）應用場景的擴展
今天的雲計算髮展。包括雲存儲。面臨各種各樣新企業、新金融、新零售、新製造、人工智慧、生命科學等挑戰，這些應用與場景給雲計算帶來廣泛的需求，包括低延時需求，在光譜情景範圍內各種不同需求等。
據雷鋒網了解，正是在這樣的情況下，阿里雲存儲提供各種不同存儲抽象，比如資料庫、塊存儲、對象存儲、表格存儲、人工智慧、數據處理、抽象處理等，為不同行業提供廣譜動力，來驅動業務的發展。
阿里雲存儲2.0引擎（內部代號「盤古2.0」）也是為這規模而生的，引進分散式原數據管理，使得可以輕鬆支持萬億級別文件，也可以輕鬆支持大量的小文件實現第一分散式原數據管理。同時實現更好的彈性部署，形成巨大的存儲池，將不同存儲介質、不同的情形組合在一塊，形成一千PB、也就是億B級別的存儲容量出來。
阿里雲存儲2.0引擎有哪些不同
一方面，Jason表示，阿里雲存儲2.0引擎也是分層結構——內部有單機存儲層，中間是分散式存儲系統，在上面做了一些文件介面的抽象，比如資料庫的文件系統、快存儲的文件系統、大數據的文件系統、Logfile文件介面等。再底下還有多個機房，在機房裡裝有高速網路互聯，在這樣一個架構裡面可以使多個機房裡的數據管理起來像一台機器一樣，便捷地提供巨大的存儲池給上面的應用。
其次，這個2.0引擎里第一次把阿里巴巴集團Fusionengine融合進來，更好地去適配各種不同的硬體，而且能夠更好地把這一種硬體的紅利釋放給客戶。
另外一個革命性的進化，就是把存儲從毫秒時代進化到微秒時代，2.0引擎支持微秒延時以及百億級別的IOR操作。
具體包括：
第一用戶度文件系統
第二高性能網路庫
第三軟體極致的優化，使得軟體開銷在鏈路裡面佔比不到10%
第四做了一些多流映射，把這帶寬提高3倍；做了一些動態切換，提供更穩定、更極致的性能
具體升級包括兩部分：
一個是硬體升級里，引入當下最快的AVMVSD，也引入存儲級別的內存MVDE，同時對網路也進行了升級，使之也具備RDMA能力。
二是存儲系統的升級，就是軟體系統升級。軟硬結合促使性能穩定、整體能力達到一個世界第一的水準。
性能表現方面，以ESSD超高性能雲盤為例，其可提供單盤高達100萬的隨機讀寫能力，相比SSD雲盤提升了50倍，是阿里雲迄今為止性能最強的企業級塊存儲服務，但售價不變，每GB每月僅需1元。
除了性能之外，線上線下的靈活拓展能力也變得越來越重要，數據在線產生的價值已經成為了主流。阿里雲存儲產品總監許咼兢表示，線上線下存儲的邊界正在消失，阿里雲要做的是在任何地方、以任何形式向不同企業提供高效的存儲解決方案。
據雷鋒網了解，阿里雲已形成了一整套涵蓋公共雲、混合雲、專有雲在內的全線企業級高性能存儲產品線，並且提供在線和離線數據搬遷服務。此前，阿里雲與國家天文台合作，共同開展天文科學大數據研究。截至目前，國家天文台將3.5億顆恆星的數據存儲在阿里雲OSS上，用於計算、分析，並向公眾開放。
TAG:雷鋒網 |