2018年,數據中心存儲的8大變革方向
SSD技術的發展進步將成為2018年影響企業存儲的主要趨勢之一。
在過去的2017年中,全球的存儲行業可以說是經歷了一次過山車般的發展模式,傳統SAN設備的衰落隨著企業組織紛紛對超融合基礎設施、純軟體解決方案和固態硬碟的興趣大漲而抵消。我們看到,隨著SSD固態硬碟對數據中心存儲的性能所帶來的提升,企業已經從硬碟轉向固態硬碟的採用。
在2018年,整個業界將繼續以這些趨勢為基礎,並將為數據中心存儲發展藍圖增加諸多新的亮點。而SSD在核心技術、性能、容量和價格這四大方面仍然還將保持迅速的發展。NVMe已經將快閃記憶體IOPS和GB /秒帶到了主流應用領域,我們站在了主流通過乙太網採用NVMe的邊緣,對存儲系統的未來配置帶來了廣泛的啟示。
供應商們的32TB固態硬碟正在大規模的發貨,而最大的硬碟驅動器則遠遠落後於16TB.隨著3D晶元技術的大幅進步,2018年,我們應該會看到50TB和100TB的驅動器,特別是如果4位存儲單元達到其目標的話。大部分的快閃記憶體晶元供應短缺已不復存在,價格應該再次開始下降,儘管需求的增長可能比預期的要快,並相應的會讓價格降低的步伐有所放緩。
除了驅動器本身之外,RAID陣列也將陷入麻煩。由於控制器設計的固有性能瓶頸,超過幾個固態硬碟的處理便會是一個真正的挑戰。同時,本質上是成本架構便宜的商用現成伺服器的小型存儲設備滿足了對象存儲和超融合節點的需要。這種遷移正是由諸如Excelero這樣的初創公司所推動的,他們使用基於乙太網的NVMe以RDMA速度將驅動器直接連接到集群架構。
近期的業績反映了行業正在轉向COTS(商用現成產品,Commercial-Off-The-Shelf)伺服器框架。除NetApp之外,傳統的存儲供應商們的營收都在經歷著個位數的增長,而向雲服務提供商們提供大量COTS的原始設計製造商們的營收則共計增長了44%.這種增長的背後是非捆綁存儲軟體的可用性的日益增加。低成本的存儲平台和軟體的結合正在迅速推動存儲市場的商品化。隨著軟體定義存儲(SDS)開始影響市場,2018年這一趨勢將會進一步加速。
SDS是一個廣泛的概念,但其本質上是從硬體平台上分離控制和服務軟體。這一概念在網路和雲伺服器上非常成功,因此將其擴展到存儲領域不僅是合理的,而且是必需的。我們將在2018年看到更多的SDS解決方案,而且,這一領域的競爭激烈程度將會遠遠超出我們在過去十年中任何一年所經歷的。
NVMe將繼續取代SAS和SATA,成為企業級驅動器的介面。除了節省了CPU開銷,NVMe還支持新的規格的驅動器。2018年我們可以預期2.5英寸規格大小的32TB + SSD的問世,以及使用M.2存儲變種的伺服器的問世。這將產生很大的影響。
英特爾推出了一款具有33+ TB容量的M.2規格刀片式驅動器,可以安裝在1U伺服器上,並擁有32個插槽。這給我們提供了一款1PB的超高速1U存儲解決方案。其他供應商也同樣都在積極的研發類似密度的產品,這是一大重要的趨勢。存儲盒將變得更小,容量也將變得更大,並且由於SSD技術的發展速度,其性能超過了大部分的HDD陣列。現在,企業數據中心的存儲設備管理人員們可以放心大膽的去找CIO說:「我真的可以縮小數據中心的規模了!」
高性能SSD能夠將重複數據刪除和壓縮數據放在後台工作。執行這項任務的服務使用存儲驅動器的多餘帶寬。對於大多數商業使用案例而言,有效容量是原始容量的5倍以上。總的來說,壓縮技術減少了所需小型設備的數量,使SSD存儲比硬碟便宜得多。
下面,就讓我們來深入探討一下在2018年數據中心所有這些存儲趨勢的細節吧。
SSD的性能
高端SSD已經可以實現每秒10GB的吞吐量和數百萬的隨機IOPS.企業和商用SSD之間的性能差異主要在於內部訪問路徑的並行性和NVMe介面的效率。NVMe使用與SATA幾乎相同的PCIe連接,而NVMe的成本大致相同。這推動了向NVMe的遷移,而NVMe已經將SAS作為SSD介面進行了壓縮,並有可能在2018至2019年間實現跨所有SSD的廣泛使用。具有NVMe / PCIe介面的M2.0規格尺寸的固態盤已經上市,與SATA驅動器的價格大致相同。採用NVMe將加速所有固態硬碟,儘管由於並行性,非常高端的硬碟仍然有其優勢。
SSD容量增加
在2017年9月召開的快閃記憶體峰會(Flash Memory Summit 2017)上,供應商們宣布了打造100TB 2.5硬碟的計劃。在2018年,我們可能會看到這些產品的問世,但其容量更有可能是達到了50或64TB,但這已經是當前最大SSD容量的兩倍。這些大容量代表了存儲設備佔用空間、功耗和特別是盒子數量的大幅減少,在整個主板,存儲的總體擁有成本(TCO)都將轉移到SSD上。壓縮技術代表了有效容量大約提高了5倍,而32+ TB的SSD固態硬碟甚至已經擊敗了HDD存儲硬碟。
四層單元(即4bit/cell,Quad-Level Cell,QLC)將進一步提高容量,儘管隨著單元中存儲的電壓水平更接近,寫入磨損更為明顯。直到2018年,糾錯和信號處理改進才真正實現,QLC將可能僅僅作為冷數據驅動器使用,這直接挑戰了SATA bulk 3.5驅動器。
究竟每款驅動器多少容量才是足夠的呢?這是一個棘手的問題,因為超大型硬碟改變了使用規則。我們可以就每TB的帶寬進行辯論,但這與冷存儲(cold storage)無關。另一方面,大容量意味著許多NAND晶元,也就意味著更多的並行性和性能,所以這些驅動器也可以作為主驅動器。
諸如驅動器本地NVMe等通過乙太網而實現的共享架構,將影響選擇哪個SSD介面。我們可能會看到這些帶有40GbE或更快速埠的硬碟,從而實現高帶寬共享。
RAID磁碟陣列模式下降加速
RAID正在屈服於全快閃記憶體陣列和SSD存儲設備發展的必然性。這些設備對於陣列架構來說太快了。隨著固態硬碟和2.5英寸規格尺寸產品容量的增加,對於既定數量的存儲所需的盒子數量與SSDS相比要少得多。由於全快閃記憶體陣列較之RAID陣列的性能優勢,使得SAN模式在業界已經運行了數十年了,所以迄今為止,這一下滑速度一直很緩慢。這可能是由於企業不願胡亂地修補一些有用的東西,同時更有興趣在昂貴的陣列未折舊的部分獲得回報。我的感覺是,2018年,這一領域將有大的變化,並將出現從RAID到超融合基礎設施和緊湊型存儲設備的更協調一致的轉移。通過RAID擦除編碼的好處將使得這一點得到加強,就像使用數據壓縮技術一樣。
COTS的興起
COTS組件將興起。實際上,在伺服器和存儲市場的份額中都在快速增長。對於買方而言,經濟和性能方面的優勢較之專有硬體平台使其很難受到青睞。COTS模式的影響將在2018年顯著增強。如下這些數據將為這一趨勢提供支持:2017年第三季度,基於COTS的ODM營收增長了44%,而大多數供應商則持平。伴隨著COTS迅速增長將是存儲軟體選項的迅速擴張,這些增長將來自於當前既有的供應商和初創企業。COTS更適合於諸如SDS和HCI等概念。COTS設備易於集成,因為介面和架構符合完全具備互換性的樂高模型。這意味著企業買家不需要大型的整合團隊,尤其是隨著第三方服務可用性的實現和整合。
軟體定義的存儲
軟體定義的存儲被大肆已經炒作了一段時間,其原本最初的價值主張是打造靈活的、可擴展的和低成本的虛擬化存儲服務。去年,由於供應商宣布推出了不少產品,特別是在對象存儲堆棧中,這方面的技術開始成熟。預計這一趨勢將在2018年加速,使硬體成為可互換的商品,並將存儲價值轉移到軟體和解決方案的集成整合上。而與此同時,朝著混合雲方向的發展將推動SDS的發展。存儲管理將變得更加自動化,就像雲伺服器一樣。這將迫使數據中心人員和管理員將變得更明智的,以便能夠獲得所需的相關新技能。
NVMe over Ethernet(NoE)
NVMe over Ethernet(NoE)剛剛進入市場,但其對快速增長的HCI市場所帶來的影響卻非常明顯,以至於其在2018年的普及採用可能會非常強勁。在系統集群中共享所有存儲的理念已經存在一段時間了,但在架構上的性能一直比本地驅動器慢得多,這在一定程度上妨礙了企業用戶採用的興趣。NVMe over Ethernet解決了這個問題。關於NVMe光纖通道 (NVMe over Fibre Channel)有一些討論,當然其也可以在InfiniBand上運行,但是現在可用的乙太網解決方案的成本已經便宜很多了,而且數量也很大。與伺服器集群的通用性架構是乙太網市場的贏家,所以我們可以期待其他解決方案成為該市場獨佔的細分市場主導。
預計NVMe over Ethernet SSD驅動器產品將會在2018年下半年推出,從而提供更多的架構靈活性,實現伺服器節點與集群和專用驅動器盒共享驅動器,並且都直接連接到光纖陣列。隨著像最新的Snapdragons這樣的ARM64 CPU的出現,我們應該規劃這些驅動器更加智能化,具備包括目標代碼,大數據處理等等功能。
超密集的打包封裝和數據壓縮技術
SSD供應商正在探索使用比2.5英寸硬碟小得多的產品。M2.0已經很普遍,並且正在被延長到新的長度,具備延長的存儲刀片。這些產品的功耗非常小,可以實現高封裝密度。因此,我們可以期待英特爾或將能夠為我們提供具有1PB的 SSD存儲容量的32刀片1U設備。再加上壓縮技術的採用,可以將網路吞吐量與數據壓縮的數據量相提並論,並且存儲設備可以在1U設備中有效地支持5PB.這將意味著存儲場(storage farm)將一去不復返了,因為所有那些RAID機櫃已經過時了。除英特爾以外,其他的供應商們也計劃向同一方向發展,到2019年,存儲和系統將有很大的不同。
NVDIMM
CPU內存匯流排上的快速訪問持久性內存的理念是一個模式轉換的概念,現在已經真切的到來了。2018年,其將帶來一些短期的影響和長期趨勢,但可以肯定的是,大量企業的IT部門忽視了這一趨勢。在短期內,到2018年,使用快閃記憶體的NVDIMM要比使用快閃記憶體的SSD要快2倍左右。而Optane將達到4倍或更快。這假定NVDIMM模擬塊I / O設備,看起來像一個驅動器,所以系統文件堆棧被調用,4KB塊被移動。但是,所有NVDIMM都可能是按位元組定址的。基於NAND的解決方案具有SRAM或DRAM緩衝器,在發生電源故障時備份。此外,Optane可以直接編寫。所有這一切打開了將I / O從文件方式轉移到使用單一寄存器存儲器CPU指令和將持久空間作為DRAM一部分的前景。
這項工作需要系統方面的許多變化。操作系統需要知道,某些內存像編譯器,鏈接編輯器和系統工具一樣是持久的。最難的部分是所有使用位元組模式的應用都需要在文件I / O區域進行大量的重寫。一些用例(如資料庫)將成為早期採用者,因為這些更改可能會被用戶屏蔽。位元組模式需要一些時間才能成為主流,雖然I / O的1000倍性能所帶來的好處將會產生很大的壓力。
來源:360機房
TAG:千家智客 |