NVMe羽翼漸豐，打造全新快閃記憶體標準

用NVMe取代磁碟時代的SCSI協議，從而可以充分釋放快閃記憶體的力量。但到目前為止，各家設備供應商在就如何構建NVMe產品生態這點上，遠遠未能達成共識。

30多年來，存儲行業一直依靠小型計算機系統介面(SCSI)協議保持伺服器與存儲、以及磁碟陣列內部的通訊。儘管物理連接技術不斷演進，該通訊協議一直以來保持相對穩定。

然而，伴隨著Nand快閃記憶體存儲的問世，問題隨之凸顯。快閃記憶體的性能較機械磁碟快出了幾個數量級，能夠並行處理多項請求。伴隨著供應商在可擴展性方面將驅動器容量提升至數十個TB，SCSI日益成為快閃記憶體利用率的瓶頸所在。

而今，非易失性存儲器(NVMe)作為一種全新的協議，被認為將取代SCSI，充分發揮出Nand存儲的優勢。

NVMe與快閃記憶體的潛在力量

NVMe是一種協議，而非某種封裝形式或媒介類型。支持NVMe的物理設備有多種形式，例如AIC(接插卡或是傳統上的PCIe卡)、U.2(類似傳統的硬碟驅動器)以及M.2(一種記憶棒)。這些全部使用PCIe作為介面匯流排。

NVMe降低快閃記憶體通信過程中所涉及到的軟體延遲，改善了硬體的中斷時間(即處理器到設備的性能)，並且相較於SCSI增加了並發處理請求的能力，同時支持更深層的輸入/輸出(I / O)隊列(65,535個隊列深度)。最終實現了更高的吞吐量(IOPS和數據量)和更低的I / O延遲。

已經有供應商開始應用NVMe，並在他們最新的高速磁碟陣列產品中使用該技術。這帶來了一種全新的體系架構，NVMe over fabric(NVMf)，能夠同時充分利用到光纖通道和乙太網網路。

我們來看下各家供應商的解決方案，探討他們如何在現有和今後的產品線中使用NVMe。

存儲產品中的NVMe

X-IO以其ISE系列磁碟模式封裝而聞名。其最近通過全新的Axellio平台扭轉了財務困境，該平台採取2U機架高度的雙控制器架構，最多支持4顆Intel Xeon E5-2699v4處理器(共計88內核)，高達2TB的DRAM，以及1至6個FlashPac，每個FlashPac最多可容納12個雙埠NVMe固態硬碟(SSD)。假如配置6.4TB的驅動器，那麼系統的整體容量目前可達460TB。

系統的核心是一款被稱為FabricXpress的PCIe架構，將兩個控制器分別與每個雙埠驅動器相聯。這使得X-IO能夠以35μs的延遲獲得高達1200萬IOPS(4KB)，以及60Gbps的持續吞吐量。Axellio的設計核心是雙控制器架構，但其具備的88顆內核可用作傳統存儲設備或橫向擴展平台的基礎。支持額外插件模塊的功能實現了運行分析或支撐其它流程密集型工作負載的能力，這就是NVMe架構真正具有價值的地方，使得計算儘可能貼近存儲。

Pure Storage在2017年4月發布了FlashArray//X架構，升級現有的FlashArray架構。事實上，FlashArray產品早已通過引入全新的//X70控制器，以及DirectFlash NVMe驅動器模塊支持NVMe功能。與FlashArray//M相比，這款產品降低了一半的延遲，性能吞吐量提高了兩倍，Pure稱之為四倍的性能密度。雖說FlashArray // X在性能改進方面看來並非是突破性的——注意客戶仍然必須在前端使用標準的光纖通道與iSCSI協議——但其性能密度的改進精簡了佔地空間。 Pure在單個機箱的3U機架空間內，可以實現近乎PB級的存儲容量(大約比原先節省了80% 的佔地空間)，同時比上一代FlashArray // M具備更高的性能。

更有趣的是，Pure在未來會面向NVMe-over-Fabrics發展，從而提高前端性能，同時可以單個控制器內解決更多的快閃記憶體容量問題。DirectFlash機架尚未上市，但Pure已經承諾在系統擴容時支持512TB的附加快閃記憶體，並且通過融合乙太網(RoCE)技術支持50Gbps的乙太網速率，以及遠程直接內存訪問(RDMA)技術。

在面向NVMe-over-Fabrics方面，Excelero是一家初創型公司，正努力藉助NVMf來開發一個名為NVMesh的橫向擴展節點架構。 NVMesh系統具有多個通過融合乙太網和RoCE，使用被稱為遠程直接驅動訪問(RDDA)的專有技術實現多組控制器互聯。這種方式實現了任何節點均可以訪問系統中駐留的驅動器，而最小化，甚至消除處理器性能的損耗。與Axellio一樣，NVMesh可以以超融合形式部署，由每個節點提供計算和存儲資源，或者作為專用的存儲平台，計算節點的形式運行客戶端數據塊驅動應用。

不過，NVMesh作為軟體解決方案的模式進行銷售，客戶可以使用自己現有的硬體，或是從合作夥伴那裡購置，例如Micron將NVMesh合併到其SolidScale產品當中。 Excelero聲稱，NVMesh可以近乎100%發揮出主機NVMe的性能，這種松耦合式的架構自然是很有意義的。但這遠非完美。目前，數據保護僅限於RAID-0、RAID-1和RAID-10，不支持存儲空間的壓縮——除非在客戶端額外單獨實施。但是這些都已羅列在日後的路線圖上。

E8 Storage是另一家使用光纖結構連接客戶端與存儲的初創企業。 E8-S24和E8-D24系列設備將I/O路徑和控制平面分為單獨的硬體。 E8磁碟架上分別可安裝24塊NVMe SSD驅動器，提供四到八個100GbE網路連接。一個單獨的機架可以使用RDMA NIC連接多達96台客戶機伺服器。數據服務(可用性和管理服務)則經由一對不位於數據通道上的E8控制器負責處理。

和Excelero一樣，E8 Storage通過系統管理分散NVMe容量，並將控制器從I / O路徑上移除。這樣提供了更大的系統擴展性，而無需在每個控制器中部署大量的Xeon處理器。但是，使用額外的驅動程序確實引入了客戶端的複雜性。E8聲稱能夠實現100μs(讀取)、40μs(寫入)的低延遲，確保1,000萬次的讀取IOPS，100萬次的寫入IOPS以及40Gbps和20Gbps的讀寫吞吐量。

另一家初創企業，Apeiron Data Systems使用基於網路的NVMe，同樣在數據通道上避開控制器。這種情況下，Apeiron的ADS1000平台使用被稱為NVMe-over-Ethernet的協議，其要求在每個客戶端中部署定製化的主機匯流排適配器(HBA)。該HBA使用Intel Altera FPGA來封裝NVMe請求，並通過乙太網的第2層協議發送，從而實現低至100μs延遲的橫向擴展架構，每個機箱最多可實現384TB的存儲容量(24塊16TB驅動器) 。有趣的是，Apeiron還引用了英特爾Optane的性能數據，聲稱可實現12微秒的讀/寫延遲。這代表著，去除控制器瓶頸的體系結構在性能方面處於絕對領先的地位。

最後，我們還要提及到Kaminario，該公司最近發布了它的K2.N平台。這是一個可實現模塊化組合的存儲基礎架構，允許獨立地擴展磁碟架和控制器。在後端，Kaminario控制器(c.nodes)使用NVMe over Fabrics訪問存儲容量(m.nodes)。在前端，除了光纖通道和iSCSI之外，系統還支持NVMf，擴展了支持的主機介面類型。

NVMe快閃記憶體架構未來之路在何方?

我們會看到三種不同的模式出現。

在主機連接上使用NVMe-over-fabric來代替光纖通道或iSCSI。這不需要新的硬體，因為現有的HBA完全可以支持NVMf。

將控制器從數據路徑中移除的松耦合架構。其中大多數需要定製或(可能)更昂貴的HBA和主機驅動器。

在系統後端使用NVMe-over-fabric的趨勢。

我想，在不遠的將來，可以期待NVMe在所有要求高性能的解決方案中全面取代SAS和SATA。客戶面臨的挑戰可能則是如何實現用全新的共享存儲取代傳統的共享陣列。這意味著要以更為宏觀的角度思考整體架構——或將沿著超融合基礎架構的發展路線。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！