富士通展示Dataffinic Computing高速大數據處理原型技術

至頂網報道

來源：siliconANGLE

富士通實驗室正在努力滿足在處理分析工作負載的大數據系統中加快處理速度的需求。

近日富士通表示，已經開發了一項新技術可以幫助在分散式存儲系統中高速處理大數據，並且信息是保存在多個驅動器中的。這項新技術是在開源Ceph分散式存儲框架上實現的，富士通認為它可以很好地運行以消除伺服器嘗試從這些存儲系統讀取數據時出現的瓶頸。

富士通工程師在博客文章中談到了所謂的「Dataffinic Computing」技術，他表示，存儲和伺服器之間流動的大量數據是分析系統延遲的主要原因。但是通過在存儲中處理這些數據，他們認為這樣可以加快速度，因為不需要先移動數據。

Dataffinic Computing通過網路連接多個伺服器，同時保持原始存儲功能。富士通說，這種方法分解了非結構化視頻和日誌數據，讓所有數據都更容易訪問和壓縮。

「這意味著分散於分散式存儲中的數據可以單獨處理，保持訪問性能的可擴展性，並提高整體系統性能，」富士通的工程師聲稱。

富士通的系統還可以預測在分析數據時維護數據所需的存儲資源需求。

「存儲節點面臨各種系統負載以安全地維護數據，包括錯誤後的自動恢復處理，添加更多存儲容量後的數據重新分配處理，以及作為預防性維護一部分的磁碟檢查處理，」富士通的工程師寫道。「該技術模擬了存儲系統中出現的系統負載類型，預測了不久將來所需的資源。基於此，該技術控制數據處理資源及其分配，而不會降低系統存儲功能的性能。」

富士通表示，Dataffinic原型系統包括5個存儲節點和5個伺服器，由一個千兆網路連接。工程師們通過從50GB視頻數據中提取出例如人和車等對象來測量其數據處理性能。

工程師表示，Dataffinic系統可以在50秒內處理這些數據，這比使用傳統方法處理數據所花費的500秒縮短了10倍。

「這項技術可以實現對爆炸式增加的數據進行可擴展和高效的處理，」富士通工程師這樣表示。

Constellation Research分析師Holger Mueller表示，富士通的這項新技術可能很有用處，因為存儲對於依賴大數據的下一代軟體應用來說至關重要。

Mueller說：「企業需要堅持數據進行時間分析、記錄保存和法定監管。因此，存儲硬體製造商必須創新，應對必須存儲和處理的越來越多的數據。很高興看到研發投資帶來了新的高性能存儲選擇。」

下一步將是通過商業應用驗證該技術。如果運行可靠的話，富士通計劃在2019年之前將基於該架構的新產品推向市場。

-END-

至頂網

一個談新技術和新商業模式的信息服務平台，致力於記錄和推動數字化創新，服務CIO、CTO等技術和商業的決策者、從業者。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！