周靖人：阿里雲計算能力實現新突破，流計算2.0每秒峰值達千萬QPS

【獵雲網（微信：ilieyun）杭州】10月12日報道

10月12日，阿里雲陸續發布了多項新產品，讓越來越多的人了解和認識到了阿里雲的大數據計算能力。而在雲棲大會主論壇的演講中，阿里巴巴集團副總裁周靖人也公布了阿里雲在大數據計算能力上的新突破：將BigBench數據規模擴展到100T；流計算2.0每秒峰值達千萬QPS，整體鏈路延時亞秒級；E-MapReduce對比同類產品平均性能提升3倍。

「數據是機器智能創新的基礎，擁有充沛的計算能力才能全面釋放數據的價值。我們希望通過不斷的釋放阿里雲的計算紅利，幫助開發者抓住更多市場機遇。」周靖人說。

BigBench全球首次達到100TB

TPCx-BigBench是大數據端到端真實複雜的業界領先測試基準，目前，TPC官網公布的測試最大規模為10TB，最佳性能是1491.23BBQpm。

當天，阿里雲與Intel合作，在最新的Intel硬體上，基於公共雲發布的BigBench On MaxCompute+PAI，全球首次將規模拓展到100TB，達到7000 BBQpm，也是首個基於公共雲服務的Benchmark。

據介紹，大會結束後，MaxCompute會在公共雲開放一個月的測試環境，並開源BigBench On MaxCompute+PAI的SDK（繼承自TPCx-Bigbench，並使之運行在阿里雲的大數據環境上），供開發者驗證試用。

在規模上的優秀表現，得益於MaxCompute的海量數據處理能力和機器學習演算法高效性，MaxCompute基於阿里雲自主研發的分散式操作系統飛天，單集群伺服器規模可以達到萬台以上，數據規模達到EB級。

在性能上，MaxCompute新一代處理引擎從Compiler、Optimizer、Runtime等模塊進行的持續深度優化。此外，MaxCompute與Intel開展深度合作，軟硬結合深度優化。

英特爾數據中心事業部副總裁Robert Hays：「我們非常高興能夠和阿里雲共同在最新的英特爾 至強 可擴展處理器平台上對MaxCompute進行深度優化，並見證阿里雲MaxCompute在BigBench測試中表現出的優異成績」。

更快的流計算StreamCompute2.0

在流計算方面，周靖人透露將於10月底在公共雲發布新的版本。StreamCompute 2.0基於Apache Flink，並為開源社區提供了大量阿里內部的改進和優化。

新版流式計算2.0的特點包括：

1. 高吞吐低時延處理能力，單作業峰值達數千萬的QPS，相比於StreamCompute 1.0有10+倍提升

2. SQL化的流式分析語言，由阿里巴巴計算事業部實時計算團隊主導開發並回饋社區的BlinkSQL；BlinkSQL支持完備的流式處理語義，支持包括多種窗口、亂序容忍、完整DDL支持

3. 精準的數據處理語義，提供Exactly-once處理語義，同時為減少磁碟IO，提供增量CheckPoint，優化存儲空間。

E-MapReduce性能3倍提升

E-MapReduce產品是阿里雲上基於開源大數據的雲服務產品，包括15+個開源組件的一站式大數據解決方案。周靖人現場發布了基於本地硬碟以及計算存儲分離的大數據解決方案。

周靖人介紹，為了解決大數據處理以及機器學習的統一調度難題，E-MapReduce產品實現了CPU/GPU的混合調度方案，使得數據預處理以及數據訓練可以在一個平台上解決。

E-MapReduce對於數據讀寫的性能至關重要，產品通過對於對象存儲OSS的優化，使得讀寫OSS的性能是同類產品的3倍，對於計算和存儲分離的大數據解決方案的產品化形式變得可以落地。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！