飛天大數據計算平台：一個十年前就啟動的核心技術長征

7月25日，在阿里雲峰會上海站上，阿里雲飛天大數據平台正式亮相。據悉，這是中國唯一自主研發的計算引擎，也是全球集群規模最大的計算平台。

數據顯示，飛天大數據平台目前已經可以擴展至10萬台計算集群，規模全球第一，同時單日數據處理量從2015年100PB、2016年180PB、2017年320PB，一直到2018年超過600PB，僅用三年時間便提升了5倍。

在民生服務領域，阿里雲飛天大數據平台已經在悄然支撐便捷的電子化服務，在「最多跑一次」、城市大腦等場景中，協助政府優化服務模式，實現更智能便捷的服務能力，保障信息安全。

原來需要跑5個窗口、耗時2天才能拿到的新生兒出生證，現在只需在手機上動動手指、填9項信息，就能辦好；原來看一次病，需要排隊付幾次費，現在可以看完回家再付錢……這樣的場景正在越來越多的城市變為現實，背後都是飛天大數據平台的支撐。

比如在浙江，飛天大數據平台與「最多跑一次」打通了與老百姓辦事最密切相關的100個事項、70多億條數據，有些政務老百姓甚至有可能一次都不需要跑。

尤其在杭州，城市大腦已經可以實時指揮1300個紅綠燈路口、200多名交警。從2016年到2018年，杭州在全國最擁堵城市排行榜上下跌了52名。

打開今日頭條，查看更多圖片

據了解，阿里雲飛天大數據平台的研發源自阿里的自身實踐。

十年前，新興互聯網業態蓬勃發展，中小企業在阿里電商平台上爆髮式增長，形成了海量數據，直接擊垮傳統IT架構。

對此，大部分企業都是直接使用國際開源的數據計算框架Hadoop，而當時全球企業的資料庫基本都是Oracle，阿里也擁有亞洲最大的Oracle集群，計算規模達數百TB級別，但是經過激烈爭論後，阿里選擇探索自己的平台。

就在當時，Google、亞馬遜AWS、微軟等矽谷巨頭，也都紛紛投入了大數據技術的研發。

早在2012年初，阿里巴巴技術委員會主席王堅就表示：「從戰略上來說，阿里雲想做的事情實際上可以解讀為Amazon+Google並有所超越。將單一集群做到數千乃至更高，技術上是國家和企業競爭力的標誌。阿里巴巴必須攻克這道難關。」

過去十年，飛天大數據平台已經打破了多個世界記錄：

2013年，突破單集群內5000台伺服器同時計算的局限，如今單集群規模已超過1萬台；

2015年，打破計算界奧運會SortBenchmark的四個世界紀錄，用時不到7分鐘便完成了100TB的數據排序，刷新了ApacheSpark 23.4分鐘的紀錄。

Forrester發布的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》報告中，阿里雲MaxCompute、DataWorks、ADB等三款產品成功入選，並在產品功能(Current Offering)方面力壓微軟。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！