世界LC3開源盛會舉辦 聯想大數據發出中國聲音

2018年6月25日，由LFAsia、LLC主辦的旗艦年度開源盛會，「2018 LinuxCon + ContainerCon + CloudOpen(LC3)中國」在北京國家會議中心開幕。作為開源大數據技術的倡導者和實踐者，聯想大數據首次受邀在LC3大會上發表主題演講，剖析聯想大數據在不同階段的實踐、遇到的困惑以及不斷迭代升級的大數據架構體系和技術創新。

全球數百位業界大咖將雲集本屆LC3大會，用3天時間、超過200場分享，對開源技術最為前沿的10大話題，從市場、技術、產業、生態層面做全方位的探討。數千位開發人員、運營專家等將藉助LC3大會這一平台，共同學習和探討創新的開源思維、前沿技術與解決方案。聯想集團執行總監、首席研究員於辰濤和聯想大數據研發總監張成松在會議期間分別發表題為《聯想全球製造大數據平台的架構演進及技術創新》和《擴展Spark引擎支持MPP計算——支持企業級傳統數據倉庫場景》的主題演講。

聯想集團執行總監、首席研究員於辰濤做主題演講

於辰濤表示：「聯想過去八年以來，成功構建了聯想大數據平台，具備了全價值鏈的產品和業務優化能力，實現了覆蓋全球的大規模雲化部署，支撐工業製造業領域500多個大數據場景優化，全面提升了產品研發、生產、供應鏈、客服等關鍵環節的運營效率。不僅為聯想自身的大數據平台建設服務，聯想大數據也為數十家中國製造業500強企業提供業界領先的大數據產品和智能化解決方案， 在工業場景的全價值鏈優化方面具有廣泛的實踐。「

在產品和業務優化能力方面，聯想大數據形成了用戶需求驅動的產品研發閉環，構建了面向產品全流程的敏捷化和精細化優化能力，而用戶價值驅動的新型供應鏈也支持聯想千萬數量級產品按全球消費者需求個性化柔性生產，並對產品質量實時追蹤，關鍵環節預測和優化。

聯想大數據研發總監張成松做主題演講

在大規模雲化部署上，聯想大數據目前實時管理全球2億多台聯想設備，其中31家智能工廠，6億應用用戶，1600億條數據已接入內部數百個業務系統，是國內最大的企業支撐集群。為了支撐這一龐大的數據平台，聯想大數據在全球建立了10個數據中心，日增數據30TB，日分析數據10PB，且數據處理完全合規，形成了聯想全球化的數據整合能力。聯想大數據的研發能力和成果不僅在聯想集團內部深入實踐，而且也廣泛服務於大型骨幹企業數字化轉型升級。

在於辰濤看來，聯想工業大數據經歷了1.0、2.0兩個階段，目前正處於3.0的階段，初步實現了大數據平台突破，能夠支持廣泛的智能化場景。

數據平台1.0：大數據應用啟蒙與拓荒階段

2010~2014是聯想大數據平台1.0階段。這一階段是大數據應用的啟蒙與拓荒階段，主要是幫助業務建立量化分析能力，分析軟體和設備的日常運營數據、異常狀況，並推進了全圖形化集群配置管理，實現了千台集群的可視化運維。此外，計算引擎的透明化、萬條計算任務的圖形化調度和管理也都在1.0階段實現。

但總體上看，1.0階段還存在不少問題，比如單層集群架構下千台伺服器性能優化和定位難以處理;開源軟體更新快，版本關聯管理困難;數據缺少安全保護;只有設備和應用數據，沒有企業數據;實時性差，不能為實時業務決策做支持;對業務人員有編程能力需求等等。

數據平台2.0：大數據全球化部署、全面整合企業數據

基於1.0階段的摸索、實踐，聯想大數據在2014~2016年間，進入了以大數據全球化部署，全面整合企業數據之路的2.0階段。這一階段隨著移動互聯網、物聯網的發展，企業數據智能需求大爆發，聯想建立了統一數據平台，實現了全球數據整合、全球數據治理、並形成了企業內數據分析能力。同時，為了應對全球化部署挑戰，聯想大數據形成了構建滿足企業不同場景應用需求的混合雲架構能力。

經過2.0階段的洗禮，聯想大數據構建起統一的全球數據湖，實現5s內對全球設備和用戶進行實時追蹤和系統重算能力，數據處理能力極大增強，數據存儲能力突破1552億條記錄，日新增30TB數據，追蹤聯想設備突破2億台，並且每月以1000萬的數量增加，總追蹤全球用戶數突破6億。同時，聯想大數據還實現了所有數據本地保存，並遵循當地政府隱私保護法規，數據加密並脫敏存儲。

不過，聯想大數據2.0階段也面臨一些新的挑戰，例如企業如何利用數據實現工藝改進、如何支持廣泛的OLAP場景和爆炸式的自助分析需求，使得企業的IT資產得以復用，以及如何提供業務彈性，為突發任務調動足量的計算資源等。

數據平台3.0：大數據平台突破，支持廣泛的智能化場景

從2016年開始，聯想大數據步入平台3.0階段。為了應對2.0階段所面臨的挑戰以及工業物聯網應用的日漸深入所帶的全新需求。聯想大數據在雙態融合和大數據平台能力方面再作突破，以生產數據與企業信息化數據融合為基礎，大數據平台能力提升為引擎，AI技術應用為助力，實現對工業大數據的全面支持。

在3.0階段，為了支持工業數據的實時接入和全量融合數據的實時分析等創新數據應用的需求，聯想大數據通過LeapIOT，基於開源框架深度優化的大數據計算平台將工業應用中的海量數據融合計算提升到了實時全量計算的新高度。

聯想的LeapIOT使得工業生產環境的實時數據接入與處理不再困難重重。十餘種常見工業協議支持與在線擴展的邊緣計算框架降低了工業現場數據接入的門檻;毫秒/秒級傳輸及計算延遲能夠有力支撐實時採集與存儲需求;百萬級網關及千萬級設備接入保證了現場全面數字化還原。

在具備生產數據的實時接入的基礎之上，聯想大數據通過對開源平台的深度優化，從數據接入時的特徵分析開始，利用基於數據特徵的存儲優化技術，基於查詢與計算特徵的計算過程優化，基於計算平台能力的調度優化等一系列技術創新，在平台層面實現TB級全量數據的實時查詢優化，提供10-50倍於傳統大數據平台的查詢速度，支持實時建模與分析，在實時數據接入的基礎上進一步實現實時查詢與分析，縮短數據採集到數據價值輸出的周期，加快數據價值發掘。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！