曙光郭慶：大數據加速企業數字化轉型進程

2018年7月10日-11日，2018中國大數據應用大會在成都召開，大會以"大數據賦能數字中國"為主題。由成都市人民政府指導，中國大數據專家委員會、中國電子信息產業集團有限公司中國電子學會、四川省經濟和信息化委員會主辦，世界工程組織聯合會工程技術創新委員會（WFEO-CEIT）、成都市經濟和信息化委員會、成都市博覽局全力支持，中國電子器材有限公司、中國電子學會科技交流中心承辦，業內知名媒體至頂網與科技行者協辦。

會上，曙光大數據總工程師郭慶接受採訪表示，目前企業在大數據應用方面面臨四大挑戰，需要把握四大方向。同時，曙光XDATA憑藉「融智快易」四大特點幫助企業解決大數據落地難題，曙光的ABCDE大數據布局也就此拉開。

以下為採訪實錄：

主持人：大家好，這裡是2018中國大數據應用大會的現場，今天我們請到的嘉賓是曙光大數據總工程師郭慶先生接受我們的視頻採訪，郭總歡迎你的到來。

郭慶：大家好。

主持人：郭總，我們知道現在大數據戰略是企業數字化轉型的重要方式，曙光目前對於客戶大數據應用的觀察是什麼？

郭慶：其實大家知道隨著大數據技術的蓬勃發展，我們已經從IT時代進入了DT時代，而且隨著近幾年大數據應用的逐步落地，現在大數據的整個發展階段已經從以前我們講數據和計算落地階段，進入到應用落地階段。

在應用落地的過程當中，企業在大數據應用方面會有四個方向。第一個方向是數據融合，我們看到很多用戶，包括政府會打破原有的數據壁壘，對各種多元的數據進行彙集，然後在海量數據裡面分析相應的數據價值，提升業務效率。

第二個方向，我們看到有大量的傳統業務系統利用大數據技術進行性能優化的提升。我舉個例子，比如說原先的氣象預報，用傳統技術我們可能可以做到3公里的預報精度，現在我們用一些新興的大數據計算技術，可以將精度提高到一公里。

第三個方向，化煩為簡。因為原先數據是分散在各個業務系統中，我們在處理業務流程中可能需要很多的步驟去操作。大家感受比較深的是，以前去政府辦一些證件原來要跑很多部門。現在對政務數據進行融合之後，我們可能最多跑一次路。政府現在的提法是「讓數據多跑路，讓群眾少跑路」，這就是一個化煩為簡的非常典型的應用。第四個方向，數據的融合和創新帶來一些模式上的創新。我們可能也能深刻感受到，比如說現在在互聯網上，我們進行電子購物，網上的系統會給用戶打上一些標籤，然後會給你快速推薦一些你感興趣的東西。這一方面方便用戶去購買一些自己喜歡的東西，另一方面也能提升企業銷售的量，帶來一種經濟效益的提升。

我想這四個方向可能是我們目前看到很多企業用戶在大數據應用逐級落地的一些具體方向。

主持人：您剛剛也談到了很多大數據應用的具體案例，您覺得在這個過程當中主要的瓶頸在哪，曙光是如何幫助客戶去破解呢？

郭慶：大數據這個話題不單純是一個技術話題。我們業界很多專家也在提，在建設大數據過程中，需要有既懂大數據技術，又有懂業務系統，又能進行這種整體的設計和規劃的人才。我們在和很多客戶進行大數據項目落地的過程中也發現客戶可能有四個方向比較大的瓶頸。

第一個就是數據壁壘。我們說大數據最核心、最根基的是數據，沒有數據一切都是空談。現在一方面傳統的信息系統裡面還有大量的信息孤島，同時分散在不同信息系統裡面，這些數據的格式、質量、標準都不統一，所以在這個過程中我們用戶往往一方面需要把這些數據採集過來，另一方面需要按照統一的格式標準進行數據質量的轉換。

曙光在這個過程中幫助用戶做了很多工作，一方面我們具有非常成熟的從數據採集到清洗，數據標準的一些工具，通過這些工具能夠快速提升用戶在這個過程中的工作效率。另一方面，我們在近幾年很多實際落地的項目當中，也和一線用戶和領域專家積累了各行各業的一些數據標準。有了這些標準的積累，能快速幫助用戶結合應用形成它自己的數據標準，基於這個標準來幫助用戶完善和優化大數據質量，這是第一個瓶頸。

第二個瓶頸，大數據性能挑戰。因為傳統技術在面向海量數據，PB級甚至EB級這樣數據處理的時候，它的性能會有一定的瓶頸。這幾年這種情況得到了很大的改觀，國內也好，國外也好，有大量的IT廠商在解決這些問題。曙光在底層從存儲到高性能計算，到分析挖掘，具有完整的平台產品線，可以很好為用戶提供這些計算分析的工具。第三個，大數據應用落地難。單純的技術人員不懂業務，業務人員不懂技術，這個時候很多用戶很苦惱，甚至我有數據，我有需求但是不知道怎麼實現。曙光目前有一支專業大數據方案設計的諮詢團隊，他們都是各個行業的具有一二十年的領域專家，既懂技術又懂業務。在實際項目落地過程中，這些諮詢顧問會和用戶一起去分析它現有系統的瓶頸、需求痛點，然後給出有針對性、時效性的解決方案，幫助用戶落地應用，這也是諮詢團隊的支撐服務。

第四個，人才的缺失。從大數據產業鏈來說，無論用戶方大數據業務人員，到我們一起開發大數據的人才，目前是一個比較緊缺的狀況。曙光在這個方向也做了很好的布局，第一我們面向企業的CIO和技術人員，將原先我們內部的曙光大學進行開放。針對企業員工的技術培訓，通過企業CIO培訓班提升企業人員大數據方面的水平和認知。

另一方面我們也在與國內很多高校合作幫助學校開設一些大數據的一線開發課程，我們從前年開始和教育部聯合辦了這樣一個曙光大數據的百校工程，就是幫助全國百所高校我們去開設這樣一個大數據的課程，培養一線的大數據技術人才。

我想這四個瓶頸是我們目前看到的一些用戶遇到的問題，曙光在這四個方面也都做了全面的布局和支撐。

主持人：聽起來是一個非常全面的大數據應用布局。我想問一下曙光在大數據硬體有一個叫XDATA的產品，能不能跟我們分享一下這個智能引擎的閃光點？

郭慶：好的，大家知道曙光是一個以技術驅動的公司，在大數據的布局可以追溯到2004年、2005年，那時候還不叫大數據時候，叫海量數據處理，我們就已經在國家的一些重大工程裡面去解決數據處理問題。所以經過這十幾年發展，我們也和中科院的一些院所一起合作，在曙光我們有一個叫XDATE的大數據平台產品，它立足於解決大數據核心處理的技術問題。當然很多業界專家也知道，大數據在開源技術方面蓬勃發展，我們這個產品相對於市場上的友商產品、開源技術項目，有幾個比較核心的技術優勢，簡單來說四個字，叫融智快易。

第一是融合，融合是什麼概念呢？大家知道我們在實際的大數據項目建設當中，會有結構化數據，也有非結構化數據。面向很多科研機構，它具有高性能計算裡面的數據分析需求，也有大數據分析需求，我們在產品層面上就解決了這些不同異構的需求的統一處理，既支持結構化的存儲，也支持非結構化存儲。我們既支持傳統高性能計算對數據的存取介面，也支持大數據的存儲介面，這樣就避免為了解決不同問題要重複建設存儲系統。

大數據也好，人工智慧也好，高性能計算也好，很多時候我們是數據和計算緊密結合的，不同的計算模式都在裡面。曙光在國家的原型機系統裡面已經實現了高性能計算、大數據，包括容器和人工智慧，這種不同異構模式統一調度，這樣就實現了一套集群可以支持不同的計算模式。所以融合方面大家可以看到，曙光採用非常底層的技術解決用戶不同模式和場景下處理需求，這也是比較具有核心競爭力的亮點。

第二塊叫智能。這幾年人工智慧的概念越來越火，我們一方面融合了很多人工智慧的演算法、模型，另一方面我們在這幾年的大數據應用建設過程中，也積累了很多跟行業應用緊密結合的貼近用戶和接地氣的一些模型演算法，所以我們把這些模型演算法下沉到產品裡面，叫應用引擎的這個模塊。通過這個引擎和應用緊密結合的一些模塊，能快速去適配大數據應用落地的過程。同時，人工智慧技術發展得很快，在數據和智能融合處理這一塊，我們也有AI的平台去解決大規模數據的訓練、推理，以及推理之後海量數據的分析，這一塊我們其實做了很多智能方面的工作。

第三塊叫快。大數據最大的痛點是數據量大的時候怎麼提高速度。曙光在性能這一塊也本著我們原先對計算的永無止境的需求，我們在性能方面提供了完整的整體優化和提升的技術手段。一方面從底層硬體這一塊，因為我們是硬體起家，所以可以針對不同大數據的計算場景模式，比如說有的是IO密集型的，有的是存儲密集型或者計算密集型的，我們配備不同的硬體板卡和設備。二是針對大數據處理我們在硬體和操作系統結合裡面，硬體的驅動，操作依賴的庫等非常底層的方面，我們也做了深度優化。再往上一層是很多大數據軟體廠商和我們一起去做的很多工作，比如說基於大數據平台的分散式架構，現在比較流行的流式計算等等。我們做了大量的基於自研核心技術的優化。這裡面我們實際上也承擔了像科技部863計劃裡面的重大研發課題，通過這種國家課題的前沿技術研究，研究的成果下沉到產品裡面，這使得我們在很多用戶實際場景的POC測試當中，比它原有的系統能提升到1000倍，差一點的可能也有十倍二十倍，這是我們在性能方面非常強的優勢。

另外，從硬體到軟體，曙光還能夠基於一些特定場景，實現軟硬一體整合，比如說在國家網路安全相關的網路流量處理中，針對網路這種數百計的網路流量，我們定製專用的網路板卡，以及專有的基於這種流量數據的載入查詢檢索的整體系統，這個實際上在很多國家的一些安全大規模安全系統裡面都得到了很好的應用，這也是我們性能方面的一個很好的體現。

第四個我們講應用，因為大數據是一個非常複雜的系統，需要和應用結合，曙光實際上我們有多年的超算中心，大規模集群的經驗，實際上我們在做大數據過程中也很好把以前這種大規模系統如何使用和運維，如何和上層廠商對接的一些經驗，呈現在產品裡面，呈現在我們使用的流程裡面，使得很多用戶能夠很快利用我們的產品和技術快速去搭建它的應用系統。

這就是XDATA大數據產品在「融智快易」四個方向的特點，這也是核心技術的積累和競爭力。

主持人：其實就像你剛才說的大數據目前是一個非常熱的話題，人工智慧也是一個特別熱的話題，有人說人工智慧的發展是離不開大數據的，曙光是如何看待人工智慧和大數據之間的關係？

郭慶：現在大數據和人工智慧這兩個概念都是比較火熱的，尤其近兩年人工智慧的概念興起，以及很多應用的落地，應該說我們能夠看到很多這兩個緊密結合，在我看來它兩個可能是緊密結合相互支撐的關係。我們知道人工智慧一個很典型的場景是利用深度學習的技術，在前期需要基於海量數據去做訓練，訓練形成模型之後去做推理，在訓練過程中這本身就是一個大數據量的問題。如何對這些訓練的數據進行有效存儲，有效組織，有效標註，能夠為這個訓練過程合理有序提供這些數據。

二是我們在有了模型推理之後又會產生大量數據，一個比較典型的例子，就是現在人工智慧在視頻處理的應用，通過人工智慧的技術從很多的視頻流裡面，提取人臉，提取車牌，提取各種物品，提取人的各種屬性，做得很細這些屬性可能推理之後就是結構化之後的數據量，可能比視頻的原數據量還大，這些數據我如何很好存起來，如何結合我的業務模型從海量數據裡面去分析挖掘另外的這種價值。比如現在在公安裡面通過人臉識別，通過車的識別之後，再和公安的警務裡面海量數據進行關聯，分析人的軌跡，這種關聯關係實際上又是大數據的應用，所以我們講大數據和人工智慧在落地過程中它倆是緊密結合的。

曙光在這兩個方向是整合的，我們去年在青島發布了曙光的數據中國智能計劃，經過這半年到一年的發展我們也形成了一個完整的體系，我們簡稱叫ABCDE。

A是演算法，不管是XDATA產品，還是我們的智能產品，都集成和內嵌了很多常用的演算法。B就是Big Date，智能處理裡面本身就有很多大數據的技術。C叫Compute計算，因為人工智慧本身對計算要求很高。我們在計算上曙光有高性能集群，基於GPU的設備支撐這種計算。D，我們講領域或者行業應用，不管是大數據，還是人工智慧，我們最終還是要落地到行業應用裡面去幫助用戶實現價值。實際我們在這麼多年的發展當中，我們和很多的合作廠商，像科大迅飛、海康威視、大華等一系列領域的廠商，都建立了很好的合作關係，跟它們一起去挖掘這些行業裡面的應用。

最後E就是生態系統，曙光藉助於布局在全國的城市運營計算中心，我們今年也得到了國家發改委專項支持，建立一個公共服務平台，為大量的中小企業提供人工智慧的計算服務，構建完整的產業生態鏈，幫助人工智慧和大數據產業更健康發展。圍繞ABCDE，曙光也會聯合很多合作夥伴一起把人工智慧和大數據落地到實處。主持人：好，今天我們非常感謝郭總精彩分享，讓我們看到曙光在人工智慧和大數據的戰略，這是非常全面的布局，我們也很期待曙光在大數據方面的最新布局，讓我們拭目以待。

郭慶：謝謝大家。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！