哈爾濱中軟分享：大數據正在遭遇成長的煩惱
為期兩天的「2018大數據產業峰會」在北京國家會議中心召開。本次會議由中國信息通信研究院主辦，旨在進一步落實《促進大數據發展行動綱要》和《大數據產業發展規劃(2016-2020年)》，支撐大數據國家戰略落地，展示大數據產業發展成果，探討發展面臨重大問題，推動產業交流與合作。
中國信息通信研究院雲計算與大數據研究所所長何寶宏在首日會議上作了題為「預見大數據的2018」主題報告，以下為演講實錄：
大數據遭遇成長的煩惱
從2011年至今約7年的時間，大數據正在遭遇成長的煩惱。歐盟5月份實施GDPR通用數據保護規則，核心是個人隱私數據保護，要求用戶明確同意授予數據的流動權。最近的大數據在殺熟，Facebook遭遇的窘境，包括今日頭條也正遭遇窘境。7年了，大數據必須進行方向性的調整。
這是又一個三角困境，技術上追求很多目標時，目標之間容易出現衝突。尤其數據方面，個人隱私、國家安全、便利性三者不可兼得，只能選擇兩個。2013年奧巴馬講到，不可能既享有100%的安全，又享有100%的隱私，同時沒有絲毫的不便，我們不得不做出選擇。大數據也需要做出選擇，二選一時會發生一些調整。
這些事件意味著什麼?短期看，說明一些大數據應用真正落地。如果大數據在用戶畫像及營銷沒有落地，這些事情不會發生。這也反向證明大數據真的已經成功應用，所以才能出現問題。幾年前搞雲計算時說可靠性不行，我說恰恰說明是人們開始廣泛使用雲計算，要不然不會關心這些問題。中期看，保護個人隱私必然是未來3年或更長時間內的重中之重，全行業必須團結起來，為保護用戶隱私制定規則，這也需要恰當地技術手段提供支持。長期看，最近一系列事件的爆發是不是意味著已經使用20多年的互聯網免費模式宣告終結。恐怕這是更大的議題，免費模式都是以用戶數據換取用戶服務的便利性。
大數據行業正在回歸理性
個人判斷，行業發展需要調整變化。從過去7年時間強調技術、發展，下一步更多的關注合規、隱私保護、安全。任何產業發展到第二階段必須要強調關注合規性、安全及隱私問題，早期會重點關心技術與發展。現在，正在從幾年來高估大數據的影響開始轉變為低估大數據的影響，因為人總是會高估技術短期影響，而低估技術的長期影響。我們即將迎來開始低估大數據長期影響的階段，現在進入回歸理性階段，行業正在回歸理性。對大數據以前高估的價值更加理性，以前不太關注的隱私必須補課，這需要3年左右的時間。2021年前後大數據會迎來新一輪的黃金髮展期。
從市場看，我們還將繼續維持規模小、增速快的態勢。過去的幾年大數據的主要應用場景是互聯網，未來幾年的核心是大數據與傳統行業、實體經濟的深度融合。十九大報告講的很清楚，我們必將迎來的是傳統行業如何更好使用大數據的過程，因為傳統行業更容易賺錢。
從技術看，開源正在引領各行各業，大數據也不例外。今天上午報告也講到實現在線分析的分散式，下一步需要實現在線處理事物的分散式。OLAP/OLTP的融合是新的趨勢。隨著產業的發展完善，意味著產業的分工越來越細，相互之間的協作會越來越麻煩。反推的結果是我們所做的大數據產品與技術需要標準化、模塊化。因為不可能龐大體量堆在一起，運維需要自動化比較好理解，系統越來越龐大，機器產生的事情只能用機器解決，大數據產生的運維問題只能靠大數據產生的自動化運維解決。
容器化，今天的大數據也需要藉助容器的思想封裝交付。幾年前發現軟體開發交付等跟環境關係過於密切，今天看到大數據也是這個問題。大數據遷移時與環境配置的關係過於密切，我們應該發展類似於容器的技術。專用硬體，隨著摩爾定律的減速，越來越多地需要靠一些專用的而不是通用的硬體解決問題。面向特定場景數據處理的專用硬體或軟硬體結合會是重要的發展方向。
從演算法看，演算法的透明度會成為需要關心的議題。隨著數據越來越多，數據越來越開放，要打破演算法黑箱，解決演算法的歧視問題、演算法殺熟問題和演算法疫情。如果演算法一樣，尤其金融市場會引發演算法共振或演算法疫情問題。開放演算法是必須要考慮的議題，剛剛討論過網路中立問題，演算法該不該中立?演算法該不該透明?演算法該不該監管?我想需要。
從資產看，過去幾年知道數據是資產，市場教育已完成。但如何把數據變成資產還在迷茫中，前幾年想是否通過財務手段把數據變為資產，現在看是不夠的，需要更多的技術支撐。未來3年要學習如何把數據變成資產，不僅通過資本與管理的手段，還需要新的技術，需要創新演算法、創新技術、創新模式。
從流通看，我們還處於男耕女織的時代，據調查50%的大數據企業使用的數據還是自己生產的或隔壁家生產的。大數據說是資產，但它沒有變成資產。我們說大數據是商品，但大數據沒有變成商品。我們只知道大數據很有價值，但如何流通還處於早期的階段，需要很多技術創新、理論創新。30年後得諾貝爾經濟學獎的人一定會有是干這個活的，因為需要數字經濟時代的數字經濟學家。今天的經濟學更多的建立在工業經濟的假設之上，上來就討論工廠、工人與產品，用貨幣衡量價值，這些都是工業時代的思維。數字時代需要數字時代的經濟學家解決數據流通存在的理論問題、方法問題。處於從農耕產品的貿易到數字產品貿易的轉折，現在不太清楚數據如何做貿易，我們正在探索之中。需要實現工業經濟學到數字經濟學的躍遷。
從價值看，需要新的用戶，新的價值。數據保護問題更像隱私危機，我們說大數據是石油，石油也經歷過危機，愛迪生危機。煤油的主要用途是照明，愛迪生髮明了電燈後是不是石油麵臨危機?石油的用途只是照明，可是電燈來了。後來改善石油的冶煉技術，煉出汽油，更加廣泛地用於動力。今天大數據主要面向人，面向人的大數據分析處理應用必然會帶來隱私危機。只要知道的都是隱私，不知道的就不是隱私。凡是能夠發現處理的最終都會被歸於用戶隱私範圍內，必然會導致隱私危機。我們需要新的模式與新的創新，將大數據的使用範圍擴展，使用價值擴展。不僅僅面向人，可能要面向物聯網、工業等各行各業。而過去幾年更多處理人產生的數據。
從風險看，必然會出現風險，數據是資產，資產是數據。人類的財富正在虛擬化，正在數據化，意味著風險正在由物理世界、現實世界遷移到虛擬世界、數據世界。哪裡有風險，哪裡就有保險。中國信通院聯合中國人保推出雲計算保險已經有四年的時間，希望與業界一起研究如何為數據買保險，如何通過金融手段解決數據面臨風險問題。
從理想看，萬物皆數據，數據皆兄弟，我們需要連接。單個的孤島數據價值不大，我們必須搞流通。我們是連接的時代，流通產生新的價值。現在不是單體重要，而是單體與別人之間的連接更加重要。數據的價值不取決於數據本身是什麼，而取決於數據跟其它數據之間的關係是什麼，位置是什麼，在數據世界處於什麼位置。連接比數據本身更重要，我們一定會連接起來。我們搞開放、共享的核心目的只有一個，讓數據連接流通是長期的目標，需要與在座的諸位共同努力。
以後，數據會去往何方?
我們正在迎來摩爾定律老去的時代，摩爾定律減速的時候會對整個行業帶來翻天覆地的變化，我們需要改變傳統思維方式。以前覺得計算資源很便宜，浪費點沒什麼，今天的計算資源越來越貴，因為摩爾定律減速。以前行業的增速非常穩定，有節奏感，因為有摩爾定律什麼也不幹也能穩定的讓你增長。今天當摩爾定律減速甚至停緩的時候，行業當然會往前走，但不能僅僅依靠摩爾定律，我們要依靠軟體。我們需要更新軟體的結構，最近看到很多新的軟體架構出現的原因之一是，底層計算資源不再符合摩爾定律增長速度，所以要創新軟體與架構的設計。
改進演算法。以前不太關心演算法的改進，因為演算法改進付出的成本可能比摩爾定律晶元買一個更高。與其改進演算法，不如再買晶元。今天必須改進演算法，因為底下的計算資源越來越貴。演算法優化成為未來幾年非常重要的發展方向，包括大數據處理。因為底層資源再浪費不起。
硬體。以前通用硬體非常廣泛，越通用價格越低，缺點是越通用的性能越差。硬體性能上不去只好優化硬體，而不再是通用的硬體。面向數據的軟硬體結合是重要的發展方向。
當大數據遇到區塊鏈，兩者都是用來處理數據，一個是希望擴展數據的內心，結構化擴展到更多的數據結構。數據以前做信息，現在做價值，海量數據提高計算性能。區塊鏈說針對關鍵數據，主要核心目的是為了防篡改，也有計算模式。把一件事分給多個人做，區塊鏈希望多個人重複做一件事情，有利於防篡改。一個用伺服器積存，一個是用P2P網路，一個數據是信息，一個數據是價值。大數據處理需要給做大數據的人發工資，因為激勵是外部的。區塊鏈發幣的時候可以內置，而不是通過外部的數據。大數據宣傳的口號是相信數據，區塊鏈的口號是相信數學。
大數據遇到人工智慧。大數據做數據的可視化，是因為計算機把數據看明白了，可是人看不明白。計算機視覺，是因為人看明白了，但機器看不明白。一個往左一個往右，前幾年宣揚大數據主張關聯關係而不是因果關係，要回到愚昧的原始社會。機器學習能證明數據之間有關聯，但機器學習為什麼出現這樣的結果無法解釋。證明存在關聯關係，但無法解釋為什麼有因果關係。
當忘記成為例外，被機器忘記也是一種幸福。發明很多技術，核心目的就是記住，因為人的記性太差。你忘了黑客沒有忘記，數據很久遠，一上永流傳。以前發表文章需要交版面稅，今天刪貼子試一試，遺忘權成為新問題。以前只關注如何記住問題，現在關注如何永久性地消滅數據是工程師新的發展機會。
我們做很多數據，只關心數據從哪裡來的，用完了以後數據去了哪裡?大數據基本「進冷宮」，用完了就完了，80%的數據3個月以後無人理睬。GDPR隱私數據「要滅絕」，區塊鏈數據價值「得永生」，因為是為了防篡改，數據世界的價值越高壽命越長。有的數據會莫名其妙地消失，不知道去哪裡，因為介質的壽命很短。我們的磁碟長點就是幾十年的壽命，今天存儲的數據千年以後的人怎麼找到，如何打開word文檔。他們去哪裡考古這代人所謂的大數據，到哪裡發現?
TAG:中軟卓越哈爾濱 |