Splunk關於暗數據現狀報告的三大發現

至頂網伺服器頻道 05月27日 新聞消息（文/李祥敬）：毋庸置疑，我們處於一個數據大爆炸的時代，我們無時無刻不在與數據打交道。在這些數據中，總有那麼一些「暗數據」。我們要麼不知道這些數據的存在，要麼不知道如何找到、準備、分析或使用這些數據。

近日，TRUE Global Intelligence在Splunk的指導下進行了調查並完成《暗數據現狀報告》。該調查採訪了1300多名跨國業務經理和IT領導，了解他們所在的企業機構如何收集、管理並使用數據。研究結果表明，在這個數據以前所未有的速度連接設備、系統和人的時代，儘管數據是首要考慮因素，但行動力遠遠沒有跟上。

打開今日頭條，查看更多圖片

Splunk中國區總經理嚴立忠告訴記者，暗數據指的是在數字化世界裡，大量未被發現的、未被利用的，以及使用價值未被發覺的數據，怎麼挖掘和利用這些被我們忽略的數據價值，這是整個調查的宗旨。

暗數據，英文稱之為Dark Data，這是系統、設備的交互產生的數據，簡單說就是數字世界產生的所有數據，包括所有未知的和未被開發的數據。嚴立忠說，現在市場都在講大數據，很多人以為自己在用大數據，其實不是。他們只是把傳統的商業數據再總結和再挖掘。這並不是嚴格意義上的大數據，而暗數據比大數據的範圍更廣，處理起來更難。

嚴立忠還舉了一個例子，在過去，銀行的信用卡部門跟銀行業務部門往往是分開的，這導致他們之間的數據是沒有打通的，這些數據也是沒有被相互利用的，這也是一種暗數據。報告顯示，60%的受訪者表示，他們所在企業機構中超過一半數據是暗數據，三分之一的受訪者表示，他們所在企業機構中超過75%的數據是暗數據。

Splunk最早推出了機器數據的概念，現在已經獲得業界的認可。這次提出的暗數據，在嚴立忠看來，大數據是一個籠統的概念，機器數據是一個更指定的概念，但是暗數據是從另外角度來看數據，這些數據是傳統大數據裡面未被發現、未被利用的有價值數據。「對於暗數據，第一你得有數據，第二你得發現數據，第三你得分析數據，這樣就會帶來過去想像不到的結果和價值。」

之所以Splunk要提出暗數據的概念，就是因為Splunk在大數據領域裡面積累了很多經驗，基於豐富的客戶實踐，發現暗數據具有有無窮的價值，產生了這麼一個概念，類似物理學中的「暗物質」。換個角度看，對暗數據的利用是人類的另外一個商業邏輯。過去我們基於邏輯關係的因果分析推導出一個產品或者商業模式，現在依靠數據分析，我們從過去不存在的邏輯裡面找到一個新邏輯，從而實現商業創新。

調查顯示，目前很少有企業機構正在使用人工智慧，但大多數組織都看到了它的巨大潛力。全球受訪者都認為人工智慧通常會增加機會，而不是取代人。例如，在一系列的用例中——包括運營效率、戰略決策、人力資源和客戶體驗，只有10%到15%的受訪者說他們的組織正在為這些用例部署人工智慧，而大約三分之二的人看到了人工智慧的潛在價值。

大多數受訪者（71％）看到了使用人工智慧分析數據的潛力；73％的人認為人工智慧可以彌補IT方面的技能差距；82％的受訪者表示，人類永遠是人工智慧的核心，72％的人認為人工智慧只是解決業務問題的工具；只有12％的受訪者使用人工智慧來指導業務戰略，61％的受訪者希望他們所在的企業機構在未來五年內以這種方式增加對人工智慧的使用。

嚴立忠表示，在數據化轉型中，人工智慧會是一個很重要的工具或者是技術，包括暗數據這件事情也離不開人工智慧。大多數人認為未來在處理暗數據的情況下，他們離不開人工智慧，要依靠人工智慧給他們更多的指導。82%的受訪者表示人類現在和將來都將處於人工智慧的核心地位。「客戶和產品價值的挖掘離不開對商業數據的挖掘，這就需要用到人工智慧技術。」

在嚴立忠看來，AI的核心是實現自動化，數據經過人工智慧分析之後解決自動化問題。但是AI的學習曲線是陡峭，這也為AI的發展提出了挑戰。絕大多數中國受訪者對人工智慧表示出了極大的熱情和信心，但他們目前的採用率（20%）僅略高於全球平均水平（16%）。不過，國內互聯網廠商大力推動AI的應用，以及國家政策層面的鼓勵，都對國內AI的市場發展起到了推動作用。

另外，Splunk的核心業務不是人工智慧，而是數據的分析能力。但是Splunk區別於很多大數據公司的一點就是Splunk對於人工智慧的應用非常廣，基本上所有核心產品都運用了人工智慧的技術，以及大量的人工智慧演算法。

報告顯示，受訪者表示在應對暗數據挑戰方面，首當其衝的是數據量，其次是缺乏必要的技能和資源。儘管受訪者了解暗數據的價值，但他們承認沒有可以利用這些數據的工具、專業知識或員工。超過半數（56%）的受訪者承認，「數據驅動」只是自己所在企業機構的一個空口號。

受訪者一致認為，雖然沒有一刀切方案，但最具潛力的解決方案包括：培訓更多的員工從事數據科學和分析，增加對數據整理的資金投入，以及部署軟體，使技術水平較低的員工能夠自己分析數據。美國、英國、法國、德國、中國、日本和澳大利亞的受訪者中有76％認為「擁有最多數據的企業機構將在競爭中獲勝」。

嚴立忠表示，很多組織在架構裡面設置了數據專家以及數據架構師，而且在先進企業里數據架構師不屬於IT部門，直接向CEO彙報，統領整個企業或者整個機構數據的戰略。「與數據相關的職位的設立，需要組織架構的認同，從人員培訓到資源投入都要做相應的準備。比如Splunk與中國的合作夥伴已經在進行數據專家的培訓。」

研究還發現，在接受調查的七個國家中，人們在態度和觀點上存在一些明顯的差異。例如，法國、德國和日本的受訪者似乎不太在意數據技能對其職業生涯的價值，平均而言，持肯定態度的受訪者比其它國家少25%。

中國市場最熱衷於數據價值和數據整理技能。雖然大多數IT和業務經理（81％，是所有市場中最高的）認為數據技能對未來的工作極為重要或非常重要，並且有助於解決人工智慧方面的挑戰，但許多人對於自己具備這些技能的評價並不高。

嚴立忠說，數據技能和業務技能是有區別的，業務技能是對業務的理解，包括市場、銷售、產品等。但是當你無法突破傳統商業瓶頸的時候，數據邏輯的重要性便凸顯出來。通過數據技術和數據分析，幫助人類解決商業邏輯問題。依靠技術解決現實問題是當前技術革命的重要表現。

基於以上洞察，Splunk給出了自己的建議：呼籲和鼓勵用戶和政府擁抱AI和機器學習技術；建立數據基礎設施和數據文化，比如設立數據架構師，從數據角度讓企業在未來發揮出更大的價值；數據人才和技能的教育培訓。總之，暗數據的提出是我們對於目前數據時代的更深一層認識，面對滾滾數據，唯有擁抱技術，積極應對，才能更大地發揮出數據的價值。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！