大數據戰略屢屢失敗謎團：技術、知識、數據和業務是禍首

相信很多人都有這樣一個疑問"為什麼別人家的大數據戰略都成功了，就我家失敗了呢？"為了解答大家的疑問，我們和來自21家公司的22位高管進行了交談，通過他們幫助客戶管理優化數據、提升業務價值的經驗，來告訴大家為什麼你的大數據戰略失敗了。

傳統技術

• 取決於傳統的系統。這是很基礎也是很現實的問題，想要充分利用大數據系統，就必須具備主演的知識。所以，如何讓現有員工學會使用這些數據是有條不紊實施大數據戰略的先決條件。

• 無法處理遺留系統和新軟體的流沙和技術債務。

• 願意擁抱雲。雖然有很多方法可以擁抱雲，但是繼續支持遺留企業系統是不可行的，他們不能隨著數據的流入而擴大規模。

• 建立正確的骨幹基礎設施（即存儲，傳輸，計算，故障轉移）。從伺服器獲取數據進行分析。如何處理數據集。Scale, complexity, modeling。

• 當企業試圖構建大型數據項目時，往往無法成功地執行。當然，這裡面的原因也有很多，例如成本受到限制，缺乏合適的人才、想要重用現有的基礎設施而忽略了敏捷過程。因此依賴大數據基礎的業務通常在業務區域性或範圍內的實現，最終很難實現回報投資或者是需要花費更多的時間來獲得回報。而且有時候主觀的活動也會受到思想和資源的限制，一個新的想法從誕生到執行也會經歷冗長的拖延。除了之外，企業也常常因為複雜性而無法分析大數據，當然這也和缺乏數據分析師和其它IT專業人員解釋數據有關。

缺少知識

• 他們不了解雲。雖然他們會採用"基礎設施即服務"的方式，但是他們由於不了解效益，所以效率並沒有提高。而且很多企業會選擇放棄自己的IT部門，將雲管理外包給第三方提供商。例如Salesforce使用雲實現可擴展性、性能和存儲節省。彈性雲支持伸縮，所以需要使用SQL servid4r network以及其它組件來即時擴展，現在大部分公有雲廠商都提供cognitive 和 AI/ML。

• 雖然大數據的潛在利益會讓每個人或每個公司感到興奮，但是有一些共同問題確確實實在阻礙公司大數據發展：

技術很多，難以抉擇；

缺乏技術人才。

採用通用數據格式的組織障礙。我們對早期採用大數據企業的建議是要時刻關注最新的技術，尤其是像Apache Flink這樣的數據流技術，避免因為採用了過時的大數據技術而掉隊。

• 企業更相信大數據的某些承諾，而對具體用例的理解不夠，不同的業務部門或者特定的業務驅動程序都缺乏對業務的支持。對於數據湖、平台、雲或者軟體的選擇是一個很複雜的決定，並且每天都會有新的解決方案出來。公有雲中的工具集、技能集並不是最重要的，你可以根據用例和實現目標選擇最佳工具。

• 客戶了解大數據潛在好處的渠道可能大部分來自於競爭對手，但是如果大家都使用相同的工具、數據源、知識，那麼誰都不會有所進步。所以挖掘新的人才和工具才是解決問題的關鍵。我看到很多這樣的情況，因為項目進展不順利，公司就放棄了大數據計劃。想要成功實現大數據項目，首先就要戰勝未知的恐懼，其次才是戰勝其它的問題，例如，確保數據分析符合道德要求、法律的監管，發展數據科學領域的才能等等。

業務問題

• 從應用程序和用例開始你就是思考數據，不能把數據當成是事後處理。其實，成功的關鍵就是為應用奠定堅實的數據，注意底層數據存儲和數據結構。

• 技術和解決方案的擴散。從Hadoop開始，你需要了解不同的存儲和流，在某些地方配置和管理開源組件可能會損壞項目的ROI，隨意這裡一定要了解問題的最佳解決方案是什麼，開箱即用的解決方案可以減少配置和管理時間。

• 不了解大數據分析，所以一定要選擇和應用衡量結果的工具和技術。對於可衡量的結果，公司必須對文檔進行足夠的嚴格性，並分析所要達到的目標。然後根據它們的能力來選擇工具和技術，以滿足或超過預期的結果。我看過太多沒有事先準備而盲目選擇，最終導致失敗。

數據質量和管理

• 有能力了解數據。根據需要將數據從存儲移到計算。

• 缺乏對元數據的關注——不全面地看待問題。

• 用於記錄數據的系統。沒有簡單的方法來獲得數據進行比較，數據孤島、系統和模式中的不一致，這一切都要求我們規範化我們規範化所有系統和模式的數據。

• 最大的挑戰之一是他們使用所有數據的能力，移動數據是非常昂貴和耗時的，因為如何將數據扶植到分析的地方是個大難題。

• 無組織或非結構化的數據收集和處理。對於NLG，特別是敘述性的輸出往往局限於數據輸入的清潔。

• 在Hadoop中無法同時擴展。帶有單線程的查詢引擎。安全性符合GDPR的能力。處理技術以刪除記錄。把數據放在適當的地方，地方管理員可以了解當地的法律，防止可能觸犯法律的查詢。

• 緩慢的、手工的和一次性的工作會被丟棄，例如花費太多時間來查找數據，沒有權威共同的數據集，因為準備和清理數據的時間太長導致分析時間不足等等。

其他

複雜的技術堆棧，比如零售商需要考慮來自購物車的實時信息和用戶之前12個月的購買歷史記錄，甚至需要將三、四個系統整合在一起。越多的移動部件約會導致更多的破壞和延遲，所以簡化數據管道並獲得更高可用性也是企業面臨的大難題。

零售商需要來自購物車的實時信息和12個月的購買歷史記錄。將三個或四個系統縫合在一起。更多的移動部件導致更多的機會破壞和延遲。幫助簡化數據管道以獲得更高的可用性。數據架構師企業，以便它能夠和準備擴展。

以上言論綜合了下面22位企業高管的意見：

• Emma McGrattan, S.V.P. of Engineering,

• Neena Pemmaraju, VP, Products,

• Tibi Popp, Co-founder and CTO,

• Laura Pressman, Marketing Manager,

• Sébastien Vugier, SVP, Ecosystem Engagement and Vertical Solutions,

• Kostas Tzoumas, Co-founder and CEO,

• Shehan Akmeemana, CTO,

• Peter Smails, V.P. of Marketing and Business Development,

• Tomer Shiran, Founder and CEO and Kelly Stirman, CMO,

• Ali Hodroj, Vice President Products and Strategy,

• Flavio Villanustre, CISO and V.P. of Technology,

• Fangjin Yang, Co-founder and CEO,

• Murthy Mathiprakasam, Director of Product Marketing,

• Iran Hutchinson, Product Manager and Big Data Analytics Software/Systems Architect,

• Dipti Borkar, V.P. of Products,

• Adnan Mahmud, Founder and CEO,

• Jack Norris, S.V.P. Data and Applications,

• Derek Smith, Co-founder and CEO,

• Ken Tsai, Global V.P., Global Vice President, Head of Database and Data Management Product Marketing,

• Clarke Patterson, Head of Product Marketing,

• Seeta Somagani, Solutions Architect,

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！