你的公司是需要數據科學家還是數據工程師？差別有點大
【IT168 編譯】越來越多的企業關注AI，企業組織也意識到擁有相關人才和技能非常重要。特別是最近對AI、機器學習(ML)、非ML預測分析和「大數據」的應用，使得數據科學家的需求有了顯著的增長，未來還將繼續。事實上，對數據科學家的巨大需求導致許多企業和組織出現了人才短缺，然而，80%的AI項目與數據準備和數據工程有關，也許企業組織應該尋找更多的數據工程師而不是數據科學家?
許多企業、供應商和初創企業常常混淆數據科學家和數據工程師，雖然二者有相似之處，但是其工作內容有很大不同，其中包含兩個迥異的技能，魚與熊掌不易兼得。
數據科學家vs數據工程師
在2000年代中期，數據科學家職位開始出現，O』Reilly在文章中提到:「對數據科學家需求的增長是由大型互聯網公司驅動的。谷歌、Facebook、LinkedIn和亞馬遜都以創造性地使用數據而聞名:不僅僅是儲存數據，還將其轉化為價值。毫無疑問，任何希望從數據中獲得價值的企業組織都在關注數據科學和數據科學家。
數據科學家起源於統計建模和數據分析的發展，具有高級數學和統計、高級分析以及越來越多的機器學習/人工智慧的背景。毫無疑問，數據科學家的重點是數據科學，也就是說，如何從海量數據中提取有用的信息，以及如何將業務和科學信息需求轉化為信息和數學語言。為了能從海量信息中獲得見解，數據科學家需要掌握統計學、概率、數學和演算法知識。這些數據科學家通常只是為了運行程序、對數據進行高級分析這類特定需要而學習編程，因此，數據科學家通常只寫最少最簡易的代碼，能完成數據科學任務以及提供乾淨的數據進行分析即可。數據科學家創建假設，對數據進行測試和分析，然後將其結果以便於查看和理解的形式呈現給組織中的其他人。
但是如果沒有大量的乾淨數據，數據科學家就無法完成自身工作。提取、清理和移動數據實際上並不是數據科學家的職責，而是數據工程師的職責。數據工程師擁有編程、技術方面的專業知識，以前曾參與過數據集成、中間件、分析、業務數據門戶和ETL操作。數據工程師的重心和技能集中在大數據和分散式系統上，可以使用Java、Python、Scala等編程語言腳本工具，擁有技術經驗。數據工程師面臨的挑戰是如何從各種各樣的系統中獲取結構化和非結構化的數據，解決不「乾淨」的數據例如欄位缺失、數據類型不匹配等與數據相關的問題。數據工程師要使用編程、集成、體系結構和系統技能來清理所有數據，並將其放入一種格式和系統中，然後數據科學家就可以使用該格式和系統來分析、建立數據模型並為組織提供價值。數據工程師的角色就是設計、構建和安排數據的工程師。
數據科學家和數據工程師能合二為一嗎？
雖然數據科學家和數據工程師的角色似乎截然不同，但數據科學家和數據工程師有許多共同的特點和共技能。這些重疊的技能包括處理和操作大數據集、應用數據的編程技能、數據分析技能以及對系統操作的總體熟練程度。
儘管有很多共性重疊的部分，但是數據科學家和數據工程師的工作重點仍有差異，因此不太可能兩個角色合二為一。更重要的是，在招聘數據科學家和數據工程師時，要確保問對了問題，從候選人身上找到正確的技能。
更重要的是，隨著數據科學興起的代碼學院、研討會和培訓班引出了新問題:這些培訓和代碼學院的重點是數據科學背後的科學，還是數據工程背後的工程、編程，更糟的是，這些活動是否只是泛泛研究了一點囫圇吞棗地教學而混淆了細分的需求，比如應該關注大數據和ML分析的哪些領域?
雖然看起來您可以在科學角色中做一點工程工作，或者在工程角色中做一點科學工作，但是混合角色可能會不利於企業組織在ML或數據科學的成功。那些被迫從事數據工程工作而沒有相關背景、技能或資質的數據科學家很容易錯誤配置、誤用技術，或者編寫效率低、成本高、浪費時間的程序。同樣地，要求從根本上具有工程背景的人學習複雜的數據科學數學，可能會導致組織對其信息得出錯誤的結論，產生災難性結果。專業化是很重要的，好比醫生要做檢查，抽血師負責抽血。醫生可以為你抽血，抽血師可以了解化驗結果，但你為什麼要拿自己的舒適和健康去冒險呢?
數據科學家在企業組織中處於什麼位置?
為了從數據中獲得價值，大多數企業組織都需要數據科學和數據工程，由於相關技能有很大差異，二者合體也不太現實。企業組織可能需要多個數據科學家和數據工程師，但兩者之間的比例很少是1:1。對於大多數企業組織來說，擁有更多的數據工程師比數據科學家更有意義。因為數據科學家已經學會處理大量的乾淨數據，但是從許多不同系統獲得大量的乾淨數據更難也更具挑戰。與抽象數據模型和對數據集運行分析相比，移動和清理數據的工作量更大。
此外，數據科學家在企業組織應該向誰報告可能是錯的，有的數據科學家向技術團隊報告，這是沒有意義的。數據科學家通常不會詢問特定技術的實施和數據分析，其所面臨的挑戰特定的業務線。因此，數據科學家應該向業務戰略決策相關人員報告。
有以業務為中心的工具嗎?
如果數據科學和數據工程確實是組織中獨立的角色，那麼將它們所需的工具應該是分開的。許多進入數據科學/機器學習領域的供應商正在混淆視聽，使事情變得更加混亂。他們聲稱工具是為數據科學家準備的，但是其一切主要功能和特性都是為數據工程師準備的，在上面點綴一些數據科學的特性是沒有意義的。對於數據科學家來說，需要一個分析的、面向數據的、以模型為中心的工具，而不是在數據清理、移動數據和將數據從私有環境遷移到雲環境等方面的工具。這就像給一個駕駛教練一輛車的零件，然後說:「自己造這輛車，然後教別人如何駕駛它。」
數據科學家需要的是以數據科學為中心的工具，而不是以工程和編程為中心的工具。現在，這些工具越來越多，讓數據科學家可以進行數據挖掘或預測分析。然而，隨著數據科學家越來越深入業務領域，以業務為中心的工具是更合適的，例如，幾十年前，如果您希望以類似電子表格的格式操作大量數據，這就涉及到編程，但是像Excel這樣的工具引入了數據透視表這樣的東西，現在業務經理能夠執行各種分析。Excel等工具將數據科學功能或以業務為中心的數據挖掘和分析工具嵌入到產品中只是時間問題。
隨著數據科學家的人才缺口繼續擴大，新的工具將會出現，這些工具是為了允許非技術人員(即業務人員)運行、測試和分析數據而創建的，戰略業務經理將開始學習數據科學，數據科學家仍然需要運行非常複雜的數據分析工具。然而，隨著越來越多易用工具的出現，大多數情況下基本分析將更多地轉移到業務方。企業中ML和數據科學相關工具和技術也越來越大有可為。
作者：Kathleen Walch
