數據科學與大數據技術專業培養哪些人才？

最近，教育部公布了新一批獲批開設數據科學與大數據專業的高校，迄今為止，全國有300餘所高校開設了數據科學與大數據相關本科專業。「數據科學與大數據技術」是一個內涵和外延都非常豐富的專業，不同類型學校的「數據科學與大數據技術」專業培養的人才也有所不同。很多老師和同學非常關心實際的大數據項目中對人才有何需求？在這個專業中要學習哪些知識、提升哪些能力才能成為企業需要的人才？要回答這個問題，我們必須首先了解真實的大數據項目研發過程。

下圖展現了一個大數據類項目開發的一般過程。可以看到，和傳統的信息化項目不同，大數據類項目更加試圖去深入挖掘數據內部的價值，而其所管理的數據量更大。從這個開發過程中可以總結出不同階段所需要的專門人才以及相應的崗位和能力要求。

(1) 從數據和訴求到需求——數據產品經理

對於一個大數據類項目，其緣起通常是一家單位的信息化已經完成，在信息系統中積累了足夠多的數據，期望利用這些數據產生新價值。這樣的單位能夠提供的是數據和訴求，而如何構建以數據為中心的軟體系統的需求並不明確，這就需要有專業人員與企業管理人員和數據管理人員想溝通，解決用數據做什麼的問題，最終形成數據驅動軟體系統需求，即數據驅動軟體的功能究竟是什麼。

(2) 從需求到模型——數據分析師/數據科學家

需求明確以後，就可以根據為軟體設計的每項具體的功能定義相應的計算問題。數據驅動軟體系統和其他軟體的核心區別在於數據驅動軟體中核心功能是基於數據產生新價值，這需要對數據進行分析、轉化、清洗等操作，其中每一個操作都需要對其建立模型，確定輸入輸出的數據模式以及數據的轉換模型。這就需要數據分析師或者數據科學家這一角色，根據明確的需求建立數據分析模型。這裡的分析模型是廣義的分析模型，包括狹義的數據分析、數據挖掘、數據分析、查詢處理等。

(3) 從需求到架構——大數據系統架構師

如果說分析模式是數據驅動軟體系統的靈魂，那麼系統架構是數據驅動軟體系統的骨骼，確定了軟體的架構、模塊以及各部分之間的介面，這是大數據系統架構師的職責。數據驅動軟體系統和傳統軟體系統相比，有系統架構需以數據為核心、通常架構在某一種大規模計算平台之上、需要充分考慮各項任務的實時性要求和系統的數據量等要求。大數據系統架構師需要充分考慮這些要求，在此基礎上設計系統架構。

(4) 從模型和架構到演算法——演算法科學家/演算法工程師

定義好了分析模型和系統架構，基於此將數據驅動軟體系統中每一個計算問題都定義清楚了，設計求解這些計算問題的演算法就是演算法科學家的工作，實現這些演算法是演算法工程師的工作。針對大數據的演算法科學家的獨特之處在於需要充分考慮數據量、計算的實時性要求和硬體環境要求，設計近似演算法、並行演算法、外存演算法等演算法，使得針對輸入數據量，能夠在實時性約束內在硬體環境下計算得到滿足要求的結果。針對大數據演算法進行實現的工程師，同樣需要充分考慮面向大數據可擴展性和效率的需求，進行有效的實現。

(5) 從演算法到系統——大數據系統開發工程師

演算法工程師的職責是對「點」問題的解決，系統開發工程師的職責則是對「系統」問題的整體解決，系統開發工程師需要充分考慮平衡系統效率、系統複雜度、演算法之間的配合等因素，將高效演算法模塊形成高效的系統。

(6) 從系統到穩定的系統——大數據系統運維工程師

系統的開發結束是軟體系統生命周期的開始而並非結束，因而在系統上線運行之後還需要系統運維工程師這一重要角色。對於大數據系統而言，隨著數據的持續增加、數據分布的變化、數據源的增加、數據模式的更改以及計算形式的改變，系統的性能可能會受到影響，甚至難以有效運行。這就需要大數據系統運維工程師監控系統問題，預警系統故障，溯源系統問題，調優系統運行參數，並為迭代新系統提供建議。

對於上述每一類人才都有著巨大的市場需求，不同類型的學校和專業會根據自己的特點，面向其中一類或者幾類人才開展培養。例如，偏重於統計學或者商科的專業可以重點培養數據分析師和數據科學家，偏重於研發的專業可以重點培養系統架構師、系統開發工程師、演算法工程師，偏重應用的專業可以重點培養數據產品經理和大數據系統運維工程師，偏重於研究的專業可以重點培養系統架構師和演算法科學家，而各個具體業務專業(如金融、能源、機械、交通等)可以面向本學科的需求培養本領域專門的數據產品經理。

限於篇幅，本文僅僅是從人才需求和崗位職責的角度加以解讀，供建設專業的同仁們探討、供有志於投身大數據和數據科學領域的同學們參考。接下來，筆者還將嘗試從知識點、能力點等方面對每一類人才進行深入剖析。

「大數據與數據科學家」公眾號

主編：王宏志

特邀副主編：朱劼

副主編：丁小歐

責任編輯：齊志鑫，宋揚，萬曉瓏、魏龑，張榮恩

編輯： 陶穎安

-精彩內容，記得分享到朋友圈-

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！