華為諾亞方舟實驗室田奇：學術界和工業界具有互補性，人才培養是核心
12月6-8日，為期三天的「2019世界創新者年會」在北京順利舉辦。本次大會由中國企業聯合會指導， 由億歐·EqualOcean、工業和信息化科技成果轉化聯盟聯合主辦，本次大會以「科創4.0:共建全球化 新未來」」為主題，集結了來自美國、英國、印度、新加坡、印尼、奈及利亞、巴?、日本、以色列等 十餘個國家或地區的6000名創新者，總結2019年世界科技與產業創新的成果，預測2020年最新創新趨勢。
本次論壇邀請了華為諾亞方舟實驗室計算視覺首席科學家田奇教授、氪信科技創始人兼CEO朱明傑 博士、文安智能創始人陶海教授、魔琺科技創始人兼CEO柴金祥教授、MINIEYE創始人兼CEO劉國 清博士、聯想創投董事總經理王光熙、達觀數據創始人兼CEO陳運文博士、踏歌智行創始人兼首席 科學家余貴珍教授、小鵬汽?首席科學家郭彥東博士，共同探討和分享作為科學家創業者在創業路 上的收穫與感悟，探索科學技術與商業化的結合機會，助推產學研領域協同發展。
其中，華為諾亞方舟實驗室計算視覺首席科學家田奇帶來了主題為「科學·企業家，雙重身份下何為我 眼中創新者?」的演講，演講的核心觀點有:
學術界和工業界具有互補性，學術界對工業界價值就為工業界源源不斷的輸送人才，為工業界提 供前沿的方向，同時學術界對性能的極致追求為工業應用打下堅實的基礎。工業界對學術界的價值 是反饋學界人才迴流。
學術界和工業界的側重點不一樣，學術界更關注方法的理論化、通用性、探索未來和啟發式的認 知水平。但是工業界更注重於商業價值，更注重方法的使用性。
創新應以人才為核心，人才培養是其中最大的中心。
以下為演講實錄:
各位嘉賓早上好，非常感謝組委會對我的邀請，我今天報告的題目是「雙重身份下何為我眼中的創新?」我 來自華為諾亞方舟計算視覺實驗室。這是我報告的目錄，第一部分是我學術和工業界的背景以及諾亞方 舟實驗室的介紹;第二部分是「在前沿創新的研究和業務落地之間的AI使能鴻溝」，以三個例子來說明一 下;最後從學術界和工業界的?度來思考什麼是創新?
剛才也介紹了我2002年博士畢業於伊利諾伊香檳分校，從2012年開始加入德州大學分校，從計算系助理教授到副教授，再到教授一共做了17年的老師。
在2008年到2009年我利用學術休假，在微軟亞洲研究院，擔任主任研究院做了一年多的工作;2010年至 2015年受清華大學張華老師邀請，回到清華大學神經與認知中心做客座教授;2011年到2014年在 NECChina當顧問;2016年獲評IEEE;2017年獲評教育部?江學者。這就是我在學術界的一些經歷。
2018年夏天，我利用學術休假加入到華為諾亞方舟計算視覺實驗室，在今年9月份辭掉了在美國的終身教 學職位，現在全職加入了華為，所以我現在身份是在工業界。當然大家可以看到我大部分時間是在學術 界，在工業界的時間還不算?，所以只能在這裡談一些個人的淺?，算是拋磚引玉吧。
我供職在諾亞方舟計算機視覺實驗室，諾亞方舟目前有幾個組:計算視覺、自然語言處理、搜索、推 薦、決策推理、機器學習，模擬學的人機交互。以支持產品部?、企業智能、網路智能、終端職能、終 端智能手機拍照大屏，還有一些信息的業務，例如無人駕駛對我們來講也是微感知感測器融合。
華為的AI使能鴻溝，通過和全世界25所高校的合作，很多研究人才加入了這方面的合作。諾亞方舟的願景就是讓AI使能鴻溝、世界級的產出建立頂級的AI大學，來幫助公司實現AI戰略的轉型。
我們在歐洲、倫敦、巴黎、莫斯科、加拿大多倫多、蒙特利等地都有布局。在中國的深圳、上海、北京、?安、香港等都有相關的研究同事。
下面介紹一下我們前沿的創新研究和業務落地之間，發現所謂的AI使能鴻溝，我講幾個例子:
首先，學術界和工業界的側重點不一樣，大家都知道學術界更關注方法的理論化、通用性、探索未來和 啟發式的認知水平。但是工業界更注重於商業價值，所以更注重方法的使用性，針對某一個特定的問 題，提升用戶體驗，帶來實際的價值。 所以學術界和工業界優化的目標不一樣。其實在華為，可以藉助華為的大算力、大數據的平台，應用華 為AI晶元支持我們前沿的視覺研究。
我們的視覺研究分成六個方向:底層視覺、語義、理解三維視覺、數據生成、視覺計算、視覺多模態的 融合，這是我們聚焦的基礎研究方向。應用場景包括自動駕駛、平安城市、終端視覺等。由於前沿研究 和應用場景它之間的優化目標不一樣，所以存在著AI使能鴻溝。
下面我以自動駕駛的的目標檢測、平安城市中的行人站識別和終端識別中輕量級網路的設計，來講一下 AI使能鴻溝的問題、工業界是怎麼處理的。
首先以自動駕駛的檢測為例，左邊是學術界研究的目標檢測，它的數據標註比較乾淨、準確，但是工業 界的場景更加複雜，有很多有雜訊的標籤。比如右圖的Car被標註成了巴士了，左邊有一個巴士被錯誤的 標記成了Car了。
處理帶有大量雜訊的數據有兩種辦法，一種是直接處理雜訊的數據，從設計慣性的演算法，自動分類反應 上升的標籤從而進行修正或者丟棄;另外一類就是設計半監督和無監督的方法，使得我們的模型能更好 的泛化在這一弱標籤或者無標籤的樣本上。
學術界的目標檢測，從目前使用最為廣泛的來講，類別和類別之間分類比較清楚，圖像比較清晰，一般 都有比較良好的光照條件，準確率可能是唯一。但是工業界的自動駕駛中，我們收集到的數據類別可能 分布不均勻，也就是標記成本比較高，想像層比較多，所以一些?燈和交通錐桶等這目標標註樣本比較少。
同時，不同應用場景分類的語義有時候比較難以確定，需要組合標籤。例如載人三輪?，首先要進行人 的標註，再進行三輪?的標註，最後再形成一個組合標籤。
在數據採集的時候，反而要採集一些圖像資料比較模糊，光照條件比較差的圖像。比如暗光和誤報的一 些場景，這樣是為了讓更好的訓練我們的演算法、提升系統的性能。
在評價標準上，主要看一些具體的應用，比如檢測一些關鍵的障礙物來制定我們的產量、存量和評價標 准。
學術界中目標檢測，以最常用的目標檢測模型，不太考慮數據分布的不均衡性及各任務之間的依賴關 系，我們的解決方案是要設計考慮一些計算量小的網路模塊，採用多目標、多分枝的設計來解決目標檢測。
第二個例子我以平安城市中的使能站識別為例，左圖是學術界做行人站的識別，它的場景相對比較單 一，是城市或者上空。行人站識別兩個最大的圖像數據集就是多場景、多時間段的兩個數據集，都是我 們這幾年做的工作。
但是工業界使能站的識別，是針對城市群的大規模複雜場景，所以它的條件很難被約束成為理想的條件。那麼以這個多場景、多時間跨度的數據集為例，包括4101個行人，標註行人大概12萬方有15台攝像 機，採集了室內、室外兩種場景的情況，行人的假定能夠被很好的解析出來，準確率是唯一一個評價指標。
在工業實際場景中，要面對的是幾十萬個這樣的行人ID、幾千台甚至幾萬台這樣的攝像機、幾萬張 億級別甚至更多行人的智能圖像，針對校園、社區、街道等多種場景。我們也有園區的項目，經常出現 檢測不準或者錯誤非常嚴重的情況，所以不光是準確率，我們還要考慮模型的大小和速度等。
在行人識別中這是一個非常常用的識別模型是基於人體、部件等等。這是我們在2018年的工作，主要是 說一個圖片整體分成多個模塊，讓不同ID之間能夠區別開來，從而提升系統的鑒別能力。
工業場景中如果用這個方法就比較危險，因為工業數據量特別大，不同的ID之間存在非常相似、甚 至相同的一種模塊，如果還是把相似的模塊完全分開，就有損特徵的提取，從而導致系統性能的急劇下降。
另外，我們如果把預訓練的系統部署到新的場景下，這一系統的性能會下降很快，一個解決方法就是場景遷移，所以在2018年我們華為學生提出了一個方法來縮短數據的鴻溝。這一種演算法提出來後，當然對系統性能是有一些提升的，但是如果應用到實際的工業場景中，生成的圖像的質量還是比較差的。同時 也引入了大量雜訊，雖然對系統性能帶來一定的提升，但是它的天花板效應還是比較低，不能滿足工業 界的要求。
我們的解決方案解決的是如何把一個新的系統探索和部署到新的場景下來，過去它是偏重於跨攝像機的 標註，因為人被不同的攝像機捕捉到，多進行標註。但是我們的解決方案將跨攝像機的標註轉為單攝像 機、單攝像頭的訓練模式，我們只標註行人再一個攝像頭下的數據。因為在一個攝像頭下，行人的檢測 會變的高速自動化，從而極大的減少數據標註的成本和時間。
最後以華為終端視覺輕量的神經網路為例，在學術界輕量級網路在保持準確率的同時，注重如何減少計 算量或者減少模型的參數和模型的大小。但是在工業界要考慮真實硬體的一些指標，比如能耗、速度和 內存等，所以很難用理論的指標。
那麼學習計算機的網路，例如計算量和模型參數的方法，雖然計算量和模型參數降低了，但是實際的速 度還是比較悲觀的，現在工業界的一些輕量級計算偏重於像谷歌、V2這類引入深度分裂的模型，這就提 出了通耗混排的操作，在A3使用NASS的技術進行網路結構搜索。但是存在一些問題，我們要充分的利 用特徵之間的融性，適配特定的一些硬體。
2018年輕劑量級模型常用的思路，就是交叉通道。交叉通道之間的信息可以得到更好的應用，但是交叉 的操作對硬體的實現是不友好的。這種操作對於內存和存量存在著不連續性，所以會導致硬體運行效率的降低。
我們在今年提出了以廉價的線性變換來換取更多的特徵，這樣對計算資源的需求同時因為廉價的線性變 換對硬體友好，所以可以更好的達到這一個目標。
最後，我主要從學術界和工業界的?度來看什麼是創新?學術界和工業界顯然具有互補性，學術界對工 業界價值就為工業界源源不斷的輸送人才，為工業界提供前沿的方向，同時學術界對性能的極致追求為 工業應用打下堅實的基礎。
工業界對學術界一個價值是反饋學界人才迴流，我覺得人才相互流動是一個正常的現象，而且在實踐中 給學術界帶來一種新的方向，最後系統的整合學術界提供一種全局的布局。所以學術界和工業界應該形 成互補互益、?頭並進的狀態。
在領域中也存在很多雙重身份，從學術界到工業界的人，他們的思考我也來分享一下。顏水成是新加坡國立大學的終身教授，也是前360AI分院的院?，現在是依圖科技首席技術官。他認為學術界的研究是否 成功，關鍵是要看技術。另外需要提煉解決問題的方法。學術界節奏可以放慢一點，一個輸出需要幾個 月甚至半年的時間，但是工業界只要能解決問題就是好的人工智慧。
香港中文大學的湯曉歐，也是商湯科技的創始人，他說中國的人工智慧要做好三件事:第一要堅持，把 基礎做好;第二要創新，要做新的東?;第三要把飄在上面的東?落地、做產業化。香港中文大學的賈 佳是亞騰訊優圖的傑出科學家，他的觀點就是「技術要上天、產業要落地」。
還有大家更熟悉的李??，是斯坦福大學教授，前谷歌雲人工智慧的首席科學家。她認為科學到科技再 到產品就像一個4×100接力賽，每一棒都有它特別的功能，學術界應該是4×100的第一棒，工業實驗室是 第二棒，產業和投資是第三棒、第四棒。
最後是紐約大學圖靈獎的獲得者，現在也是Facebook的科學家。他認學界和業界的雙重聯盟，可以同時 為學界和業界做出貢獻，不僅推動了雲識別、圖像識別、文本理解和語言翻譯技術的進步，同時也帶來 了理解智能的基礎科學進展。
這是業界其他雙重身份的人的真知灼?。在我看來創新的核心要素是什麼?我認為創新應以人才為核 心，人才培養其實是一個最大的中心。針對三大要素中計算視覺演算法、算力和數據，學術界更多是以精 巧的演算法設計??，但是工業界在算力和數據方面，有更大的優勢。大算力、大數據給工業界帶來更多創新的可能。
人工智慧行業對人才的需求是非常旺盛的，工業技術對學術界對人才的吸引力主要體現在計算能力、平 台、數據、機遇、合作、干預、成?、落地等方面。工業界對人才的爭奪已經白熱化，不管是中美，大 家都可以看到對人才的爭奪。
什麼是工業界需要的人才?主要有幾點，第一個是要專註於你的領域，並且具有創造力的人才;第二個 是對多個領域有理解力，並且有合作的能力的人才;第三個是能夠把技術真正做落地的，懂人工智慧產 品的人才。比如站在客戶的?度，人工和社會需要什麼?站在應用場景的?度人工智慧可以做什麼?技 術和產品雙驅動，了解產品的需求，了解用戶的體驗，把演算法、數據、計算能力充分的發揮。
工業界也要能夠發現新業務方向，一些舵手結合業務場景、商業模式、具體應用(比如自動駕駛、智能 家居、平安城市這一些產品)如何帶來商業價值的成功。
最後，AI的應用要以人為本，我們要找理想經濟的人才，在功能完善的的基礎上，要考慮人們的精神文 化需求，比如陪護機器人對老人和小孩的陪護。
學術界需要什麼樣的人才?首先做基礎研究。從源頭做起，眼光要?遠，注重技術的創新。問題要從工 業中來，結果要到工業中去做實踐。
學界和工業界人才的培養方式的區別，打一個比方，學術界就是，我提供一個新的演算法，同時把這演算法 交給他人，提煉新方式。對工業界來講，主要著重於找到最合適的方法來解決問題。但是共同點就是需 要理論基礎紮實、工程能力強、善於合作和創新的AI人才。所以要利用這雙重身份把學術界和產業界緊 密連接，為培養AI人才提供最好的方式。
對於華為來說，利用跨界身份的優勢把學術界高水平的研究和工業界的優質的產品實踐結合起來，找到 一個創新性的人才培養模式，幫助我們實現向上捅破天、向下扎到根這種全站式的研發，是我們要做的。
我們培養人才的戰略，是與高校聯合來探索培養學生科學化的方法，與高校學者舉行學術沙?和內部的 交流。在工程能力培養方面，邀請專家定期進行員工的培訓，同時以白皮書的形式分享AI課程，走出溫 室，走出外部培訓我們的員工。最後利用公司強大的數據資源和算力平台支撐，經常做企業文化的傳播，像今天這一個活動一樣。
最後在高校培養AI人才有一些建議。不僅要培養很高的專業素質，也要有很強的工程能力;課程AI變化很快，要注重課程的內容及時更新;設置多學科的交叉專業，同時鼓勵本科生、甚至高中生儘早的接觸前 沿;人工智慧方面，要鼓勵同學多參加程序設計的課程學習，與工業界展開合作，鼓勵學生多參與工程 的實習;最後鼓勵學生創新、產品孵化和AI創業。
以上我發表的一些關於創新的淺?，謝謝大家。
