Facebook阿里入局，誰主AI晶元？英特爾人工智慧事業部副總裁專訪

新智元原創

作者：聞菲

【新智元導讀】Facebook、阿里紛紛進軍AI晶元，整個產業生態系統在升級，未來誰將主導AI晶元？日前，英特爾人工智慧事業部副總裁、人工智慧實驗室和軟體總經理Arjun Bansal博士接受了新智元的專訪，對AI晶元局勢以及AI技術的發展做了分析。與谷歌、Facebook專門為自己打造AI晶元不同，英特爾的定位是為客戶和合作方實現選擇最大化，各種解決方案都有。同時，Bansal博士也強調了AI晶元初創公司的艱難，與擁有從設計到製造整套流程以及強大生態的英特爾相比，競爭仍然很難。

AI晶元的戰場更加熱鬧了。4月18日，Facebook宣布招聘ASIC和FPGA設計工程師，向設計自己的AI晶元邁出了第一步。

4月19日，國內巨頭阿里巴巴宣布正在自主研發AI晶元。這款由阿里巴巴達摩院研發的AI晶元是一款神經網路晶元，名叫Ali-NPU，將用於圖像和視頻分析、雲計算等商業場景的AI推理運算問題。

Facebook和阿里巴巴的入局，表明互聯網巨頭自主研發AI晶元已是大勢所趨。在此之前，谷歌、蘋果、微軟、亞馬遜等公司，都紛紛自研AI晶元。

谷歌從2012年左右開始研發名為張量處理器（TPU）的專用AI晶元，現在已經公布到第二代，既能推理也能訓練，針對谷歌的深度學習框架TensorFlow做了優化；2017年谷歌開放Cloud TPU雲服務，任何人都能通過谷歌雲租借TPU。此外，谷歌還自研了圖像專用晶元Pixel Visual Core，用於谷歌的智能手機Pixel 2，今年下半年發布的Google Pixel 3也採用自主研發的SoC晶元。

蘋果公司則為iPhone設計晶元，並在去年隨著iPhone 8和iPhone X的發布，公布了神經引擎（Neural Engine），作為其A11仿生晶元的一部分。微軟早前投注FPGA，這已經成為微軟Azure雲計算系統的基礎，提供比GPU更靈活的架構和更低的功耗；微軟也在為下一代HoloLens混合現實頭戴設備研發專門的AI晶元。至於亞馬遜，則是在今年初宣布為智能音箱Echo/Alexa打造專用AI晶元，同時也有外媒報道，亞馬遜可能正在為其雲計算部門AWS開發AI處理器。晶元支撐未來發展，但如今似乎軟體定義硬體的趨勢愈加明顯。

晶元是支撐AI的基礎。而由於AI晶元受演算法和模型影響非常大，因此掌握演算法和模型，自己做軟體和服務的公司，如果精確地了解自己要什麼，比如谷歌，比如最新加入戰局的Facebook和阿里，與其等待英特爾和英偉達等傳統硬體商，自己出手造芯反而能更快更准，更能滿足自己特定的需求。

同時，像谷歌這樣，將TPU與谷歌雲和TensorFlow綁定——TensorFlow在TPU上會有更好的運行效果，而谷歌也將TPU實現的AI計算優勢通過谷歌雲提供，為自己構建起生態閉環。

所有這些，無疑都對傳統的硬體製造商，提出了更大的挑戰。在AI晶元戰火更旺的當下，CPU巨頭英特爾通過收購Nervana Systems（神經網路專用加速器NNP）、Mobileye（自動駕駛）、Movidius（視覺處理晶元）、Altera（FPGA）等公司，在AI晶元領域構建起從雲到端各種應用比較完善的布局。然而，收購這一行為本身，從一定程度上反映了自主研發的滯後。

在谷歌、阿里等巨頭紛紛進軍AI晶元，眾多AI晶元初創公司湧現的當下，英特爾如何應對？

日前，英特爾人工智慧事業部副總裁、人工智慧實驗室和軟體總經理Arjun Bansal博士接受了新智元的專訪，對AI晶元局勢以及AI技術的發展做了分析。

英特爾人工智慧事業部副總裁、人工智慧實驗室和軟體總經理Arjun Bansal。在2016年8月英特爾收購Nervana System之前，他是Nervana的聯合創始人兼演算法副總裁，領導機器學習軟體與數據科學部。他的研究領域包括神經生理學和大規模機器學習。Arjun在加州理工大學獲得了計算機科學學士學位，在布朗大學獲得了神經科學博士學位，並在波士頓兒童醫院和哈佛醫學院完成了博士後研究。

Bansal博士是Nervana的聯合創始人之一，他表示英特爾的優勢在於從晶元設計、製造到銷售一整套流程和生態的強大。作為曾經的AI晶元初創公司的一份子，他十分了解初創晶元公司面臨的挑戰。要真正實現原型的量產，有很多具體的細節需要去考慮，包括市場和銷售。「英特爾的優勢並不是只在晶元本身，而是結合了產品、技術、生態系統的一個合力。」Bansal博士說。

或許這也是在眾多公司進軍AI晶元，眾多初創公司喊出在速度或性能上超越CPU多少多少倍，而英特爾Nervana神經網路專用處理器延遲發布，英特爾仍然遊刃有餘的一個原因。

同時，這也再次印證了AI晶元創業和市場開拓的艱難。中國的眾多AI晶元初創公司，即使擁有很好的產品，前路也似乎依然坎坷。

採訪中的另一個重點，是英特爾的定位——Bansal博士在介紹英特爾智能醫療布局時表示，英特爾要做的，是成為對客戶和合作夥伴來說，能夠實現選擇最大化的一家公司。

「我們英特爾主要還是根據不同客戶的需求，在全棧的不同層級上都有相應的能力匹配，英特爾並不認為可以一刀切。」

這一點也體現在英特爾的AI處理器——英特爾Nervana神經網路處理器（NNP）上面。英特爾Nervana NNP是專為深度學習設計的架構。這種新架構的目標是提供深度學習所需的靈活性，以支持所有深度學習元語（primitives），同時使核心硬體組件儘可能高效。

Nervana從2016年前開始規劃神經網路處理器（也即現在英特爾Nervana NNP），Bansal博士說，如今AI的發展符合他們的預期，雖然市面上出現了眾多AI晶元，但他們仍然有自信NNP能滿足當前以及未來深度學習所需。

與谷歌、亞馬遜專門為了自己的軟體和應用而設計的AI晶元相比，英特爾Nervana NNP可以稱得上是「大家的AI處理器」。

PC時代X86架構一統天下的時代已經過去，未來也不大可能出現一款AI晶元統領一切。然而，還是會有勝利者，在各個不同的垂直領域，分得更大的蛋糕。

以下為整理後的採訪錄音。

深度學習發展保持穩定，軟體整合是痛點

新智元：對於計算機體系結構來說現在是一個令人激動的新時代。得益於深度學習，AI晶元領域出現了很多新的架構，在這些眾多新架構裡面，有英特爾沒有考慮過的嗎？考慮過但沒有繼續深入的原因是什麼？

Arjun Bansal：的確現在有很多新的面向深度學習的架構，英特爾在這方面有自己的Nervana神經網路處理器（NNP），NNP專為加速神經網路設計，採用標準緩存層次結構，在片上片下都有大量存儲，並使用軟體來管理片上內存，連接也使用大的帶寬，從而為深度學習模型實現更快的訓練時間。另外比如說Movidius架構，用於要求低功耗和邊緣計算應用，它和X86非常不一樣，能夠用在AR相機或無人機上進行視頻分析。英特爾還收購了Mobileye公司，它的能力主要是在汽車領域。還有FPGA，很靈活，實際上有很多自動駕駛公司使用FPGA，因為演算法和模型在不斷演變。還有一種是集成GPU，很多產品比如筆記本，都已經使用，可以用於語音識別、圖像識別等任務。現在市面上有很多新的想法，英特爾不會輕易追隨，但是我們會仔細地觀察每一個新的想法。

新智元：設計晶元需要對技術的發展進行預判。Nervana在2016年之前就考慮做神經網路加速器，現在看AI技術發展是否符合你們當初的預期？

Arjun Bansal：設計處理器的目的是優化深度學習的元語（primitives），而我們看深度學習中進行的計算，主要是卷積、密集矩陣乘積、elementwise operations、非線性等等，過去三四年里，這些primitives基本保持穩定，沒有超出我們當時的預期，未來三到四年也將繼續如此。因此，我們仍然很有能力滿足當前和今後神經網路計算所需。在編譯器方面，我們有nGraph，能夠讓開發人員比較簡單易行地從事相關的開發，可以運行在英特爾至強可擴展處理器上。

新智元：剛才您提到nGraph，去年Facebook、亞馬遜等聯合發布了ONNX，同樣作為深度學習的中間表示，現在已經獲得相當大的受眾和競爭力。nGraph如何與ONNX以及其他類似的IR競爭？您如何看未來深度學習軟體整合的發展？

Arjun Bansal：我們與ONNX並不是直接競爭關係，英特爾也是ONNX聯盟的一分子，也參與一些標準界定工作，nGraph也支持ONNX中間表示（IR），nGraph有編譯器和執行器，可以在CPU上實現，可以在NNP上實現，也可以在GPU上實現，支持不同的框架。目前nGraph的IR只支持推理，因此很顯然我們還需要能夠支持訓練的。

目前ONNX在做的和nGraph在做的更多是互補，我們還需要繼續工作，確保一個API或者一個中間表示能夠適用於不同的框架，這樣數據科學家就可以無縫的「開箱即用」。nGraph和ONNX都是開源的項目，我們也邀請其他感興趣的方面可以一起參與到我們的合作中。我們的重點就在於把研究開發的成果儘早、儘快的體現在具體的產品當中。目前的一個技術難點是在模型研究、數據中心部署、邊緣計算方面有很多不同的方法，但是這些方法之間彼此切換並不容易，這是英特爾想要解決的一個痛點。

單靠晶元並不能贏得市場，創業公司難以撬動既有生態

新智元：英特爾Nervana神經網路處理器是業界非常關注的一款處理器產品，但一直沒有發布。與此同時，以谷歌TPU為代表，各種AI晶元產品問世，今年很多AI晶元創業公司也都發布產品，衝擊市場。這種情況下您是否感到有壓力？

Arjun Bansal：我不會用「壓力」這個詞，我覺得現在正是進入市場一個非常有趣的時間點。把一個產品帶入市場是非常複雜的過程，我們的信心來自於英特爾在製造的能力、演算法和模型的能力，並且和客戶已有的pipeline、工具鏈進行集成的能力。英特爾有自己專業的技術，但更重要的是我們和現有的整個生態系統的配合非常好，比如不同的用戶對於功耗、對於尺寸、對於形態都會有自己的想法和考慮，英特爾在這方面有很豐富和專業的經驗。

作為Nervana的聯合創始人之一，我非常了解初創晶元公司面臨的挑戰。要真正實現原型的量產，實際上是有很多具體的細節需要去考慮，包括市場和銷售。現在加入英特爾，我們能有效利用英特爾和整個生態系統不同的相關方之間的關係。我們的優勢並不是只在晶元本身，而是結合了產品、技術、生態系統的一個合力。

新智元：基礎演算法發展會給行業帶來很多不確定性，五年以後可能演算法全都變了，英特爾為此做了哪些準備？

Arjun Bansal：我們做了大量的研究工作，密切關注追蹤這些趨勢的發展。英特爾有自己的研究院，還有專門的AI部門，也在做大量工作。我們會關注業界最新發布的成果，我們和學界，包括面向整個產業，服務於整個產業的研究機構之間都有配合，看看能夠怎麼比較好的把研究成果和我們的硬體匹配起來。在研究和硬體開發之間我們有非常緊密的配合，不會說市場突然出現一個東西，忽然讓我們大吃一驚，這種情況不會出現。

未來四五年的重點是將AI能力變為產品原型

新智元：您怎麼看未來演算法的發展？有什麼值得關注的趨勢？

Arjun Bansal：現在推動AI發展的主導力量是監督學習，需要大量帶標籤的數據集。未來值得關注的方向是無監督學習、半監督學習、強化學習，其中有的會不需要那麼多數據但需要更多計算，還有的則需要在模擬和計算之間有新的動態，從硬體的角度看，這些都是值得關注的趨勢。從AI研究的角度，則是如何讓AI技術賦能產品。所以未來四五年的重點，是將這些AI能力變為產品原型，比如將語音識別或圖像識別模型融入pipeline，為各行各業帶來能力。再遠一點，則是構建能夠綜合語音、圖像等能力的系統，結合強化學習，甚至類腦計算系統，得到更加有常識的機器。

新智元：硬體團隊最該過硬的是軟體部門。作為軟體部門負責人，你們在招收人才時有怎樣的標準？如何吸引人才？

Arjun Bansal：對外界來說「軟體」只是一個詞，實際上軟體可以細分到四五個層級，在比較低的層級上，比如說驅動、固件、系統級的軟體，在此之上是優化層，這裡面可以用到NNP，這之上是編譯器，比如NGraph，還要確保它們能夠在框架當中正常運行，各家都有自己的框架，比如TensorFlow、BigDL，在系統編譯器方面我們能夠為數據科學家提供他們所需要的編譯器。在上述幾個領域我們都要招募人才。

英特爾對產業有很大影響力，基本上你走到世界上任何一個屋子裡都能找到一個用到英特爾的東西，從這一點上說，我們對人才還是很有吸引力的。在AI方面，實際上英特爾做了很多工作，也有很多的部署，雖然並不是家喻戶曉，但從事這一行的人還是知道的，英特爾對於AI的影響還是非常大。所以我們能夠吸引到人才。

新智元：那這些人都從哪裡來？

Arjun Bansal：各方各面都有。在數據科學家方面，我們關注Kaggle專業類競賽，也會招收神經科學、物理學博士，在硬體還有系統級方面，英特爾現有人才已經非常豐富了。

英特爾的定位：實現選擇最大化

新智元：英特爾與許多醫療相關的企業和研究機構合作，在選擇合作夥伴和項目方面的標準是什麼？

Arjun Bansal：英特爾在智能醫療領域的合作夥伴，比如說生物技術公司、醫院還有醫藥公司，很多都是我們既有的客戶，他們已經大量使用英特爾的計算和存儲產品。我們和這些既有的合作夥伴一起，在新的AI領域當中合作。有一些合作方可能沒有自己的數據科學家資源，我們會為他們提供相應的能力，有一些合作方有自己的數據科學家資源，我們英特爾幫他們做的主要是對模型進一步優化，比如軟體或者晶元。因為我們能夠提供全棧式解決方案，所以具體的合作取決於合作方的需求和他們內部的能力，比如需要獲得診斷能力的醫院，我們會按照他們需要的方式，將技術或者原型投入到主流的實際產品當中去。

新智元：英特爾對於精準醫療的生態有怎樣的設想和布局？最先落地的或者說目前成果最多的是哪方面的應用？

Arjun Bansal：我們密切關注著這個市場的變化，精準醫療需要大量的技術支撐，所以演算法和模型會很關鍵。我們有和數據收集和分析有關的項目，也有針對個人用戶的核磁共振和CT掃描的解決方案，還有對系統收集和觀察到的東西進行分析的能力。我們在智能醫療上大力投入，但我們的工作目標並不是生產面向最終消費者的產品，而是與合作夥伴，包括獨立軟體開發商共同合作。英特爾擁有端到端的、業界領先的人工智慧全棧解決方案，我們會與合作方配合，針對不同的使用目的，提供特定的解決方案。

我認為落地比較快的是CPU方面的成果。從數據科學家角度來說，第一步還是從CPU開始的。再下一步要看具體的情況，比如說對於計算能力的要求、對於數據分析能力的要求、對於延時的要求、對於速度的要求、對於內存規模的要求，不同的要求會有不同的解決方案，這取決於最終的用途到底是什麼。所以，英特爾的優勢是在於我們提供選擇的空間，你可以根據自己的實際需要來選擇，是使用FPGA還是CPU還是NNP（神經網路處理器）。

至於應用，在輔助醫生閱片方面，我們與浙江醫院合作，已經有實際部署，病人已經在使用了。演算法有一定的能力，準確度也在不斷提高，但是仍然處在將原型帶到這個市場變成實際產品的過程當中。在這個過程當中，還是要針對不同的用途，面向不同的挑戰來進行處理。比如說有一些我們的合作方或者客戶，它面臨的是政府監管的挑戰，還有一些是社會認知上的誤解，覺得這些新技術的採用會讓很多人失去飯碗。還有一些人比較關注個人隱私，數據會不會被泄露。所以還是要看不同用途、不同挑戰，根據合作夥伴的實際需要相應的加以處理。在中國和印度這種人口很多，但相對來說醫生數量又不夠的國家，相應的部署速度還是非常快的。

新智元：現在醫療領域很大一部分數據是圖像數據，而說到影像處理，GPU有天然的優勢，英偉達也在智能醫療領域大量投入，建立了生態。與之相比，英特爾的特點和優勢在哪裡？

Arjun Bansal：前面我提到英特爾與浙江醫院的合作，甲狀腺檢測，就是處理醫療影像。另外我們與GE醫療合作，主要是做CT掃描，還有合作方做核磁共振，以及做腫瘤檢測、人體器官掃描分析，這些都涉及圖像處理。實際上現在在醫學影像方面，我們做得還是不錯的，也有實際客戶在使用。醫學影像一個很大的挑戰，就是需要在內存裡面放大量的數據組，這意味著要實現深度學習的能力，需要佔用很大的位元組空間，而CPU在處理大量數據的時候，精度是比GPU更高的。在自然語言處理和位元組空間上我們有一定的技術優勢，這也是我們接下來繼續努力的方向，就是如何把大規模的數據放在內存裡面。然後在此基礎上，還要有空間去訓練模型，這也是英特爾可以做的。

總之，對客戶也好、對供應商也好、對夥伴也好，我們是可以實現選擇最大化的那一家公司。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！