英特爾AI產品事業部CTO專訪：谷歌TPU表明純GPU不是最佳架構

1 新智元原創

2016 年 8 月，英特爾宣布以 4 億美元的金額收購深度學習晶元公司 Nervana Systems，被外界解讀為英特爾布局深度學習的重要信號。

一年以來，英特爾圍繞 Nervana 做了許多重要的策略調整：3 月 24 日新智元曾報道，英特爾組建了一個統一的 AI 部門 the Artificial Intelligence Products Group (AIPG)，由 Nervana 的 CEO Naveen Rao 統領。 產品方面，英特爾計劃將 Nervana 技術融入英特爾的處理器產品線，這個計劃被稱為 Knights Crest，該計劃被英特爾寄予厚望，是其在深度學習上發力的重要籌碼。

Nervana 已經成為英特爾人工智慧技術實力的代名詞之一。Nervana 創始人擁有獨特背景，是高通神經網路項目研發負責人。Nervana 創業初期以 GPU 技術見長，原本的戰略是利用 GPU 建立軟體生態，然後再把自己的晶元對接到這個生態上，以便用戶可以順利對接。為此，Nervana 提出了和 Tensorflow 競爭的框架 Neon，Neon 的 GPU 優化做得比英偉達還好。

就在英特爾利用 Nervana 抓緊人工智慧布局的時候，人工智慧晶元市場也在悄然發生轉變，今年 5 月的 I/O 大會上，谷歌推出第二代 TPU，並且通過雲服務供用戶使用，第二代 TPU 新增了訓練的功能。不僅如此，谷歌的用戶還能通過專門的網路，在雲端利用 TPU 構建機器學習的超級計算機。

另一方面，在 GPU 市場上佔據主導地位的英偉達也宣布，將推出新產品 Volta GPU 速深度學習的性能比 TPU 更好。

CPU、GPU 和以 TPU為代表的專用晶元構成了現在深度學習上的三大晶元力量，而它們背後的三大公司——英特爾、英偉達和谷歌都在構建基於自己特長的生態，三家公司不僅在晶元，而且在雲端和軟體框架上也存在直接競爭，整個市場一片火熱。

作為一家老牌巨頭，英特爾很少公開談論自己在深度學習上技術與產品布局。7 月 5 日，新智元採訪了英特爾人工智慧產品事業部首席技術官 Amir Khosrowshahi。這是Amir 首次接受國內媒體機構的深度專訪。

Amir Khosrowshahi 在哈佛大學獲得了物理學與數學的學士學位以及物理學碩士學位，並在加州大學伯克利分校獲得了計算神經學博士學位。Amir 在2016年隨著英特爾收購 Nervana Systems 加入了英特爾，此前是 Nervana的聯合創始人和首席技術官。在 2014 年創立 Nervana 之前，Amir 曾在高通公司的神經形態計算部門，從事了一年的模擬 VLSI 感測器研究。他曾有 5 年就讀於加州大學伯克利分校，是 Redwood 理論神經學中心的研究員。他在Redwood的研究領域包括實驗神經科學、機器學習、分布式計算和計算機視覺。

Amir 認為人工智慧和深度學習領域發展很快，谷歌 TPU 和 TensorFlow 的優勢只是暫時的，英特爾有更好的產品。晶元或者說處理器只是構建成功機器學習解決方案很小的一方面，從生產到製造到銷售一整套流程，要配合才能成功。最關鍵的是，英特爾不需要與谷歌競爭，「谷歌、Facebook、亞馬遜、百度……都是英特爾的客戶，所有機器學習框架及其開發者社區，英特爾都樂意支持」。對於市場上相互競爭的框架，以及這些框架和英特爾 Neon 間的競爭，Amir 表示「在英特爾，你能與這些不同的公司都合作」，而不用去管這些公司彼此之間爭得你死我活。

關於英特爾內部重量級的深度學習產品 Knights Crest，Amir 說，這是一個長期的項目，最先與世人見面的將是預計於今年下半年推出的 28 納米晶元 Lake Crest。據 Amir Khosrowshahi 透露，Lake Crest 的特點是有很強的原始計算力（Raw Compute），「是你能在一塊晶元上放的原始計算力的極限」。

Amir 力挺 CPU。現在主流的觀點是，CPU 處理已經不能滿足對計算力的需求，大家都在尋找 CPU 之外可以勝任的協處理器架構，業內最看好的是英偉達的 GPU。但是 Amir 認為，谷歌 TPU 的出現表明或許純 GPU 並不是最適合的架構。他認為隨著人工智慧發展，CPU 不僅不會被推到角落，還會愈發重要。他以 AlpahGo 有機結合神經網路和蒙特卡咯搜索樹的綜合架構為例：如果要做深度學習 + 演化搜索 + 蒙特卡洛樹搜索 + ……，CPU 足夠靈活。「Nervana 在初創公司時曾經跟 CPU 抗爭，很難，現在我們發現這更難了。」

作為神經科學家，Amir 也不看好神經形態計算——類腦晶元的前景。他認為類腦計算從研究來看很有趣，但要成為產品還不切實際。「去模擬一個你還不理解的東西是沒有道理的。」Amir 說。

下面是經過整理的採訪全文實錄。

深度學習不需要那麼高精確度的計算

新智元：2016 年 Nervana 被英特爾收購後，說預計 2017 年 Q1 將推出一款晶元Lake Crest 。現在英特爾宣布 2017 年下半年推出這款晶元。為什麼時間一再延遲？

Amir：其中一個原因是，當時 Nervana 那款晶元是只為了 Nervana 自己製作的。如果放在 Nervana Cloud 上很快就可以出一款晶元。但是，到了英特爾，需要製作為很多不同客戶使用的處理器，這些客戶都是大公司，包括谷歌、Facebook 在內，必須要能完美地運行，在乘積單元之外，還需要做很多事情。Nervana 當時的計劃是製作一款在 Nervana 的數據中心運行的處理器。到了英特爾以後，我們的策略、規格、質量標準都改變了，我們要把「Nervana 為自己做的處理器」變成「英特爾給大家的處理器」，這是發布時間延遲很大一部分原因。這是件好事，因為英特爾在這款晶元上投入了很多。

新智元：英特爾未來 3 到 5 年的 AI 產品線是怎樣的？

Amir：整合了 Nervana 技術以後，英特爾計劃推出名為 Knights Crest 的系列產品線。我們最先公布的是 Lake Crest，這是一款 28 納米的晶元，預計今年下半年上市。這之後，對於深度學習這一塊，我認為未來將朝著兩大不同的方向發展——一是擁有越來越強的計算力，一是整合異構計算。

深度學習領域發展非常迅速，我們必須做好多手準備以確保萬無一失。不同的問題和不同的工作流需要不同的硬體，因此接下來英特爾將有一系列 Crest 產品推出。第一版 Lake Crest 的特點是有很強的原始計算力（Raw Compute），是你能在一塊晶元上放的原始計算力的極限。一方面，隨著工藝的提升，從 28 納米到 16 納米、14 納米、10 納米……Crest 產品將擁有越來越強的計算力，浮點計算和峰值性能也會提升。

另一方面，我們會走一條類似圖像［處理器］的進程。上世紀 90 年代初，圖像處理是在 CPU 上做的，後來有人發明了 GPU（圖像處理器），更適合處理圖像數據，再後來又有人把這個 IP 放到 CPU 里，所有現在我們有了同時有一堆 CPU 核和 GPU 核的 CPU。這種 CPU 里，GPU 核占的比例會根據使用場景產生變化，有時候很大（比如在手機），有時候（比如在數據中心）則會很小或沒有。我認為 Crest 產品線也會這樣，在同一個 CPU 處理器里，既有 CPU 核，也有神經網路核——如果是數據中心用，那麼神經網路核就會多一些，如果是筆記本電腦用，那麼就有神經網路核、GPU 核和 CPU 核。這就是我們對數據中心處理器的預期（vision），現在我們正式公布的只有 Lake Crest，後面的事情不好說。

新智元：後面的事情不好說？

Amir：領域不同的方向在以不同的速度發展。實際部署一個深度學習模型需要的不僅是模型本身，在工程、產品和客戶等其他方面也要配合才能成功並賺錢。有些公司的商業周期很長，因為要打磨產品，而單純看研究，三年後用的技術可能跟三年前完全不同——現在我們用深度學習，三年後我們或許就不用神經網路了，或許用的是完全不同的神經網路……現在研究里我看到令人興奮的東西太多了，最後哪個會大獲成功現在還說不好。所以，為了做好準備，我們有一個多樣化的產品組合，在這方面英特爾有 CPU，也有 FPGA，很多。

在研究方面，英特爾最近成立了人工智慧應用實驗室，我是負責人，實驗室里進行很多研究——有些很瘋狂——就是為了應對將來使用神經網路以外的技術時，英特爾也有適合的產品。我們針對很多不同的架構都有做開發。舉例來說，做深度學習不需要 32 位計算，我們在實驗室開發 16 位、8 位到 2 位、1 位的計算架構。

如果我兩年前這麼說，吳恩達肯定會站出來反對。但現在，吳恩達也是第一批意識到深度學習不需要那麼高精確度計算的人。英特爾與百度合作，在百度大腦開始了實驗室，專門研究低精度運算。現在，我們研究用於激活的 1 位低精度計算。從 32 位到 16 位、8 位……2 位、1 位，這樣從高精度到低精度的發展是必然的趨勢嗎？還是說到了 1 位，就是與 32 位在原理上完全不同的計算了？這是都開放的問題，我們正在研究。

新智元：你們與百度合作，百度有意向研發自己的晶元嗎？

Amir：百度有很強的硬體團隊，也在開發自己的 FPGA 產品。但這個問題你得問陸奇（笑）。

深度學習模型在某種程度上可能朝著暴力計算髮展

新智元：CPU 的未來會怎麼樣？

Amir：Nervana 在初創公司時曾經跟 CPU 抗爭，很難，現在我們發現這更難了。現在的深度學習模型在某種程度上可能朝著暴力計算髮展，需要輸入大量的數據才能分辨事物。未來的深度學習模型可能更小、模型利用率更高，這樣就不需要幾十億的 TPFLOTS——實際上，深度學習，要成功，要超越競爭者，不僅僅看 TPFLOTS。

另外，有一個很好的例子 AlphaGo，AlphaGo 展現了一種非常有趣的架構，一方面有不同的卷積神經網路，一方面是蒙特卡洛搜索樹。兩者有機地結合——你很難將兩者區分開來。而開發一種架構做這些不同的事情是很難的，因此 CPU 可能是為這種綜合架構做計算最好的選擇。所以，將來你要做深度學習 + 演化搜索 + 蒙特卡洛樹搜索 + ……，CPU 足夠靈活。我認為，在未來 CPU 將永遠重要（relevant）。

當然，就像我剛才說的那樣，要成功不僅僅是靠處理器，還有生態系統和商業模式要考慮，以及真正做出能用、能賣得出去的東西。

硬體團隊最該過硬的是軟體部門

新智元：去年新智元採訪了 Nervana CEO，也是現在英特爾公司副總裁兼英特爾人工智慧產品事業部總經理 Naveen Rao，他說英特爾的一大強項是有非常完備的產品組合，能夠針對不同的需求提供不同的產品。但正如你所說，技術和市場在快速發展，尤其是人工智慧和深度學習。英特爾如何確保自己隨時都能滿足客戶新的需求？

Amir：技術周期是比較長的，這期間晶元的架構確實可能過時，或者有競爭對手出現。但是，在Nervana 也好，在英特爾也一樣，我們發現做機器學習是非常難的一件事情——並不是難在你做出一款能解決一切的超級晶元，而是難在周圍的事情。谷歌在 2015 年發表了一篇很有意思的論文，叫《構建機器學習系統的技術難點》（注釋：實際上論文題為「Hidden Technical Debt In Building A Machine Learning System」，谷歌團隊在 2015 年 NIPS 發表）。

論文裡面有張圖，晶元是中間黑色的小小一塊，周圍是其他各種工程上的問題，比如安全、延遲……只有集齊了這些才能做出一個好的解決方案。要做好深度學習不僅僅是靠處理器。

當然，話說回來，在英特爾，我們有實驗室，在很多很酷很激動人心的項目，我們也有把其中一些做成產品——那就是 AIPG （英特爾的人工智慧產品集團）上場的地方——我希望這些將來都能有所應用。在你看見的產品之外，英特爾在研發方面有很大的投資。另一方面，現在你看到的已經做出來的產品，它們之所以存在，不僅僅是由於技術好用，也是因為它們足夠穩定可靠。

新智元：確實，除了晶元或者說硬體以外，更多是構建生態系統的過程。在愈發講究「軟硬結合」的現在，英特爾 AI 產品在軟體方面有什麼布局呢？

Amir：在業內有句話叫，「硬體團隊最該過硬的是軟體部門」（The hardest part of your hardware team is your software team）。軟體團隊總是比硬體團隊要大得多得多。開發在硬體處理器上跑的軟體是一項浩大的工程，在英特爾 AIPG 是這樣，Xeon 和 Xeon Phi 團隊也是如此。

在軟體方面，我特別想說的是 Nervana Graph。你知道，最底層是硬體，然後是神經網路做矩陣乘積，實際上在這中間還有一層，是所有框架都共享的，TensorFlow、Neon、Torch、PaddlePaddle……都使用圖、動態圖、卷積、嵌入層……雖然 TensorFlow 和 Torch 語言不同，但實際做的運算都一樣。我們發現，現在是一個絕好的時機，把所有這些框架共同的特徵都放到一個庫里，我們叫做 Ngraph，這是一個數據流的圖庫，在 Ngraph 里圖（Graph）是深度學習運算，邊緣（Edge）是數據。有了 Ngraph，英特爾作為硬體供應商，就能支持所有的框架，無論你使用哪種框架，新建一個框架也行，我們都樂意支持。

英特爾能與不同的公司合作，而這些公司彼此之間爭得你死我活

新智元：軟體方面，谷歌推出了 TensorFlow 並且形成了如今最大的機器學習開發者社區，遠遠超過 Neon。英特爾如何與此競爭呢？

Amir：Neon 與 TensorFlow 不同的地方在於，Neon 有英特爾這家硬體供應商的支持，可以做全棧的支撐。我們能夠確保在 Neon 上運行神經網路是最快的。其他的框架，由於不在我們掌控之內，速度可能不會那麼好，因為沒有做針對性的優化。TensorFlow 也不是完美的，也有架構上的問題。需要記住，TensorFlow 才出現一年，現在領域變化這麼快，很可能未來會出現其他框架超越 TensorFlow——可能是 Neon，也可能是俄羅斯來的研究生。我們與 TensorFlow 的競爭都是友好的，我以前實驗室的同學就在 TensorFlow。我們相互「競爭」是為了讓產品更好。

實際上，英特爾並不會跟谷歌「競爭」。谷歌是我們的客戶，Facebook 也是，亞馬遜也是。如果客戶喜歡用 TensorFlow，我們會專門為他們優化 TensorFlow，我自己就參加了很多這樣的會議。我們想要框架運行的速度最快，現在市場上相互競爭的框架這麼多，英特爾也為此做了很多投入。實際上，我們之所以加入英特爾，就是因為在英特爾你能與這些不同的公司都合作，而這些公司彼此之間爭得你死我活。

我們正在開發我們認為比 TPU 第二代更好的晶元

新智元：谷歌前不久發布了第二代 TPU，與谷歌雲綁定，對使用谷歌雲的客戶提供。從公布的數據上看，你認為 TPU 第二代如何？谷歌將 TPU 和雲服務綁定的商業模式呢？

Amir：谷歌 TPU 第二代的細節我們還不清楚，但看公布的性能數據確實漂亮——圖像也很漂亮。谷歌是家偉大的公司，說什麼就做什麼，而且做到，我對此表示敬意。實際上，我們成立 Nervana 時就是以谷歌大腦為目標——Nervana 要做每個人的谷歌大腦。回到技術上，TPU 第一代是很有趣的產品，第一代 TPU 表明為問題定製專門的晶元是未來的發展方向。谷歌很聰明，為他們的數據中心開發了自己的晶元。這表明，對於訓練來說，或者就整個架構而言，純 GPU 也許並不是最好的解決方案。

至於 TPU 第二代，我能告訴你的是，我們正在開發我們認為比 TPU 第二代更好的晶元，這是英特爾核心競爭力所在。而且，我們的產品所有人都能買。TPU 第二代性能數據是很好，但我們很有信心能做出更好的晶元——我們有合適的架構，是可擴展的，可以根據需要變動。和雲綁定的商業模式很好，我們在 Nervana 就是這麼做的。英特爾也在構建定製的垂直堆棧。總之，谷歌的產品很好，商業模式也不錯，但我們手頭在做的產品要好更多。

英偉達開源很好，但硬體開源並沒有多大用

新智元：你對開源硬體這件事怎麼看？

Amir：製造硬體是一件艱苦卓絕的事情。在英特爾，有專門的化學家用化學藥劑腐蝕硅晶圓……晶元製作工藝複雜而美妙，可以說是人類所做的最神奇的事情之一。英特爾有自己的工廠，有化學家、計算機科學家、架構師等等等等。生產處理器，設計並不是最困難的，困難的是做出能用的東西。相比直接說，「給，這是這個東西的設計圖」，把東西切切實實做出來要困難成千上萬倍。只看設計方案，很難做出能用的東西——也許有聰明的人會，但英特爾厲害之處在於從化學到硅晶圓加工到設計再到生產製造，一整套流程，能夠產出缺陷少、成本低的產品，消費者能用很低的價格買到。

英偉達開源很好，英偉達有很厲害的工程師——我們團隊里就有很多來自英偉達的工程師。但是，製作供大眾使用的處理器，開源並沒有多大的作用，至少我認為如此。但我是個神經科學家，或許我是錯的呢：）

類腦晶元前景：去模擬一個你不理解的東西是沒有道理的

新智元：是的，你擁有神經科學背景，Nervana 的晶元也借鑒了神經科學原理。你怎麼看類腦晶元的前景？

Amir：類腦晶元或者說神經形態計算在上世紀 90 年代由加州理工的 Carver Mead 提出的，他認為你能用模擬晶元模仿人腦神經元和突觸的活動。人腦神經衝動傳遞是一個逐漸的過程，只有當積累的電量超過一個設定的界限時信號才會通過，因此能耗非常低。Mead 將這個概念進一步發展，認為能製作晶元，用類似的方式進行計算。但是，他並沒有認為我們要完全模仿大腦。原始的概念是，你能用非精確的計算要素，結合這種閾值，進行精確的計算。這個概念由來已久，是馮·諾依曼在上世紀 50 年代提出的：你能用非精確的要素製作能夠進行精確計算的計算機。這也是我們能從這一思想中汲取的主要靈感。現在，在類腦領域，有脈衝神經網路，在模擬人類的大腦，細粒度、非同步、分布式……這些都很好，從研究的角度看。但從實用的角度說，我們現在還不知道如何訓練這些系統，讓它們在生產上發揮功用。

如今的神經網路跟脈衝神經網路極為不同，可以說是完全不同的領域。確實，如今的神經網路受生物學啟發而來，但這種啟發十分有限。我研究生物學研究了很長時間，非常清楚我們對大腦的理解還非常有限，無法轉換成產品。我們要做產品的是機器學習，而不是神經科學。IBM 的 TrueNorth 等等神經形態晶元都很好，是很棒的研究理念，但是更像是拿著鎚子找釘子。我認為，去模擬一個你不理解的東西是沒有道理的。

如今的深度學習、神經網路借鑒神經科學的原理。例如，現在有論文借鑒了注意力機制（Attention），這來自心理學。現在的神經網路研究借鑒了很多不同學科的知識，但並不是要去完全模擬這些東西。而且，就算 TrueNorth 也跟真正的神經網路很不同，相似的只有一小部分。人類的神經元非常複雜，還與幾十億其他神經元連接，既有模擬特性也有數字特性。我這樣說是因為我是神經科學家——我在入行前做了很多年神經科學的研究，那些認為能夠通過模仿大腦構建出類似大腦神經形態晶元的人，很多都不是神經科學家，沒有受過我所經受的折磨——做實驗拿著探針刺進大腦卻不知道究竟要找什麼。我熱愛神經科學，或許將來我們能從神經科學中找到靈感，能轉換為人工智慧晶元架構和產品。實際上，英特爾也有類腦晶元的研究。但是，產品還是很遙遠的事。

點擊閱讀原文查看新智元招聘信息

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！