人工智慧急需變革？比起英特爾焦慮，互聯網企業將蹚這一池晶元水

深度學習發展至今，成熟功能模塊的下沉將是必然的趨勢。

新年剛過，人工智慧界先後有兩次理論上的新知公諸於世：一是圖靈獎獲得者David Patterson與John Hennessy發布論文稱計算機體系結構的新黃金時代將到來，二是計算機視覺奠基者之一Alan Yuille公開懟了一波深度學習，他認為神經網路已進入瓶頸期，現在科研人員一股腦兒湧入深度學習不利於軟體演算法的發展。

透過兩則消息，不難察覺到人工智慧產業急需變革的呼聲已經十分強烈，無論是硬體端還是軟體演算法，而它確實要迎來了新的發展階段。事實上，隨著市場需求變化和技術迭代，一直以來軟體演算法和硬體晶元雖各自發展卻也如兩股互相「博弈」的力量般糾纏不休。而當深度學習發展步入模式時，一邊是專家對創新衰退的憂慮，另一邊則預示著深度學習架構的發展已經邁入一定的成熟階段，此時將部分功能下沉到硬體端的需求則順勢衍生。

圖 |《計算機體系結構的新黃金時代》

在《計算機體系結構的新黃金時代》中，Patterson和Hennessy這樣寫道，「計算機體系結構領域將迎來又一個黃金十年，就像20世紀80年代我們做研究那時一樣，新的架構設計將會帶來更低的成本，更優的能耗、安全和性能。」如所言，在深度學習演算法熱潮過後，2019年的硬體產業也開始了新的蠢蠢欲動，而在AI賦能應用的大背景下，它具體表現為推理晶元市場的崛起。

英特爾沉不住氣了，推理晶元市場開啟群雄爭霸

回到2019年年初前後這一期間，迎來了歷史轉型期的晶元市場可以說動蕩不安，一邊存儲晶元價格在漲一波跌一波的雲雨之中起伏；另一邊為了滿足人工智慧催生的產能需求，英特爾、美光等老牌IDM廠商開始大肆興建起工廠。而不同於已有的成熟市場，有一部分新興的AI晶元市場也逐漸有了蓬勃生長的態勢，產業化發展向好。

「苗頭」就出現在CES 2019上，英特爾高調宣布與Facebook合作開發一款AI推理晶元，並宣稱將於2019年下半年完成。

在曝光度極高的CES上，提前半年大肆宣傳並隆重預告這一款公眾並不熟知的推理晶元，作為x86架構締造者，佔據數據中心伺服器市場90%份額的英特爾，顯然有些沉不住氣了。

圖 | 英特爾宣布與Facebook合作推出推理晶元

無獨有偶，在研發推理晶元這件事情上，各家有能力爭一塊蛋糕的廠商也都開始摩拳擦掌，不出意外得集中在2019年前後幾個月推出自家產品。2018年9月，英偉達推出自己的推理預測晶元；11月，亞馬遜召開re:Invent大會，在會議上隆重發布了一款專用推理晶元AWS Inferentia，以用於自己的伺服器推理任務處理；而阿里也透露了自己首款推理晶元Ali-NPU的發布時間，同Facebook相近，定在了2019年中。

在2019年前後巨頭們不約而同得帶起了一波「節奏」，這樣的集群效應或多或少說明了專用推理晶元系統市場已經開始要「變天」。

數據統計顯示，到2021年，訓練市場規模將增長到82億美元，而推理市場規模將達到118億美元，超出前者近四十億美元。時間緊迫，機會轉瞬即逝，在沒有巨頭的大片「藍海」市場面前，換作誰都是要坐不住的。

一場由互聯網企業引發的晶元之戰

既知是藍海，早些年亦有許多科研院所在積極研究，巨頭們卻都到今年才遲遲動手，是為何？

Facebook公開道出了其中的緣由。

去年四月份，Facebook暗地裡組建晶元團隊的事情被彭博社報道，稱它想擺脫對英特爾和高通的依賴，隨後成為熱議的焦點。後沒有多久，在一年一度的大會上，Facebook的高管大大方方承認了。

作為一家互聯網公司，Facebook坦言它的初衷不是為造晶元而造晶元，實則是深受成本成倍增加之苦但同時又尋不到更優硬體方案，無奈使然。2018年末的大會上，對於這一點，Facebook高管Jason Taylor就直接毫不留情的懟了當時市面上的推理晶元：「市面上是有很多加速器晶元，但是我們發現他們設計的晶元在完成關鍵工作負載任務的能力上，值得考量。」

言下之意，Taylor認為很多公司在沒有弄清楚深度學習應用端需要處理的推理任務有哪些就開始造晶元，頗有亂打亂撞的嫌疑。而在深度學習演算法的應用上，以精準營銷著長的Facebook似乎也更有發言權。

圖 | 精準營銷

據公司工程師Kim Hazelwood介紹，每天Facebook的AI應用程序產生超過200萬億個推送，翻譯超過50億個文本，並自動刪除超過一百萬個假賬戶，在推理功能上，Facebook的任務計算量是其他任務的100倍。官方透露的數據顯示，2018年，Facebook的資本支出大約在140億美元，2019年，這個數字預計將增長到200億美元，其中很大一部分支出都在數據中心伺服器上。

但苦於沒有合適替代方案，今天Facebook還不得不採用「CPU+GPU」的伺服器。

和Facebook類似，最接近應用，需求也是最為強烈，因而谷歌、亞馬遜、阿里等將人工智慧與互聯網應用融合密切的企業都不可避免的遇到了這個問題，因而也陸續開啟了自研晶元之路。

不可不知的「鼻祖」

在這組互聯網梯隊中，谷歌是第一位吃螃蟹的「人」，同時它用這個秘密武器助力AlphaGo戰勝李世石，引起轟動。而這裡的秘密武器就是谷歌TPU（張量處理單元）。

圖 | 谷歌TPU

其實2017年，當谷歌重磅推出TPU時，很多人都好奇作為一家成功的互聯網公司，谷歌怎麼突然有興趣做起了晶元，還做出了這樣一款「腦洞大開」的晶元？

在後來的公開論文中，谷歌提到其實自己的軟體服務背後需要龐大的伺服器網路在支持，即需要難以計數的硬體伺服器日夜運行。提供的數據顯示，為了支持各類大量的數據應用，谷歌當時已經在全球四個洲建有15個倉庫般大小的數據中心。

但是隨著深度學習演算法的出現，令谷歌自己驚奇的事情發生了。在後來計算機架構專家David Patterson和Norm Jouppi合著的論文中，他們提到這樣一個細節：六年前，谷歌開始為安卓操作系統添加語音識別功能之後，原來相對充裕的計算能力突然間捉襟見肘，根據當時谷歌工程師的推算——如果世界上每一台安卓手機每天都使用3分鐘的語音搜索功能，且識別率百分之百正確，即一次搜索成功，那麼谷歌的數據中心的規模就起碼要翻倍。

這樣的解釋，與Facebook後提到的境況幾近相同。

意識到這樣的問題，谷歌為這樣的大規模擴張需求而背後生寒，更何況當時還只是深度學習演算法應用剛剛開始的階段。因此在慎重考慮了語音識別技術的迅速發展和推理運算需求的激增等情況之後，谷歌決定開發專屬推理晶元以替代性能不足的CPU，即後來的TPU。

不過當時外界只知谷歌街景、AlphaGo等應用中用到了TPU，對於「蒙上一層面紗」的TPU到底為何物，眾說紛紜。後來直到看見谷歌公開發表的TPU論文並眼見AlphaGo的成功，眾人才意識到谷歌TPU劃時代的意義。

寒武紀陳天石毫不吝嗇得用了「濃墨重彩」一詞盛讚其對於整個產業發展的意義；而英偉達黃仁勛也不惜親自撰寫長文來回應谷歌TPU與自己產品的對比，雖然言語之中難掩對英偉達技術的偏袒，但也只有勢均力敵的對手值得「老黃」如此重視。

後來Jouppi在一篇論文中這樣評價這款晶元，「這並不意味著TPU有多複雜，它看起來更像雷達的信號處理引擎，而不是標準X86架構。而且它與浮點單元協處理器更為神似，跟GPU倒不太一樣。」

所謂創新，大概如此。

一股清流，從通用出發去做專用晶元

目前主導推動推理晶元市場的以互聯網公司居多，除了領頭的谷歌，還有Facebook、亞馬遜等，不可忽視的還有以硬體結構創新為出發點、骨骼清奇的寒武紀和尋求新增長力的英偉達。

不過，其中Facebook最有意思。

從他們在公共場合的表態來看，和谷歌、亞馬遜所處之境一樣，面對不可控的成本上漲，Facebook不是不著急。但不同於其他四家的晶元設計方向，即依據應用需求調試演算法，隨後依次開發設計硬體，Facebook選擇耐著性子去做一款通用的深度學習專用晶元。按照Facebook的意思，雖然是深度學習專用晶元，但是也不可順著應用需求過於專一，因此它的做法也是非常獨特。

圖 | Facebook Glow平台

這始於Facebook早早為自己搭建好的一款名為Facebook Glow的深度學習通用處理器。提到這款平台，Facebook稱其可用於處理雲端的各種深度學習加速，但又不同於TensorFlow等開源工具，它不是針對用戶設計的。

Taylor解釋說：「推理加速器的市場必將表現為硬體碎片化，但我們的Glow主要是幫助深度學習專家設計神經網路而不是讓大家用它來開發演算法，以調試到去適應各類硬體推理加速器。我們知道碎片化時代正在到來，因為沒人知道怎樣把硬體資源組合起來最優，所以我們會讓開發者專註在上層的網路圖上而不是讓他們為『硬體』敲代碼。」

在軟體加速器上樹立好絕對的標準，而後基於此來設計晶元，Facebook的造芯計劃可謂宏圖。

其實對於Facebook研發晶元這件事，業內人多用「奇葩」來形容。依據精準的上層架構來反向「強行」設計出底層具有通用性的AI晶元，很難評價其做法是否過於執拗和宏大，只能暗嘆它的不走尋常路，因此對於CES2019上Intel宣布的這款與Facebook聯手的晶元，還是值得期待一下。

終端市場緣何如此重要？

不難發現，上文提到的在推理晶元市場引起軒然大波的晶元產品都可歸為一類：伺服器晶元，即終端市場。

從技術角度來看，其實不僅僅是終端市場對推理晶元有著強需求，隨著智能應用需求的深入，手機等移動端亦有此需求，如華為麒麟平台中用到的NPU晶元正是一款專用於解決神經網路推理計算的晶元。

但是不同於端側市場的現有產品飽和與增長力不足，因雲計算快速的深入，伺服器的計算任務需求呈爆髮式增長，因而對硬體架構提升的需求格外迫切。

圖 | 數據中心

亞馬遜James Hamilton曾結合亞馬遜所遇到的問題給出這樣的分析：一直以來，雖然專用晶元可以成十倍改善延遲、降低成本和功耗，但是通用晶元的地位卻是不可撼動的，這裡面有其原因。以傳統服務來說，一般情況下每個用戶只會用到幾個固定的伺服器，即我們的伺服器是按照用戶分配的，這樣的情況下專用晶元通常是沒什麼用的。但是雲改變了一切，在一個完備的雲系統中，比較「罕見」的工作負載甚至需要連接進入數千甚至數萬個伺服器里，同時運行以完成任務。這在過去是完全不可能實現的，因為以前即便能夠很好的分配任務給專用硬體，也不能節約成本，尤其是當一些緊急狀況出現時。

雲的出現打通了硬體之間的「壁壘」，也極大程度的發揮了深度學習演算法的威力，但它同時很快耗盡了眾多公司現有伺服器晶元的計算能力。

IDC曾做過數據統計，2018年第二季度全球伺服器市場的廠商收入同比增長43.7％達到225億美元，該季度全球伺服器出貨量同比增長20.5％達到290萬台。而其中最大的增長力就表現在雲計算伺服器上。

深度學習、推理晶元與產業變遷

回到推理晶元，即處理邏輯運算的晶元。其實它並不是什麼新產物，這裡不得不提英特爾的x86架構。

所謂x86架構，通俗來講就是一種通用的「CPU+Linux」操作系統的架構，它伴隨著1978年英特爾推出的8086處理器出現，具體指的是英特爾開發的一套通用的計算機指令集合。目前市面上所有主流的伺服器都是基於Intel x86架構的CPU公版二次開發而來。

採用Intel的x86架構來處理伺服器大量的計算任務，有人說是考慮CPU通過馮諾依曼架構可以為數百萬的不同應用載入任何軟體的靈活性優勢，有人認為英特爾x86架構的向後兼容性讓用戶只要換個CPU就能獲得性能提升的優勢主導使然。總而言之，不同於訓練模式的單一，深度學習推理任務的複雜讓產業界綜合考慮成本、技術成熟度等因素而最終選擇了CPU晶元+x86指令集的系統架構。

圖 | Intel x86

但眾所周知的是，古老的x86架構雖經過了幾十年的技術迭代，受系統架構本身的訪問限制（又稱馮諾依曼瓶頸），其總體的吞吐量和能耗都限制了它在大量計算任務上的表現能力，尤其是當深度學習演算法出現後，這一弊端愈加被凸顯。

深度學習演算法之所以如此重要，主要原因在於它剛剛誕生不久就能夠迅速適應幾乎所有的應用需求，歷史上很少有一項技術有如此的影響力，因此其特殊屬性催生了對大量數據進行處理和分析的需求。對於這一演算法帶來的影響，黃仁勛一句話點出其中奧妙：深度學習是一種新的計算方法，所以整個產業需要發展出一種新的計算體系結構。

因而在深度學習的兩大功能——訓練和推理的模式推動下，Caffe、Tensorflow等軟體架構工具迅速發展，晶元巨頭也爭相以此為起點開發新的晶元。英偉達藉助GPU與訓練功能的天生匹配登上了市場龍頭的寶座，但他們發現要實現訓練之後的推理功能，即對圖像的識別、語義的關聯處理等，GPU卻是不適合的。

沒有合適「人選」，推理市場因此空出霸主之位。退而求其次，CPU+GPU發展成了伺服器市場中主流的架構解決方案，但終究不是長久之計。對此，大家心知肚明。

最後

在這一波巨頭帶動的小高潮背後，無疑預示著產業發展中推理任務處理需求積聚到了一個新的高點。

箭在弦上，不得不發。但最終誰將勝出，還只能靜候各廠家接下來的晶元產品。

正如Patterson與Hennessy在《計算機體系結構的新黃金時代》里所言，「在摩爾定律走向終點的同時，體系結構正在閃耀新的活力——以TPU為代表的領域特定架構 (Domain Specific Architectures, DSA) 興起，但CPU、GPU、FPGA仍然有用武之地，最終，市場會選出勝者。」

更多優質內容，請持續關注鎂客網~~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！