高通推出AI推理加速器「Cloud AI 100」系列 2020年將高速AI帶至雲端

在今天凌晨於舊金山舉辦的首屆Qualcomm AI Day會議上，高通除了發布驍龍665、730/730G三款新系統晶元面向智能手機、平板電腦和其他移動設備之外，還正式宣布了自家第一款專用人工智慧處理器Qualcomm Cloud AI 100系列，專為數據中心推理計算使用。外媒評論稱，高通此舉無疑是向英偉達和英特爾「發起挑戰」。

高通進軍雲端AI加速器市場

卷積神經網路和其他人工智慧（AI）技術在過去十年中對處理器領域的影響是不可避免的。幾乎所有處理器製造商、軟體供應商都渴望投資開發AI方面的新功能，並實現升級突破。

在這十年開始時，一個完全沒有存在的市場在過去幾年中成為研究和收入的中心，並且已經有一些處理器供應商已經建立了自己的市場地位。

人工智慧的這個現代時代仍處於早期階段，市場尚未找到上限；數據中心繼續批量購買AI加速器，並且該技術的部署也越來越多地在消費者處理器中出現。在許多人認為仍在爭奪的市場中，全球的處理器標記正在試圖弄清楚它們如何成為一代中最大的新處理器市場之一的主導力量。簡而言之，人工智慧「淘金熱」正在全面展開。

人工智慧「淘金熱」吸引了科技界各個角落的關注。其範圍從GPU和CPU公司到FPGA公司，定製ASIC晶元等等。但在人工智慧的所有這些方面，最有利可圖的市場是這個層次結構的頂端市場：數據中心。由於運營商希望購買大量的分立處理器，因此數據中心市場是擴展性的、昂貴的，並且仍在實現跨越式發展。

而現在，最後一位坐在數據中心AI市場旁邊的巨頭終於採取行動了——高通正以激進的方式進入人工智慧加速器市場。高通公布了他們的第一款分立式專用AI處理器，即Qualcomm Cloud AI 100系列。該公司專為人工智慧市場而設計，並以高通公司承諾成為一個廣泛的軟體堆棧為後盾，希望到2020年將自己打造成為人工智慧加速器的主要供應商之一。

Cloud AI 100系列加速器基於7納米晶元工藝，將於2020年推出產品，樣片預計將在今年晚些時候向客戶公布。這款晶元的目標是根據數字化的語音或圖片數據流分析來制定決策。

高通高管基斯·克里辛（Keith Kressin）表示，這不是手機處理器的簡單改版。據外媒報道，高通聲稱Cloud AI 100的峰值性能是Snapdragon 855和Snapdragon 820的3-50倍，與傳統的FPGA相比，它的推理速度提高了約10倍。此外，Cloud AI 100的運算性能可以遠超100 TOPs，不過高通並未透露不同精度下的峰值。

Qualcomm Cloud AI 100架構：專用推理ASIC

高通正在為數據中心市場開發一系列AI推理加速器。雖然不是一個從上到下的計劃，但這些加速器將採用各種外形和TDP，以滿足數據中心運營商的需求。在這個市場中，高通公司希望憑藉在市場上提供最高效的推理加速器而獲勝，其性能遠高於目前的GPU和FPGA領跑者。

首先，這些新部件將採用7納米工藝製造——可能是台積電以性能為導向的7納米HPC工藝。該公司將提供多款晶元，但目前尚不清楚它們是否實際設計了多個處理器。而且，這是一個全新的設計，從頭開始；所以它並沒有說Snapdragon 855的所有AI體位都被放大了。

事實上，最後一點可能是最重要的。雖然高通公司今天沒有為加速器提供架構細節，但該公司已經明確表示這是一款AI推理加速器，僅此而已。它沒有被稱為AI訓練加速器，也沒有被稱為GPU。它只是被用於AI推理——有效地執行預訓練的神經網路。

高通公司的聲明非常強烈地指出基礎架構是人工智慧推理ASIC——類似谷歌的TPU系列——而不是更靈活的處理器。當然遠非第一家專門為AI處理而構建ASIC的廠商，但其他AI ASIC要麼專註於低端市場，要麼留作內部使用（谷歌的TPU再次成為主要的例子），高通公司正在談論將AI加速器出售給客戶以供數據中心使用。而且，相對於競爭對手而言，他們所談論的內容更像ASIC，而不是類似GPU的設計，每個人都期望在2020年從領先的英偉達（NVIDIA）和積極的新人英特爾中脫穎而出。

Qualcomm的Cloud AI 100處理器設計如此專註於AI推理，這對其性能潛力至關重要。在處理器設計範圍內，架構師可以靈活平衡效率；晶元越接近固定功能ASIC，它就越有效。正如GPU如何在CPU上實現AI性能的巨大飛躍一樣，高通希望在GPU上做同樣的事情。

當然，問題在於更具固定功能的AI ASIC正在放棄靈活性。無論是處理新框架，新處理流程還是全新神經網路模型的能力還有待觀察。但高通公司將在這裡進行一些重要的權衡，最重要的問題是這些是否是正確的權衡，以及整個市場是否已為數據中心規模的AI ASIC做好準備。

同時，高通公司必須解決的另一個技術問題是Cloud AI 100系列，這是他們第一個專用的AI處理器。不可否認，每個人都必須從某個地方開始，而在高通的情況下，他們希望將他們在人工智慧方面的專業知識轉化為數據中心的人工智慧。該公司的旗艦Snapdragon SoC已經成為一股不可忽視的力量，高通公司認為他們在高效設計和信號處理方面的經驗將使公司在這方面佔據重要地位。

無論是公司的龐大規模，他們都能夠迅速提高產量。雖然這並沒有幫助他們對抗NVIDIA和英特爾這兩大競爭對手——這兩者都可以分別在台積電及其內部晶圓廠擴大規模——但它使得高通公司在無數小型矽谷初創公司中也有明顯的優勢，這些初創公司也在追求AI ASIC方面的突破。

為什麼要競逐數據中心推理市場？

除了技術方面的考慮之外，今天宣布的另一個重要因素是高通公司追求AI推理加速器市場的原因。簡而言之，答案就是利潤和金錢。

對人工智慧推理市場最終規模的預測差別很大，但高通公司認為到2025年數據中心推理加速器市場可能會達到170億美元。如果事實證明這是真的，那麼它將代表一個相當大的市場。否則高通會錯過。一個可以完全與當前晶元製造業務相媲美的產品。

此處值得注意的是，這顯然是推理市場，而不是整個數據中心推理 訓練市場。這是一個重要的區別，因為雖然培訓也很重要，但培訓的計算要求與推理有很大不同。雖然可以使用相對低精度的數據類型——如INT8（有時更低）——執行準確的推理，但目前大多數培訓需要FP16或更多。這需要一種非常不同類型的晶元，特別是當我們談論ASIC時，而不是像GPU那樣更通用的東西。

這也可以擴展到規模：雖然訓練神經網路可能需要大量資源，但只需要完成一次。然後它可以多次複製到推理加速器的農場。因此，與培訓一樣重要的是，潛在客戶只需要比具有培訓功能的處理器更多的推理加速器。

與此同時，儘管該公司沒有明確表示，但很明顯高通公司正打算取消市場領導者NVIDIA，即使在這些早期，他們已經用AI處理器建立了一個小型帝國。目前，NVIDIA的Tesla T4、P4和P40加速器構成了數據中心AI推理處理器的支柱，數據中心收入整體上證明對NVIDIA來說非常有利可圖。因此，即使整個數據中心市場沒有像預期的那樣增長，它仍然會非常有利可圖。

高通還不得不提防來自英特爾的威脅，英特爾公開表達了他們自己的人工智慧市場計劃。該公司有幾個不同的AI計劃，從低功耗Movidius加速器到最新的Cascade Lake Xeon可擴展CPU。然而，對於高通公司闖入的特定市場賽道而言，最大的威脅可能是英特爾即將推出的Xe GPU，這些GPU將來自該公司最近重建的GPU部門。與高通一樣，英特爾也在力爭趕超NVIDIA，因此人工智慧推理市場正面臨著激烈的競爭與演化，沒有一個巨頭希望自己在這場角逐中落敗而歸。

衝刺終點線？

除了高通公司的雄心外，在接下來的12個月左右，公司的重點將是收穫和組建第一批客戶。要做到這一點，該公司必須表明它對Cloud AI 100系列所做的事情是認真的，它可以在硬體上提供，並且它可以與競爭對手的軟體生態系統的易用性相匹配。這一切都不容易，這就是為什麼高通公司現在需要開始，遠遠超過商業貨運開始的時間。

雖然高通公司多年來一直對伺服器和數據中心市場抱有各種各樣的夢想，但描述這些努力的最禮貌的方式可能是「過於雄心勃勃」。例如，高通公司的Centriq系列基於ARM的伺服器CPU，該公司推出在2017年大張旗鼓地宣布，只有整個項目在一年內崩潰。除了Centriq的優點外，高通公司仍然是一家主要針對晶元製造方面的移動處理器和數據機的公司。因此，為了讓數據中心運營商投資Cloud AI系列，高通公司不僅需要為第一代提供一個偉大的計劃，而且還要為未來幾代人制定計劃。

與此平行的是等式的軟體方面。到目前為止，NVIDIA成功的很大一部分就是他們的人工智慧軟體生態系統。這本身就是他們十年前的CUDA生態系統的擴展，到目前已經讓GPU競爭對手AMD陷入困境。高通方面的優勢是，最流行的框架，運行周期和工具已經建立，TensorFlow、Caffe2和ONNX這些是它布局中的「大目標」。這就是為什麼高通公司承諾提供廣泛的軟體堆棧，因為它可以做到這一點。但高通公司確實必須在這一方面加快速度，因為他們的軟體堆棧實際運行的程度可以決定整個項目的成敗。高通需要提供良好的硬體和良好的軟體才能在這裡取得成功。

但至少目前，高通公司今天發布的公告仍是一個「預告片」，還有很長的路要走。該公司制定了一項雄心勃勃的計劃，旨在闖入日益增長的人工智慧推理加速器市場，並提供與開放市場上其他任何產品不同的處理器。雖然這中間的過渡將會是一個挑戰，高通公司對推理加速器市場的需求卻只增不減。它是能夠為其開發處理器的能力。以及它們如何能夠避免陷入其先前伺服器處理器計劃的那種失誤。

最重要的是，高通不會簡單地採用推理加速器市場：它們將不得不為它而戰。這是NVIDIA失去的市場，英特爾也在關注它，更不用說來自GPU廠商，FPGA供應商和其他ASIC廠商的所有小型廠商。任何和所有這些都可以在新興技術的年輕市場中快速上升和下降。因此，雖然它還差不多一年，但2020年正在迅速成為人工智慧加速器市場的第一場大戰。

高通高管基斯·克里辛（Keith Kressin）表示，該公司將使用其在移動領域的技術專長，並藉助其利用最新製造技術設計晶元的能力。而這款晶元的關鍵特徵在於能耗效率。這個市場到2025年的規模預計可達170億美元。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！