谷歌TPU只租不賣

整理 | 都保傑

微信 | ai_xingqiu

網址 | 51aistar.com

本文的開篇，想引用一位對TPU和GPU有所研究的網友原話。

「這個世界是一個羅生門，每個人都在自說自話，學術圈的一小部分人不能完全免俗，而科技圈 99% 的人都不免俗，每一套話語背後都有一個隱含的框框，只有掌握全部事實，才有可能跳出框框，獲得真相。」

2月13日，谷歌通過一篇博客文章中正式宣布，向谷歌雲客戶開放張量處理器（Tensor Processing Unit，簡稱TPU）beta版服務。

對於選擇在谷歌雲平台上運行機器學習模型的客戶來說，這算是個好消息，但谷歌這次開放的TPU數量有限且按時收費，每小時成本為6.50美元，不少技術人士的第一反饋是：真貴。

每個 Cloud TPU 包含了 4 個定製化的 ASIC，每個 Cloud TPU 的計算能力達到每秒 180 萬億次浮點運算（180 teraflops），並提供有 64GB 的高帶寬內存。另外，這些電路卡即可以單獨使用，也可以通過超高速專用網路連接起來，形成一個多層次的機器學習超級計算機，谷歌將之稱為「TPU pod」。谷歌預計今年晚些時候，將會開始供應這種更大的超級計算機，並表示訓練的時間-精度比將得到顯著提升。

提到谷歌TPU，就不能避免要說說英偉達的GPU，目前市面上廣泛試用的英偉達Tesla P100 GPU性能是每秒21teraflops，最新發布的V100也只是突破100 teraflops的水平。

谷歌傳奇工程師 Jeff Dean 在推特上連發 10 條消息介紹 Cloud TPU的這一動作：「我們對此感到非常興奮，因為許多研究人員和工程師在進行機器學習時都遇見了計算力不足的問題，而我們認為這 Cloud TPU將是一個很好的解決方案。舉例來說，我們一個 Cloud TPU 設備可以在 24 小時內將運行在 resnet-50 上的模型的識別精度訓練到 75%。」

另一方面谷歌在加速計算方面的優勢是，通常情況下為定製 ASIC 和超級計算機編寫程序需要專業知識技能，相比之下，只需要使用自家高級 TensorFlow API 就可以對 Cloud TPU 進行編程了。

谷歌表示，幾乎無需改動，Tensorflow的代碼就可以被TPU加速運行。此外，Google還開源了幾款圖像分類、物體識別和機器翻譯的高效模型，包括ResNet-50、Transformer和RetinaNet等，只需提供數據，這些模型可以使用TPU在Tensorflow上即刻運行。

谷歌在博客中提到，在Google Cloud上，不僅會為客戶提供每個ML工作負載最適合的雲端TPU，同時也提供各種高性能CPU（包括英特爾Skylake）和GPU（包括NVIDIA Tesla V100）的能力支持。

在2016年5月的Google I/O開發者大會上，谷歌官方首次對外公布了TPU的存在，Google方面也曾透露，其實從2015年開始就一直在內部使用TPU，但是關於TPU的商業化，谷歌其實並不高調和積極。谷歌曾在很多場合公開表示過TPU不會進入市場售賣，這就證明谷歌不會像英特爾或者英偉達那樣去開發布會去推產品來獲得更大的AI晶元市場份額。

究其原因還是要回到谷歌為何要研發TPU，谷歌之所以搞一個專用加速晶元，是因為自己越來越多的產品開始使用非常複雜的深度學習模型，從而產生了迫切的算力提升需求，這也是谷歌同英特爾和英偉達這兩家拼殺AI晶元的本質不同：後者是看到了市場上的激增需求，於是自己針對這種需求設計了晶元產品，以期獲得更好的銷量和市場份額，而谷歌是自己有這種需求，出發點是滿足內需，別人想用TPU，只能寄希望於谷歌的雲服務能開放對TPU的使用許可權，就像是現在的這種做法。

那谷歌Cloud TPU會成為英特爾或者英偉達的直接競爭對手么？現在看也未必會，只是面對AI加速計算領域的紅利，谷歌在嘗試一種巧妙的商業嘗試。

英偉達CEO 黃仁勛曾在一次採訪中披露，兩年前谷歌就意識到 GPU 更適合訓練，而不善於做訓練後的分析決策，也就是推理。由此可知，谷歌打造 TPU 的動機只是想要一款更適合做分析決策的晶元，類似於阿爾法狗戰勝人類圍棋冠軍就十分需要TPU了。英偉達工程架構副總裁 Marc Hamilton也曾表示TPU 只在特定應用中作為輔助使用，公司仍將繼續使用 CPU 和 GPU。

可為什麼要跟跟英偉達較勁幾倍還是幾十倍性能這種事呢，沒辦法，可能觀眾願意看吧。TPU和GPU其實不是誰取代誰的問題，而是各自都有生存的空間，大概誰也不能取代誰，不同層面和階段的性能PK只是可以看作是互相激勵和參照吧。

另一方面，谷歌CloudTPU服務開放的最終價值，對於廣大開發者來說可能還是需要考慮夠不夠划算夠不夠好用的問題。在實際的開發中，知道如何用最簡潔的方法編寫代碼、如何使用才能發揮出硬體的最大實力和使用多強的硬體一樣重要甚至要更重要。

如果代碼寫的不好，計算機總是要在重複的步驟上浪費很多時間，那用再強的硬體或者雲端計算也沒有多大意義，而高水平的的開發者會知道如何把這些個硬體的性能榨乾到一絲不剩，發揮到極致，滿足需求即可，所以，關於TPU和GPU的對比，以及一些爭吵還是要看各自在通用和專用領域的能發揮的實際效果和用途，歸根到底或許就是對性能、功能以及場景的綜合把控。

就目前來看，憑藉強大的並行計算能力，在機器學習快速發展的潮流下，GPU目前在深度學習晶元市場非常受歡迎，正在成為一種主流的趨勢。包括谷歌、Facebook、微軟、Twitter 和百度等公司都在使用GPU訓練分析圖片、視頻和音頻文件，改進搜索和圖像標籤等應用功能，GPU 也被大量應用於 VR/AR 相關產業，此外，很多汽車生產商也在使用 GPU 晶元發展無人車和自動駕駛技術，可以說GPU 是眼下智能產品市場用戶覆蓋率最廣泛的晶元。

而TPU專用於人工智慧和機器學習，逐步開放可為谷歌帶來兩大好處：首先，利用自主研發的晶元，谷歌可以在核心的計算基礎設施方面更便宜、更有效地減少對英特爾、英偉達等晶元製造商的依賴，擁有自己的硬體使谷歌能夠更快地進行實驗。其次，現在谷歌雲平台（GCP）和谷歌的業務應用程序GSuite每季度可超過10億美元收入，新的TPU服務作為亮點會為谷歌的雲計算業務帶來額外收入。

眾所周知，通用處理器（CPU）的摩爾定律時代已結束，而機器學習和 Web 服務的規模卻在指數級增長。人們使用定製硬體來加速常見的計算任務，然而日新月異的行業又要求這些定製的硬體可被重新編程來執行新類型的計算任務。除TPU和GPU，我們也能看到FPGA 和異構計算的技術潮流，其實目的只有一個，如何合理搭配來更好的執行計算任務，而不是誰能取代誰。

如果你是

AI行業人士

如果你想了解最前沿的AI技術和場景應用

一網打盡AI界前瞻科技和深度報道

如果你想持續拉升逼格

歡迎關注AI星球，並轉發朋友圈為我們打Call哦~~

你們的支持才是我們創造優質內容的不竭動力~送你花花

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！