AI爆髮帶來的「超級摩爾定律」

人工智慧和機器學習的爆炸式發展正在改變計算的本質。

說這話的是谷歌軟體工程師Cliff Young，而谷歌是人工智慧最大的實踐者之一。

Cliff Young上周在矽谷的一個晶元研討會發表了主題演講，他說，AI的使用已經達到了一個「指數增長階段」（exponential phase），與此同時，關於半導體發展的經驗法則——摩爾定律——已經陷入停滯。

摩爾定律的內容是：集成電路上可容納的晶體管數目，約每隔兩年便會增加一倍。經常被引用的「18個月」是由英特爾的David House提的：每18個月，晶元的性能提高一倍。

「這個時間有點神經質，」Cliff Young說：「數字CMOS的增速正在放緩，我們也看到英特爾在10納米晶元的生產方面面臨困境，還有格芯（GlobalFoundries）已經宣布放棄了7納米製造工藝研發，與此同時，深度學習進展迅猛，存在經濟需求。」CMOS即Complementary Metal Oxide Semiconductor（互補金屬氧化物半導體），是計算機晶元最常見的材料。

Young認為，由於傳統晶元難以實現更高的性能和效率，來自AI研究人員的需求正在激增。他一口氣列舉了一些數據：arXiv上關於機器學習的學術論文數量每18個月就增加一倍；在谷歌，專註於AI的內部研究項目數量也每18個月增加一倍。更為激烈的是，執行機器學習神經網路所需的浮點運算量每三個半月就翻一番。

Young說，所有這些計算需求的增長構成了「超級摩爾定律」，他稱這種現象「有點可怕」，「有點危險」，「令人擔憂」。

「為什麼AI領域出現了這些指數級的增長？」他說，「部分原因是，深度學習確實有效。」

他說：「很長一段時間裡，我的職業生涯都忽視了機器學習，因為那時尚不清楚這些東西會不會流行起來。」

但後來，圖像識別等領域的突破開始迅速出現，很明顯，深度學習「非常有效」。Young說：「在過去5年的大部分時間裡，谷歌一直是一家AI-first的公司，我們以AI為基礎重建了大部分業務，從搜索業務到廣告業務等等。」

谷歌內部領導AI研究的是Google Brain團隊，它的需求是「巨型機器」。例如，神經網路有時是通過他們使用的「權重」數量來測量的，這些變數被應用於神經網路，以形成對數據的操縱。

傳統的神經網路必須要計算的可能有數十萬個這樣的權重，甚至數百萬，谷歌的科學家們說「請給我們一個tera-weight級的機器」，讓計算機能夠計算一萬億權重。

這是因為「每次你將神經網路的大小增加一倍，它的準確率就會提高。」AI的規則就是越大越好。

當然，為了應對這樣的需求，谷歌一直在開發自己的機器學習晶元，即「張量處理單元」（Tensor Processing Unit，TPU）。由於傳統的CPU和圖形晶元（GPU）跟不上速度，TPU以及類似的部件是需要的。

Young說：「在很長一段時間裡，我們都躊躇不前，並表示英特爾和英偉達在構建高性能系統方面做得非常好。但我們在五年前跨過了這個門檻。」

TPU於2017年首次亮相，標榜其性能優於傳統晶元，引起了業界轟動。谷歌目前已進入TPU的第三次迭代，不過是在內部使用，並通過谷歌雲提供按需計算節點。

TPU v3 Pod

谷歌繼續製造越來越大的TPU實例。它的「pod」配置將1024個單獨的TPU連接在一起，形成一台新型超級計算機，而且谷歌打算「繼續擴展」這個系統。

Young說：「我們正在打造巨大的多處理器計算機，具有幾十petabytes的計算力。我們同時向多個方向推進，tera-ops級的也在繼續開發。」

他說，這樣的工程「帶來了超級計算機設計中會出現的所有問題。」

例如，谷歌工程師們採用了傳奇的超級計算機公司Cray所使用的技巧。他們將晶元中負責神經網路計算的「巨大的矩陣乘法單元」與「通用向量單元」和「通用標量單元」結合在一起。標量單元和向量單元的結合讓Cray的性能優於其他處理器。

谷歌開發了自己的新型演算法結構來編程晶元。所謂的「bfloat16」是一種表示實數的方法，可以提高神經網路數字運算的效率。bfloat16的全稱是truncated 16-bit floating point（截斷浮點數），被通俗地稱為「brain float」。

TPU採用最快的內存晶元，即所謂的高帶寬內存（HBM）。在訓練神經網路時，對內存容量的需求也在激增。

Young說：「內存在訓練中更加集中。不只是數億個權重，還涉及處理神經網路激活變數的問題」。

谷歌也在調整編程神經網路的方式，以充分利用硬體。他們在數據和模型並行性方面做了大量工作，包括「Mesh TensorFlow」等項目，這是對TensorFlow編程框架的改編，目的是將數據和模型並行性在pod-scale上結合起來。

有一些技術細節Young不願透露。他指出，谷歌沒有過多地談論「互連」（interconnects），即數據在晶元中移動的方式，只是說「我們有巨大的連接器」，拒絕提供更多信息。

Young談到一些可能並不遙遠的更有趣的計算領域。例如，他建議通過模擬晶元進行計算，這種電路將輸入作為連續值而不是作為1和0來處理，這樣可以發揮重要作用。他說：「也許我們將從模擬領域進行採樣，在物理、模擬計算或非易失性技術方面確實有一些很酷的東西。」

來源：內容由新智元翻譯自「zdnet.com」，作者Tiernan Ray，謝謝。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！