Jeff Dean撰文回顧谷歌大腦2017：從基礎研究到新硬體

選自Google Research Blog

作者：Jeff Dean

機器之心編譯

參與：黃小天、路雪

繼谷歌大腦 2016 年盤點之後，谷歌大腦負責人 Jeff Dean 近日撰文回顧了 2017 年的工作，內容包括基礎研究工作，機器學習的開源軟體、數據集和新硬體。本文是這次盤點的第一部分，谷歌將稍後推出第二部分，介紹機器學習在醫療、機器人等不同科學領域的應用與創造性，以及對谷歌自身工作帶來的影響。

谷歌大腦團隊致力於拓展人工智慧在研究和系統工程方面的進展。去年，我們盤點了 2016 年的工作。2017 年，我們繼續研究機器智能，並與谷歌、Alphabet 的多個團隊合作，利用我們的研究成果改善人們的生活。本文將對 2017 年的工作進行盤點，包括基礎研究工作，機器學習的開源軟體、數據集和新硬體。

核心研究

谷歌大腦團隊的研究重心是提升對機器學習的理解，提高解決該領域問題的能力。以下是 2017 年研究的幾個主題。

AutoML

自動化機器學習的目標是開發新技術，使計算機可以自動解決新的機器學習問題，無需人類機器學習專家對每個新問題進行干預。如果要開發真正智能的系統，那麼這就是我們所需要的基礎能力。我們開發了使用強化學習和進化演算法設計神經網路架構的新方法，在 ImageNet 分類和檢測任務中實現了先進結果，同時也展現了如何自動學習新的優化演算法和高效的激活函數。

神經架構搜索發現的卷積架構

使用 AutoML 發現的神經網路目標檢測

語音理解和生成

開發新技術的另一個主題是提升我們的計算系統理解和生成人類語音的能力，包括與谷歌語音團隊合作開發的全新端到端語音識別系統，比谷歌之前的語音識別系統的性能提升了 16%。

LAS 語音識別端到端模型的組件

我們還與谷歌機器感知（Machine Perception）團隊合作開發了執行文本轉語音生成（Tacotron 2）的新方法，可以大幅提升生成語音的質量。該模型的平均評價計分（MOS）為 4.53，而有聲書中的專業錄音 MOS 為 4.58，之前最優的計算機生成語音系統的 MOS 為 4.34。

Tacotron 2 的模型架構

新型機器學習演算法和方法

我們繼續開發新型機器學習演算法和方法，包括Capsule、稀疏門控專家混合層（sparsely-gated mixtures of experts）、超網路（使用一個模型的權重生成另一個模型的權重）、新型多模態模型（在同一個模型中執行音頻、視頻、文本輸入的多任務學習）、注意力機制、符號和非符號學習優化方法、通過離散變數進行反向傳播的技術，以及多個新的強化學習演算法改進。

用於計算機系統的機器學習

我們對在計算機系統中使用機器學習替換傳統的啟發式方法也很感興趣。我們展示了如何使用強化學習優化設備配置，效果勝過人類專家。我們還在論文《The Case for Learned Index Structures》中展示了神經網路學習索引比 B-Trees、哈希表和布隆過濾器速度更快、模型更小。我們在將機器學習應用到核心計算機系統方面仍需努力，正如谷歌在 NIPS 2017 上所展示的那樣。

學習模型作為索引

隱私性和安全性

機器學習及其與安全性和隱私性之間的相互作用仍然是我們的主要研究重點。我們展示了多種提供隱私性保證的機器學習技術，詳見 ICLR 2017 最佳論文《Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data》。我們還繼續研究對抗樣本的特性，包括展示真實世界中的對抗樣本、如何在訓練過程中大規模控制對抗樣本使模型對對抗樣本具備更強的魯棒性。

理解機器學習系統

我們已經看到深度學習的優秀結果，但理解其工作原理非常重要。在 ICLR 2017 另一篇最佳論文《Understanding deep learning requires rethinking generalization》中，我們展示了當前的機器學習理論框架無法解釋深度學習方法的結果。我們還發現優化方法導致的極小值平坦度與優化泛化能力的相關性並沒有我們之前認為的那麼緊密。為了更好地理解深層架構中的訓練過程，我們發布了多篇論文分析隨機矩陣，因其是大部分訓練方法的起點。我們在近期的一項對比 GAN 方法的研究中展示了優秀實驗設計和數據嚴密性的重要性，研究發現目前很多 GAN 的衍生演算法實際上並沒有提升性能。我們希望該研究為其他研究者進行魯棒性實驗研究提供一個示例。

我們正在開發方法，使機器學習系統具備更好的可解釋性。三月，我們與 OpenAI、DeepMind、YC Research 聯合發布交互視覺化期刊平台 Distill。該平台的文章清晰地闡述了機器學習概念和精彩的交互可視化工具，並因此贏得聲望。第一年，Distill 發布了大量富有啟發性的文章，旨在理解不同機器學習技術的內在工作原理，我們期待它在 2018 年有更大進步。

特徵可視化

如何有效地使用 t-SNE？

用於機器學習研究的開源數據集

開源數據集如 MNIST、CIFAR-10、ImageNet、SVHN 和 WMT 極大地推動了機器學習的發展。我們的團隊和谷歌研究團隊在過去一年中一直致力於開放式機器學習研究的新數據集開源工作，開放了大量大型標註數據集，包括：

YouTube-Bounding Boxes 數據集的實例：以每秒 1 幀的速度採樣的視頻片段，目標物體周圍有邊界框。

TensorFlow 與開源軟體

TensorFlow 用戶在全球的分布

在整個團隊的歷史中，我們創建了一些工具，幫助我們自己開展機器學習研究，並將其部署到諸多谷歌產品之中。2015 年 11 月，我們開源了第二代機器學習框架 TensorFlow，希望整個機器學習社區可以從中受益。2017 年 2 月，我們發布了 TensorFlow 1.0，11 月，我們推出了包含重大改進版本 v1.4：Eager execution，用於互動式命令風格的編程；XLA，TensorFlow 程序的一個優化編譯器；TensorFlow Lite，移動端和嵌入式設備的一個輕量級方案。預編譯的 TensorFlow 二進位文件現在已被來自超過 180 個國家的用戶下載 1000 萬次之多，GitHub 上的源代碼也有了超過 1200 個貢獻者。

2 月，我們舉辦了首次 TensorFlow 開發者大會，超過 450 人前來山景城參會，超過 6500 人觀看了視頻直播。會議主題涵蓋新特徵、TensorFlow 使用技巧等。我們將在 2018 年 3 月 30 號在灣區舉辦下一屆大會。

11 月，TensorFlow 慶祝其推出兩周年。TensorFlow 是 GitHub 上的最大機器學習平台，也是五大 repo 之一。TensorFlow 被大大小小很多公司和組織使用，GitHub 有超過 24500 個獨立 repo 與 TensorFlow 相關。很多研究論文的發布帶有 TensorFlow 實現的研究結果，使得社區更容易理解所使用方法以再現或繼續擴展工作。

TensorFlow 同樣受益於其他谷歌研究團隊的相關開源工作，包括 TF-GAN（用於生成對抗模型的一個輕量級庫）、TensorFlow Lattice（用於使用 lattice 模型工作的一系列評估器）和 TensorFlow Object Detection API。TensorFlow 模型 repo 也隨著模型的發展而不斷增長。

除了 TensorFlow，我們還發布了 deeplearn.js，一個用於瀏覽器的深度學習 API 的開源硬體加速實現（無需任何下載或安裝）。deeplearn.js 主頁上有很多不錯的實例，比如 Teachable Machine 和 Performance RNN。2018 年我們將會繼續努力，實現 TensorFlow 模型在 deeplearn.js 環境中的直接部署。

TPU

雲端 TPU 可提供高達 180 teraflops 的機器學習加速

大約五年之前，我們認識到深度學習將會極大地改變我們所需的硬體。深度學習計算是密集型的，並有兩個特性：它們主要由密集的線性代數運算（矩陣倍數、向量運算等）組成，可以忍受精度的降低。我們意識到可以利用這兩個特性構建高效運行神經網路計算的專門硬體。我們為谷歌平台提供設計，由此誕生了第一代 TPU：一個單晶元 ASIC，可以加速深度學習模型的推理。第一代 TPU 部署在我們的數據中心已有三年，在谷歌搜索，在谷歌翻譯，在谷歌圖片，在 AlphaGo 對戰柯潔和李世石中，以及在許多其他研究和產品應用中，都有 TPU 在發揮作用。六月，我們發表了一篇 ISCA 2017 論文，表明第一代 TPU 比現今的 GPU 或 CPU 快 15X - 30X，性能/功耗提升 30X - 80X。

雲端 TPU Pod 最高可實現 11.5 petaflops 的機器學習加速

ImageNet 上 ResNet-50 的訓練實驗隨著使用的 TPU 設備數量的增加而顯示近乎完美的加速。

推理很重要，但是加速訓練進程更為重要，並且更難。我們的第二代 TPU 是在五月份谷歌 I/O 大會上推出的，它是一個可同時加速推理和訓練的全系統，會上展示了一個單設備配置和一個被稱作 TPU Pod 的多機架深度學習超級計算機配置。我們還宣布第二代 TPU 將會以雲端 TPU 的形式出現在谷歌雲平台上。我們同樣推出了 TensorFlow Research Cloud (TFRC)，該項目可為致力於共享其成果的頂級機器學習研究者免費提供 1000 塊雲端 TPU。十二月，我們在 TPU Pod 上用時 22 分鐘完成了 ResNet-50 ImageNet 模型的高精度訓練，相比之下傳統方法則需要數天甚至更長。我們認為以這種方式縮短研究周轉時間將會極大地提升谷歌機器學習團隊及所有使用雲端 TPU 團隊的產出效率。

本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。

?------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！