Quoc Le，谷歌AutoML的幕後英雄

李杉 編譯自 AI Frontiers

量子位 出品 | 公眾號 QbitAI

提到Google的AutoML，大家總會想到Jeff Dean、李飛飛，而實際上，這個項目背後還有一位貫穿始終的幕後英雄。

他是吳恩達的學生，Google Brain的創立者之一，也正是他的研究，為谷歌神經機器翻譯打下了基礎。

他就是Quoc Le。

一個名為AI Frontiers的科技博客對Quoc Le的研究做了比較全面的介紹，量子位翻譯如下：

Quoc Le身材瘦弱，舉止安靜，戴著一副厚厚的眼鏡，你很難想像他竟然在人工智慧領域領導一場革命。

2011年，Le與他的博士生導師吳恩達，以及Jeff Dean和Greg Corrado兩位谷歌研究員共同創辦了谷歌大腦，目標是在谷歌龐大的數據背景下探索深度學習技術。在此之前，Le在斯坦福大學針對無監督深度學習開展了一些開創性工作。

2012年，Le在ICML會議上發表了一篇論文，引起了人們對深度學習的濃厚興趣：他開發了一種深度神經網路模型，可以從來自YouTube的1000萬張圖片中，自動識別出貓，還能識別ImageNet數據集中的3000多種物體。

這也就是把谷歌大腦帶到公眾視線之中的「認貓事件」。

這個龐大的系統包含1.6萬台機器和10億個突觸，比之前任何一次嘗試的規模都要大100倍。Le的論文發表後，同年晚些時候有了AlexNet的論文，於是，整個深度學習領域都開始引人關注。

雖然後來的事實證明無監督機器學習在商業用途上有些不切實際——至少當時如此——但Le還是在2015年接受《連線》採訪時表達了一種願望：「如果我們能夠找到一種可以發現（還可以通過同樣的方式學習）的演算法，那就太好了，因為更實際的情況是，我們掌握的非標記數據遠多於標記數據。「

序列對序列學習

2013年畢業後，Le便正式擔任谷歌研究員。在此之後，他很快在機器翻譯方面取得了驚人的突破，這也是機器學習最活躍的研究領域之一。

為了實現這個結果，他必須突破在圖像和語音領域效果很好的深度學習方法。已有的方法只能分析固定大小的輸入信息，而在自然語言中，句子的長度各不相同，詞語的順序也很重要。

2014年，Le與谷歌研究員Ilya Sutskever和Oriol Vinyals一起提出序列到序列（seq2seq）學習方法。這是一種通用的編碼器-解碼器框架，可以訓練模型將序列從一個域轉換到另一個域，例如在不同語言之間實現語句翻譯。

seq2seq所需的工程設計選擇較少，能讓谷歌的翻譯系統高效而準確地處理龐大的數據集。它主要用於機器翻譯系統，但也被證明適用於更廣泛的任務，包括文本摘要、會話AI和問答。

接下來，Le發明了doc2vec，這種無監督演算法從長度各異的文本片段（如句子、段落和文檔）中學習固定長度的特徵表示。

Doc2vec是谷歌研究員Tomas Mikolov 2013年推出的word2vec的擴展，word2vec的想法是，每個單詞都可以用向量表示，而向量可以從一組文本中自動學習。Le向其中添加了段落向量，因此無論長度如何，模型都可以生成文檔的表示。

Le的研究工作得到了回報。2016年，谷歌宣布推出神經機器翻譯系統，它藉助AI的學習能力，可以隨著時間的推移，逐漸形成更好、更自然的翻譯。

2015年，Le入選《麻省理工學院科技評論》評選的「35歲以下創新者」名單，原因是他致力於「讓軟體足夠聰明，以幫助人們在日常生活中獲得好的感受。」

AutoML：讓神經網路學會自我提升

訓練深度神經網路需要大量的標記數據和反覆的實驗：你可以選擇一個架構，構建一些隱藏層，然後根據輸出調整權重。對於機器學習專業知識有限的人來說，這個訓練過程有些費時費力。

2016年，Le和另一位谷歌同事Barret Zoph提出了神經架構搜索。他們使用循環神經網路生成神經網路的模型描述，並使用強化學習訓練這個循環神經網路，從而儘可能提升生成的架構在驗證集上的預期準確率。

這種新方法可以幫助研究人員設計新網路架構，該架構在CIFAR-10數據集中測試精度，能匹敵最好的人工架構。

一年後，Le和Zoph將他們的研究提升到了一個新的水平，提出了NASNet-A，這是一個針對大規模圖像數據集設計的可轉換架構。

Le的研究為AutoML奠定了基礎，這套谷歌產品的目標用戶，是那些在機器學習方面專業能力和資源有限的開發人員。

儘管還很早期，但AutoML正在解決現實問題：有數據科學家使用AutoML建立了一個模型，可以根據麵條圖像識別出一家餐廳，準確度幾乎達到95％。還有日本開發人員用AutoML構建了一個模型，可以根據品牌名稱對圖像進行分類。

谷歌今年早些時候推出了AutoML Vision。在上個月的谷歌Cloud Next會議上，該公司還發布了翻譯和自然語言工具。

過去6年里，Le一直處於深度學習發展的最前沿。這位36歲的谷歌研究員現在準備將深度學習提升到新的水平。

原文：

https://medium.com/@aifrontiers/an-unassuming-genius-the-man-behind-google-brains-automl-4ddc801f3e9b

—完—

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！