Jeff Dean兩年AMA全盤點：26個關於谷歌大腦和機器學習未來的問題（上）

前兩天，谷歌大腦團隊又在Reddit上做了一次AMA（Ask me anything）活動。

去年8月時候谷歌大腦團隊也在Reddit上做過同樣的活動，包括Jeff Dean、Geoffery Hinton、Samy Bengio、David Patterson在內的23位谷歌大腦成員在 Machine Learning 版塊的帖子里回答了廣大網友們的關於谷歌大腦的工作模式、與DeepMind的關係、谷歌大腦的研究宗旨、對深度學習未來看法等等方面的提問。提問的問題、成員們的回答以及網友們的後續討論加起來一共有超過800條留言。谷歌大腦團隊負責人、Senior Fellow Jeff Dean 在其中貢獻了22條非常充實的回答，從他的角度解答了一些網友們的重點疑問。

作為谷歌大腦團隊的成員，Geoffery Hinton的回答里也有一條深深打動了網友們：

（大家應該都很慶幸他做木匠做得不順利，不然……）

今年AMA期間Hinton比較忙，沒能參與，不過也有同事替他傳達了Capsule一切順利的消息。

兩年的AMA下來，Jeff Dean基本上借著網友提問對谷歌大腦的相關情況做了非常全面的回答，不僅有很多「是什麼」和「為什麼」，還有很多「未來會如何」。雷鋒網 AI 科技評論把這些問答做了個整理，相信還對谷歌大腦有任何疑惑的讀者看完以後都會得到滿意的解答。（部分重複問答有刪節）

網友：谷歌大腦的機器學習團隊首先是一個大公司的一部分，那你們對於研究方向和總體的未來路線圖送如何劃分優先順序，如何抉擇的？很大程度上決定於你們近期的工作成果、每個成員各自的研究內容中發現的新的研究領域，還是團隊領導人決定，還是總體上要向谷歌的商業需求靠攏？

Jeff Dean：有的研究領域裡有重大的問題等待解決，而且解決其中一些問題能夠讓我們造出明顯更智能的系統，我們就會試著找這樣的領域去進行研究。我們有一組跟登月差不多難度的研究領域，它們承載了很多研究項目，都是關於一些有意思的主題的。比如我們有一個登月項目就是開發能真正理解、總結一長段文字並回答問題的學習演算法（一長段文字包括單個長文檔、成百上千個長文檔等等）。做這樣的研究的時候，我們心中是沒有考慮任何特定的商業化產品的，不過如果我們能夠成功地造出來這樣的系統，顯然它就可以用在許多不同的場景中。

還有一切其它的研究完全是好奇心驅動的。原因是我們每年都有很多充滿激情的年輕研究者來訪，不管是培訓生還是實習生，所以我們也經常研究一些機器學習領域總體比較感興趣的方向。

最後，我們也有一些研究是和谷歌其它的產品研發團隊一起完成的，這些研究中基本都涉及到困難的機器學習問題。我們和翻譯、機器人、自動駕駛汽車團隊都有研究正在進行中，以前也和語音團隊、搜索排名團隊等等做過類似合作的合作。這些合作基本都涉及到開放性的、尚未解決的研究問題，一旦解決的話就能給這些產品帶來新的能力。

網友：深度學習領域一直有大量的新研究成果出現，你們是如何跟進的？團隊里的每個人都只看一個點，還是每個人每天都要看很多論文？我現在在人工智慧專業讀研二，我覺得論文多到看不過來。以及，有沒有什麼事情可以讓我們的社交網路展現更多新的科技進展？（除了社交媒體上明顯的分享之外）

Jeff Dean：不同的人有不同的處理方式吧。在谷歌大腦，為了讓知識擴散得更好，我們每周都有一個論文閱讀小組活動，這樣每周大家都可以總結和展示幾篇有意思的論文；我們也有一個內部的論文郵件列表，大家會把感興趣的論文的鏈接或者總結髮成郵件。

要看每天的新Arxiv論文的話，Andrej Karpathy 的Arxiv Sanity tool 提供了一個更好的界面。

如果有論文引用了你的成果，谷歌學術會給你發提醒，那如果你已經在某個問題上發表了一篇論文就能起到一些幫助。

Hacker News上也有一篇關於這個問題的討論，https://news.ycombinator.com/item?id=12233289，我覺得挺好的。（我喜歡 Hacker News 討論區里 semaphoreP 的說法：「我每天就自己動手上Arxiv看看自己的領域裡有沒有什麼新的論文。這跟養成刷reddit的習慣差不多，就是少了很多可愛的動物圖片」）

網友：你們好，我想了解一下你們的文化、戰略和遠景。希望你們可以回答這個最重要的問題：「你們努力要達到的長期目標是什麼？為什麼？」然後，你們要完成哪些任務？「每個谷歌大腦成員會制訂各自的計劃」就太寬泛了，可以說一說年度預算嗎？整個團隊的KPI是怎麼樣的？你們有年度盈利目標嗎？我喜歡你們的那種分享文化，而且我知道很多別的公司（和政府機關）都不會這樣做。我可能沒法形容這對別人有多麼大的幫助，不過分享文化能幫助到你們自己嗎？它能如何幫助谷歌和Alphabet？

Jeff Dean：我們的任務目標真的非常寬泛（微笑）。我們的目標是構建有智慧的機器，以及用這些機器改善人類的生活，我們研究的問題基本上就是能夠幫助我們達成這些目標的問題。

預算的具體數目我不能透露。

關於KPI（我還是搜了一下才知道KPI是啥意思），我們沒有什麼「KPI」，也沒有任何跟盈利相關的目標。我們做的研究當然需要有科學價值或者商業價值，不過只要得到了很好的科研結果，那麼有沒有商業價值並不重要（因為往往不知道未來會在什麼時候產生商業價值）。我們確實會做一些研究，研究結果現在有用或者將來會對世界有用，這些研究是和谷歌內部的許多團隊共同完成的，在語音識別、谷歌照片、YouTube、谷歌搜索、GMail、Adwords、AlphaGo等等許多領域，我們的研究都得到了顯著成果。把這些產品相關的數據拿出來看一看的話，我們谷歌大腦團隊的研究成果對整個公司都有很大的影響力。

我們非常看重開放性，對我們來說也是好處遠遠多於壞處。比如，讓TensorFlow開源，就有很多外部開發者和我們一起工作，讓這個系統變得對任何人都更好用。開放性也讓我們更容易和谷歌之外的研究人員共同做研究，因為這樣我們可以經常相互分享代碼（比如，有的學生在畢業前來谷歌實習做了一些工作，現在離開谷歌以後，藉助開源的TensorFlow他們也可以更容易地把以前的工作繼續做下去）。當我們公開我們的研究成果的時候，我們也從其它研究者那裡收到有價值的反饋；這也是藉機向全世界展示我們做的有意思的研究，能吸引更多的人做類似的研究。不過，我們也確實有一些研究成果是不會對外公開研究細節的（把機器學慣用於我們的搜索排名系統和廣告系統這種）。

網友：作為谷歌產品的消費者和一名研究者，首先感謝你們所有人的工作成果，向你們致意。我想問兩個問題，1，一個有用的點子（比如dropout）從發表在會議論文中，到實際應用在手機里的谷歌app中，你們一般需要花多長時間？2，能不能講講在過去5年的研究和系統建造歷程中，你們研究和應用的方法都發生了哪些變化？換句話說，我估計你們現在更多地用神經網路，不過那些還沒完全成形的技術我也很感興趣。謝謝！

Jeff Dean：對於問題1，可短可長，變化很大。舉個例子，這篇 Arxiv 論文里的序列到序列模型（http://arxiv.org/abs/1409.3215），論文發表的時間是2014年9月，論文中的研究內容就是在這之前的幾個月中完成的。而帶有這種模型的產品的首次發布是在2015年的11月（可以看這篇博客https://research.googleblog.com/2015/11/computer-respond-to-this-email.html）。其它已經完成的研究，周期還要長得多，而且我們也還不知道這些研究未來能用在什麼產品中（如果真能用得到的話）。

對於問題2，據我所知我們的研究方向確實轉換和進化了很多。比如，相比5年前，我們現在用強化學習的時候要多多了，尤其是把強化學習和深度學習結合起來。相比剛剛啟動項目的時候，現在我們對循環網路模型的看重程度也要高得多，因為我們在嘗試解決複雜的語言理解問題。我們從DistBelief轉換到TensorFlow也是一個例子，我們的想法進化了、改變了，很大程度上是由於我們進入上述的一些新研究方向的時候發現DistBelief的編程模型缺乏靈活性，我們才開發了TensorFlow。我們在健康保健和機器人方面的研究在過去幾年中得到了很大的加強，我們也時不時開啟新的研究路線，比如對AI安全問題的研究。

網友：在未來幾年內，你覺得谷歌大腦團隊會如何發展？以及你們招人嗎？

Jeff Dean：要考慮未來幾年的發展的話，有一種思路是看看我們團隊在過去的幾年中都發生了哪些變化。

• 我們在機器學習的許多領域都開展了研究，包括機器學習演算法、新的模型類型、感知、語音、語言理解、機器人、AI安全等等很多領域，也在NIPS、ICML、ICLR、CVPR、ICASSP等會議上發表了相關研究論文。可以在 g.co/brain 上看看每個話題的子頁面。

• 我們啟動了一個機器學習研究培訓生計劃，這個計劃在未來幾年要一直開展並擴大下去，這是為了幫助訓練下一代的機器學習研究人員們。可以看這裡 g.co/brainresidency。

• 我們設計、構造並開源了TensorFlow，並且和越來越多的研究者、開發者構成的社區一起逐步改善這個系統（也和我們在谷歌雲平台的同事合作，讓TensorFlow成為谷歌雲機器學習平台的基礎）。參見 tensorflow.org。

• 我們和其它研究團隊、產品團隊的谷歌同事一起，合作解決機器學習研究方面的問題，這也讓我們的研究成果得以來到數十億人的面前（通過RankBrain、智能回復、谷歌圖片、谷歌語音識別、谷歌雲視覺等等產品）。

• 我們啟動了一個用於機器人的機器學習研究計劃 g.co/brain/robotics。

• 我們花了很多精力把機器學慣用於健康保健，參見 g.co/brain/healthcare。

在未來的幾年中，我希望我們的團隊可以繼續發展壯大，以各種各樣的形式改變世界，包括研究成果的出版物、開源軟體、解決機器學習研究方面的困難問題從而讓我們構建更智能、更能幹的系統，而且做這些事情的時候都要做得有聲有色。

以及，我們正在招全職的研究員、軟體工程師、研究實習生和新的研究培訓生！可以從這個頁面的底部看到相關鏈接 http://g.co/brain

網友：作為研究員個人，你們按照不同時間段的研究目標分別是什麼樣的？（比如下個月、明年、職業生涯中其餘的時間？）

Jeff Dean（2016年）：下個月以及大概到明年，我自己的興趣主要在改進TensorFlow平台上，以及訓練非常大的、稀疏激活的模型（模型里大概有一萬億個參數，但是對於給定的一個樣本，模型里只有1%的部分會被激活）。對於職業生涯的其餘時間，我想說我應該會繼續和有意思的同事一起研究困難的問題，並且我希望這些共同解決的問題可以對世界產生一些明顯的影響。

網友：在你們團隊工作大概是什麼樣的？每天都有哪些例行的工作？

Jeff Dean：我領導整個谷歌大腦團隊。一般來說，我會花一些時間看郵件、回郵件、看文件、寫意見，也有時候寫技術文檔、跟團隊內或者整個谷歌的同事開一對一的小會或者小組會議、審查代碼、寫代碼，以及思考關於整個團隊的技術或者組織問題。我有時候也會在公司內部或者去外面做演講。

網友：你們有沒有什麼具體的團隊管理綱領？谷歌大腦運轉的時候是像大學的學院、像傳統商業公司的研發中心，還是別的？以及，你們覺得ICML2017如何？澳大利亞算不上一個機器學習蓬勃發展的地方，不過我還是很開心可以在這裡舉辦。

Jeff Dean：總的來說，我們試著去招那些選擇有趣和重要的問題的時候表現出不錯的品味的人，而且我們很大程度上就是靠這一點來保持我們的組織架構比較扁平的。我們會劃分成幾個很大的子團隊，分別負責TensorFlow開發、機器學習的核心研究、機器學習應用於醫療保健和機器人這樣的新生領域。在我們的核心研究團隊中，我們有一些有組織比較嚴謹的大型項目，原因也很簡單，就是因為有很多研究員、軟體工程師、培訓生等等在這些項目中合作。研究團隊里的其它人在研究一些單人的或者小團隊的合作項目，不需要正式的組織架構。我們嘗試執行的管理綱領包括：可以自由選擇重要的研究問題，可以公開發表以及開源跟我們的研究相關的代碼，以及隨時都可以同時處理很多有不同研究風險/回報的研究問題。

很可惜我今年沒能去得了ICML，不過我聽說會議很棒，澳大利亞作為舉辦地點也很不錯……

網友：谷歌大腦的實習生、培訓生、研究員可以在谷歌大腦研究深度學習之外的項目嗎？比如非參數化的貝葉斯機器學習？

Jeff Dean：當然可以。實際上，明年我們就打算把培訓生計劃拓展一下，讓它囊括谷歌研究院更多的研究團隊，包括我們的一些研究貝葉斯方法的研究員同事。在谷歌大腦團隊，我們也歡迎研究者研究一些他們自己覺得有趣的研究方向，即便這些方向和整個團隊正在做的不完全一致。我們覺得這是讓我們的理解不斷前進的最好的方法。

網友：關於谷歌大腦培訓生計劃，一個人最低要達到哪些要求你們才會考慮要他呢？我已經看了任職要求，不過我想問問如果現在開始準備的話有沒有什麼好方法。另外，如果要招一個新的谷歌大腦成員，你們都看重什麼？你們中的很多人都有各種各樣的過往經歷，那過往經歷的豐富性就很重要嗎？假如一個人的編程水平一般但是數學很厲害，跟一個編程很厲害但是數學一般的人相比，你們會更傾向於哪一個呢？

Jeff Dean：谷歌大腦培訓生計劃的最低要求在招聘頁面裡面有寫，不過最主要的條件之一是已經有充足的證據證明你在機器學習研究上的興趣（在領域內發表論文、自己寫小型的相關的項目然後在GitHub上開源等等都行）。

對於新的谷歌大腦成員，如果每個人在每個方面都很厲害那當然最棒了。不過，不同的人畢竟有不同的知識和能力，所以我們發現把擁有各種各樣不同技能的人組成小團隊往往可以有效地解決困難的問題，即便其中的人都沒辦法獨立解決這些問題。我們想要招的就是這樣能夠很好地和別人合作、並且給團隊帶來有用的知識技能的人。

網友：實習生有年齡限制嗎？我都四十好幾了……

Jeff Dean：2012年夏天，我邀請了 Geoffrey Hinton 來我們團隊做訪問學者，不過安排的時候出了一點問題，他被當作了我帶的實習生。我們對實習生沒有年齡限制的。我們只需要你有才華，而且求知慾很強，像 Geoffrey 這樣的就不錯。

網友：6月的時候李飛飛說，不管是怕AI帶來世界末日，還是怕AI單一乏味，根源都是「在教育和科技研發中缺乏人性化思考和人性化的任務描述」。你們在谷歌大腦是如何培養「人性化的思考」的？

Jeff Dean：我本人不怎麼擔心AI帶來世界末日，我覺得這種擔憂完全是捏造出來的。關於AI安全和隱私問題有一些合理的擔憂，我們團隊（和其它一些組織一起）最近就發表了一篇關於其中一些問題的論文（ Concrete Problems in AI Safety ，https://arxiv.org/abs/1606.06565）。不過我確實擔心AI研究生態中、以及計算機科學總體來說多樣性不足的問題。

谷歌大腦團隊的研究使命是：「讓機器具有智慧。改善人們的生活。」（Make machines intelligent. Improve people』s lives.）我覺得這個使命的後半部分可以幫我們培養「人性化的思考」，因為這樣我們會考慮我們研究起到的作用，我們會回過頭來考慮如何讓我們的研究成果給人們的生活帶來積極的影響（比如我們在醫療保健方面的成果 http://g.co/brain/healthcare）。

谷歌大腦培訓生計劃里有一點我很喜歡，那就是這些實習生可以給我們的研究過程帶來各種各樣的過往經歷、知識技能（比如我們有物理學家、數學家、生物學家、神經科學家、電子工程師，當然也有計算機科學家）以及其它一些多樣性。以我的經驗來看，只要把有著不同技能、不同觀點等等的人放在一起，就可以做成沒有人能夠單獨做成的事情，因為沒人能夠具備所有需要的技能和觀點。

網友：我想問問TPU的事情，可以盡量多講一講嗎（在可以公開講的範圍內）？我從不同的工程師那裡聽說了很多零散的信息，但都不是很統一。我還有幾個具體的問題：

• 1，TPU可以運行哪些演算法？它是為谷歌的某些演算法專門做過優化的嗎？比如Inception架構、batch normalization、某些特定的卷積操作等等。

• 2，硬體只支持一些特定的演算法會不會顯得比較短視？新的演算法出來了以後怎麼辦，你們要召回這些晶元么？

• 3，TPU和CPU/GPU相比，大概的能耗和性能是怎麼樣的？

• 4，IIRC的Inception好像是第一個完全在CPU上訓練出來的ImageNet比賽冠軍是嗎？隨著這一切發展到現在，還用CPU訓練的能耗/性能是不是已經完全不現實了，是不是最終每個人都會需要專用的硬體？

Jeff Dean（2016年）：TPU團隊會寫一篇技術論文，詳細介紹這種晶元的架構，不用過太久就可以讓大家看到。目前來說，我可以從比較高的層面給你幾個回答。

• 對於問題1和2：TPU是設計用來做深度神經網路中的那些運算的。它支持的運算沒有那麼特定、不是只能支持一種特定的模型，而是為神經網路中高密度的數學運算做了專門的優化，比如矩陣乘法和非線性激活函數。我們贊同你說的「為一個特定的模型製造晶元可能會太局限了」，不過TPU並不是這樣的。

• 問題3：谷歌CEO Sundar Pichai 在谷歌 I/O 2016 大會的演講中分享了一個高層次的數據。具體來說，Sundar說：「TPU比目前所有的商用GPU和FPGA的每瓦性能都高了一個數量級」（在I/O大會的時候）

• 問題4：（首先說明我不是非常確定）不過我估計2012年之前的ImageNet冠軍（比如AlexNet之前的）都是在CPU上訓練的，所以Inception應該不是第一個在CPU上訓練的ImageNet冠軍。舉例的話，講ImageNet 2011年冠軍的PPT里（//image-net.org/challenges/LSVRC/2011/ilsvrc11.pdf）就沒有提到GPU，ImageNet 2010冠軍PPT（http://www.image-net.org/challenges/LSVRC/2010/ILSVRC2010_NEC-UIUC.pdf）的第八頁提到了100個成員的計算集群，應該說的也是CPU。我下面會從用CPU訓練高計算強度的深度神經網路的角度解答你的問題。我覺得CPU用來訓練這些系統並不是完全不可行，但是它們在每美元性能和每瓦特性能方面的表現並不算好；而且，在同等條件下，把一大群較低FLOPs的設備做成集群很困難，用更少數量、但更高FLOPs的設備組成集群就容易得多。

網友：你們計劃在TensorFlow中支持ONNX(Open Neural Network Exchange)嗎？如果不的話可以說下原因嗎？（雷鋒網 AI 科技評論註：ONNX是微軟、Facebook等聯合推出的開放機器學習模型格式，相關報道戳這裡）

Jeff Dean：前幾天他們在博客上公布這件事的時候我們看到了。如果它能帶來明顯的作用的話，我估計TensorFlow社區是會支持它的。

TensorFlow從2015年11月開源的時候起就在源代碼裡帶有我們的格式來存儲、還原模型的數據和參數。

（由於回答很多，文章分為了上下兩篇。下篇中還有Jeff Dean解答谷歌大腦和DeepMind之間的關係，以及對機器學習未來的許多看法，「Jeff Dean答疑解惑：關於谷歌大腦和機器學習未來的26個精彩問答（下）」。）

雷鋒網 AI 科技評論編譯整理

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！