Ian Goodfellow：我的失敗是用無監督解決計算機視覺監督學習問題

新智元編譯

來源：veronika.com

編譯：肖琴

【新智元導讀】Ian Goodfellow是谷歌大腦團隊的staff research scientist，負責領導一個研究AI中對抗技術的研究團隊。他入選了MIT技術評論的「35 under 35」，他是生成對抗網路（GAN）的發明者，還是《深度學習》一書的主要作者。最近，他參加了一個名為「How I Fail」的訪談，吐露自己失敗的經歷。

1. Hi Ian~ 感謝加入「How I Fail」系列的訪談！你能告訴我們一些關於你自己的事嗎？

Ian Goodfellow：謝謝你邀請我！

我是谷歌的一名AI研究員，領導一個研究團隊。我們正在致力於更好地理解AI失敗的情況，以便我們能夠為負責任的AI開發建立明確的工程原則。我的個人時間大部分都在學習如何使AI安全——例如，如何確保惡意攻擊者無法欺騙AI系統去執行攻擊者的意圖，而不是設計者的意圖。

2. 在Twitter上，你曾經發過一份被拒絕學校的名單，可以詳細說說嗎？

Ian Goodfellow：當時，我的同事 Moritz Hardt 在Twitter上提醒大家，說「要記住，一個典型的成功的學術生涯的開端，是被一批優秀的研究生院拒絕。」

我於是回復了一份我被拒絕的研究生院和獎學金的名單。當時只是簡單列舉了，這裡是更完整的故事：

在斯坦福大學念本科時，我在為從事神經科學的工作做準備的同時，曾在生物和化學課上苦苦掙扎。我的成績很好，但我覺得自己做得不夠好，無法成為一名教授。

當我將注意力轉向計算機科學後，我作為本科生申請了幾個實習。值得一提的是，谷歌拒絕了我的實習申請。

我曾經申請過一名斯坦福大學教授的暑期實習。申請材料中包含了我的成績單。教授回復我：「為什麼你在我的課上有一個A？」原來，我實際上並沒有在那門課上得到A。我以為是教授評分慷慨，但其實只是因為電腦故障。那次實習申請的結果是斯坦福給我的成績單降低了評分。

其他的大型科技公司給我提供了實習機會，但不是在機器學習或計算機視覺領域工作。在我的簡歷上，你看不到這些失敗，只是看到最終的成功（我非常感謝Willow Garage和斯坦福大學的CURIS項目讓我有機會在夏季實習期間研究機器人視覺）

在我的碩士和博士階段，我大部分時間都沒有獲得外部獎學金。這意味著我不得不當教學助理，或費心申請專門的補助金，而無法專註於我的研究興趣。我不斷地申請獎學金，比如魁北克的PBEEE。我在2009 - 2013年每年都嘗試申請，但並沒有獲得，直到2013年，Google給了我第一個深度學習的PhD Fellowship。

像ECCV這樣的視覺會議拒絕了我在博士之前寫的大部分論文。我做了很多有關機器人感知的工作，但這些工作從未見過天日。

3. 你認為哪些因素幫助你克服了這些挫折？

Ian Goodfellow：在高中時，我在學校的辯論隊里呆了三年，由兩位非常出色的老師指導：Kerry Koda和Thomas King。

在我的科學職業生涯中，這段辯論的經歷經常在不同的方面幫助到我，這令我很驚訝。在克服挫折方面，辯論是有用的，因為辯論者都學會了如何處理失敗情緒。每場辯論都有勝利者和失敗者。沒有人能夠一直勝利。如果你堅持辯論的時間很長，你很快就會習慣輸掉一輪比賽時的挫折感，然後立即去另一個教室再進行另一輪比賽，習慣輸掉一場錦標賽，然後在下個周末馬上去參加另一場比賽。你學會了不去反芻失敗和自責。此外，你對自己期望會得到很大調整。你會習慣不斷地經歷失敗和成功。

4. 對於簡歷的這段失敗經歷，有些回應說這是你謙虛的自誇，你的回答是什麼？

Ian Goodfellow：我之前在推特上公開這些事時，人們並沒有這樣回復。很多人感謝我分享這些信息。我完全可以理解為什麼有人會認為這是一種謙虛的自誇，但我想大多數人也明白我這樣做是為了幫助其他人擺脫妄自菲薄。

5. 另一方面，你是否認為失敗是普遍的，人們可能會決定不分享他們的成功？

Ian Goodfellow：不，我們基本上都是被迫分享成功，無論是工作中的績效評估，還是在申請資金等方面。在向會議和期刊提交論文時，每個人都很有動力去展示他們論文的優勢，並試圖將缺點掩蓋。我個人儘可能地反對這種動機，但我不認為這會很快消失。

6. 到目前為止，我們談論的成功和失敗都源於一些獨立的決策，還有其他類型的事情可以令人失敗，你自己是否有這樣的經歷？

Ian Goodfellow：實際上，我認為大多數獨立的失敗事件（被接受/被拒絕某個特定的研究生課程，或被接受/被拒絕提交給會議的論文等）並不重要。

我在推特上說自己被很多研究生院拒之門外，但這沒什麼，因為我也被其他很多學院接受了。

例如，在2009年，我遇到的最大的障礙不是被一些頂尖學校比如MIT和CMU拒絕，而是我沒法確定在其他接受了我的院校里（比如斯坦福和伯克利）能否做想做的研究。也不知道導師是誰，而且這些學校支持深度學習研究的導師相對較少。我選擇去蒙特利爾大學來克服這一障礙，因為可以提前選Yoshuaa Bengio做導師。

我認為最大的失敗可能是，我在博士期間大部分時間都在試圖用無監督的特性學習方法去解決計算機視覺的監督學習問題，而當Alex、Ilya和Geoff 用純粹的監督方法贏得了ImageNet競賽時，我完全是措手不及。我想，浪費時間在寫論文上，而且這些論文完全沒見得天日，這是我失敗的主要原因。特別是現在，在arxiv.org上發表文章是很正常的。如果一篇文章影響到其他研究人員，哪怕被會議拒了，我認為這個工作仍然是成功的；如果一篇文章沒有產生任何影響，哪怕它被會議接收了，這個工作仍然是失敗的。

7. 有沒有什麼事情是你覺得你目前做失敗了的，或者你對它的未來猶豫不決的?

Ian Goodfellow：我一直在努力理解為什麼神經網路很容易被輸入的小小擾動所迷惑（通過自己直接的研究工作，以及努力增加其他研究人員對這個主題的興趣），這個問題已經提出近4年，仍然沒有人知道在這種設置下如何構建高精度的度模型。

從職業成功的傳統衡量標準來看：我今年提交給ICML的論文的評審意見尤其殘酷，預計它們中的大部分都會被拒。

另一件值得一提的事情是：我工作的方式。我會快速地嘗試一些想法，看看它們是否有成功的希望，然後放棄掉大部分想法。當我有很多時間時，我可能會對3-5個想法編碼，然後可能發現它們都不work。每個想法投入的時間成本很小，但我可以嘗試大量不同的想法。從這個角度來看，失敗只是我工作流程中固定的一個部分。

8. 說到成功的研究人員，你如何看待論文發表之類的權重的分布？是否存在一些容易被忽視的因素？

Ian Goodfellow：我認為我們衡量成功的標準正在導致社會錯失所有的成功人士。

例如，我們花費大量時間評估工作和評估人員，但我們並沒有花費大量時間評估這個評估過程本身。沒有人負責確保會議審查流程公平和準確。從Eric Price寫的NIPS experiment這篇文章就發現，評審過程中存在很多噪音（Eric Price發現，領域主席們在處理論文時經常意見不一致的情況比意見一致的情況更多），但是沒有人帶頭提出更好的審查流程。研究社區應該重視提高整個社區效益的努力，但到目前為止，我們似乎沒有任何方法為這些努力提供價值。

9. 你認為機器學習領域的失敗與其他領域的失敗有不同嗎？是否以不同的方式影響著不同的人群？

Ian Goodfellow：機器學習對快速產生大量成功的工作和對其他人的工作產生影響這方面有很高的期待。例如，Ilya Sutskever在Google學術搜索的引用量超過50000次，而在數學領域，菲爾茲獎最近的四名獲獎者沒有一個引用量超過5000。這很奇怪，在我們這個領域，成功是如此的具有爆炸性。可能部分原因是我們經常使用arxiv.org，而不是主要關注同行評審的出版物。說實話，我不太了解這是如何影響不同群體的。

10. 你對機器學習的負面結果有何看法？

Ian Goodfellow：我認為很難在機器學習的負面結果中找到價值，因為很難知道造成負面結果的原因。一個負面的結果可能是由於想法本身根本就是錯的，但也可能只是一個出於非常小的一個軟體錯誤，嘗試的超參數不對，模型太小，等等。

11. 你想給過去的自己提什麼建議？

Ian Goodfellow：我希望我使用一部分為深入學習購買的GPU來挖一些比特幣。

【加入社群】

新智元 AI 技術 + 產業社群招募中，歡迎對 AI 技術 + 產業落地感興趣的同學，加小助手微信號: aiera2015_3 入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！