AI科技評論專訪Yann LeCun: 關於深度學習未來的14個問題

文章由宗仁，曉樺聯合採訪。

宗仁，曉樺，曉凡聯合編輯。

4月23-26日，ICLR在土倫舉行了第五屆國際學習表徵會議，雷鋒網［AI科技評論］前線記者親赴現場的同時，採訪了ICLR會議創辦人，深度學習三大巨頭之一的 Yann LeCun教授，探討了關於GAN的未來，本屆ICLR的亮點，ICLR論文的爭議，ICLR和Facebook相關工作的關聯性問題，以下是雷鋒網［AI科技評論］採訪原文。

關於ICLR1. AI科技評論：第一個問題是關於GAN的。關於GAN，除了您自己參與投遞的EBGAN論文，您從今年的論文反饋情況來看，預測會有什麼可能的新的發展方向？

對，我以前就有說過，GAN是最近10年內機器學習領域最棒的一個點子。它是一個很有用的點子，能夠讓非監督學習發揮作用。有件事情我一直很相信，就是人工智慧系統需要有一種預測模型，能夠有預測未來的能力。預測未來當中的問題是，預測的結果是不確定的，未來會有很多種可能。所以當你訓練一個能夠預測未來的學習機器的時候，因為會有固定的一個合理的答案，就很難使用正常的演算法。那麼GAN就是解決這種問題的方法之一。這也是我對GAN很感興趣的原因，我覺得它能夠在解決人工智慧發展之路的這個問題上發揮很大作用。

我們現在只看見了一部分內容，會議才剛剛開了一半。我覺得GAN方面確實有一些有意思的論文，其它方面比如自然語言處理、自然語言理解、知識的表徵學習，包括但不限於向量和神經網路，要更通用一些。神經網路的內在狀態是用向量表示的，20年前就有人想到過可以用更複雜的數據結構來概括和表示神經網路的內在狀態，比如圖和張量。這方面的研究我們也看到了一些，有神經網路和結構預測的結合，而且在神經學習和增強學習之間的聯繫也有很多研究。但我覺得我們還沒有見什麼大的進步，在訓練出一個正常的增強學習網路之外的真正的大進步，我們需要新的概念，或者把簡單的增強學習作為一項商業來製造這種機器。其它的亮點我還沒太多關注。

我覺得應該沒有什麼被忽視的（亮點）東西。但是我覺得大家可以多花一點注意力在「基於模型的增強學習」或者「基於模型的規劃」上，還有「階梯式規劃」，ICLR收到了好幾篇這方面的論文，我覺得這可能是我們建立更智能的系統的路線，因為它其中能夠用到這個世界的模型，能夠讓機器提前進行規劃，而不是直接在環境里進行訓練。人類和動物用很少很少的樣本就可以進行學習，這其中的原因就是因為我們腦中就有很好的世界運行的模型，而我們還沒有在AI上嘗試過這些，因為目前還沒有好的模型能夠給AI建立世界運行的模型，尤其是預測性模型，比如拿個東西到空中，然後鬆手它就會掉下去，或者把盛水的玻璃杯倒過來，水會流出來把別的東西淋濕。我們人類對世界的很多背景知識都不是靠觀察得來的，而是靠行動，現在還沒有什麼好方法能夠讓機器也這樣做。所以GAN這樣的方法是最有希望取得進步的方法，不過也還不能徹底解決。以及，現在也還沒誰有很好的方法能夠讓GAN發揮出作用，GAN有很多種不同的類型，各自都有優點缺點，但是現在還沒什麼廣泛接受的類型或者技巧能夠保證GAN每次都起到作用。這也是未來一兩年內這方面研究會遇到的主要問題。

（笑）我也想知道。這個我還真不知道，沒法回答。不過總體上說，人們喜歡的論文要包含三件事，一是新點子，新點子能讓大家從不同角度進行思考；然後就是好的結果；以及規範的實驗流程，讓大家看到你的點子有效果。如果你的論文能包含這三件事情，那就是一篇有影響力的論文，很有可能會有上台給大家演講介紹的機會。

第三點是說證明新方法是可行的？

對，但是需要通過規範的實驗流程來證明。你需要說明你得到好的結果要歸功與你的新點子，而不是因為其它一些原因，比如把模型調節得很好之類的。

沒問題，可以的。現在這方面的研究還並不多，但是這件事肯定是可行的。

您最近公布了wav2char，需要至少十分鐘的語音數據。從語音生成是對目標聲音的模仿這個角度來看，如果我們在語音生成中使用GAN，有什麼測試方法嗎？以及，能否先訓練一個通用的語音模型，然後再用某個具體的人的聲音去訓練生成的聲音。

應該是wav2char吧。這方面有一些研究，有很多人用GAN研究語音生成，有的是直接用波形，有的是利用頻譜。那麼用GAN的時候的主要問題之一是，我們沒有特別好的數字化方法可以對人工智慧的水平進行測量。用GAN生成圖片的時候，我們可以看那些圖片，看看視覺效果如何；如果生成語音的話，我們就要聽語音有沒有問題。但是我們沒有可量化、客觀、固定的方法來估計GAN生成的語音數據的質量。這是個大問題，因為這會讓調整和選擇最好的方案變得很難。

6. AI科技評論：我們都知道，《理解深度學習需要重新思考泛化問題》的論文在ICLR開始前引發了不小的爭議。大會是如何在爭議性和權威性之間做出平衡的呢？

有爭議是好事，爭議推動著科學的發展。有人有不同意見，他就會去思考什麼樣才是最好的。科學發展的方向上就是會有爭議，而權威性並不重要，真理有時候就是會來自於不怎麼出名的人。所以，我覺得這裡面沒啥好平衡的。

FAIR是一個研究性的實驗室，所以雖然有我們研發出的技術會用在Facebook產品中，我們多數的研究的目的還是為了在領域內做出新發現，而不是直接為了應用。不過我們做的許多東西確實還是用在了Facebook的服務中的，比如圖像識別、翻譯，都是直接應用在Facebook產品中的。

機器學習、計算機視覺等等，這些成果VR&AR中都是很實用的。比如你需要定位和分割物體、加視覺特效、做3D補全、特徵追蹤、目標識別等等，所以AI會對VR&AR起到很大的影響，其實現在就有很大影響了。

哈哈，ICLR算是一個必須的選擇吧，因為其實沒有很多的選擇。所以從1996或者1997年以後，我組織了一個工作室，學習工作室，每年大概只有八九十人參加。到了2006、2007年，深度學習的大潮來臨的時候，這個工作室增長得很快，我們覺得需要有一個深度學習方面的會議，所以我們就在4年前的時候把這個邀請制的工作室變成了開放式的會議。我覺得這個決定非常棒，每年都吸引了很多參加者。今年1100人，去年500多人，前年兩三百人，第一年的時候130人，所以本質上它發展得也很快。同時我也把這個會議作為了實現OpenReview的機會，ICLR使用著這種不常見的公開評審機制，ICLR也是對這種機制進行實驗的機會。

關於其它10. AI科技評論：對話式AI被公認為是一個重要的AI應用方向，但目前受限制於NLP的水平，效果並不讓很多人滿意，對目前對話式AI的發展你有什麼看法？

對的，對話式AI現在還很難讓人滿意。如果要讓虛擬助理變得有用，它們需要具備一定的常識水平。但現在的機器還太笨了，沒辦法具有常識。這也是我們在研究預測式模型的原因，這是讓AI最終具有常識的方法之一。

我正在研究的課題有好幾個，用GAN研究預測模型，其實本質就是無監督學習；理解深度學習目標函數的幾何結構，這是一個非常複雜的理論問題，我挺感興趣的；還有就是可轉移競爭，也是我感興趣的。所以我正在研究的課題就是這三個。

Facebook在研究聊天機器人方面花了很大努力，不過這項技術並不僅僅是為了造一個虛擬助理的。所以這個方面有很多研究都還在緊張的進行中。

這個傳聞是假的。聊天機器人的商業化策略在不斷演變，所以有些東西會關閉或者縮水，有一些其它的方面會得到提升。但是這方面的研究還是非常活躍的。

14. AI科技評論：五月的時候，DeepMind的AlphaGo和圍棋世界冠軍何潔會在中國進行一場比賽。你對比賽有什麼期望嗎？為什麼谷歌還要再一次進行人機對戰？我的意思是說，打敗了李世石，還不夠嗎？

圍棋中的競爭理論和競爭策略一直以來都很有意思，所以這個比賽對他們來說也很重要。其中Google也由於這個比賽的關係獲得了很高的關注度，這也是他們繼續比賽的原因。我覺得Alpha Go肯定是能打敗柯潔的。

雷鋒網［AI科技評論］曾經在《論文被拒千百遍，團隊不受待見，Yann LeCun為何仍待深度學習如初戀？》一文中介紹過，Yann LeCun是人工智慧神經網路方面的大牛，現在是Facebook人工智慧研發團隊的領軍人物。可是他的研究之路並不是一帆風順，在神經網路變得今天這樣火熱之前，他也經歷過非常悲催的歲月。如果從1980年代，Yann LeCun在巴黎讀大學時候的算起，Yann LeCun已經深耕「神經網路」30多年了，曾經他的研究方向不被看好，論文被各種學術會議拒絕，貝爾實驗室項目被叫停，與Hinton和Bengio結成了一個不怎麼正式的同盟來複興神經網路，不過現在在ICLR上，他的夙願都達成了。

他親眼目睹著自己曾經的心儀的一個學術活動從一個工作室的規模逐漸增加到300人，500人，1000人；他為了求變求新，不拘一格地啟用了OpenReview這種不常見的公開評審機制；他料到大會上一些論文必有爭議，但還是欣然鼓勵和推動。甚至在被問到「大會是如何在爭議性和權威性之間做出平衡」的問題上時，他毫不猶豫地表示：「科學發展的方向上就是會有爭議，而權威性並不重要。」。

或許，只有經歷過詆毀並堅持到底的人，才敢無懼爭議並走向更大的成功。