自然語言GAN惹爭議：深度學習遠離NLP？

新智元編譯

來源：

編譯：熊笑、文強、劉小芹

【新智元導讀】一篇在 ArXiv 上非常火的文章《自然語言對抗生成》引發了 Yann LeCun 和 Yoav Goldberg 的激烈論戰。Yoav Goldberg 措辭激烈：「拜託你們這幫搞深度學習的人，別再抓著語言不放並聲稱自己已經解決語言的問題了！」 Yann LeCun 則一臉驚愕：「這言論居然來自 Yoav ？他自己也在從事將深度學習應用於 NLP 的研究啊！」二人的論戰，更直接涉及了 ArXiv 的模式及所謂的「占坑現象」。同時，也凸顯了 NLP 領域語言學家和計算機科學家那暫且平息卻遠未消弭的對立情緒。

6 月 2 日，新智元曾介紹過一篇在 ArXiv 上非常火的文章《自然語言對抗生成》（Adversarial Generation of Natural Language），作者包括著名的《深度學習》（Deep Learning）一書的作者 Aaron Courville。論文用 GAN 解決自然語言處理問題，「在中國詩詞數據集上取得目前最好結果」。研究人員表示，他們為訓練 GAN 生成自然語言提供了一種直接有效的方法。

然而，就是這篇論文，卻引起了深度學習界大神 Yann LeCun 和 Yoav Goldberg 的激烈論戰。當然，也許不應該稱作是深度學習界的論戰，因為後者堅持認為自己是語言學界的。

在《自然語言對抗生成》在 ArXiv 上火了以後，先是 Yoav Goldberg 發了一篇推特。

之後，雖然認為自己「有更重要的事情要做」，可 Yoav Goldberg 還是又寫了一篇長文，痛快淋漓地闡明了自己的觀點。他說：「拜託你們這幫搞深度學習的人，別再抓著語言不放並聲稱自己已經解決語言的問題了！」當然，他的用詞要更強烈一點，這一點可以從下面的截圖上看出來。

看到這篇文章，現任臉書人工智慧實驗室主任的 Yann LeCun 頗為不滿，他在幾個小時前剛剛在 Facebook 撰文，對 Yoav 進行了駁斥，他說：「這言論居然來自 Yoav ？他自己也在從事將深度學習應用於 NLP 的研究啊！」

現在，讓我們逆向追溯這場論戰，從 Yann LeCun 到 Yoav Goldberg 再到論文原文，看看論戰的焦點及背後的意義何在。

Yann LeCun：這言論居然來自 Yoav ？他自己也在從事將深度學習應用於 NLP 的研究。

Yann LeCun 在 FaceBook 上發文如下：

上傳論文到 ArXiv 沒壞處，至少可以先把坑占上。

Yoav Goldberg 的這篇文章在過去幾天內已經在 Interwebz 上廣泛流傳，連篇累牘地表達了對 MILA 上某篇關於文本生成的論文所使用的方法論的不滿。

這篇文章同時也表達了對於深度學習社群迅速上傳論文至 ArXiv 這種慣常做法的不滿。我實難苟同。

我無意為 Yoav 討論的那篇論文辯解。我連讀都沒讀過。但是 Yoav 有很多在我聽來相當自衛式的言論，包括「拜託你們這幫搞深度學習的人，別再抓著語言不放並聲稱自己已經解決語言的問題了」，以及「語言對我而言很神聖，對搞深度學習的人而言則不然」。這聽起來很像其他社群的人每當神經網路或深度學習在他們的領域稍有突破時所持的論調，例如上世紀九十年代初的字元識別、2010年前後的語音識別、2014年的計算機視覺，以及現在的自然語言處理。我理解背後的原因，但是這聽起來完全就是掀起論戰，更讓人驚愕的是這言論還來自 Yoav, 他自己也在從事將深度學習應用於自然語言處理的研究。

公平地說，這篇文章現在已經被大量的澄清（又稱「往回找補」）變得好一些了了（https://medium.com/@yoav.goldberg/clarifications-re-adversarial-review-of-adversarial-learning-of-nat-lang-post-62acd39ebe0d）。

Nikos Paragios（他所說的「不那麼老」的人）也寫了一篇類似的自衛式的文章，哀嘆了 DL 所引起的計算機視覺的方法論轉變。（https://www.linkedin.com/pulse/computer-vision-research-my-deep-depression-nikos-paragios）

任何時候一個社群與另一個社群發生衝突，就有好戲看了。起初社群 A 認為社群 B 的論文技術性較差，社群 B 則認為 A 的論文在方法上有缺陷，結果低於基準線。 這種事情一遍又一遍地發生，機器學習社群有時會扮演 A（B 是語音，視覺，圖像，NLP），有時候扮演 B（A 是統計、優化或 CS 的各種理論分支）。除非兩個社群能有共同的方向，否則將一個社群的標準應用於另一社群的研究工作上就沒有道理。如果社群被視為不同方向的單位向量，A 在 B 上的投影比 B 短，你就可能會認為 A 低於 B，但反之亦然：B 在 A 上的投影也比 A 要短。社群間發展出共同的語言並採用彼此的最佳方法是需要時間的。

讓我們回到 ArXiv。Yoav 和其他人一直抱怨說，在 ArXiv 上發表的不完善的論文鼓勵了「挖坑占坑」的行為：作者想到一個idea，快速但是馬虎地實現這個想法，然後在 ArXiv 上發表一個不怎麼樣的結果，期望第一個得到認可。有人認為這是不公平的，因為更重要的事情是研究，而不僅僅是得到一個想法。這完全正確。一個想法，或一項技術的演化過程，是得到idea，實現它，證明它能工作，讓它在實驗問題上工作，讓它在一個真正的問題上與其他方法工作得同樣好，讓它打破紀錄，提出一個使它工作的方法，從理論上解釋它為什麼工作，優化並簡化它，將它一般化以適用其他問題，圍繞著它開發新的技術，做成一個產品，銷售產品……

這個過程中各個角色都應該獲得不同程度的功勞。在科學的歷史上，很少是最初提出idea的那個人包攬全部聲譽（雖然我聽說一些應該繼續默默無名的人，聲稱全部功勞都應該是他的）。

在 ArXiv 上發表論文的過程比傳統的出版模式更加有效。它當然不會取代傳統的同行評議模式。是的，它改變了「聲譽」應該歸於誰的問題，但這沒關係。

為什麼迅速上傳 ArXiv 的做法更高效？因為它遵循的是「市集」的協作模式，而非「大教堂」式的傳統出版模式（參見 Eric Raymond 的「大教堂與市集」，http://www.catb.org/esr/writings/cathedral-bazaar/）。在軟體開發中，Linux 使用的為市集模式，即早發布、常發布；與之對應的是 GNU/Hurd 的大教堂模式，即直到獲得完美無缺的版本之後才發布。市集模式無疑高效地多。

原因何在？ArXiv/ 市集模式嘈雜而混亂，但是因為反饋頻繁而進展更快。這非常類似隨機梯度和批量梯度之間的差異：隨機梯度嘈雜而混亂，但快速高效得多。

對於一篇方法論馬虎的半吊子論文僅憑一個想法就會獲得認可的擔心在我看來是多慮了。社群內通常都會分辨出真正的研究貢獻並給予相應的認可。歷來如此。

所有那些來自「深度學習」社群而非來自「自然語言」社群的論文都是 Yoav Goldberg 反對的對象

雖然 Yoav Goldberg 這次是在針對一篇論文，但實際上他想要傳達的消息是更廣泛的——所有那些來自「深度學習」研究社區而非來自「自然語言」研究社區的論文都是他反對的對象。

除了對ArXiv 預印版發表給出評論，Golenberg 在自然語言處理方面最強烈的觀點還是他「深深地崇敬自然語言」。

在評論使用 GAN 生成自然語言的例子時，

* what everything they take everything away from

* how is the antoher headache

* will you have two moment ?

* This is undergoing operation a year.

「這些根本不符合語法規則（grammatical）！」是他給出的感嘆，並且在原文中加粗表示。

同時，也讓這場爭議重新回到了語言學家 VS 計算機科學家的大背景中。

在第一篇文章引發意外多的反響後，Goldberg 再次在 Medium 撰文，重申並且澄清了他的一些觀點。

首先，他針對 GAN 生成自然語言那篇論文的批評，並非是論文沒有得出當前最佳的結果，而是「我想要看見一系列讓人信服的實驗，證明將新方法確實提出了值得關注的、新的有趣的結果」。

其次，他不認為論文作者使用模擬任務（toy task）有任何問題。「使用 toy task 是 OK 的，」Goldberg 寫道，「往往還是好事（desirable）」。

第三，他的批評並非針對論文沒有解決自然語言生成這一問題。「論文當然沒有解決自然語言生成（NLG）的問題……沒有那篇論文能夠『解決』NLG，就像沒有那篇生物學論文能解決癌症一樣。」Goldberg 認為，論文應該在題目或摘要里說明自己的工作和研究範疇。

最後，他也沒有認為論文「incremental」有什麼不好。實際上大多數論文都是「incremental」的。但論文作者需要明確地指出這一點。

導火索《自然語言對抗生成》講了啥？

巧的是，對於這次爭論的導火索——《自然語言對抗生成》（Adversarial Generation of Natural Language）這篇論文，新智元曾經在第一時間做過介紹，這裡是傳送門（【GAN X NLP】自然語言對抗生成：加拿大研究員使用GAN生成中國古詩詞）。

摘要

生成對抗網路（GAN）近來在計算機視覺界引起了很多注意，在圖像生成方面取得了令人印象深刻的結果。但是，從噪音中對抗生成自然語言的進展與在圖像生成方面的進展並不相稱，仍遠遠落後於基於似然的方法（likelihood based methods）。本文中，我們單一以 GAN 為目標，生成自然語言。論文引入了一個簡單的基準，解決了離散輸出空間問題，不依賴於梯度估計函數（gradient estimator），並在一個中國詩詞數據集上取得了當前最好的結果。論文還提供了從無上下文和隨機上下文無關文法（probabilistic context-free grammar）生成句子的定量結果，以及語言建模的定性結果。論文還描述了一個能夠根據句子條件特徵生成序列的條件版本（conditional version）。

作者介紹，語言模型一般是通過測量模型下樣本與真實數據分布的似然進行評估的。然而，使用 GAN，測量模型本身的似然是不可能的，因此他們採取了其他方法，通過測量模型樣本在真實數據分布下的似然對結果進行評估。

2.https://medium.com/@yoav.goldberg/an-adversarial-review-of-adversarial-generation-of-natural-language-409ac3378bd7

3.https://medium.com/@yoav.goldberg/clarifications-re-adversarial-review-of-adversarial-learning-of-nat-lang-post-62acd39ebe0d

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！