Yoav撰文再回應LeCun：「深度學習這群人」不了解NLP

選自Medium

機器之心編譯

作者：Yoav Goldberg

參與：黃小天

昨日，機器之心發布了一篇題為《從 Yoav Goldberg 與 Yann LeCun 爭論，看當今的深度學習、NLP 與 arXiv 風氣》的文章，文中 Yann LeCun 在 Facebook 對 Yoav Goldberg 的批評文章做出了回應。接著，Yoav 又在 Medium 對 Yann 的回應進行了再回應，甚至稍後在推特上也有爭論。機器之心對 Yoav 的第二次發文進行編譯，並廣泛收集了國內外各個平台上的各家評論，試圖對這次事件有一個全面客觀的描述。譯文內容不代表機器之心立場。原文鏈接見文末。

很感謝大家對於我上篇博文（An Adversarial Review of「Adversarial Generation of Natural Language」）的關注和討論，也很感謝 Yann 在 Facebook 上做出的回應。下面，我將對其回應做一次再回應。

（我選擇了在 Medium 而不是 Facebook 上做再回應，是因為我並不太常使用 Facebook，所以索性不用。我已經把大把時間花在了社交網路上，不想再多跳進一個坑。同時，Medium 更有利於我組織文章格式，把控內容。）

Yann 指出我的上篇博文是「背棄式」的（back-pedaling），我並不如此看。對於上篇博文中批評的那篇蒙特利爾大學的論文，我言之有據，雖然不是嚴肅的論文形式，但是其表達的觀點不會改變。不管怎麼樣，下面我會繼續用我的「背棄式」言論來回應 Yann：

我並不反對將深度學習方法應用於自然語言任務上。

我的意思是說，come on。我是很多把深度學慣用於自然語言的論文的聯合作者，我曾做過題為「LSTM 應用」的演講。最近我發表了一本關於如何把神經網路方法應用於 NLP 的書籍。深度學習方法正在為了 NLP 而發生改變，我認為這部分現在要很好地確立起來。

我所反對的是這樣一種趨勢，深度學習這群人（deep-learning community）對於其所要踏入的領域（包括 NLP）只有膚淺認識，不多花時間對問題領域做深入了解就直接給出大而未經證實的主張。這不是「交流機制還沒有建立」的問題，而是不花時間和精力去通曉你所在領域的問題。不一定要知曉先前的所有工作，但要知道基本的定義和評價指標。宣稱取得了「當前最佳的漢語詩歌生成結果」（引自論文摘要）是荒誕的。聲稱「我們評估了 CFG 的使用」，卻沒有搞明白 CFG 代表什麼不僅僅是草率、馬虎的問題了。使用 PCFG 分配的可能性作為衡量以「捕捉句子的語法性」是完全錯誤的（並非不道德）。

（並且寫下由 1-hot 編碼向量組成的矩陣外表上看起來和盲文代碼相似，因此這是「我們的方法為什麼有效」的靈感（Zhang 和 LeCun 2015 arXiv 論文 1-4 版 https://arxiv.org/pdf/1502.01710v4.pdf），這篇論文是愚蠢的。）

當我說「你應該尊重語言」時，我並不是在說你應該尊重之前的其他努力和方法論（儘管也可以對你很有幫助），而是在說你應該去注意所要解決問題的細微差別。至少有個足夠的了解，這樣你的評估才有意義。

一些「核心深度學習」研究者在這方面做的很好，貢獻很大。Kyunghyun Cho（譯者註：紐約大學計算機科學系助理教授）也許是其中最突出的一個。

現在，回到 arXiv 的問題上來：

我認為 Yann 的回應在這個問題上錯失了重點。我並不介意在 arXiv 上快速發文。我看到了 arXiv 出現的明顯收益和快速轉變。但是也應該知道其缺點。我尤其關心科學與 arXiv 所推動的公共事業的混淆；雪球效應以及權力的濫用；深度學習社區中現有的一些出版現象。

提早在 arXiv 上發文沒有問題，但是名不副實以及過分宣稱就有問題。馬虎的帶有大而空洞標題的論文（比如自然語言的對抗式生成）就是有害的。這正是合理的專利系統與沽名釣譽的真正區別。

聲稱在用於離散序列的 WGAN 中使用了 softmax 而不是獨熱輸出沒有問題，但是占坑聲稱將對抗式訓練應用於 NLG 就存在問題，正如這篇論文所做的那樣。

Yann 的論點可能是：「但是人們可以閱讀論文，辨別出什麼才是好論文，時間會告訴我們答案。」時間的糾正也許是對的，但是中短期內知名團隊的過分宣傳的論文依然是有害的。大多數人並不深讀一篇論文，他們只看個標題、摘要或簡介，但是對於知名團隊的論文，人們傾向於相信其主張而不質疑。認真的研究者也許不會這樣做，但是大多人很可能會被誤導。這裡我所指的大多數人並不真正工作於這一精確的子領域。這包括產業界人士、同僚、潛在的學生以及論文和津貼的潛在評論者。在這篇論文出來的很短時間內，我在若干個場合下已經聽說，「哦，你對生成感興趣？你嘗試使用 GAN 了嗎？我看到在最近的這篇論文中他們把 GAN 應用於 NLG 取得了很酷的結果。」這對於在來年申請津貼的 NLG 研究者來說極其有害和令人厭惡，因為他們要麼浪費寶貴的時間和精力處理這篇論文和 Hu 等人的論文，並解釋它們為什麼不相關；要麼他們因為致力於「這一已經解決的問題」而被解僱，儘管這篇論文和 Hu 等人的論文並沒有實際貢獻太多價值，儘管兩篇論文的評估都非常糟糕。

arXiv 的快節奏對當前領域有著積極的影響，但是「能力越大，責任越大」，我們必須小心謹慎才不至於濫用。我們可以通過負責任地採取行動，推動更加科學化的出版文化，從而使 arXiv 變的更強大，在其中我們重視和鼓勵合理的評估和研究成果的精確呈現，並勸阻（甚至開發一個懲罰系統）民粹言論、過分宣稱和誇大其事。

原文鏈接：https://medium.com/@yoav.goldberg/a-response-to-yann-lecuns-response-245125295c02

各方評論

對於 Yoav 的第二次發文回應，Yann 旋即在推特上展開了回應：

谷歌大腦研究人員 hardmaru 直接引用了 Yoav 第二次發文的原話「oh, you are interested in generation? have you tried using GANs? I saw this recent paper in which they get cool results with adversarial learning for NLG」來表達自己的看法：

Keras 作者、谷歌深度學習研究員 Fran?ois Chollet 認為我們不應該將精力浪費在這種學術瑣事上：

以及推特上稍早一些的評論，比如 Quora 工程副總裁 Xavier Amatriain 的 tweetstorm：

俄勒岡大學計算機與信息科學助理教授 Daniel Lowd 談了下深度學習對評審制度的改變：

UC Santa Barbara 計算機科學系助理教授王威廉在微博上就 arXiv 占坑現象表達了其看法：

知乎上的也有不少點評（詳情可參閱：https://www.zhihu.com/question/60902505），比如知乎用戶 Yun Zhou：

約翰·霍普金斯大學 Research and Teaching Assistant 梅洪源對 Yun Zhou 的答案作了評論補充：

清華大學計算機科學與技術系助理研究員劉知遠的點評：

另外，劉知遠還在其微博上發表了 LeCun 對於 Yoav 的批評的看法：

北京郵電大學 PRIS 模式識別實驗室陳老師（微博名稱 愛可可-愛生活）在微博上也表達了其看法：

最後，再附上來自機器之心公眾號第一篇文章報道的的讀者評論：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！