「Goldberg回應LeCun」DL社群缺乏學習，誇大研究成果

新智元編譯

昨天，新智元向大家介紹了 Yann LeCun 和 Yoav Goldberg 由 《自然語言對抗生成》這篇論文引發的爭論。（傳送門：【LeCun論戰Yoav】自然語言GAN惹爭議：深度學習遠離NLP？）。在 LeCun 在 Facebook 上發表了駁斥 Goldberg 的博文後，Yoav 馬上撰文回應。

我不反對在語言任務上使用深度學習方法，我反對的是「深度學習社群」進入他們不理解也不願意花時間去學習的領域

很感謝我的帖子引起了興趣和爭論，Yann還在Facebook 上做了回應。讓我對這個回應進行一下回應。

[ 我之所以選擇在這裡（medium.com）而不是在Facebook 上回應他，是因為我有一個老Facebook 帳戶，不是激活狀態，我寧願不用它。我已經在一個社交網路上花了大量時間，不想再被拖進另一個社交網路。此外，這裡我有更好的格式選項，更容易控制內容。]

Yann 認為我澄清的帖子是「往回找補」，我認為不對。它詳細闡述了原帖中的一些觀點，改變了語氣，但信息本身並沒有改變。無論如何，對於Yann的回應，我這篇回應里有更多的「找補」：

我不反對在語言任務上使用深度學習方法。

我的意思是，我本人就是許多使用深度學習處理語言的論文的合著者。我做過名為「用LSTM 做東西」的演講。我剛剛出版了一本關於NLP 的神經網路方法的書。深度學習的方法對於NLP來說是革命性的，我認為這一點現在已經很成熟了。

我反對的是「深度學習社群」進入他們只有非常膚淺的理解的領域（包括NLP ）的傾向，並且連一點了解這一領域的時間都不願意拿出來，就做出了廣泛而毫無根據的論斷。這不是「尚未建立共同語言」的問題。這是不花功夫去熟悉您正在工作的領域的問題。

不一定了解以前所有的工作，但至少要了解基本的定義吧？至少要了解基本的評估指標吧？聲稱自己取得了「中國詩歌生成的最先進成果」（摘自論文摘要）是荒謬的。

說「我們使用CFG 進行評估」，而甚至不考慮CFG 代表什麼，這並不是簡單的馬虎問題。使用PCFG 分配的似然性作為「捕獲句子的語法性」的方法是完完全全的錯誤（我指的是「不正確」，而不是「不道德」）。

[而寫出1-hot 編碼向量的矩陣在視覺上類似於盲文代碼（Braillecode），因此「啟發了我們的方法為什麼有效」（Zhang和LeCun，2015，arxiv 版本 1，through 4 out of 5）則純粹是可笑。

當我說「你應該尊重語言」時，我不是說你應該尊重別人此前的努力和方法（雖然這對你可能也適用），但你應該注意到你試圖解決的問題的細微差別。至少去進行充分學習，讓你的評估有意義。

一些「核心深度學習」研究人員就做得很好，做出了出色的貢獻。Kyunghyun Cho 也許就是他們中最突出的。

在 arxiv 上及早發表論文沒問題，但誇大研究成果危害極大

現在，說說arxiv 這部分：

我認為在這部分，Yann 的回應確實沒有抓住重點。

我不介意在arxiv 上快速發出論文。我認識到了arxiv出版和短平快的顯著優勢。但其缺點也不容否認。具體來說，我擔心的是科學與 arxiv 所促進的公共事業的混淆；更巨大的影響和權力的濫用；以及深度學習社群中目前存在的一些 arxiv 出版動向。

在 arxiv 上及早發表論文沒問題。但錯誤地表示和過度聲稱你做了什麼是有問題的。起了「自然語言對抗生成」這樣寬泛標題的不嚴謹論文是有害的。這正是專利制度（總體上是一個合理的想法）和沽名釣譽（patenttrolling）（這是有害的濫用）之間的區別。

聲明使用softmax 而不是 WGAN 中的 1-hot 輸出用於離散序列的想法，這沒問題。

而如該論文所述，在把對抗訓練用於 NLG 這一想法上立旗占坑，是不正確的。

Yann 的論點可能是：「但人們可以閱讀論文，看出他實際的貢獻是什麼，這會隨著時間的推移得到修正」。隨著時間的推移得到修正，這可能是正確的，但從短期和中期來看，這些來自著名團隊的普遍言過其實的論文仍然非常有害。大多數人不深入閱讀論文，而只讀標題，有時是摘要，有時也是導言。當論文來自既定的團體時，人們往往不加懷疑地相信他們自己的聲明。

「嚴謹的研究人員」可能不會上當，但大眾肯定會被誤導。所謂大眾，我指的是並非在某一特定子領域從事研究的人群。這包含產業界的從業人員、學界的同僚、相關專業在讀學生以及未來會參與論文及項目撥款評估的專家。這篇論文出來不久，我就已經不止一次聽到有人說，「你是搞生成的？你試過用 GAN 了嗎？我最近看了篇論文講到他們通過 NLG 的對抗學習取得了超酷的結果」。

這對未來幾年內要申請項目經費的 NLG 研究人員尤其是種危害和干擾（很多經費的審批權都掌握在非常有能力但又並非專註於某一研究領域的專家組手中），他們或者得被迫浪費寶貴的空間和精力來搞這篇論文及與 Hu 等人辯論，解釋這篇論文為何不相關，或者就會因研究了「已解決的問題」而直接被否決，即便這篇論文本身都存疑，且 Hu 等人根本沒做出什麼，即便兩篇論文評估都極糟。

ArXiv 的高效對這一領域有非常積極的作用。「能力越大，責任越大」，我們務必要做到不濫用這種能力。我們可以促使 ArXiv 的發布影響更廣泛，通過更負責地行為方式，以及推廣更科學的出版文化，崇尚及鼓勵正規的評估及研究結論的準確表述，反對（同時推行懲戒體系）民粹主義言論、沽名釣譽及誇大其實。

原文地址：https://medium.com/@yoav.goldberg/a-response-to-yann-lecuns-response-245125295c02

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！