從Yoav與LeCun爭論，看當今的深度學習與NLP風氣

選自Medium、Facebook

機器之心編譯

作者：Yoav Goldberg、Yann LeCun

參與：黃小天、吳攀、晏奇

最近，來自以色列 Bar Ilan 大學的計算機科學高級講師 Yoav Goldberg 撰文批評了蒙特利爾大學的新論文《Adversarial Generation of Natural Language》，指責了該論文作者，乃至整個 arXiv 目前出現的不良風氣。Yoav 的言論引起了學界的關注，Yann LeCun 等人很快也發出了回應。機器之心對這篇文章和 Yann LeCun 的回復進行了編譯介紹，但文章內容並不代表機器之心的立場。

最近，我在 Twitter 上評價了一篇來自蒙特利爾大學 MILA 組的論文《Adversarial Generation of Natural Language》，我不喜歡，有人讓我解釋一下原因。

一些人建議我寫一篇博客，所以我寫了這篇文章。這篇文章寫得很匆忙（畢竟，我有真正的工作要做），而且因為這不是學術文章，也就沒有參考文獻這些東西了。文章里可能有些錯誤，但我對內容完全負責。歡迎討論。

儘管看起來我好像是在針對這一篇論文（事實上我也是這麼做的），但我想傳遞的信息是針對了整個「用於語言的深度學習」論文的趨勢，尤其是那些來自「深度學習」社區的論文，而非來自「自然語言」社區的論文。

許多論文都有非常類似的缺陷。我「選擇」這一篇是因為它得到了一些積極的關注，也因為這篇論文的作者來自一個非常強的深度學習團隊，（我希望）能夠為自己的熱度負起責任。另外，我覺得這篇論文方方面面都很糟糕，下面我會解釋原因。

這篇博文也是針對 arXiv 發布方式的意識形態方面的行動（ideological action）：儘管我同意 arXiv 上短時間的發布周期比現在長時間的同行評議流程更好，但現在人們在使用 arXiv 樹旗幟、佔山頭，規避同行評議過程，而且這個趨勢已越來越顯著。這種情況對於那些「強」研究組而言更是顯著。目前來說，將你的成果（通常是初步的和不完整的）發在 arXiv 上沒有什麼實質的壞處，只有潛在的好處。

我相信這種情況應該有所改變，而且如果在同行評議之前和過程中就將論文發布在 arXiv 上，應該承受應有的風險。

這篇批評文章就代表了這種風險。我希望看到更多類似的文章出現。

為什麼我會在意 arXiv 上的文章得到了什麼？因為很多人看待這些論文的態度很嚴肅，尤其是當這些論文來自 MILA 這樣的聲名顯赫的實驗室時。現在，每一篇關於自然語言生成或文本對抗學習的成果都必須引用 Rajeswar et al 2017 了。而且它們的引用會越累積越多。聲望也會越來越大。儘管在語言生成方面，這是個非常非常糟糕的研究成果。而人們還是會復現他們的設置（為了比較！為了科學！！）。而這是個非常糟糕的設置。而其他人，比如嚴肅的 NLP 研究者，將會想出一個在真實任務上好的實際的設置，或者一些更加精妙的東西，然後他們必須將結果和 Rajeswar et al 2017 比較。我並不是說他們的任務和他們的設置是不相關的，所以不應該存在，而是旗子已經被插在那裡了。

所以，讓我們首先從解剖這篇論文開始。

首先表個態：

態度

正如我在 Twitter 上所言，從技術方案到評估，我挺不喜歡這項工作的一切。但最讓我厭煩的是其態度和傲慢自大。

我從事語言理解超過 10 年，如果說有什麼感悟的話那就是人類語言廣大而複雜，充滿挑戰，它極其精微，無比奇特，有太多東西不為人所知，卻又時時帶來驚喜。儘管自然語言處理研究者和自然語言生成研究者（以及語言學家，他們做了大量提升工作）在理解和處理語言方面取得了突出進展，我們依然只是觸及到了語言的表面。

我非常尊重語言，深度學習那群人並不是。否則，你怎麼解釋像「自然語言的對抗性生成（Adversarial Generation of Natural Language）」這樣的論文題目？

這個標題表明任務已接近完成，現在我們可以生成自然語言（通過對抗性訓練），聽起來讓人興奮。但是，你再看看實際的論文，從頭到尾，你會看到表 3、4、5 中包含由模型生成的語句實例，比如其中以下的令人印象深刻的自然語言語句：

• What everything they take everything away from

• How is the antoher headache

• Will you have two moment ?

• This is undergoing operation a year.

這些句子甚至在語法上都不通。

現在，我意識到對抗性訓練當下非常火熱，而對離散符號序列的對抗性訓練則非常困難。也許論文（下面我將會介紹）中提出的技術方案確實相比於以前那些功能較弱的技巧大大提升了結果。如果情況確實這樣，這很可能值得一提。其他人也會看到，並作進一步提升。科學！進步！沒錯，這正是我要看到的。

但是，請不要把這篇論文命名為「自然語言的對抗性生成」，而是還原其本來面目：「在小辭彙量中一個用於短離散序列的對抗性訓練的稍好一些且多少奏效的技巧」。

你在說什麼？這聽起來令人厭煩？這樣會沒人讀這篇論文的。也許，但是這篇文論就是這樣。我相信論文作者會想出一個更加吸引人的標題，但是它應該反映論文的真實內容，而不是假裝「解決了自然語言問題」。

（順便說一句，就像在這篇論文當中，如果我們並不在乎以一種有意義的方式控制生成的文本，那麼我們就已經有了生成可讀文本的好方法：從一個 RNN 語言模型或者變分自編碼器中取樣。大量論文通過它們生成了令人驚訝的符合語法規則的文本，甚至還擴展到了大量辭彙上。如果你沒有太多渠道，那就從 Andrej Karpathy 的這篇經典文章（鏈接：http://karpathy.github.io/2015/05/21/rnn-effectiveness/）開始吧。由於某些原因，這些並沒有在論文中提及，更不要說比較了。）

這不是唯一一個立旗子佔山頭、宣傳極度過分的文章。最近，一個類似的例子是來自 Hu et al 的可控制文本生成，你說什麼？哇好厲害！

實際上，他們證明了其可以控制生成文本的兩個因素：情態（積極或消極）和時態（過去、現在和未來），並生最多 15 個單詞的句子。又一次，我們看見了被過渡宣傳和不符合語法的語言。

在一些語境下，我所有的維基百科語料庫中語句的平均長度是 19 個字元（token），很多句子超過這個長度。情態遠非積極消極所能涵蓋。並且英語在某種程度上有一個比過去、現在和未來更為複雜的時態系統。因此，Hu et al 創建了一個帶有一些最小控制選項的演員-評論者-VAE 框架（actor-critic-VAE framework），並工作於一些短文本片段上。「可控性文本生成」（Controllable Text Generation）在這裡真的是最好的標題嗎？

另一個例子是 Facebook 的 bAbI 的語料庫，它最初作為一個玩具似的數據集被創建，當它涉及語言時就變的非常人工，很受限制。但最近的很多工作對它進行了評估，並宣稱還要做「自然語言推理」或類似的事情。這裡不再贅述 bAbI。

方法

上述章節中我從自然語言方面討論了論文標題（並且在下一章節中我們會討論更多）。

現在讓我們看一下「對抗性」這部分，它與這篇論文的創新有關。

回想一下，在 GAN 訓練中我們有一個生成器網路和一個鑒別器網路，它們在一起被訓練。生成器努力生成逼真的輸出，鑒別器努力分別生成的輸出與真實的實例。通過一起訓練模型，生成器學習欺騙鑒別器並因此生成逼真輸出。這在圖像處理上效果出奇地好。

為了對這篇論文的技術貢獻做一個總結（也歡迎作者通過評論糾正我，如果遺漏了什麼）。離散序列（比如 RNN 生成器）的對抗性訓練非常困難，它有以下幾個技術原因：每個 RNN 迭代時間步長的輸出是辭彙（一個 softmax）上的多項式分布。但是當我們想要實際生成符號序列時，我們不得不從這個分布中挑選一個單一項目（轉化為一個獨熱向量，one-hot vector），儘管這一選擇很難反向傳播梯度，因為它是不可微分的。這篇論文提議通過向鑒別器饋送可微分的 softmax 而不是獨熱向量來克服這一困難，差不多就是這樣。思考一下，鑒別器在這裡的角色是學習從 RNN 產生的 softmax 向量中分離獨熱向量訓練序列。它需要把獨熱向量從非獨熱向量中分離出來。這多少是一種弱對抗，並且與自然語言無關。

讓我也想想一下鑒別器對生成器造成的影響：生成器需要愚弄鑒別器，鑒別器試圖區分生成器的 softmax 輸出與獨熱向量。這造成的影響是生成器產生了近獨熱向量（near-one-hot vector），即，非常集中的分布。我不確定這是否就是我們希望的自然語言生成模型的發展方向。仔細考慮一下，並試著感受它。但是如果你真的認為非常明顯的分布是應該鼓勵的事情，那麼有更簡單的方法可以實現它。我們知道被提議的模型能做的不僅是引進這種對於明顯的預測的偏好嗎？沒有，因為這從來沒有在論文中評估過。它甚至沒有被討論。

因此，自然語言實際上並不是自然的。對抗性也不是真正的對抗。下面我們接著討論評估。

評估

模型是不被評估的，根本不是，也肯定是不在自然語言上進行評估。很明顯論文作者並不清楚他們在做什麼。

下面引用一段論文作者的原話（第 4 節）：

「我們提出了一個簡單的評估策略，以評估通過從 CFG 或者 P?CFG 構建數據生成分布來生成自然語言的對抗性方法。」

好吧，猜猜是什麼。自然語言不是被 CFG 或 PCFG 生成的。

他們接著描述了自己使用的兩個語法：一個是玩具語法（至少他們承認是玩具！），它有 248 條生成規則（！！），另一個是有著 45 個字元的單詞（！！！），而且他們還生成了包含 11 個這種單詞的句子（！！！）。恩，確實很厲害！

但是等一下，讓我們查看一下實際的語法文件（來自霍普金斯大學的 Jason Eisner 的家庭作業，語法非常非常簡單，你甚至可以擴展它）。在 248 個生成規則中，只有 7 個是實際有效的。是的，7 個。餘下的是詞法規則（lexical rule），即預-終端符號到辭彙項目的映射。但是，稍等，辭彙量是 45 個字元，45+7=52。那其他的 192 個規則在哪裡？至少其中的 182 個是從「Misc」符號到一些字詞的映射規則。「Misc」符號並不參與語法，它對學生來說是可以擴展的家庭作業。因此，論文作者實際上使用了 52 個生成規則，而不是其所稱的 248 個，其中只有 7 個是真實規則。他們甚至沒有檢查語法或者正確描述它。這確確實實是一個玩具似的語法。

現在是第二個語法，它源自 Penn Treebank 語料庫。論文中並沒有關於第二個語法的詳細細節，但是他們確實說了他們限制了語料庫中 2000 個最常用字詞的生成。下面是這個語料庫中的一個典型句子，當字詞不是最常用的 200 個之一時，就以下劃線替代：

_ _ _ Inc. said it expects its U.S. sales to remain _ at about _ _ in 1990 .

順便說一句，這是 20 個字詞。

下面是另一個句子：

_ _ , president and chief executive officer , said he _ growth for the _ _ maker in Britain and Europe , and in _ _ markets .

對於這個更複雜的語法，他們通過查看語法對其生成的樣本所分配的可能性來評估模型。

我不確定這一評估的目的是什麼，它試圖想表現什麼。它並沒有明晰地測量生成的質量。但是他們說：

「儘管這樣一個測量通常會捕捉到一個句子的語法性，但它依然是樣本質量的一個合理代表（proxy）。」

並不是。源自語料庫的 PCFG 喜歡完全不捕捉句子的語法性，並且如果你關心逼真自然語言的生成，這並不是一個樣本質量的合理代表。

這些傢伙應該之前就向從事自然語言的研究者諮詢一下。

他們也使用了一個漢語詩歌語料庫。這是自然語言嗎？是的。除了他們並不查看完整詩歌這個事實之外，他們還從每首詩歌中分離每個句行，並單獨處理。並且他們只使用長度為 5 和 7 的句行。他們甚至不查看被生成的句行，但是使用 BLEU-2 和 BLEU-3 評估它們。對於不知道 BLEU 的人來講，BLEU-2 大體是指計算他們生成且出現在參考文本中的 bigram（二詞子序列）的數量；BLEU-3 是指計數三詞子序列。他們也有一個奇怪的觀察，是關於評估每個被生成的句子，在作為參考的訓練集的所有句子的背景下。我並不完全明白這一部分，但它時髦，也並不是關於如何使用 BLEU。

他們說這是其以前評估反對使用這個語料庫的語言生成對抗網路論文的設置。

當然。

在簡單的語法上（52 個生成規則，45 個字元的辭彙量），他們的模型能夠擬合 5 個字詞的句子，並且他們更複雜的模型幾乎成功地擬合了 11 個字詞的句子。

Penn Treebank 句子並沒有真正被評估，但是通過比較 epoch 上的樣本可能性，我們看到它在下降，他們的一個模型取得了更高的分數，相比於被稱作 MLE 的一些 GAN 基準（他們並沒有完整描述，但是在以前蹩腳的語言生成對抗網路的工作中出現過）。哦，他們生成了長度為 7 的句子。

我之前已經說過，PCFG 的可能性對於評估被生成句子的質量相當沒有意義。但是即使出於某些原因你關心這一指標，但是我打賭一個非 GAN 基準（比如一個無調試的 Elman RNN）將遠遠比這一指標更好。

漢語詩歌生車測試再一次只與之前的生成對抗網路工作比較了結果，而不是與一個合適的基準，並報告了最大為 0.87 的 BLEU 值，BLEU 分數通暢大於 10，因此我並不確定這裡發生了什麼。但是在任何情況下他們的 BLEU 設置從一開始就是奇怪且毫無意義的。

接著是表 3、4、5，在其中他們展示了其模型中生成的真實句子。我希望它們沒有經過優選，但是它們真的非常糟糕。

上文中我已展示了一些樣本，下面是另一些：

• I"m at the missouri burning the indexing manufacturing and through .

• Everyone shares that Miller seems converted President as Democrat .

• Can you show show if any fish left inside .

• Cruise pay the next in my replacement .

• Independence Unit have any will MRI in these Lights

在提到含有這些句子的表格的某些地方，論文這樣描述：

「帶有一個 WGAN-GP 目標的 CNN 模型似乎能夠在更長的時間跨度中保持語境。」

「自然語言的對抗性生成」，確實。

一個懇求

我認為這篇論文不走進一個好的 NLP 會場，至少我希望如此。但讓人悲傷的是，儘管（或者也許是由於）有這種顯而易見誇大吹噓存在，沒有有意義的評價，也沒有有意義的語言生成結果，我還是相信這篇論文可以進入 ICLR、NIPS 或 ICML 這樣的機器學習會場，

畢竟，同樣有很多缺陷的 Hu et al 的論文「Controllable Text Generation」也被 ICML 接收了。對於 Hu et al，我認為他們的成果比上面討論的那個還好些。但目前這個是關於 GAN 和對抗的，由於討論了一個更加熱門的話題，所以它們大概有同樣大的機會入選。

因此，我想懇求評議者，尤其是機器學習評議者——如果你讀到這個的話。

當評價一篇關於自然語言的論文時，請一直記住語言是非常複雜的，而且人們已經在這上面工作了很長時間。不要讓你自己被那些宣稱假裝解決了這一問題的鬼話說服，結果那只是一點芝麻大的微不足道的問題。不要因為模型很性感就動搖，因為它們可能沒有解決任何實際問題，或者存在一個更加簡單、更加可靠的基線，它們卻沒有提及。對於 arXiv 上的論文，不要受到作者或他們聲譽的影響，尤其是當他們試圖研究自己（和你）並不真正了解的東西的時候。試試去了解這一主題並透徹的思考一下（或者叫其他人看看）。看看他們真實的評價，而不是他們所宣稱的東西。

我懇求大家，求求大家，不要要求 NLP 研究者在現實的設置和細緻入微的任務之間拿這些設置和評議同自己比較，因為這些東西僅僅是由於它們出現在了 arxiv 或是一些機器學習會議上，結果拙劣的研究就得到了開創性的美名。

要說明的是，我不介意對非常困難的問題進行簡單化的研究，這是一個獲得進展的好方法。但是，這種工作需要澄清其正在做的事情，而不是宣稱自己在做一些顯然不是的事情。

然後，對於作者而言，請尊重語言。你們要去了解它，去接受那些挑戰。你們要明白自己提交的數字是測量結果，還要明白它們是否真正與你力圖去展示的東西相符。觀察你正在使用的數據集和資源，明白你自己到底在幹什麼。如果你試圖真的和語言打交道，那麼請以真實的設置來處理（至少句子要完整，語詞規模要合理），此外，你們還應該諮詢語言領域的專業人士。如果你們對語言並不關心或者不想解決一個真正的語言任務，而只關心機器學習的部分，那麼這也不是不可以。但是請誠實地對待你的工作，誠實地對待你們的聽眾和你么自己，不要假裝自己在做一件和你不相關的事情。此外，無論在什麼情況下，把你的工作至於其它工作的語境之下。註明那些很顯而易見的底線。最重要的是，在論文中承認你們工作的限制性。這是一種魄力，不是缺點。要知道，科學因此而進步。

Yann LeCun 的回復

對於 Yoav Goldberg 的憤怒，Facebook 人工智慧實驗室主任 Yann LeCun 表示關注，這位知名人工智慧學者認為 Yoav 過於偏激，作為同樣把深度學習應用到 NLP 上的研究者，為何還要發出這樣言論？隨後，Yann LeCun 進一步分析了 arXiv 的模式、挖坑占坑現象，並給出了自己的觀點。

將預印版論文發表在 arXiv 上是非常有意義的事，立旗子也是。

Yoav Goldberg 的文章在這幾天傳遍了整個網路。這篇文章主要抱怨 MILA 在文本生成論文中使用的方法，同時也在抱怨深度學習社區喜歡在 arXiv 上提前發表論文的習慣。我強烈反對他的觀點。

我並不是在為這篇論文做辯護，我還沒有仔細讀它。但是 Yoav 的很多論點在我看來都是非常防禦性的，也包括那句副標題：「for fxxks sake, DL people, leave language alone and stop saying you solve it」和那句聲明：「I have a lot of respect for language. Deep-learning people seem not to」。很多人的共識是：神經網路/深度學習在很多領域獲得了很棒的結果，20 世紀 90 年代初在字元識別上，2010 年左右在語音識別上，計算機識別則到了 2014 年，而現在是 NLP 了。我理解 Yoav 的理由，但他的話聽起來非常像是一場防守之戰，尤其是對於 Yoav 這樣致力於將深度學習應用於 NLP 領域中的學者而言。

為公平起見，首先提醒大家，Yoav 已經在文章發出後又對他的觀點進行了解釋：

鏈接：https://medium.com/@yoav.goldberg/clarifications-re-adversarial-review-of-adversarial-learning-of-nat-lang-post-62acd39ebe0d

Nikos Paragios（一位「還沒有那麼老」的學者）也曾在 2016 年對於深度學習在計算機視覺上的應用有過類似的防禦性看法

鏈接：https://www.linkedin.com/pulse/computer-vision-research-my-deep-depression-nikos-paragios

任何時候，一個群體和另一個發生了衝突，更好的事情就會發生。期初群體 A 閱讀了群體 B 提交的論文，認為它在技術上水平不足，而群體 B 認為群體 A 的觀點具有方法論上的缺陷，結論沒有說服力……這種事情在深度學習社區里發生過無數次，我們有時候扮演 A（B 會是語音、視覺、圖片、NLP），有時候扮演 B（A 是統計、優化和計算機科學的各種理論分支）。講一個群體中的標準應用於另一個群體是沒有意義的——除非兩個群體找到了共同的方向。如果把不同的社群被視為不同的單位向量，則 A 在 B 上的投影比 B 短，你可以認為 A 小於 B，但反之亦然：B 對 A 的投影比 A 短。社區之間形成共同語言需要時間，這需要兩方充分達成共識。

視線回到 arXiv 上，Yoav 等人一直抱怨說在 arXiv 上發表預印版論文有一種「立旗子圈地」的行為：作者有了一個想法，很快粗略地付諸實施，在 arXiv 上貼上了一個初步結果，隨後便開始期待所有人將它視為「第一個」。有些人認為這是不公平的，因為在研究的道路上，想法並不是全部，還有很多事情要做。這個看法沒錯。但想法或技術的發展之路就是這樣：有一個想法，實現它，展示它可以工作，使其在玩具級問題上工作，使其在一個真正的問題以及其他方法上工作，擊敗已有記錄，提出一套有關它的理論，解釋理論上為什麼它可以工作，優化和簡化它，然後泛化它，開發與之相關的技術，最後，開發有關它的產品，包裝和銷售產品....

在這個漫長的過程中，在每個節點上做出貢獻的人都應該獲得相應的名聲。然而在科學的歷史上，很少有人能夠擁有「率先發現一個想法」的地位（當然我也聽說過一些仍然無名的人，他們一直在聲稱自己應該擁有一些）。

在 arXiv 上發表論文比傳統的發表方式高效得多，但它當然不會取代傳統的同行評議論文方式。是的，它改變了名聲獲取的遊戲規則，但這沒什麼大不了的。為什麼 arXiv 論文發布方式更有效率？因為它遵循「集市」模式，而不是傳統論文發表的「教堂宣講」模式。

可參閱 Eric Raymond 的文章《Cathedral and the Bazaar》：http://www.catb.org/esr/writings/cathedral-bazaar/

在軟體上，集市模式就是 Linux 模式：快速發布，經常發布，而教堂宣講模式則是 GNU/Hurd 的模式：在沒有 bug 前永遠不會發布新版本。相比之下，集市模式明顯更具效率。

為什麼？arXiv/集市模式總是嘈雜而混亂的，但這樣的過程也更快速，因為人們總是能得到及時的反饋。這就像是隨機梯度和批量梯度之間的差異：隨機梯度嘈雜而混亂，但更快，更有效率。

我認為，未成形的論文和粗糙的方法論最終都會獲得它應有的地位。在研究體現出它的價值以後，社區就會認識到研究者的貢獻，並給與他們應有的地位，總是這樣。

論文：Adversarial Generation of Natural Language

論文鏈接：https://arxiv.org/abs/1705.10929

摘要

生成對抗網路（GAN）已經得到了計算機視覺社區的極大關注，得到了令人激動的圖像生成結果。但是，來自從雜訊中進行的自然語言對抗性生成的發展是比不上圖像生成方面的進展的，而且還遠遠落後於基於似然的方法（likelihood-based methods）。在這篇論文中，我們僅僅使用了一個 GAN 目標就在自然語言生成上前進了一步。我們為解決不依賴梯度估計器（gradient estimators）的離散輸出空間問題引入了一個簡單的基線，並且表明其可以在中國詩歌生成數據集上實現當前最佳的結果。我們給出了在無上下文（context-free）和概率無上下文（probabilistic context-free）語法上句子生成的定量結果，以及定性的語言建模結果。我們還描述了一個可以基於句子特徵生成條件句子的有條件的版本

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！