7 papers | 對抗樣本前，BERT也不行；AutoML的商業實踐綜述

機器之心整理

參與：一鳴

本周有一些重要的研究成果，如 Julia 將內嵌自動可微編程特性、以及 Ian Goodfellow 轉推的論文 DVD-GAN。還有一些論文對現有研究進行了反思，如第一篇針對 BERT 在觀點推理理解任務上的對抗樣本研究，以及一篇對推薦系統演算法的評價論文等。

目錄

：

1. Probing Neural Network Comprehension of Natural Language Arguments
2. Efficient Video Generation on Complex Datasets
3. A Differentiable Programming System to Bridge Machine Learning and Scientific Computing
4. Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches
5. OmniNet: A unified architecture for multi-modal multi-task learning
6. WikiMatrix: Mining 135M Parallel Sentences in 1620 Language Pairs from Wikipedia
7. Automated Machine Learning in Practice: State of the Art and Recent Results

1.標題：Probing Neural Network Comprehension of Natural Language Arguments

• 作者: Timothy Niven、Hung-Yu Kao
• 鏈接：https://arxiv.org/pdf/1907.07355.pdf

摘要：研究人員發現，儘管 BERT 在觀點推理理解任務上的表現僅比人類基準低 3 個百分點（77%），但是其性能完全依賴於挖掘數據集中的統計線索（statistical cues）。研究人員分析了這些統計線索，發現許多模型都使用這些線索用於推斷。這說明，針對這種線索，可以提出一種對抗樣本數據集，可以使所有語言模型的性能下降到幾乎隨機。論文提出了這種針對觀點理解任務魯棒性的對抗樣本數據集。

觀點閱讀理解任務對抗樣本數據集。左：原始數據；右：對抗樣本。

BERT-Large 模型的在對抗樣本數據集的表現，效果相當於隨機。

推薦：BERT 模型真的那麼神奇嗎？也許從數據集角度分析，再好的預訓練模型也不過是統計擬合。讀者朋友可以參考這篇論文，了解如何提升自然語言處理任務模型魯棒性的方法。

2. 標題：Efficient Video Generation on Complex Datasets

• 作者：Aidan Clark、Jeff Donahue、Karen Simonyan
• 鏈接：https://arxiv.org/pdf/1907.06571.pdf

摘要：近日，來自 DeepMind 的研究者則嘗試在視頻建模領域實現逼真的效果，他們認為除了圖像生成，GAN 在視頻生成上也是沒有問題的。類似 BigGAN 的思路，研究者在複雜的 Kinetics-600 數據集上訓練一種大型生成對抗網路（GAN），並期待該網路生成的視頻樣本複雜度大大高於之前的研究。

DeepMind 提出的模型叫作 Dual Video Discriminator GAN (DVD-GAN)，可以利用計算高效的判別器分解，擴展到時間更長、解析度更高的視頻。該研究是邁向逼真視頻生成的一次探索，連 Ian Goodfellow 也轉推了這篇論文。

DVD-GAN 生成的高清視頻。

推薦：GAN 之父 Ian Goodfellow 轉載的論文。融合多種視頻數據處理思路，使 GAN 進軍視頻生成領域。有興趣了解 GAN 在視頻領域應用的讀者推薦閱讀。

3. 標題：A Differentiable Programming System to Bridge Machine Learning and Scientific Computing

• 作者：Mike Innes、Alan Edelman、Keno Fischer、Chris Rackauckas、Elliot Saba、Viral B Shah、Will Tebbu
• 鏈接：https://arxiv.org/pdf/1907.07587.pdf

摘要：近年來，機器學習模型越來越精妙，展現出了很多科學計算的特性，側面凸顯了機器學習框架的強大能力。研究者表示，由於廣泛的科學計算和機器學習領域在底層結構上都需要線性代數的支持，因此有可能以可微編程的形式，創造一種新的計算基礎設施。在論文中，研究人員提出了一種可微編程系統，它能在 Julia 語言中完成梯度計算，並成為 Julia 語言的第一級特性。這使得構建深度學習模型變得更直觀。更重要的是，這令用戶可以使用已有的 Julia 科學計算包去構建深度學習模型，並高效實現梯度計算。

推薦：特斯拉 AI 主管 Karpathy 點贊、YCombinator 機器學習研究者 Michael Nielsen 推薦的論文。深度學習入門門檻越來越低，用 Julia+自動微分編程就可以搞定模型訓練和測試了。

4. 標題：Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches

• 作者：Maurizio Ferrari Dacrema、Paolo Cremonesi、Dietmar Jannach
• 鏈接：https://arxiv.org/pdf/1907.06902.pdf
• github實現地址：MaurizioFD/RecSys2019_DeepLearning_Evaluation

摘要：對於那些致力於推薦系統演算法方面的研究人員來說，深度學習技術已經成為他們的首先方法。但是，隨著研究人員對深度學習的興趣日益強烈，哪些方法能夠代表當前最佳水平卻變得難以辨別，如適用於 top-n 推薦任務的最佳方法。因此，研究者在本文中列舉出了 top-n 推薦任務中提議演算法的系統分析結果。具體來說，他們試驗了 2018 年頂級科研會議上提出的 18 種演算法，但遺憾的是，僅有 7 種演算法可以通過研究人員的合理努力實現復現。然而，在這 7 種演算法之中，卻又有 6 種演算法的效果通常弱於同類更簡單的啟發式方法，如基於最近鄰或基於圖的方法。剩下 1 種演算法的效果雖然明顯優於基線方法，但無法持續地優於調整好的非神經線性排序法（nonneural linear ranking method）。

推薦：林林總總的推薦演算法效果究竟如何？本篇論文全面解答。從事推薦演算法研究的讀者朋友可以了解評價新的評價性能的方法。

5. 標題：OmniNet: A unified architecture for multi-modal multi-task learning

• 作者：Subhojeet Pramanik、Priyanka Agrawal、Aman Hussain
• 鏈接：https://arxiv.org/pdf/1907.07804.pdf

摘要：Transformer 是一種廣受歡迎的神經網路架構，特別是用在自然語言理解任務中。在論文中，研究人員提出了一種可擴展的統一神經網路架構——OmniNET。這種架構可以在涉及多種模型的任務中使用，如圖像、文本、視頻等。這種模型可以學習空間維度和隱層所對應的時間維度信息。這樣的單一模型可以支持多模態輸入，以及非同步多任務學習。例如，OmniNet 可以同時學習詞性標註、視頻標註、圖像問答、和視頻活動識別信息，而同時訓練這四個任務的模型可以壓縮三倍，且性能和單獨訓練每個任務的模型一致。研究人員也發現，預訓練這個模型可以支持在未見任務中的學習。這些都說明了使用 Transformer 的 OmniNet 的性能表現。

OmniNet 架構。

推薦：如何理解和構建適應多任務多模態數據的統一人工神經網路架構？本論文提出了啟發性的研究思路。論文提出的模型架構，無疑為通用預訓練模型研究提供了一些方法。

6. 標題：WikiMatrix: Mining 135M Parallel Sentences in 1620 Language Pairs from Wikipedia

• 作者：Holger Schwenk、Vishrav Chaudhary、Shuo Sun、Hongyu Gong、Francisco Guzmán
• 鏈接：https://arxiv.org/pdf/1907.05791.pdf

摘要：研究者提出一種基於多語言句子嵌入的方法，以從 85 種語言（包括幾種方言或低資源語言）的維基百科文章內容中自動提取平行句（parallel sentence）。在提取過程中，平行句並不只是以英文表示的，而是系統化地考慮到所有可能的語言對。從提取結果來看，研究者共為 1620 個不同的語言對提取了 1.35 億個平行句，其中只有 3400 萬個平行句是英文的。為了顯示提取的雙語文本質量，他們為 1886 個語言對的挖掘數據訓練了神經 MT 基線系統，並在 TED 語料庫中進行評估，實現了對很多語言對的高 BLEU 分數。因此，WikiMatrix 雙語文本似乎非常適合訓練不同語言之間的 MT 系統，而不需要轉換成英文。

推薦：機器翻譯中，數據太重要了。論文解決了小語種數據集缺乏的問題，適合對小語種機器翻譯研究的讀者朋友了解數據集的構建過程。

7. 標題：Automated Machine Learning in Practice: State of the Art and Recent Results

• 作者：Lukas Tuggener、Mohammadreza Amirian、Katharina Rombach、Stefan L?rwald、Anastasia Varlet、Christian Westermann、Thilo Stadelmann
• 鏈接：https://arxiv.org/pdf/1907.08392

摘要：工業和社會的信息化動力在於：數據驅動建模和決策可以對高級自動化和更有見地的決策帶來貢獻。從數據中建模往往會涉及到應用某種機器學習技術。因此，應用機器學習技術也需要大量的勞動力進行優化設置。這一需求推動了一項新的研究，即完全自動化的機器學習模型擬合——AutoML。本文回顧了 AutoML 的 SOTA 模型在商業背景下的實際應用，並提供了近期最重要的 AutoML 演算法的基準結果。

推薦：再也不用擔心 AutoML 搞不懂、不會用了。本文將 SOTA 模型、基準結果和實際應用一網打盡。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！