KDD2019最佳論文；AutoML SOTA 綜述

機器之心整理

參與：一鳴

本周的看點是 KDD 2019 大會，分別有兩篇研究賽道和應用賽道最佳論文被選入。本周入選的其他論文都有架構或研究方法上新穎的點，如 CMU、加州大學聖迭戈分校等的基於語義的相似性的機器翻譯論文、喬治亞理工聯合 Facebook 和俄勒岡州立大學提出的多模態 BERT 模型等、提出反向傳播替代方法 HSIC 瓶頸的論文等。

目錄：

Network Density of States

Actions Speak Louder than Goals: Valuing Player Actions in Soccer

Beyond BLEU: Training Neural Machine Translation with Semantic Similarity

The HSIC Bottleneck: Deep Learning without Back-Propagation

AutoML: A Survey of the State-of-the-Art

ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks

Trick Me If You Can: Human-in-the-Loop Generation of Adversarial Examples for Question Answering

1. 標題：Network Density of States

作者：Kun Dong、Austin R. Benson、David Bindel

論文鏈接：https://arxiv.org/pdf/1905.09758.pdf

摘要：在本文中，研究者深入探索了真實世界圖譜譜密度的核心。他們借用了凝聚態物理學中開發的工具，並添加了新的適應性來處理常見圖形的譜特徵。他們計算了單個計算節點上超過 10 億個邊的圖的譜密度，證明所得到的方法非常高效。除了提供視覺上引人注目的圖形指紋之外，研究者還展示了譜密度的估計如何簡化許多常見的中心度量的計算，並使用譜密度估計關於圖結構的有意義信息，這些信息不能僅從極值特徵對推斷出來。

推薦：這篇是 KDD 2019 的研究賽道最佳論文，作者來自 CMU 和康奈爾大學。

2. 標題：Actions Speak Louder than Goals: Valuing Player Actions in Soccer

作者：Tom Decroos、Lotte Bransen、Jan Van Haaren、Jesse Davi

論文鏈接：https://arxiv.org/pdf/1802.07127.pdf

摘要：評估足球運動員比賽中個人行動所造成的影響是評估他們的重要指標。然而，大多數傳統指標在解決此類任務時效果都不盡如人意，因為它們只關注整場比賽中僅有的幾次特殊動作，比如射門和進球——而忽視了行動的背景。研究人員提出的方法包括：一種用於描述球場上各個球員動作的新語言；基於它對比賽結果的影響來評估任何類型球員動作的框架，同時考慮了動作發生的背景。

推薦：解決「魔球」問題的一篇論文，獲得了 KDD 2019 應用賽道最佳論文。

3. 標題：Beyond BLEU: Training Neural Machine Translation with Semantic Similarity

作者：John Wieting、Taylor Berg-Kirkpatrick、Kevin Gimpel、Graham Neubig

論文鏈接：https://www.aclweb.org/anthology/P19-1427

摘要：在本文中，研究者提出以一種可替代的獎勵函數（reward function）來優化神經機器翻譯（NMT）系統，這種獎勵函數基於語義相似性的研究。研究者對四種翻譯成英文的語言展開評估，結果發現：利用他們提出的*度量*進行訓練，可以產生較 BLEU、語義相似性和人工測評等評估標準更好的翻譯效果，並且優化過程的收斂速度更快。分析認為，取得更好翻譯效果的原因在於研究者提出的度量更有利於優化，同時分配部分分數（partial credit），提供較 BLEU.1 更強的分數多樣性。

在幾種評價方法下，將四種語言翻譯為英語的模型表現。論文提出的模型「SimiLe」的表現超過了 BLEU 和 MLE。? 表示超過了 BLEU 的結果具有統計顯著性（p

推薦：一篇較少見的基於語義相似性的機器翻譯論文。推薦想要繼續研究這一領域的讀者看看最新的研究進展。

4. 標題：The HSIC Bottleneck: Deep Learning without Back-Propagation

作者：Wan-Duo Kurt Ma、J.P. Lewis、W. Bastiaan Kleijn

論文鏈接：https://arxiv.org/pdf/1908.01580v1.pdf

摘要：在本文中，研究者介紹了用於訓練深度神經網路的希爾伯特·施密特獨立準則（Hilbert-Schmidt independence criterion，HSIC）瓶頸。HSIC 瓶頸是傳統反向傳播的一種替代方法，具有很多明顯的優勢。該方法有利於並行處理，並且所需要的操作流程大幅度減少。此外，該方法還不會遭遇梯度爆炸或梯度消失的情況。從生物學的角度來看，由於不需要對稱反饋，所以該方法較反向傳播更為合理。研究發現，即使當不鼓勵系統輸出的結果類似於分類標籤時，HSIC 瓶頸在 MNIST/FashionMNIST/CIFAR10 分類中的表現與具有交叉熵目標的反向傳播相當。增加一個利用 SGD（無反向傳播）進行訓練的單一層能夠實現 SOTA 性能。

推薦：雖然反向傳播已經是神經網路的標配，但為何不能再提高下運算效率，解決梯度下降中的問題呢？文章提出的新型梯度下降方法，值得讀者了解最新的神經網路架構創新動向。

5. 標題：AutoML: A Survey of the State-of-the-Art

作者：Xin He、Kaiyong Zhao、Xiaowen Chu

論文鏈接：https://arxiv.org/pdf/1908.00709v1

摘要：在特定領域構建高質量的深度學習系統不僅耗時，而且需要大量的資源和人類的專業知識。為了緩解這個問題，許多研究正轉向自動機器學習。本文是一個全面的 AutoML 論文綜述文章，介紹了最新的 SOTA 成果。首先，文章根據機器學習構建管道的流程，介紹了相應的自動機器學習技術。然後總結了現有的神經架構搜索（NAS）研究。論文作者同時對比了 NAS 演算法生成的模型和人工構建的模型。最後，論文作者介紹了幾個未來研究中的開放問題。

論文展示的在數據準備階段可由 AutoML 覆蓋的機器學習流程。

不同 NAS 演算法在 CIFAR10 數據集上的性能對比。

推薦：自動學習難入門？SOTA 模型學起來。

6. 標題：ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks

作者：Jiasen Lu、Dhruv Batra、Devi Parikh、Stefan Lee

論文鏈接：https://arxiv.org/pdf/1908.02265.pdf

摘要：研究人員提出了一種名為 ViLBERT（圖文 BERT）模型。這是一個可以學習任務未知的、圖像內容和自然語言聯合表徵的模型。研究人員將流行的 BERT 架構擴展成一個 multi-modal two-stream 模型上。在這個模型上，模型用兩個分開的流處理圖像和文本輸入，但他們彼此用聯合注意力層交互。研究人員在兩個代理任務上，使用 Conceptual Captions 數據集（數據集很大，而且是自動收集的數據）預訓練這個模型，然後將模型秦阿姨到多個建立好的圖像-文本任務上。這些任務包括圖像問答、圖像常識推理、引述表達、指稱成分，以及基於捕捉的圖像提取。這些只需要在基本架構上進行微小的補充。研究人員觀察到，相比現有的針對任務的特定模型，新模型在這些任務上都有了相助的性能提升——在每個任務上都取得了 SOTA。

ViLBERT 模型的架構。綠色和紫色的兩條 stream 分別輸入圖像和文本數據，並使用聯合注意力層進行交互。這一結構可以學習圖像和文本的聯合表徵。

推薦：使用 BERT 進行多模態的數據預訓練，這篇論文提供了一個新思路。論文作者來自喬治亞理工、Facebook 和俄勒岡州立大學。

7. 標題：Trick Me If You Can: Human-in-the-Loop Generation of Adversarial Examples for Question Answering

作者：Eric Wallace、Pedro Rodriguez、Shi Feng、Ikuya Yamada、Jordan Boyd-Graber

論文鏈接：https://doi.org/10.1162/tacl_a_00279

項目鏈接：https://github.com/Eric-Wallace/trickme-interface/

摘要：對抗評估（adversarial evaluation）強調測試模型對自然語言的理解能力。由於過去的方法只能發現表層的規律，獲得的對抗樣本只有有限的複雜性和多樣性。本文中，研究人員提出了一種人類參與的對抗樣本生成循環流程。在流程中，人類作者可以被引導用於中斷模型。研究人員給作者們提供了互動式界面，用於解釋模型的預測結果。研究人員在 Quizbowl 這一機器問答任務上使用提出的生成框架，由熱衷於 trivia 遊戲的人製作對抗問題。而最終生成的文本通過人機匹配進行驗證：儘管生成的問題對人類很普通，但可能會全面地難倒神經模型或信息抽取模型。這些對抗樣本涵蓋了多種多樣的特徵，從多跳推理（multi-hop reasoning）到實體類型干擾項，暴露出了魯棒的機器問答研究中的許多開放挑戰。

生成對抗樣本的交互界面和數據展示。人類作者首先在右上寫下一個問題。而模型則會在左側提供預測結果，並解釋這樣推斷的原因（右下）。而人類作者可以選擇接受這個問題，用於迷惑模型。

推薦：機器問答任務中同樣需要各種各樣的對抗樣本來提升模型魯棒性。馬里蘭大學的這一研究可以幫助讀者朋友了解機器問答模型中的魯棒性問題。而引入人類因素的對抗樣本生成同樣值得借鑒。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！