BERT拿下最佳長論文獎！NAACL 2019最佳論文獎公布

「2019 Python開發者日」全日程揭曉，請掃碼諮詢

作者 | 劉靜

編輯 | 李爾客

今日，自然語言處理頂會NAACL 2019最佳論文獎公布，BERT大力出奇蹟，獲得最佳長論文獎！

同時，NLP 領域的華人新星王威廉提名的論文獲得最佳短文獎。

ACL、EMNLP、NAACL - HLT、COLING 是 NLP 領域的四大頂會。前三者都由 ACL（Association of Computational Linguistics）舉辦， 其中 NAACL - HLT（Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies，一般簡稱為 NAACL）雖然名義上只是 ACL 北美分會，但在 NLP 圈裡也是無可爭議的頂級會議，名稱中的 HLT 也直接宣告了對於人類語言處理技術的關注。

據官方統計，此次 NAACL 2019 共收到論文 1955 篇論文，共接收論文 424 篇，錄取率僅為 22.6%。其中收到長論文投稿 1198 篇，短論文 757 篇。

今年總論文投稿的數量比去年多了近 1 倍，但在錄取論文數量上卻只增加了大約 100 篇，整體的論文錄取率不增反降了，錄取率降低的背後意味著對論文質量的標準更高，審稿也更加嚴苛。

以下是NAACL2019所有獲獎論文：

Best Thematic Paper（最佳主題論文）

《What』s in a Name? Reducing Bias in Bios Without Access to Protected Attributes》

（減少Bios中的偏差，無需訪問受保護屬性）

地址：

https://arxiv.org/pdf/1904.05233v1.pdf

摘要：越來越多的工作提出了減輕機器學習系統偏差的方法。這些方法通常依賴於對受保護屬性（如種族，性別或年齡）的訪問。然而，這提出了兩個重大挑戰：（1）受保護的屬性可能不可用或使用它們可能不合法，（2）通常需要同時考慮多個受保護的屬性及其交叉點。在減輕職業分類偏差的背景下，我們提出了一種方法，用於阻止個體真實職業的預測概率與其名稱的單詞嵌入之間的相關性。此方法利用了在字嵌入中編碼的社會偏見，從而無需訪問受保護的屬性。至關重要的是，它只需要訪問個人 在培訓時而非部署時的名稱。我們使用大規模在線傳記數據集評估了我們提出的方法的兩種變體。我們發現這兩種變異同時會減少種族和性別偏見，而分類者的整體真實陽性率幾乎沒有降低。

Best Explainable NLP Paper（最佳可解釋NLP論文）

《CNM: An Interpretable Complex-valued Network for Matching》

（CNM：一個可解釋的復值網路匹配）

地址：

http://arxiv.org/pdf/1904.05298v1

摘要：本文試圖通過量子物理的數學框架對人類語言進行建模。利用量子物理學中精心設計的數學公式，該框架將單個復值向量空間中的不同語言單元統一起來，例如像量子態中的粒子和作為混合系統的句子。構建復值網路以實現用於語義匹配的該框架。通過良好約束的復值組件，網路允許對明確的物理意義進行解釋。所提出的用於匹配的復值網路（CNM）在兩個基準問答數據集（QA）上實現了與強CNN和RNN基線相當的性能。

Best Long Paper（最佳長論文）

《BERT:Pretraining of Deep Bidirectional Transformers for Language Understanding》

（BERT - 用於語言理解的深度雙向預訓練轉換器）

地址：

https://arxiv.org/abs/1810.04805

摘要：這個大家已經耳熟能詳了，BERT刷新了11項自然語言處理任務的最新成果，包括將GLUE基準推至80.4％（絕對改進率7.6％），MultiNLI準確度達到86.7（絕對改進率5.6％）和SQuAD v1.1問題回答測試F1到93.2（絕對改進1.5％），超過人類表現2.0％。

Best Short Paper（最佳短論文）

《Probing the Need for Visual Context in Multimodal Machine Translation》

（探索多模態機器翻譯中視覺語境的需求）

地址：

https://arxiv.org/abs/1903.08678

摘要：目前關於多模態機器翻譯（MMT）的工作表明，視覺模態要麼不必要，要麼只是略微有益。我們認為這是在任務的唯一可用數據集（Multi30K）中使用的非常簡單，簡短和重複的句子的結果，使源文本足以作為上下文。然而，在一般情況下，我們認為可以將視覺和文本信息結合起來以便進行地面翻譯。在本文中，我們通過系統分析來探討視覺模態對最先進的MMT模型的貢獻，其中我們部分地剝奪模型從源側文本上下文。我們的結果表明，在有限的文本背景下，模型能夠利用視覺輸入來生成更好的翻譯。

Best Resource Paper（最佳資源論文）

《CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge》

（CommonsenseQA：針對常識知識的問題回答挑戰）

地址：

https://arxiv.org/abs/1811.00937

摘要：在回答問題時，除了特定的背景之外，人們還經常利用他們豐富的世界知識。最近的工作主要集中在給出一些相關文件或背景的問題，並且只需要很少的一般背景。為了研究具有先驗知識的問題回答，我們提出了CommonsenseQA：一個具有挑戰性的常見問題解答新數據集。為了捕捉關聯之外的常識，我們從ConceptNet（Speer et al。，2017）中提取了與單個源概念具有相同語義關係的多個目標概念。要求群眾工作者撰寫提及源概念的多項選擇題，並在每個目標概念之間進行區分。這鼓勵工人用複雜的語義創建問題，這些問題通常需要先驗知識通過這個程序提出了247個問題，並通過大量強大的基線證明了我們的任務難度。我們最好的基線是基於BERT-large（Devlin等，2018）並獲得56％的準確度，遠低於人類表現，即89％。

（本文為 AI科技大本營轉載文章，轉載請微信聯繫原作者）

倒計時兩天

「2019 Python開發者日」演講議題全揭曉！這一次我們依然「只講技術，拒絕空談」10餘位一線Python技術專家共同打造一場硬核技術大會。更有深度培訓實操環節，為開發者們帶來更多深度實戰機會。目前大會倒計時 2 天，更多詳細信息請諮詢13581782348（微信同號）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！