NLP新基準！谷歌重磅發布開放問答數據集，30萬自然提問＋人工注釋答案
作者：Tom Kwiatkowski來源:Google AI Language,新智元
今天，谷歌重磅發布自然問題數據集(Natural Questions)，包含30萬個自然發生的問題和人工注釋的答案，16000個示例，並發起基於此數據集的問答系統挑戰賽。有望成為自然語言理解領域的SQuAD！
開放領域問題回答(QA)是自然語言理解(NLU)中的一項基準任務，它的目的是模擬人類如何查找信息，通過閱讀和理解整個文檔來找到問題的答案。
比如，給定一個用自然語言表達的問題「為什麼天空是藍色的?」("Why is the sky blue?」)，QA系統應該能夠閱讀網頁(例如「天空漫射」的維基百科頁面)並返回正確的答案，即使答案有些複雜和冗長。
然而，目前還沒有可以用於訓練和評估QA模型的大型、公開的自然發生問題(即由尋求信息的人提出的問題)和答案數據集。
這是因為構建用於QA任務的高質量數據集需要大量的真實問題來源，並且需要大量人力來為這些問題尋找正確答案。
為了促進QA領域的研究進展，谷歌今天發布自然問題數據集(Natural Questions, NQ)，這是一個用於訓練和評估開放領域問答系統的新的、大規模語料庫，也是第一個複製人類查找問題答案的端到端流程的語料庫。
Natural Questions數據集
NQ的規模非常龐大，包含30萬個自然發生的問題，以及來自Wikipedia頁面的人工注釋答案，用於訓練QA系統。
此外，NQ語料庫還包含16000個示例，每個示例都由5位不同的注釋人提供答案(針對相同的問題)，這對於評估所學習的QA系統的性能非常有用。
Natural Questions數據集中的示例
由於回答NQ中的問題比回答瑣碎問題(這些問題對計算機來說已經很容易解決)需要有更深入的理解，谷歌還發起了一項基於此數據集的挑戰賽，以幫助提高計算機對自然語言的理解。
NQ挑戰賽排行榜
NQ數據集包含307K訓練示例、8K開發示例和8K測試示例。
目前，NQ挑戰賽排行榜上只有谷歌的BERT模型和DecAtt-DocReader模型的成績。在論文中，谷歌證明在長答案選擇任務上的人類的最優成績為87% F1，在短答案選擇任務上人類的最優成績為76%。
來自谷歌搜索的真實問題
NQ是第一個使用自然發生的查詢創建的數據集，並專註於通過閱讀整個頁面來查找答案，而不是從一個短段落中提取答案。
為了創建NQ，我們從用戶提交給Google搜索引擎的真實、匿名、聚合的查詢開始。
然後，我們要求注釋者通過通讀整個維基百科頁面來找到答案，就好像這個問題是他們自己提出的一樣。注釋者需要找到一個長答案和一個短答案，長答案涵蓋推斷問題所需的所有信息，短答案需要用一個或多個實體的名稱簡潔地回答問題。
對NQ語料庫的注釋質量進行評估，顯示準確率達到90%。
注釋包含一個長答案和一個短答案
研究人員在論文《自然問題：問答研究的基準》(Natural Questions: a Benchmark for Question Answering Research）中對數據收集的過程進行了全面描述，論文已發表在《計算語言學協會會刊》(Transactions of the Association for computing Linguistics)。大家也可以在NQ網站上查看更多來自數據集的示例。
自然語言理解挑戰
NQ的目的是使QA系統能夠閱讀和理解完整的維基百科文章，其中可能包含問題的答案，也可能不包含問題的答案。
系統首先需要確定這個問題的定義是否足夠充分，是否可以回答——許多問題本身基於錯誤的假設，或者過於模糊，無法簡明扼要地回答。
然後，系統需要確定維基百科頁面中是否包含推斷答案所需的所有信息。我們認為，相比在知道長答案後在尋找短答案，長答案識別任務——找到推斷答案所需的所有信息——需要更深層次的語言理解。
我們希望NQ的發布以及相關的挑戰賽將有助於推動更有效、更強大的QA系統的開發。我們鼓勵NLU社區參與進來，並幫助縮小目前最先進方法的性能與人類上限之間的巨大差距。
查看排行榜和了解更多信息，請訪問挑戰賽網站：
https://ai.google.com/research/NaturalQuestions
論文：
Natural Questions: a Benchmark for Question Answering Research
https://ai.google/research/pubs/pub47761
NQ網站：
https://ai.google.com/research/NaturalQuestions/visualization
TAG:AI講堂 |