2018 機器閱讀理解技術競賽

機器閱讀理解 (Machine Reading Comprehension) 是指讓機器閱讀文本，然後回答和閱讀內容相關的問題。閱讀理解是自然語言處理和人工智慧領域的重要前沿課題，對於提升機器智能水平、使機器具有持續知識獲取能力具有重要價值，近年來受到學術界和工業界的廣泛關注。

為了促進閱讀理解技術發展，中國中文信息學會、中國計算機學會和百度公司聯手舉辦 「2018 機器閱讀理解技術競賽」。競賽將提供面向真實應用場景的大規模中文閱讀理解數據集， 旨在為研究者提供學術交流平台，進一步提升閱讀理解的研究水平， 推動語言理解和人工智慧領域技術和應用的發展。競賽將在第三屆 "語言與智能高峰論壇"舉辦技術交流和頒獎。誠邀學術界和工業界的研究者和開發者參加本次競賽！

競賽詳情

1. 競賽任務

對於給定問題q及其對應的文本形式的候選文檔集合D=d1, d2, ..., dn，要求參評閱讀理解系統自動對問題及候選文檔進行分析， 輸出能夠滿足問題的文本答案 a。目標是 a 能夠正確、完整、簡潔地回答問題q。

2. 數據簡介

本次競賽數據集來自搜索引擎真實應用場景，其中的問題為百度搜索用戶的真實問題，每個問題對應 5 個候選文檔文本及人工整理的優質答案。

數據集共包含 30 萬問題，包括 27 萬的訓練集，1 萬開發集和 2 萬測試集。其中 20 萬數據已在DuReader（https://arxiv.org/abs/1711.05073）發布，包括 18 萬訓練集、1 萬的開發集和 1 萬的測試集。這部分數據可自由下載（http://suo.im/4oKKPA），供參賽者訓練和測試使用。報名截止後，新增的 10 萬數據集也將在數據下載區發布。

3. 評價方法

競賽基於測試集的人工標註答案，採用ROUGH-L（http://suo.im/HWmPz）和BLEU4（http://suo.im/KFx9D）作為評價指標，以ROUGH-L（http://suo.im/HWmPz）為主評價指標。針對是非及實體類型問題，對 ROUGE-L 和 BLEU4 評價指標進行了微調， 適當增加了正確識別是非答案類型及匹配實體的得分獎勵， 一定程度上彌補傳統 ROUGE-L 和 BLEU4 指標對是非和實體類型問題評價不敏感的問題。

* 詳細的評價指標說明參見數據集中包含的 「評測細則 「文檔。

4. 基線系統

競賽將提供兩個開源的閱讀理解基線系統，基線系統的實現及結果評價請參考：開源系統（http://suo.im/4oKKPA）和數據集論文（https://arxiv.org/abs/1711.05073）。

參賽方式

1. 參賽對象

本次技術競賽面向全社會開放，相關領域的個人、科研機構、高等院校、企業單位等人員均可報名參加。

2. 報名方式

競賽網站將於 2018 年 3 月 1 日開放註冊報名，請及時關注。

* 正式報名並最終提交有效結果的團隊, 每位成員均可獲得一件大賽定製紀念 T 恤。

3. 報名時間

2018 年 3 月 1 日至 2018 年 3 月 31 日

獎項設置

競賽將評出一等獎 1 名，二等獎 2 名，三等獎 3 名。由主辦方中國中文信息學會（CIPS）和中國計算機學會（CCF）為獲獎者提供榮譽證書認證；由百度公司為獲獎者提供獎勵和參會交流贊助。

* 註：

1. 以上所有提及金額均為稅前金額。

2. 獲獎評定需選手提供系統報告（包括方法說明、系統代碼和數據、參考文獻和引用開源工具等）及團隊成員名單。

組織單位

1. 主辦方

中國中文信息學會 中國計算機學會

2. 承辦方

百度公司 中國中文信息學會評測工委會 中國計算機學會中文信息技術專委會

3. 指導委員會

孫樂 中國科學院軟體技術研究所

周明 微軟亞洲研究院

楊爾弘 北京語言大學

4. 評測委員會

呂雅娟 百度公司

韓先培 中國科學院軟體研究所

萬小軍 北京大學

限時拼團

3 大模塊，30 個課時

高校數學系教授帶班

100% 學員好評

與 100 + 同學一起夯實數學基礎，走穩機器學習入門第一步！

新人福利

關注 AI 研習社（okweiwu），回復1領取

【超過 1000G 神經網路 / AI / 大數據，教程，論文】

Github 項目推薦 | 可提取結構化信息的自然語言理解 Python 庫 Snips NLU

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！