加速 AI 2.0，ARC 推理挑戰賽等你來戰！

知識 03-21

目前市面上有很多智能語音問答產品，其中絕大多數給人的感覺就像是個玩具，甚至有些「弱智」。為了解決 AI 在高級問答上的難題，近日，國外研究團隊 Peter Clark 等人發表了一篇論文題目為：Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge（覺得你已經解決了問答難題？來嘗試 AI2 推理挑戰賽吧（ARC）！這篇 paper 中提出的數據集也是小學自然科學領域目前最大的公開數據集。（文末有下載地址）

ARC 數據集包含 7,787 個小學級別，多項選擇的科學問題，旨在鼓勵高級問題回答的研究。數據集被分成挑戰集和簡易集，前者只包含基於檢索演算法和單詞共現演算法出現的回答不正確的問題。問題分為以下幾個部分：

挑戰訓練集：1,119

挑戰開發集：299

挑戰測試集：1,172

簡易訓練集：2,251

簡易開發集：570

簡易測試集：2,376

論文中提出了一個新的問題集、文本語料庫和 baseline，這些共同構成了 AI2 推理挑戰賽（ARC），以鼓勵人工智慧研究在高級問題回答中的應用。它需要比之前的挑戰（如 SQUAD 或 SNLI）擁有更強大的知識和推理能力。 ARC 問題集分成挑戰集和簡易集，挑戰集只包含基於檢索演算法和單詞共現演算法出現的回答不正確的問題。該數據集僅包含問題（用於人類測試），也是該領域目前最大的公開數據集（共 7,787 個問題）。我們在挑戰集上測試了幾條基線，其中包括在 SQUAD 和 SNLI 任務中領先的神經網路模型，但發現沒有一個能夠顯著優於隨機基線，這也反映了該項任務的難度。我們還發布了 ARC 語料庫，這是一個與任務相關的大小為 14M 的科學語句語料庫，並且實現了三種基線神經網路模型的測試。你的模型能否在上面更好地運行？

以下是 ARC 問題集在測試分區上的分數（單位：％正確率）。

評分注釋：如果模型能推測出給定問題的正確答案 k 線圖，得分為 1 / k 分。