史上最大的實體關係抽取數據集！清華大學自然語言處理團隊發布 FewRel

雷鋒網 AI 科技評論按，在去年的 EMNLP2018 上，由孫茂松教授領導的清華大學自然語言處理實驗室發布了一個大規模精標註關係抽取數據集 FewRel。據了解，這是目前最大的精標註關係抽取數據集。

該數據集包含 100 個類別、70,000 個實例，全面超越了以往的同類精標註數據集。FewRel 不僅可以應用在經典的監督/遠監督關係抽取任務中，在新興的少次學習（few-shot learning）任務上也有極大的探索價值和廣闊的應用前景。

團隊還發布了論文《FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation》，該論文由清華大學自然語言處理實驗室的博士生韓旭、姚遠，本科生朱昊、於鵬飛、王子云共同合作完成。文章對 FewRel 數據集的構造原理給出了詳細解釋，感興趣的童鞋可以點擊下面的論文地址閱讀原文：

• FewRel 網站地址：https://thunlp.github.io/fewrel.html

• 論文地址：http://aclweb.org/anthology/D18-1514

關係抽取（relation extraction）是自然語言處理中的一項重要任務，其通過從純文本中抽取關係事實，來構建和擴充知識圖譜（knowledge graph）。例如，從句子「馬雲創辦了阿里巴巴」中，可以抽取出關係事實（馬雲, 創始人, 阿里巴巴），其中馬雲和阿里巴巴被稱為實體（entity），而創始人則是他們的關係（relation）。關係抽取是知識獲取的重要途徑，對於理解自然語言和理解世界知識意義重大。

目前的關係抽取模型面臨著一個極大的問題：訓練數據不足。相比計算機視覺中的相關任務，語言相關的標註更加困難，需要標註者掌握相應的知識。就如下表 1 中所示，已有精標註關係抽取數據集在關係數量和實例數量上都較少，這極大限制了關係抽取的發展。

表 1：常用精標關係抽取數據集對比

作為目前關係抽取領域最大的精標註數據集，FewRel 中有 100 類關係，共 70,000 個實例，是很好的實驗數據集。此前，加州大學聖巴巴拉分校計算機科學系助理教授王威廉實驗室與IBM合作的 NAACL 2019 論文 Sentence Embedding Alignment for Lifelong Relation Extraction就用到了這個數據集。

FewRel 是以 Wikipedia 作為語料庫，以 Wikidata 作為知識圖譜構建的。

圖 1: Wikidata 和 Wikipedia（圖來自 Wikidata 和 Wikipedia 官網）

Wikipedia 作為互聯網上的自由百科全書，因其巨大的體量和蘊含的豐富知識而備受 NLP 學者青睞。與其相對應的知識圖譜 Wikidata，則是 Wikipedia 中知識的結構化。目前 Wikidata 中已有超過 5000 萬個實體，千餘種關係。

清華大學自然語言處理實驗室數據集團隊首先利用這兩者構造了一個遠監督的數據集。那麼，什麼是遠監督？知識圖譜中已經包含了許多實體以及他們之間的關係，我們可以假設，若兩個實體 h 和 t 間有關係 r，而一個句子中同時出現了 h 和 t，則該句子表達了它們之間的關係 r。通過這種方法可以自動獲得大規模的標註數據，然而這一數據是充滿雜訊的，幾乎無法直接用來訓練模型。在遠監督數據集的基礎上，去掉出現重複實體對的句子，去掉少於 1000 個樣本的類，最終留下 122 類，共 122,000 個實例，然後進行人工標註。

在這一過程中，每個實例都會有多個標註員進行標註，通過冗餘保證標註質量。在此之後再進行一輪質量篩選，最後留下 100 類，共 70,000 句高質量標註的關係抽取數據。最終數據集中，每句的平均長度為 24.99，一共出現 124,577 個不同的單詞/符號。

據了解，FewRel 的意義不僅僅是一個大規模的數據集。因為關係數量的眾多，學界可以在 FewRel 上進行更多維度的探索，其中很重要的一個方向就是少次學習（few-shot learning）。人可以接觸很少的例子而學會認知一種新的事物，從這一點出發，深度學習模型能否具備從少量樣本中快速學習的能力呢？目前在 CV 領域已有了很多這方面的嘗試，但在 NLP 當中，尤其是關係抽取上，還缺乏類似的探索。尤其因為以往的關係抽取數據集關係數量和實例數量較少，而通常 few-shot 模型需要在大規模數據上預訓練，需要在類別較多的數據上做 sample 評測，所以很難開展相關工作。

FewRel 的出現打開了少例關係抽取的大門，其名字中的 Few 也正是取自 Few-shot。通過下面的表 2 我們可以看到，FewRel 與 CV 中的 few-shot 數據集 mini-ImageNet 具有相同的規模，可見其足以支撐相關的研究。

表 2：FewRel 與兩個 CV 中 Few-Shot 數據集對比

除此之外，FewRel 還可以幫助科研人員進行需要較多關係類別的相關研究，終身學習（lifelong learning）就是其中一個方向。目前大部分關係抽取模型都是在預先定義好的類別中進行探索，而我們知道，世界知識是不斷增長的，關係數量也不是停滯的，如何讓一個模型能不斷接收新的訓練樣本，同時不至遺忘之前的知識，是一個十分值得探索的課題。而相關實驗需要有大量關係類別的精標數據，FewRel 正好滿足條件。

據了解，未來 FewRel 團隊還將公開其構建數據集時所使用的基於 Wikipedia 的遠監督數據，將遠監督數據與精標數據相結合，研究人員可以進一步探索遠監督的降噪機制，以及如何使用兩種數據進行半監督學習。

由於精標數據可以被視作「種子」，遠監督數據可以被看作巨大的語料庫，FewRel 還可以用在主動學習（active learning）和自啟動演算法（bootstrapping）方面的研究中。然而，近幾年來，在關係抽取領域少有人進行類似探索，其原因就是數據集的缺乏。伴隨著 FewRel 的出現，相信接下來這些重要方向的研究必然會有所推進。

雷鋒網雷鋒網

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！