ACL 2019 知識圖譜的全方位總結

雷鋒網AI科技評論：ACL 2019已經結束，但其空前的規模仍然震撼人心：2900多篇提交論文，660篇被接收，3000多名會議註冊人員，以及4個超過400人的研討會（比一些國際CS會議都大）。

值得一提的是，在本屆ACL中熱門話題（例如BERT系列、Transformers、機器翻譯等）受到熱烈關注，但除此之外還有一些新的趨勢，例如對抗學習、自然語言生成、知識圖譜等。以知識圖譜為例，本次會議中共有30篇接收論文，大約佔了所有接收論文的5%。

會後總結是優秀學者的必要行動。隨著ACL會議的結束，在網上已經先後出現了多篇關於ACL大會上各細分領域的總結文章。

例如來自德國Fraunhofer IAIS的研究科學家Michael Galkin近日便在Medium上發表了一篇關於知識圖譜@ACL2019的總結文。

在會議中熱門話題受到熱烈關注，例如BERT系列、Transformers、機器翻譯等。但除此之外，還有一些新的趨勢，例如對抗學習、自然語言生成、知識圖譜等。知識圖譜在本次會議中共有30篇接收論文，大約佔了所有接收論文的5%。

文章本文則圍繞ACL大會上關於主要探討知識圖譜（KG）的研究進行了詳細且完整的探討的內容，。

共包含五個部分分別為：

1、基於知識圖譜的對話系統

2、知識圖譜事實的自然語言生成

3、基於知識圖譜的問答

4、基於知識圖譜的NER和關係鏈接

5、知識圖譜嵌入和圖表示

對話系統，傳統上分為目標導向的agent和閑聊agent兩種。所謂目標導向agent，即幫助用戶去完成某項任務，例如幫忙預定餐桌或安排代駕等。閑聊agent即智能對話，具有互動性、娛樂性和話題性。

近來，我們可能聽到太多關於深度神經網路構建端到端（不需要特定通道）對話系統的工作。然而，現在越來越明顯的一個趨勢就是，無論在目標導向還是閑聊的agent中都需要擁有一些知識，前者需要領域知識，後者需要常識知識。

1、關於集成知識的趨勢，ACL主席周明在大會主旨演講中已經表達的很清楚了。演講中，他強調了將知識圖譜、推理和背景納入對話系統的重要性。我想補充的一點是，知識圖譜也將同時提高agent對話的可解釋性。

圖1：ACL主席周明演講中提到知識圖譜的重要性

2、在NLP for Conversational AI 研討會[1]中討論了更多此類細節問題。華盛頓大學的 Yejin Choi[2]提出了一種在對話中整合基於知識種子的常識推理（knowledge-seeded commonsense reasoning）的方法。

圖2：Yejin Choi on COMET

3、亞馬遜的Ruhi Sarikaya[3]證實，Alexa有一部分仍需要在帶有從結構源（例如圖）中提取知識的通道模式下執行。

4、微軟研究院的Jianfeng Gao[4]闡釋了小冰是如何利用結構化信息與用戶互動的。值得注意的是，小冰目前為止仍然保持著最長人機對話的記錄（23輪）。

5、Facebook AI的Moon等人[5]在2019年推出了OpenDialKG，這是一個新的開放式對話知識圖譜並行語料庫，有15K的標註對話、91K輪（基於1M三元組、100k實體和1358個關係的Freebase子集）。這在構建基於知識圖譜的對話系統上邁出了巨大的一步，希望Facebook的工作也會鼓勵到其他人。此外，作者提出了一種新穎的DialKG Walk架構，能夠利用帶有一個基於注意力圖譜路徑解碼的E2E方式的知識圖譜。

圖3：ACL上FacebookAI 對OpenDialKG的報告

唯一值得擔心的是選定的圖（Freebase）從2014年起就正式停用了，並且很長時間裡都沒有支持了。或許是時候該將社區數據切換到維基數據了？

生成連貫的自然語言話語（例如從結構化數據）是一個熱門的新興話題。純粹的神經端到端 NLG模型試圖解決的是生成「非常枯燥」的文本的問題，而結構化數據的NLG在表達自然語言的固有結構方面則更具有挑戰性。知識圖譜難以用語言表述。例如，你可以從一個三元組(Berlin, capitalOf, Germany)生成多個不同的句子，但當你有一組連接的三元組時(Berlin, capitalOf, Germany) (World_Cup_2006, hostedBy, Germany)時，以下哪個選項更有效呢？

l 「Berlin is the capital of Germany which hosted the World Cup 2006」

l 「Berlin is the capital of the country where World Cup 2006 took place」

令人驚訝的是，ACL會議中展示了相當多關於知識圖譜三元組描述（verbalizing triples in KGs）的內容。

首先，我要提一下由IBM研究院組織的關於storytelling研討會[6]，在這個研討會上提出了大量解決三元組描述問題的比賽和可行的方案。（可以去看相關的slides）.

在Logan等人展示的論文[7]和poster中，他們建議應當將語言模型（例如OpenAI GPT）與知識圖譜嵌入結合使用。作者還介紹了一個新的數據集Linked WikiText-2[8]，數據集中訓練集包含了從Wikidata中標註的41K個實體和1.5K個關係。

圖4：Taken from Logan et al.

在Logan等人展示的論文和poster中，他們建議應當將語言模型（例如OpenAI GPT）與知識圖譜嵌入結合使用。作者還介紹了一個新的數據集Linked WikiText-2，數據集中訓練集包含了從Wikidata中標註的41K個實體和1.5K個關係。

事實上並僅僅是在ACL 2019上有這些文章，在最近的NAACL 2019中，Moryossef等人的一項工作[9]也於此相關，他們提出一種基於三元組的自然語言生成雙重模型Chimera（two-fold model for NLG over triples）。首先，在給定三元組的情況下，他們生成如圖（graph）一樣的文本方案，其中保留了給定三元組的組合型；然後對這些文本方案進行打分排序；最後，運行一個典型的具有複製機制的神經機器翻譯（NMT）來生成文本句子。其實驗評估是就WebNLG數據集，有意思的是這個數據集也使用了Wikidata實體和謂詞ID。

並不是源自ACL 2019，但仍然是最近的NAACL 2019中，Moryossef等人的一項非常相關的工作。提出Chimera - NLG超過三倍的雙重模型。首先，給定一組三元組，它們生成文本計劃作為圖形，其保留給定三元組的組合性，對它們進行排名，並最終運行具有複製機制的典型神經機器翻譯（NMT）系統以生成文本句子。評估基於WebNLG數據集，該數據集也使用維基數據的實體和謂詞ID！

問答（作為一個閱讀理解任務）是追蹤類似BERT這樣大型模型進展的流行基準之一。

「基於知識圖譜的問答（KGQA）旨在為用戶提供一個界面，讓用戶能夠用自然語言提問，且能使用他們自己的術語，然後通過查詢知識圖譜來得到簡明的答案。」

以上的定義我引用了Chakraborty等人[10]的定義。在QA任務中，知識圖譜為用戶提供了可解釋的結果（實際上，一個圖模式可以/不可以在目標圖中找到）。此外，它還可以執行閱讀理解系統無法實現的複雜推理。在這方面，ACL 2019有許多state-of-art的研究，你可以去查一查。

Saha等人的工作[11]是複雜序列問答（Complex Sequential Question Answering，CSQA）數據集（帶有Wikidata ID），這個數據集目前包含了基於知識圖譜的最困難的問題，例如，

l 聚合：「Which people are the patron saint of around the same number of occupations as Hildegard of Bingen?」

l 驗證：「Is that administrative territory sister town of Samatice and Shamsi, Iran?」

l 以及更多組織為帶有「基於實體和關係的指代消除」的對話。

沒有記憶的方法及時在簡單問題上訓練也會表現出非常差的性能，現在看來你需要某種格式化語言或語法來執行邏輯動作和聚合。Saha等人介紹了一種包含幾個動作（例如交集、知識圖譜嵌入查找等）的語法，強化學慣用它來推導出能夠在對話環境中回答以上複雜問題的邏輯程序。

圖5：Taken from Saha et al.

Weber等人還在繼續研究神經序言，這是一種將符號推理和標準化的學習方法結合在句子嵌入上的可微邏輯方法，可以直接應用於自然語言文本，而不需要將它們轉換為邏輯形式，這種方法需要使用Prolog形式的推理來進行邏輯查詢。因此，一方面，框架是基於模糊邏輯和預先訓練句子的嵌入式模型。在我看來社區中的神經邏輯方法被低估了，當研究工作進行到開始爭取真正的可解釋性時，期望在這個領域能得到更多的關注，因為這個理論以及上面的論文提供了一個非常有根據和可解釋性的機制，解釋了它們是如何推斷出一個特定的答案。Weber等人[12]研究的是神經Prolog，這是一個可微邏輯方法（differentiable logic approach），它將符號推理和基於句子嵌入的規則學習方法結合了起來，可以位元組應用到自然語言文本中，而不需要將文本轉化為邏輯形式，且可以使用Prolog形式的推理來進行邏輯查詢。因此，這個框架事實上是建立在模糊邏輯和預訓練句子嵌入模型之上的。我認為神經邏輯方法目前在社區中是一個被嚴重低估的領域，這篇文章以及上篇文章都為它們是如何推理出特定答案提供了一個非常基礎的可解釋的機制；因此當研究人員想要在真實可解釋性方面開闢戰場時，我希望這個領域能夠得到足夠的重視。

圖6：Taken from Weber et al.

針對處理起來相對簡單的KGQA數據集，Xiong等人[13]提出了一種基於不完整知識圖譜的QA，在這裡需要進行一些鏈接預測；Sydorova等人[14]在TextKBQA任務（有兩個知識源：圖和文本段落）上獲得了不錯的結果。另外一種方法是Yang等人[15]提出的，他們使用了帶有KG（本例中使用的是wordNet和NELL）的BERT形式的閱讀理解模型。截止2019年3月，他們的KT-NET在SQuAD1.1和ReCoRD上的表現優於純粹的MRC系統，這說明這是一個有前景的研究方法。

基於閱讀理解的QA系統目前仍然是比較火熱的領域，在本次會議中有多個oral和poster的session都是關於這一方面的，所以我敢肯定隨後會有一些關於這個方面更詳細的解讀。。簡而言之，類似WikiHop或HotpotQA這樣的新數據集是針對整個 Wikipedia文章進行multi-hopQA，您需要結合幾篇文章中方法來回答一個問題。CommensenseQA包含了從搜索引擎日誌中獲取的真實問題，因此系統需要建立莫衷類型的常識推理。如果你想從一堆完全無意義的樣本中區分出有意義的部分，那麼你就需要使用對抗訓練了，今年ACL也提供了幾篇文章（Zhu等人[16]和Wu等人[17]），他們的對抗訓練還不錯。

最後，要為了克服訓練數據集較小的問題，Alberti等人[18]提供了一種改寫數據增強方案（paraphrasing data augmentation schema），能夠生成多達50M額外的問題來訓練他們的系統，結果顯示F1值有+2到+3的提升。

今年的ACL大會中，「信息抽取」毫無疑問是最受歡迎和最引人注目的一個方向。而KG在信息提取的命名實體識別、實體鏈接、關係抽取、關係鏈接等方面也展現出了真正的優勢。此外，在本次會議上也出現了許多新的（帶有Wikidata IDs的）數據集和方法。

Bosselut等人[19]寫的文章是在本次會議中我最喜歡的文章Top-3之一，在這篇文章中他們介紹了一種常識transformer架構：COMET。

圖7：Taken from Bosselut et al.

在COMET中，他們將語言模型（例如GPT-2）與種子知識圖譜（例如ATOMIC）結合在了一起。給COMET輸入圖的種子元組，COMET便能學到圖的結構和關係。此外，這個語言模型是用圖表示構建而成，而不是傳統的生成結點和邊然後把它們加入到種子圖中。更酷的是，你還可以得到一個表示為自然文本元組（例如(take a nap, CAUSES, have energy)）的圖。用這個架構在大型數據集（例如Wikidata）上測試應該是一件非常有意思的事情。

新數據集和關係提取的基線模型（它們都是基於Wikidata實體和謂詞，很好！）Yao和Ye等人[20]提出了一個大型數據集DocRED，其中共102K個文檔，包含了6個實體類型、96個關係、2.5M個實體（沒有WikidataIDs），828K個句子。Trisedya等人[21]提出了一個包含255K文本三元對、280K個實體和158個謂詞的數據集，基於這個數據集還提出了一個任務（從給定自然語言句子中構建知識圖譜）和一個基準模型。此外，Chen等人[22]提出了一個關係相似性的數據集，包含426K三元組、112K個實體和188個關係。

在對信息提取的深入研究方面，Zhu等人[23]利用圖注意力網路在關係鏈接方面取得不錯的結果。他們將句子中的實體和關係組合建模為一個圖，並使用能夠識別多重關係（multi-hop relations）的GNN。結果在SOTA有重大的提升。

Soares等人[24]提出了一個關係學習的新方法——預訓練一個大型模型（例如BERT），將句子輸入它的編碼器獲得關係的抽象概念，然後在例如Wikidata、TACRED或DBpedia等特定模式中進行微調來獲得一個帶有相應ID的真實的謂詞。這種方法具有很大的現實意義。通常基於KG的信息抽取方法都是為特定的本體（ontology）而設定的，所以你有多少本體你就需要有多少任務。這裡作者從所有方案中提取了一些普適性的關係，這些關係你可以加入到你自己的方案中，從而減少大量重複性工作。這種方法在zero-shot和few-shot任務特別管用，在訓練數據非常有限的情況下使用這種方式可以顯著地提高你的模型的精確度。

圖8：Taken from Soares et al.

在實體鏈接上，Logeswaran等人[25]提出使用類BERT的預訓練閱讀理解模型來將實體鏈接推廣到未知領域的未知實體上。為此，他們引入了一個域自適應預訓練（DAP）策略，以及在未知領域zero-shot實體鏈接的新任務。儘管目前他們的數據集僅包含了Wikia的文章，不過我認為將他們的框架應用到包含多語言標註和同義詞或定義明確的特定領域本體的知識圖譜上應該不會有太大問題。

Hosseini等人[26]的工作研究了從自然語言文本中直接提取關係圖的問題，他們在多個評估數據集上獲得了顯著的改善。Shaw等人[27]也完成了一個類似的工作，他們用圖網路（GNN這些天確實比較火）來獲得帶有實體的邏輯形式。

Wu等人[28]研究了KG中的關係表示，並提出一種表示適配模型（Representation Adapter model），這個模型可以推廣到基於已有KG嵌入的未知關係當中。作者在文章中還將SimpleQuestion（SQ）數據集調整為SimpleQuestions-Balance（SQB）數據集，使得訓練/測試拆分中實體與虛擬的謂詞的分布更加平衡。

在命名實體識別（Named Entity Recognition，NER）上，我強烈推薦Lopez等人的文章「Fine-grained Entity Typing in Hyperbolic Space」[29]。使用可能涉及的實體&實體類型的二維列表（flat list），作者構建了一個雙曲嵌入空間，來推斷涉及的上下文，並將一個實體類型賦予給一個實體。例如，給定一個句子「A list of novels by Agatha Christie published in …」，其中「Agatha Christie」將不僅被標記為「human」，同時在更細粒度上會被標記為「writer」類中。實際中，這個框架在UltraFine數據集上的訓練可以劃分三級；在OntoNotes上，結果與SOTA方法旗鼓相當。

圖9：Taken from Lopez et al.

可能有人會認為NLP的會議不是一個學習關於圖表示的最佳場所，但在ACL這次會議上確實出現了許多有見解的論壇，它們嘗試從結構和語義兩方面對知識圖譜進行編碼。

Nathani等人[30]介紹了一種基於圖譜注意力網路（graph attention networks，GAT）的知識圖譜嵌入方法，該方法在注意力機制中考慮了結點（node）和邊緣（edge）的特徵。作者採用了多頭注意力架構（multi-head attention architecture），並重點強調了學習關係表示。論文中對四個數據集（WN18RR、FB15k-237、NELL-995、Kinship）進行的基準測試中顯著提高了SOTA性能。實際上，這種方法要比ACL會議上同一天展示的（下面介紹的）另外一個方法要更好。

圖10：Taken from Nathani et al.

Bansal等人[31]提出了A2N的方法，這是一種帶有近鄰注意力（neighbourhood attention）的知識圖譜嵌入技術。作者在評估中證明，從近鄰中獲取信息可以更好地表示多重關係（multi-hop relation）。在關係預測的基準測試中，A2N的表現與ConvEx相當，有時候甚至更好。不過與前面提到的方法比起來要稍顯遜色一些。我建議，作者可以比較一下訓練時間和內存消耗。

圖11：A2N，Google提出一種新穎的知識圖嵌入方法，關注鄰居結點

Xu和Li的工作[32]和前兩篇工作有些不一樣，他們使用二面體群（不懂的同學請翻翻群論的書）來給KG嵌入的關係建模。要想讀懂這篇論文就需要堅實的數學基礎了（可以嘗試挑戰一下自己，），簡單來說就是，二面體群可以為謂詞的非阿貝爾成分（譯者註：所謂非阿貝爾即，A*B!= B*A）建模，例如parent_of * spouse_of != spouse_of * parent_of（這裡*表示矩陣乘積）。此外，這種方法也能夠對謂詞見的對稱和反對稱關係進行建模。這種方法在傳統基準測試中的表現並不比ConvE好多少（這主要是因為傳統基準包含了大量的阿貝爾元素成分），不過在作者構建的更側重於非阿貝爾元素的數據集FAMILY上它們能夠取得優秀的成績。需要強調的是，這篇文章絕對值得一看，不過確實需要一些數學基礎。

Kutuzov等人[33]提出了一種構建知識嵌入的新框架，在這個框架中他們不再使用基於向量的距離函數，而是採用基於圖的最優測度（類似於最短路徑），並插入了自定義結點相似度函數（例如Leacock-Chodorow）。不過，雖然這種方法能夠提高推理速度，但卻沒有充分利用結點和邊的特徵。作者表示將在未來的工作中進一步完善，期待ing！

Stadelmeier和Pado兩人[34]提出了一個上下文路徑模型（context path model，CPM），目的是在傳統KG嵌入方法的基礎上提供一個可解釋層。作者在文章中建議使用兩個優化分數：1）路徑校正分數；2）三元組和路徑之間的相關性分數。

Wang等人[35]在他們的論文「On Evaluating Embedding Models for Knowledge Base Completion」中提出了KG嵌入評估中反覆出現的一個問題：KG嵌入預測在邏輯上是否一致？例如在圖中我們會有一些規則，像：

「Roger can』t be friends with David」 (instance level)；

「Humans can』t be made of Wood」 (class level)

這意味著應該考慮KG嵌入，並降低此類陳述出現的可能性。但作者發現現在大部分KG嵌入模型都會給相當不切實際的三元組分配一個非零的概率值。

雷鋒網小結一點：1）越來越多的人開始將知識圖譜應用在NLP的各種領域；2）關於知識圖譜的各種新數據和新任務越來越頻繁地出現。這些可以在會議議程中查到。

參考資料：

[1]https://sites.google.com/view/nlp4convai/

[2]https://homes.cs.washington.edu/~yejin/

[3]https://sites.google.com/site/ruhisarikaya01/home

[4] https://www.microsoft.com/en-us/research/people/jfgao/

[5] https://www.aclweb.org/anthology/P19-1081

[6] https://sites.google.com/view/acl-19-nlg/slides

[7] https://www.aclweb.org/anthology/P19-1598

[8] https://rloganiv.github.io/linked-wikitext-2/

[9]https://arxiv.org/abs/1904.03396

[10]https://arxiv.org/pdf/1907.09361.pdf

[11] https://www.mitpressjournals.org/doi/pdf/10.1162/tacl_a_00262

[12]https://arxiv.org/pdf/1906.06187.pdf

[13] https://www.aclweb.org/anthology/P19-1417

[14] https://www.aclweb.org/anthology/P19-1488

[15] https://www.aclweb.org/anthology/P19-1226

[16] https://www.aclweb.org/anthology/P19-1415

[17] https://www.aclweb.org/anthology/P19-1616

[18] https://www.aclweb.org/anthology/P19-1620

[19] https://www.aclweb.org/anthology/P19-1470

[20] https://arxiv.org/pdf/1906.06127.pdf

[21] https://www.aclweb.org/anthology/P19-1023

[22] https://www.aclweb.org/anthology/P19-1278

[23] https://www.aclweb.org/anthology/P19-1128

[24] https://www.aclweb.org/anthology/P19-1279

[25] https://www.aclweb.org/anthology/P19-1335

[26] https://www.mitpressjournals.org/doi/pdf/10.1162/tacl_a_00250

[27] https://www.aclweb.org/anthology/P19-1010

[28] https://www.aclweb.org/anthology/P19-1616

[29] https://arxiv.org/pdf/1906.02505.pdf

[30] https://www.aclweb.org/anthology/P19-1466

[31] https://www.aclweb.org/anthology/P19-1431

[32] https://www.aclweb.org/anthology/P19-1026

[33] https://www.aclweb.org/anthology/P19-1325

[34] https://www.aclweb.org/anthology/W19-4816

[35] https://arxiv.org/pdf/1810.07180.pdf

雷鋒網引用原文鏈接：https://medium.com/@mgalkin/knowledge-graphs-in-natural-language-processing-acl-2019-7a14eb20fce8

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！