通過深度模型加深和拓寬聊天話題，讓你與機器多聊兩句

選自sigirdawnet

作者：Wenjie Wang等

機器之心編譯

參與：Panda

目前大多數基於生成的對話系統都會有很多回答讓人覺得呆板無趣，無法進行有意思的長時間聊天。近日，山東大學和清華大學的研究者聯合提出了一種使用深度模型來對話題進行延展和深入的方法 DAWnet。該方法能有效地讓多輪對話系統給出的答覆更加生動有趣，從而有助於實現人與機器的長時間聊天對話。機器之心對該研究論文進行了摘要編譯。此外，研究者還公布了他們在本論文中所構建的數據集以及相關代碼和參數設置。

論文、數據和代碼地址：https://sigirdawnet.wixsite.com/dawnet

對話系統也被稱為聊天機器人或會話智能體，有很多廣泛地應用，範圍涵蓋娛樂、知識共享和客戶服務等。粗略而言，對話系統可分為任務導向型的對話系統和非面向任務的對話系統。前者可用於完成垂直領域內的特定任務；而後者的目標則是與人進行開放領域的閑聊。從技術上講，這兩類對話系統可以通過基於規則的方法、基於檢索的方法或基於生成的方法實現。更具體地，由基於規則的方法定義的啟發式模板在一定程度上會限制所希望得到的對話系統的多樣性。基於檢索的方法則往往嚴重依賴於其所檢索的資料庫。相對而言，基於生成的方法可以生成更靈活的答覆——這種方法通常是將問題-回復對（post-response pair）分別當作輸入和輸出來訓練一個深度神經網路。

在對話過程中，歷史會話對接下來的聊天而言非常重要；而單輪對話式的基於生成的模型會忽略上下文語境。為了緩解這個問題，研究者們設計了一些多輪對話系統，其中採用了多種方式來將上下文信息表示成一個密集且連續的向量。比如，層次化的編碼器-解碼器模型（HRED）[1] 是分層式地編碼上下文，其中歷史對話被建模成了一個句子級別的序列且每個句子都被建模成一個詞序列。我們必須指出，近些年來，研究者們已經為多輪對話系統提出了多種不同的利用上下文信息的方法，並且也取得了很大的成功。

但是，由於以下問題，這些方法的表現仍然有一些局限：1）根據我們對超過 1000 輪對話的用戶調查，上下文語境中僅有 45.2% 的短語有助於直接引導回復生成。儘管如此，之前很多研究都考慮了整個上下文中的所有短語，而沒有做進一步的區分，這實際上會影響模型的表現。2）我們的研究表明，在會話中，人們往往會加深或拓寬他們正在討論的話題，讓對話內容更加寬泛有趣，如表 1 所示；但是到目前為止，注意到這一現象的研究者還很少。3）當前的基於生成的對話系統往往會生成枯燥乏味的答覆，這些答覆是通用型的、信息更少且沒多大意義。比如，生成的回復「我不知道」。有鑒於此，我們就非常需要一種新的智能對話系統，其要能利用相關的語境信息來引導聊天會話向更深度和更寬泛的方向發展。

表 1：加深和拓寬聊天話題的多輪對話示例

但是，解決多輪對話系統中上述問題的有很大的難度，原因如下：1）長的上下文語境中的相關短語可能會被埋沒在不相關短語中，這會增加問題的難度，如何識別相關信息以有效地引導回復生成是一個懸而未決的問題。2）生成枯燥沉悶的答覆或者一直談論同一個話題是很無趣的，通常會讓人很快結束與機器的對話。因此，我們如何避免沉悶無趣的答覆並且確保所生成的答覆不僅是相關的而且能夠加深和拓寬當前話題是我們面臨的又一個難題。3）為了確保基於生成的模型的穩健性，一個大規模數據集是很關鍵的。然而，目前發布的多輪對話數據集要麼是垂直領域的，要麼規模比較小。

為了解決上述問題，我們提出了一個深度網路模型 DAWnet，如圖 1 所示。該網路由 3 個並行通道構成，分別為全局通道、深度通道和寬度通道。DAWnet 的目標是加深和拓寬聊天話題來提高回復的質量。更具體而言，全局通道首先會將給定上下文 (context) 轉換成一個嵌入向量，其中編碼了完整的歷史信息。然後 DAWnet 會從句子中抽取出關鍵詞，在收集到的關鍵詞和上下文嵌入向量的基礎上，寬度通道依賴一個基於注意力機制的循環神經網路（RNN）模型來預測相關話題的關鍵詞。值得注意的是，這些關鍵詞可能並沒有出現在給定上下文中。深度通道則是通過訓練一個多層感知機（MLP）模型來從上下文選擇一些關鍵詞進行話題的深入，其輸入是上下文嵌入向量和收集到的關鍵詞。我們的整個方案最後會將上下文編碼器的輸出、寬度通道中預測的關鍵詞、深度通道中選擇的關鍵詞輸入一個基於注意力機制的選擇器，幫助解碼器生成有意義的答覆。

圖 1：DAWnet 模型的示意圖

為了訓練 DAWnet 和評估其在答覆的連貫性、信息量和多樣性方面的表現，我們構建了一個開放域的多輪對話數據集，即新浪微博對話語料庫（Sina Weibo Conversation Corpus），它涵蓋了我們日常對話的多數話題。為了證明 DAWnet 的效果，我們還在一個基準數據集 DailyDialog[2] 上測試了 DAWnet。我們在這兩個數據集上將 DAWnet 與其它幾種當前最佳的方法進行了比較。實驗結果表明 DAWnet 能在多輪對話系統中實現了有潛力的表現。

我們的研究主要有三大貢獻：

DAWnet 提取出上下文中的關鍵詞信息，並且利用注意力機制選擇相關的關鍵詞來幫助生成有意義的答覆。

就我們所知，這是第一個在多輪對話系統中通過混合 RNN 和 DNN 模型來加深和拓寬聊天話題，以激勵用戶更多地和機器交談的研究。

我們構建了一個開放域的多輪對話數據集。此外，我們還發布了這些數據、代碼和相關參數，以便該領域的其他研究者使用。

圖 2：用於話題拓展的關鍵詞預測。其中關鍵詞解碼器由編碼器的最後一個隱藏狀態初始化，並基於該編碼器的隱藏狀態和上下文關鍵詞來生成關鍵詞。

圖 3：解碼器。該解碼器由編碼器的最後一個隱藏狀態初始化，並使用該編碼器的隱藏狀態的輸入、深度通道選擇的關鍵詞和寬度通道預測的關鍵詞來生成回復。

圖 4：深度通道關鍵詞的選擇過程。MLP 模型以編碼器的隱藏狀態與上下文關鍵詞作為輸入，然後輸出每一個關鍵詞的權重。

表 2：DAWnet 與基準方法在 DailyDialog 數據集和新浪微博對話語料庫上的表現比較。

表 4：DAWnet 和基準方法的測試樣本。這裡的參考答覆（reference）是指數據集中的目標答覆

論文：多聊聊：通過深度模型加深和拓寬聊天話題（Chat More: Deepening and Widening the Chatting Topic via A Deep Model）

論文鏈接：https://docs.wixstatic.com/ugd/e0ac5d_fc823c885b654e90b7414f3145cdb0c3.pdf

摘要：過去十年來，人機交互方法經歷了蓬勃的發展，尤其是通過對話系統的交互。在本論文中，我們研究了開放域多輪對話系統的答覆生成任務。值得一提的是，雖然已經有很多致力於研究對話系統的工作，但其中很少涉及加深或拓寬對話中的聊天話題，而這有助於增加用戶與機器聊天的時間。為了吸引用戶與對話系統交流，我們在本論文中提出了一種全新的深度模型，其包含 3 個通道，即全局通道、深度通道和寬度通道。全局通道是編碼給定上下文語境中的完整歷史信息，寬度通道使用了基於注意力機制的循環神經網路來預測可能沒有出現在歷史語境中的、與話題相關的關鍵詞，而深度通道是訓練一個多層感知機模型來從上下文關鍵詞中選擇一些進行話題的深入。之後，我們的模型將這三個通道的輸出整合起來生成所需的答覆。為了驗證我們的模型，我們進行了大量實驗，在兩個數據集上將我們的模型與幾種當前最佳的基準模型進行了比較；其中一個數據集是我們自己構建的，另一個公開的基準數據集。實驗結果表明，我們的模型通過拓寬或加深相關話題大大提高了生成回復的質量。

參考文獻

[1] Iulian Vlad Serban, Alessandro Sordoni, Yoshua Bengio, Aaron C. Courville, and Joelle Pineau. 2016. Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models. In Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence. AAAI Press, 3776–3784.

[2] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. 2017. DailyDialog: A Manually Labelled Multi-turn Dialogue Dataset. In Proceedings of the International Joint Conference on Natural Language Processing. ACL, 986–995

本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！