Facebook重磅發布ParlAI，重塑機器對話新格局

數小時前，Facebook AI實驗室（FAIR）的三位研究人員Jason Weston、Alexander Miller、Will Feng（馮彥斌）發不了一則重磅消息，他們發布了一個全新的軟體平台，可用於對話系統、chatbots，以及問題回答系統，並在github上開源了代碼。機器人圈將Facebook Engineering內容編譯如下，並附上github代碼鏈接。

AI的長期目標之一是開發智能聊天機器人，可以以自然的方式與人交談。現有的聊天機器人有時可以完成特定的獨立任務，但是無法理解多於單個句子或鏈接子任務來完成更大的任務。更複雜的對話，如預訂餐廳或聊天運動或新聞，需要了解多個句子的能力，然後對這些句子進行說明，以提供下一部分對話。由於人類對話是如此多樣化，聊天機器人必須熟練的許多相關任務都需要不同的專業知識，但使用相同的輸入和輸出格式。為了實現這些目標，有必要構建統一這些任務的軟體，以及可以從中學習的agent。

認識到這一需求，Facebook AI Research（FAIR）團隊已經建立了一個新的開源平台，用於一次性對多個任務進行訓練和測試對話模型。ParlAI（發音為「par-lay」）是對話研究的一站式商店，研究人員可以向單個共享存儲庫提交新任務和訓練演算法。與Mechanical Turk進行數據收集，訓練和評估的整合也使得ParlAI的機器人可以與人交談。這樣做的目標是將現有的對話數據集與包含人與機器人之間真正對話的學習系統統一起來。

ParlAI補充了現有的FAIR文本研究工作，如FastText，快速高效的文本分類工具，以及CommAI，我們通過日益複雜的任務開發通用人工智慧的框架。

ParlAI的任務

此版本中包含超過20個公共數據集，如下圖左側所示。

任務分為五類：

★問題回答：這是最簡單的對話形式之一，每位演講者只有一輪。問答是特別有用的，因為評估比其他形式的對話更簡單：如果問題的答案是已知的（即數據集被標記），那麼我們可以快速檢查答案是否正確。

★句子完成（cloze test）：在這個測試中，agent必須在對話中的下一個話語中填寫一個缺失的單詞。雖然這是另一個專門的對話任務，但數據集很便宜，評估起來很簡單。

★面向目標的對話：一個更逼真的對話級別應包括實現目標。例如，客戶和旅行社討論航班，一位發言者向另一位發言者推薦電影，兩位發言者同意在何時何地一起吃飯等等。

★聊天對話：一些任務不一定有明確的目標，但更多的是討論。例如，兩位發言者討論運動、電影或共同興趣。

★視覺對話：這些是包括圖像和文本的任務。在現實世界中，對話通常基於物理對象。將來，我們計劃添加其他感官信息，如音頻。

在ParlAI中選擇一個任務，與在命令行中指定一樣簡單。如果數據集尚未使用，ParlAI將自動下載。由於所有數據集在ParlAI（使用單個對話API）中都是以相同的方式進行處理的，因此對話agent可以在任何訓練和測試之間切換。你還可以通過提供逗號分隔的列表來一次指定多個任務（多任務），例如命令行-t babi，使用這兩個數據集——所有QA數據集為-t #qa，或者ParlAI中的每個任務-t #all。目的是使其容易構建並評估複雜的對話模型。

世界、agent和教者

ParlAI的主要概念（類）是世界、agent和教者（teacher）。世界是指說話者居住的環境，並且可以從簡單的雙向通話到諸如反應遊戲環境等複雜場景變化。agent可以在世界上行事和說話。agent可以是學習者，例如機器學習系統，或者設計為與學習者交互的硬編碼的機器人，例如遊戲中的非玩家角色。最後，教者是一種與學習者交談的agent，例如，實施之前列出的任務。

所有agent使用單一格式—觀察/操作對象（Python dict）—與其他agent交換文本，標籤和獎勵。

agents發送此消息發言，並以相同的形式接收消息以觀察環境中的其他發言者。 這樣就可以解決從強化學習到全監督學習的各種對話問題，同時保證所有數據集都符合相同的標準。當研究人員建立新的模型時，他們可以輕鬆地將它們應用於許多任務。

在定義了一個世界和其中的agent之後，可以運行一個主循環，用於訓練、測試或顯示，這稱為函數world.parley（）。下面的左圖顯示了一個示例主循環的框架，右邊是parley（）的實際代碼。

該工具箱的第一個版本包含實現的agent，如簡單的IR基線，以及兩個完整的神經網路示例：在Lua Torch中實現的端到端內存網路、在PyTorch中實現的注意力強大的LSTM模型DrQA、 SQUAD數據集等。我們期待在將來的版本中添加新的任務和agent。

Mechanical Turk

與人類的對話是構建聊天室的訓練過程的重要組成部分。這就是為什麼ParlAI支持與Mechanical Turk進行數據收集、訓練和評估的集成。這也使研究組的實驗得以比較，這在歷史上是困難的。

使用Mechanical Turk的人類（human turkers）也被視為ParlAI的agent。他們可以輕鬆地與機器人交談，以幫助他們訓練和評估。隨後，群體聊天中的個人、個人機器人或多個人和機器人可以在標準框架內進行交流，根據需要切換角色，agent沒有代碼改動。這是因為turkers使用觀察/行動的欄位，通過一個漂亮的版本的同一界面接收和發送。

我們在第一版中提供了兩個例子：

qa_collector：一名agent，與turkers談判，收集問答答對，給出上下文段落以構建質量檢查數據集。

model_evaluator：agent從Turkers收集關於給定任務的機器人性能的評級。

ParlAI首次為研究人員提供了在一個地方收集所有重要對話任務的地方。這不僅可以使任何這些任務單獨地進行更容易的迭代，而且還可以輕鬆地對所有這些任務（最終應該使機器人更好）進行機器人訓練，並評估所有這些技能的機器人。它也是研究人員通過檢查他們的代碼進入存儲庫來分享其AI學習agent的地方。這使得研究人員能夠重現對方的成果，並建立在對方的工作之上，推動了該領域的進步。最後，Mechanical Turk的整合意味著人類可以很容易地被放在循環中來與機器人交談，以幫助他們訓練和評估它們。最後，與人類的對話是必要的，以建立可以與人交談的聊天室。

解決對話問題仍然是AI領域的長期挑戰，對於這一目標的任何進展，從我們今天可以建立的產品方面，或者在其他領域可能有用的技術開發方面，都可能會有短期的好處。ParlAI是一個平台，我們希望能夠彙集研究AI agent的研究人員，進行對話，並繼續推動對話研究領域的最新進展。

ParlAI官網：

parlai.com

ParlAI源代碼github鏈接：

https://github.com/facebookresearch/ParlAI

來源：Facebook engineering

作者：Jason Weston、Alexander Miller、Will Feng

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！