ACL 2018 首日:8大tutorial,深度強化學習最受關注
雷鋒網 AI 科技評論按:繼 2017 年的溫哥華之旅後,ACL 2018 在澳大利亞墨爾本舉辦,舉辦地點為墨爾本會展中心,也是 IJCAI2017 舉辦地。
今天是大會 tutorial 環節,雖然主會在明天召開,但作為計算機語言學和自然語言處理領域最頂尖的會議之一,tutorial 也吸引到不少參會者前來註冊。從引導大家進入會場的指示牌上可以看到眾多熟悉的國內企業,如位元組跳動為大會鑽石贊助商,此外,百度、京東、騰訊、華為等企業也赫然在列。
作為 ACL 延續至今的傳統,tutorial 旨在幫助領域新手了解計算機語言學與自然語言處理的最新進展以及核心技術,促進大家相互交流與探討。今年的 Tutorial 主席為康奈爾大學的 Yoav Artzi 和喬治亞理工學院的 Jacob Eisenstein,據介紹,今年的 tutorial 選擇參照了質量、相關性、興趣以及平衡四個度量。
相較去年的六個議程,今年增加到八個。
上午的四個議題分別為:
100 件你總想知道但卻害怕去問的語義學&語用學知識
對話 AI 系統的神經網路方法
變分推理和深度生成模型
將語言和視覺與行動聯繫起來
下午的四個議題分別為:
超越多詞表達的方法:處理習語和隱喻
神經語義分析
NLP 中的深度強化學習
多語言實體發現和鏈接
相較於去年深度學習佔據絕大多數議題,今年的內容則更加多樣化,如語言與視覺、語義&語用學知識、多語言實體等。雷鋒網 AI 科技評論在現場看到,最受歡迎的議題有上午的 Neural Approaches to Conversational AI 和下午的 Deep Reinforcement Learning for NLP,引發眾多參會人員關注。目前,tutorial PPT 大多已經公布,想要了解更多的同學及研究人員,可以在會議官網進行下載。(註:4 *8 個小時的 tutorials,上千張 PPT,相信一定會為大家開啟新世界的大門)
以下為雷鋒網 AI 科技評論對這八個議題的簡要介紹:
Tutorial 1:100 Things You Always Wanted to Know about Semantics & Pragmatics But Were Afraid to Ask
meaning 是自然語言處理 (NLP) 中的一個基本概念,NLP 的目標是建立一個能向你表達、理解你的表達的系統。為了使 NLP 能從解決部分特定任務應用到更為廣泛的領域,它必須了解人類如何使用語言來表達和理解社交意圖。這一 tutorial 的目的是提供一些有用的語義學和語用學信息。
Tutorial 2:Neural Approaches to Conversational AI
將闡述近幾年來對話人工智慧系統上基於神經網路方法。對話系統分為三類:問答智能體;任務導向型智能體;社交機器人,在這一 tutorial 上會回顧最先進的神經網路方法,在基於神經網路的方法和傳統符號方法之間建立聯繫,使用特定的系統和模型作為研究案例,來討論我們所取得的進展和面臨的挑戰。
Tutorial 3:Variational Inference and Deep Generative Models
這一 tutorial 將對變分推理進行介紹,對如何使用變分方法來訓練深度生成模型(DGMs)進行了詳細講解,包括一系列實際案例。同時,將提及這些學習演算法所需的數學背景,提供實現指南。也將介紹連續和離散變數模型。
Tutorial 4:Connecting Language and Vision to Actions
這一 tutorial 將介紹結合文本和視覺理解的多模式任務和數據集,會為大家帶來現有的 image captioning、視覺問題回答 (VQA) 和視覺對話等任務的最先進技術,評價訓練模型時主要的模塊 (如 co-attention ) 和一些最新演算法 (如一些合作/對抗博弈)。然後,將討論結合語言、視覺和動作在當前面臨的挑戰和即將面臨的挑戰,並介紹一些最新發布的用於此類研究的互動式 3D 模擬環境。
Tutorial 5:Beyond Multiword Expressions: Processing Idioms and Metaphors
Tutorial 主講人 Valia Kordoni 表示,這一 tutorial 的目標受眾是機器學習、解析 (句法和語義) 和語言技術方面的研究人員和實踐者,並不一定需要是習語和隱喻方面的專家。這一 tutorial 的目的是建立與會者對如下幾點的清晰認知:習語和隱喻的語言特點;使用當前領先 NLP 技術的習語和隱喻計算模型;深度學習和自然語言處理之間的相關性;未來將要做的一系列工作。
Tutorial 6:Neural Semantic Parsing
地址:https://github.com/allenai/acl2018-semantic-parsing-tutorial(待更新)
語義分析是將自然語言表達翻譯成機器可執行的符號的研究,已有很多成熟應用,如問答系統、語音助手和代碼生成等等。在過去的兩年間,隨著神經編解碼方法的引入,語義分析模型發生了巨大的變化,我們得以重新思考許多先前對語義分析的假設。
這一 tutorial 將描述研究人員採用的各種對語義分析的研究,還將評估語義分析器所使用的正式語言,並探討為什麼最近的工作會選擇使用標準的編程語言而不是更多語言驅動的表示。然後,將描述語義分析的一個極具挑戰的設置——在將自然語言轉換為正式語言時,解析器必須考慮額外的上下文或交互,接下來將描述這方面的最新工作。最後,將介紹 AllenNLP 用於語義分析研究的一些工具。
Tutorial 7:Deep Reinforcement Learning for NLP
許多自然語言處理 (NLP) 任務 (包括生成、推理、信息提取、關聯解析和對話等) 都可以表示為深度強化學習 (deep reinforcement learning, DRL) 問題。然而,由於語言往往是離散的,所有句子的空間都是無限的,因此在將 NLP 任務構想為強化學習問題時存在許多挑戰。在這次 tutorial 上,將介紹 NLP 中一些實用的 DRL 解決方案。我們描述了在 NLP 中設計深度強化學習演算法方面的最新進展,特別關注於生成、對話和信息提取。最後,我們討論了這些演算法成功及失敗的原因,旨在提供一些關於深度強化學習的實用建議,以解決實際的 NLP 問題。
Tutorial 8:Multi-lingual Entity Discovery and Linking
地址:https://sites.google.com/view/xlingedl/home/tutorial-materials(待更新)
本 tutorial 的主要目標是評估跨語言 EL 框架。會先討論傳統的 EL 技術和度量,然後,將介紹更近的方法,如神經 EL(Neural EL),將評估最先進的神經 EL 系統的基本模塊,分析當前一些關於英文 EL 的結果。然後,將回到跨語言 EL,討論一些在多種語言間使用的方法。特別地,主講人會討論和比較使用多語言詞嵌入的多種方法,最後,還將討論跨語言 EL 在搜索引擎和商業產品銷售應用程序等各種 App 中的應用。
以上就是對今天 tutorial 的全部介紹,選取 Neural Approaches to Conversational AI 上一張有意思的 PPT 分享給大家:
在 tutorial 結束後,接下來是 welcome reception 接待環節。第一天的議程就此落下帷幕,正會即將於明天召開,敬請期待雷鋒網 AI 科技評論帶來的報道。
※ASSIA|中國自動化學會「深度與寬度強化學習」智能自動化學科前沿講習班(二)
※對話 Mobileye 中國區總監 Boaz Sacks:講技術是紙上談兵,自動駕駛落地要先看實際裝車量
TAG:雷鋒網 |