ACL2019 Tutorial 日現場見聞（附Tutorial PPT 下載）

雷鋒網 AI 科技評論按：2019 年 7 月 28 日，自然語言處理領域的頂級學術會議 ACL2019 在義大利佛羅倫薩召開。作為文藝復興時期的重要藝術城市、如今的旅遊勝地，在盛夏時節來到佛羅倫薩的不止有世界各地的計算語言學學者與 NLP 應用開發者們，當然還有許多遊客們。佛羅倫薩市內的大街小巷也十分熱鬧。

ACL2019 的會議地址是 Fortezza da Basso，它是文藝復興時期的代表建築之一。公元十六世紀修建它時是作為一個守衛佛羅倫薩的堡壘，如今已經成為佛羅倫薩的主要會議舉辦地點。大會演講、論文報告、專題研討會等都會在這裡的各個場館內進行。

會議第一天 28 日為 Tutorial 日，集中了 9 個不同主題的 Tutorial（教學講座）；7 月 29 日至 7 月 31 日為正會，有大會開幕式、2 個特邀演講、所有的論文口頭報告、論文海報展示、論文 demo、ACL 論文獎以及個人榮譽獎頒獎。8 月 1 日、2 日的內容是 workshop（專題研討會）。

大會簽到也是從 28 日開始。簽到處也有文藝復興元素，大會準備了兩個來自著名畫作的照相版供參會者合影留念。

ACL 2019 有眾多贊助商，不僅可以在展位區的贊助商展示牌上看到，更可以沉甸甸地感受到：簽到時發放的資料袋裡有贊助企業們的 ACL 宣傳材料，攤開可以擺滿一桌子；內容以介紹本屆 ACL 中的收錄論文和規劃的活動為主。當然了，ACL2019 官方的會議手冊也是厚厚一大本。

雷鋒網 AI 科技評論記者參與了下午的無監督的跨語言表徵學習（Unsupervised Cross-Lingual Representation Learning）教學講座，包括「NLP 網紅」Sebastian Ruder 在內的三位講者進行演講。

他們從跨語言 NLP 課題的緣起和字詞表徵普及之前的時代講起，詳細介紹了雙語、多語表徵學習模型的發展，比較了有監督與無監督學習方法、不同的無監督學習方法之間的異同，講解了方法應用各個步驟中的要點，討論了現有方法在穩定性、可用性、語言對以及數據量方面的限制，以及說明了無監督跨語言表徵學習對於後續任務和應用的有效幫助。這裡的鴿子又多又不怕人，甚至有一隻都飛到了這個講座的會場里來「聽講」了。

一天的教學講座結束後，晚上有一個歡迎酒會，給參會者們提供社交空間。我們也在閑聊中驚喜地發現了來自國內外的數位 AI 研習社內容的關注者。

我們把全部教學講座的內容概要介紹如下。文末附有全部 9 個教學講座的 PPT 的下載鏈接。

教學講座 1: Latent Structure Models for Natural Language Processing，用於自然語言處理的隱含結構模型

對於處理複合數據、挖掘語言學結構、構建NLP數據處理流水線來說，隱含結構模型是一類非常有效的工具。它們有兩大優點：它們可以在訓練的時候集成結構偏倚，這可以讓模型更加準確；它們也能夠找到隱含的語言學結構，這帶來了更好的可解釋性。

這個教學講座會介紹離散隱含結構模型在近幾年中的發展情況。內容具體為，首先介紹一些現有方法的動機、潛力和限制，然後詳細討論設計這類模型的三種策略：梯度逼近（gradient approximation），強化學習，以及端到端的可微分方法。講座中將會重點介紹這些方法之間的聯繫，並曆數它們的優缺點。講解到的這些方法都已經使用在了情感分析、自然語言推理、語言建模、機器翻譯、語意解析等等許多NLP任務中。隨著示例和評價結果的講解，NLP實踐者將會更了解哪種方法是適合解決自己的問題的。

教學講座 2: Graph-Based Meaning Representations: Design and Processing，基於圖的意思表徵：設計以及處理

（北京大學孫薇薇老師也是這個教學講座的演講者之一）

在過去的幾年中，以有標籤的有向圖（labeled directed graphs）的形式編碼並處理句子意思的方法得到了極大的關注。這個方向上的做出成果的研究框架有不少，包括抽象含義表徵（Abstract Meaning Representation）、最小遞歸語意的基於圖的呈現（graph-based rendering of Minimal Recursion Semantics）、雙向詞法語意依賴性圖（Bilexical Semantic Dependency Graphs），以及通用感知認知標註（Universal Conceptual Cognitive Annotation）。

作為語句意思的高級別向量表徵的補充，解析為圖表徵這樣的具有層次化結構且離散的語意表徵也從一開始就是NLP研究的重要基石，未來也將繼續在自然語言的理解中起到重要作用。這個教學講座將首先簡要回顧正式語意和語言學語意方面的相關背景，然後半正式地為不同的語義圖和相關辭彙進行統一的抽象定義介紹，接著對比綜述常見的基於圖的意思表徵框架以及現有的圖庫，最後從技術角度介紹如何選擇不同的具有代表性的解析方法。這個教學講座的最終目的是為不同的語義圖庫以及對應的解析研究提供一個統一的視角，也就可以為入門水平的自然語言處理開發者和使用者們掃清運用最新技術、最佳用例的障礙。

教學講座 3: Discourse Analysis and Its Applications，話語分析及其應用

話語處理是從文本中提取多種不同級別的語言學結構的一系列NLP任務，可以用來支持許多文本挖掘應用。它包括在一組對話內容中識別話題結構、識別一致性結構、識別互關聯結構以及識別對話結構。提取出的這些結構可以用來推理出文本總結、文章打分、情感分析、機器翻譯、信息抽取、問答以及線索重建。

這個教學講座將首先介紹論述分析中的基本概念：單向文本&對話，同步&非同步對話，以及論述分析中的關鍵語言學結構。然後將會將會介紹傳統的機器學習方法以及一些最新的基於深度學習的方法，並且在評測數據上比較它們的表現。對於提及的每種話語結構，講座中都會介紹它在下游的文本挖掘任務中的使用，也會詳細介紹評價它們的方式和指標。最後還會討論這個領域未來的挑戰以及發展機會。

教學講座 4: Computational Analysis of Political Texts: Bridging Research Efforts Across Communities，政治文本的計算性分析：溝通不同領域的研究成果

用計算性方法研究政治內容的文本的做法經歷了快速發展，如今在政治學研究中也形成了逐漸壯大的「以文本為數據」的研究員群體。NLP方法在許多分析和任務中得到了廣泛的使用，包括從文本記錄中推測某人的政治立場，檢測政治文本中的觀點，以及分析政治溝通中的文體運用（比如制定政治議程過程中語意模糊性起到的作用）。政治學研究者們構建了許多資源，並使用一些NLP方法處理文本數據；這個過程很大程度上是獨立於NLP研究人員們的。

同時，NLP研究人員們也研究了許多非常相近的任務，比如選舉結果預測、思想分類、立場檢測。這兩群研究者們互相之間幾乎沒有什麼了解，NLP研究人員們幾乎不知道政治學中的這些有趣的應用場景，政治學家們也不知道有哪些最新的NLP方法可以用來解決他們的問題。這個教學講座將會全面展示政治文本的計算性分析這一領域的研究成果，也會介紹NLP研究人員們目前在相關&類似任務上的研究進展。

教學講座 5: Wikipedia as a Resource for Text Analysis and Retrieval，把維基百科作為文本分析和檢索的資源

維基百科中由眾多網友們參與貢獻形成的文章不僅反映了大眾或者說網民們越來越廣泛的興趣，也很可能是目前為止最大的公開的、去中心化的非結構化或者半結構化知識庫。這個教學講座分析了維基百科作為一個文本庫，能在文本分析和檢索中起到什麼樣的作用。維基百科能起到積極作用的文本分析任務包括共指解析、字義及實體去模糊以及信息提取。

對於信息檢索任務，對於查詢指令的結構和意義有更好的理解，也可以幫助更好地匹配文檔查詢、聚合查詢結果、為熱門實體的查詢提供知識檢索。這個教學講座將會對比維基百科與其他人工收集的知識庫的特性以及優缺點，將會介紹把維基百科中的半結構化數據轉換為結構化數據後的導出資源，以及介紹維基百科及其導出資源在文本分析以及增強信息檢索中能起到的作用。

教學講座 6: Deep Bayesian Natural Language Processing，深度貝葉斯自然語言處理

這個教學講座將會介紹用於自然語言處理的深度貝葉斯學習的發展，以及它在語音識別、文本總結、文本分類、文本分割、信息提取、圖像描述生成、句子生成、對話控制、情感分類、推薦系統、問答、機器翻譯等等許多任務中的廣泛應用。傳統上，我們用「深度學習」形容推理和優化過程基於真實值的確定性模型，然而單詞、句子、實體、動作以及文檔中提取出的「語意結構」可能無法用數理邏輯或者計算機程序準確地表達或者正確地優化。在離散或者連續隱變數自然語言模型中的「分布函數」可能是無法適當地分解或者預測的。

這個教學講座介紹了統計模型和神經網路的基礎知識，並將重點講解一系列高級的貝葉斯模型以及深度模型。這些模型之間的聯繫、能在自然語言的許多符號化表示和複雜模式中發揮作用的原因也會得到介紹。教學講座的內容還包括：為了解決複雜模型的優化問題而提出的變化推理和採樣方法，把詞表徵、句表徵、聚合和協作聚合與語言學限制、語意限制相結合，為了分別解決深度貝葉斯學習和理解中的不同問題而進行的案例研究，以及討論未來研究的一些方向和展望。

教學講座 7: Unsupervised Cross-Lingual Representation Learning，無監督的跨語言表徵學習

在這個教學講座中，我們對弱監督、無監督跨語言詞表徵領域的最新最前沿成果進行一次完整的綜述。在簡單介紹跨語言詞表徵的發展歷史之後，我們會重點介紹以下內容：1，如何在資源非常有限以至於無法保證雙語監督的情況下引入弱監督以及無監督的跨語言詞表徵；2，在無監督方法無法高效運行的情況下檢驗不同訓練條件和要求的效果；3，用於弱關聯性語言之間的更魯棒的方法能夠改善不穩定以及表現不佳的問題；4，如何全面地評價這些表徵；5，介紹能從跨語言詞表徵中獲得收益的實際應用。

教學講座 8: Advances in Argument Mining，爭論挖掘領域的進步

爭論和辯論是文明社會以及智慧生活的基石。對爭論的處理支持了政府的運行、構建了科學進步並形成了宗教信念。隨著我們對爭論的形成方式、解釋以及造成影響的方式都有了更好的理解，現在也可以提出計算性的問題，探討如何讓機器建模並複製針對自然語言爭論的識別、重建、解釋、評價、推理過程。

這個講座的目標是向學生們介紹這個在過去三年中經歷了巨大進展的領域，講解這段時間內的重要研究成果。爭論挖掘建立在觀點挖掘、情感分析的基礎上，和它相關的不僅僅是提取出人們的想法，還有為什麼他們會持有這些想法。這個領域如今有上百篇論文、數百萬美元的商業和科研投資。

教學講座 9: Storytelling from Structured Data and Knowledge Graphs : An NLG Perspective

在這個講座中，我們將討論把結構化數據以及知識庫轉換成自然語言話語的基礎知識、方法論以及系統開發方法。這個講座的內容包括了自然語言生成（NLG）任務的挑戰和方法，尤其重點介紹了從（結構化）數據到文本的轉換範式。

我們預計聽眾將有這些收穫：1，如何用基礎的以及最流行的NLP與NLG技術描述以及總結非語言化的或者有結構的文本數據；2，對一些開放性的問題有自己的見解，未來也許能夠引向重要的科研成果。我們將對從數據到文本這一任務設定下的從數據表示技巧到領域適應方案等等的各種做法做整體的介紹，也會討論傳統的基於規則的、啟發式的方法，以及現代的數據驅動的深度學習架構，以及對評價和質量預計進行簡單的討論。

9 個教學講座 PPT 打包下載鏈接：https://ai.yanxishe.com/page/resourceDetail/919

ACL2019 正會第一天開幕式的內容播報也已經出爐，請參見這篇文章。

更多 ACL 2019 會議內容報道，未來更多頂會消息，請繼續關注雷鋒網 AI 科技評論。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！