中科院張家俊：面向自然語言生成的同步雙向推斷模型

不到現場，照樣看最乾貨的學術報告！

嗨，大家好。這裡是學術報告專欄，讀芯術小編不定期挑選並親自跑會，為大家奉獻科技領域最優秀的學術報告，為同學們記錄報告乾貨，並想方設法搞到一手的PPT和現場視頻——足夠乾貨，足夠新鮮！話不多說，快快看過來，希望這些優秀的青年學者、專家傑青的學術報告 ，能讓您在業餘時間的知識閱讀更有價值。

人工智慧論壇如今浩如煙海，有硬貨、有乾貨的講座卻百里挑一。由中國科學院大學主辦，百度公司提供支持，讀芯術作為指定合作自媒體的「AI未來說·青年學術論壇」第二期「自然語言處理」專場已於2019年2月23日下午在中科院舉行。張家俊老師為大家帶來報告《面向自然語言生成的同步雙向推斷模型》。

張家俊老師是中國科學院自動化研究所模式識別國家重點實驗室副研究員，中國中文信息學會機器翻譯專委會副主任，青年工作委員會執行委員，中國計算機學會中文信息技術專委會委員；人工智慧學會青年工作委員會常務委員。

研究方向為自然語言處理、機器翻譯、跨語言跨模態信息處理等。在國際著名期刊IEEE/ACM TASLP、IEEE Intelligent Systems、TACL與國際頂級會議AAAI、IJCAI、ACL、EMNLP、COLING等發表學術論文60餘篇。曾四次獲得自然語言處理學術會議最佳論文獎。被ACL-IJCNLP-2015、NAACL-2018和IJCAI-2018評為傑出審稿人/高級程序委員會委員（Outstanding Reviewer/SPC）。2014年和2018年分別獲中國中文信息學會「錢偉長中文信息處理科學技術獎」一等獎（排名第三）和漢王青年創新獎。2015年入選首屆中國科協「青年人才托舉工程」計劃。擔任國際自然語言處理大會COLING-2018的領域主席和國際人工智慧大會IJCAI (2017-2019)和AAAI-2019的高級程序委員會委員等。

面向自然語言生成的同步雙向推斷模型

張老師的分享聚焦在團隊在自然語言生成（Natural Language Generation， NLG）領域中的一點最新進展，面向自然語言生成的同步雙向推斷模型。

張老師將自然語言處理（Natural Language Processing， NLP） 的任務形式地化劃分為四類：輸入和輸出等長的序列標註任務；輸入序列輸出類別的分類任務；輸入兩個序列輸出相似度的語義相似判別任務；輸入和輸出不等長的序列生成任務。

張老師首先介紹了在自然語言理解（Natural Language Understanding，NLU）領域取得重大突破的 BERT (Bidirectional Encoder Representations formTransformers) 模型，分析了 BERT 模型的成功因素，進而提出了應用在 NLG 領域的 BIFT (Bidirectional Inference ForTransformer) 模型。BIFT 模型取得了可觀的性能提升。

張老師認為，BERT 成功主要有四個因素：一是架構允許 Pre-training 和在同一個模型上fine-tuning；二是採用了 Deep bidirectional TransformerEncoder；三是採用了 Masked LM 和 NextSentence Prediction作為優化目標函數；四是訓練採用龐大的語料庫。

通過對比 BERT 模型與 GPT 模型的表現，說明雙向編碼器起到了關鍵作用。但是 BERT 模型建模的是分類問題和序列標註問題，並不適合做自然語言生成任務，因為一般的自然語言生成是從前向後單向的，後面的詞尚未產生，無法使用雙向模型。

張老師所在團隊嘗試在機器翻譯工作中改進Transfomer 模型，提出了 BIFT 模型。BIFT 模型使用同步雙向解碼演算法，雙向輸出，即從前到後與從後向前每一個方向的輸出都依賴於雙向的生成結果。此外，BIFT 模型應用到自動摘要上的效果也很好。

張老師認為，BERT 模型擅長處理自然語言理解任務，是因為能夠對輸入進行雙向理解和編碼，而 BIFT模型解決了單向解碼模型的一些問題，同步雙向的方式可能能夠成為解碼推斷的一種新範式

留言 點贊 發個朋友圈

我們一起探討AI落地的最後一公里

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！