2018 NAACL語言學習建模競賽：英語組冠軍先聲教育展望自適應學習技術

雷鋒網 AI 研習社按：第十六屆北美計算語言學會議 NAACL 於 6 月初在美國路易斯安那州的新奧爾良召開。NAACL 是自然語言處理與計算語言學領域的頂級學術會議之一。在語言學習建模競賽中，國內人工智慧企業先聲教育在英語組賽事中奪得第一。其他參賽者包括來自全球頂尖學術界和產業界的研究團隊，如劍橋大學、紐約大學、加利福尼亞大學等。

英語組冠軍團隊先聲教育由其聯合創始人及 CTO 秦龍博士帶隊參賽，參賽隊員還包括首席語音科學家陳進和自然語言處理科學家徐書堯。秦龍博士畢業於卡內基梅隆大學，擁有 10 多年的人工智慧行業經驗。由於這一賽事對自適應學習技術的進步有巨大意義，雷鋒網 AI 研習社特邀秦龍博士，與他交流了大賽中的自適應領域最新研究成果。

官網：

https://www.cs.rochester.edu/~tetreaul/naacl-bea13.html

值得一提的是，本次賽事奪冠也為先聲教育在雷鋒網(公眾號：雷鋒網)學術頻道 AI 科技評論旗下資料庫項目「AI 影響因子」獲得加分。

雷鋒網 AI 研習社：我們都知道 NAACL 是國際自然語言處理與計算語言學領域的頂級學術會議，為什麼 NAACL 舉行語言學習建模這一競賽的用意是什麼？

先聲教育 CTO 秦龍：把自然語言處理技術應用到教育相關領域一直是 NAACL 的重要議題之一，每一屆 NAACL 都會舉辦 BEA 教育技術專題研討會，今年已經是第 13 屆。今年 BEA 有兩個公開任務，一個是單詞複雜度識別（Complex Word Identification），一個是第二語言習得建模（Second Language Acquisition Modeling）。第二語言習得建模是指根據學生過去的答題 (第二語言學習) 歷史，預測該學生能否對未來的題目作出正確應答。這對於構建能夠作出智能推薦的自適應學習系統具有重大意義，是自適應學習最核心的模塊。

（圖為大會組織方進行 SLAM 競賽的總結報告）

此次 SLAM 競賽是由語言能力測試的權威機構 ETS 與世界上最大的語言學習應用 Duolingo 聯合組織的。Singsound AI 團隊參加了該任務的全部三個子任務：英語學習、西班牙語學習以及法語學習。先聲教育的 CLUF 模型在英語學習上取得了第一名的好成績，在西班牙語學習及法語學習上取得了第二名的成績。

雷鋒網 AI 研習社：比賽過程中的最大難點是什麼？

先聲教育 CTO 秦龍：主要難點有二：一是語言類學習以辭彙、短語量龐大，且語法、搭配複雜著稱，是自適應學習最難落地的學科，此外本次大賽考察多個語種，包括英語、西班牙語、法語；二是學習行為數據時間跨度長達 3 個月，數據量極其龐大，超過 100 萬個句子，覆蓋 6000 多名學生，使學習行為的數學模型更加複雜。

隨著近年來互聯網、人工智慧等技術與教育的融合，計算機應用程序增加，教育行業積累了大量學生學習數據，可以利用來驅動實現個性化學習，目前數學學科方面也取得了一些進展。但對於一門語言的學習，知識點更細微、涉及辭彙的互動知識、形態句法處理等更為複雜，加上需要分析極其龐大的數據群，對於數學模型的訓練難度極大。

雷鋒網 AI 研習社：據我們了解，目前國內自適應學習大多是基於知識圖譜這樣的一個系統，第二語言習得建模這樣的任務跟知識圖譜有什麼區別嗎？

先聲教育 CTO 秦龍：自適應學習可以分為兩個階段：1）以推薦系統為基礎的淺層自適應階段；2）以學習行為建模為基礎的深度自適應階段。目前國內大多數企業仍處於淺層自適應階段，從本次大賽英語第一的成果看，先聲教育自適應系統已成功率先步入自適應學習的核心深度階段。

我們先聲團隊使用的 CLUF 是一種基於深度學習的 Encoder-Decoder 模型，它由四個 encoder 構成，分別是語境編碼器 Context Encoder、語言學特徵編碼器 Linguistic Encoder、用戶信息編碼器 User Encoder、題型信息編碼器 Format Encoder，最後由解碼器利用編碼器輸出的高維特徵作出預測。

語境編碼器用來編碼句子的語言環境，它由一個字母級別的編碼器與一個單詞級別的編碼器構成。字母級別編碼器是一個層級式的循環神經網路結構，單詞級別編碼器則是一個雙向長短期記憶神經網路 LSTM；語言學特徵編碼器也是一個 LSTM 結構，主要用於編碼提取的語言學特徵，為語境編碼器提供額外的信息；用戶編碼器是一個全連接的結構，用於記錄用戶的第二語言能力與學習歷史；題型編碼器則是用來編碼題型、答題方式等信息。

雷鋒網 AI 研習社：先聲的模型和其他參加團隊具體有哪些不同，優勢在哪裡呢？

先聲教育 CTO 秦龍：我們的 CLUF 模型最大的優勢在於，通過把不同類型的特徵分組，用符合相應特點的網路結構進行編碼來挖掘數據的內在模式，CLUF 取得了非常出色的效果，在該任務上 Singsound AI 團隊擊敗了來自於劍橋大學、紐約大學、首都東京大學、加州大學等團隊。

在其他參賽隊伍中，紐約大學也取得了不錯的成績。他們的系統會提取用戶、辭彙、上下文等基於認知科學、語言學的特徵，然後使用梯度提升決策樹 GBDT 模型進行建模。在西班牙和法語學習中取得最好分數的是來自於瑞典的 SanaLabs，他們採用了 ensemble 的方法，也就是使用多個不同的模型進行預測，然後對多個模型的預測結果進行加權組合的方法。實際上，對於類似的競賽任務，大會組織方是不提倡採用 ensemble 的方法的，因為這樣無法判斷具體的模型究竟對該任務是否有效。為此，在組織方的總結報告中，大會組織者進行了的 ensemble 模型融合分析。很顯然，融合所有團隊的系統能夠取得更好的效果。同時，在該融合系統中，先聲教育的 CLUF 的貢獻最大，其次是紐約大學的系統，SanaLabs 的系統權重最低。

（圖為自然語言處理/計算語言學領軍人物、斯坦福大學計算機系 Christopher D. Manning 教授與先聲教育參賽團隊討論 CLUF 技術細節）

雷鋒網 AI 研習社：對於本次大賽所有參賽團隊的整體成績，您對於自適應學習技術的未來抱有怎樣的看法呢？

先聲教育 CTO 秦龍：從大賽的整體結果看，現階段自適應學習技術的成果比較樂觀。在同自然語言處理/計算語言學領軍人物、斯坦福大學計算機系 Christopher D. Manning 教授的交流過程中，Manning 教授點評道：「在自然語言處理與計算語言學領域，近年來不斷地有新的方法新的問題被提出，引起了學術界工業界的廣泛關注，在相關領域的研究人員隊伍也在不斷壯大。通過今年的 NAACL SLAM 競賽，可以看到自適應學習技術落地的顯著效果，也期待未來自適應學習技術跨界教育，應用於更廣泛的領域。」

先聲教育創始人及 CEO 陸勇毅對於企業的發展和願景曾這樣表示：「先聲作為一家人工智慧企業，目前已經服務業內近百家企業，我們一直保持著開放的心態，非常願意將每個階段的研究成果開放給國內外更多企業，助力 AI 升級教育行業。並且未來希望藉助技術的優勢，跨界賦能更多行業，推動智能化時代到來。」AI 研習社也將持續關注先聲教育在自適應學習技術的發展。

CCF-GAIR 大會即將開幕！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！