表現比 BERT 更勝一籌？微軟用於學習通用語言嵌入的 MT-DNN 即將開源

雷鋒網 AI 科技評論按：不久前，微軟發布了用於學習通用語言嵌入的多任務深度神經網路模型——MT-DNN，它集成了 MTL 和 BERT 語言模型預訓練二者的優勢，在 10 項 NLU 任務上的表現都超過了 BERT，並在通用語言理解評估（GLUE）、斯坦福自然語言推理（SNLI）以及 SciTail 等多個常用 NLU 基準測試中取得了當前最佳成績。微軟在官方博客上對該模型進行了介紹，雷鋒網 AI 科技評論編譯如下。

語言嵌入（Language embedding）是將符號化的自然語言文本（例如單詞、短語和句子）映射到語義向量表示的過程，它是自然語言理解（NLU）深度學習方法的基礎。語言嵌入通用於眾多 NLU 任務，因此很值得大家學習。

學習語言嵌入有兩種常用方法：語言模型預訓練和多任務學習（MTL）。語言模型預訓練通過利用大量未標註的數據來學習通用語言嵌入，而 MTL 則能有效利用來自許多相關任務的監督數據，並通過減輕對特定任務的過度擬合從正規化效應（regularization effect）中獲利，從而使學習的嵌入對任務具有通用性。

不久前，微軟研究人員發布了 MT-DNN，它是一個用於學習通用語言嵌入的多任務深度神經網路模型。MT-DNN 集成了 MTL 和 BERT 語言模型預訓練二者的優勢，在 10 項 NLU 任務上的表現都超過了 BERT，並在通用語言理解評估（GLUE）、斯坦福自然語言推理（SNLI）以及 SciTail 等多個常用 NLU 基準測試中取得了當前最佳成績。

MT-DNN 通過整合由 Google AI 開發的預訓練雙向變換器語言模型（BERT），擴展了微軟在 2015 年提出的多任務深度神經網路模型。MT-DNN 模型的架構如下圖所示。較低層在所有任務中共享，而頂層是針對任務特定的。首先，輸入 X（一個句子或一對句子）在 l_1 層中被表示為嵌入向量序列，每個單詞都對應一個嵌入向量序列。然後，基於變換器的編碼器捕獲每個單詞的上下文信息，並在 l_2 層中生成共享的上下文嵌入向量。最後，額外的特定任務層針對每個任務生成特定任務表示，隨後是分類、相似性評分或相關性排序所必需的操作。MT-DNN 使用 BERT 將其共享層初始化，然後通過 MTL 對其進行優化。

MT-DNN 架構

域適應結果

評估語言嵌入通用性的一種方法是，測算嵌入適應新任務的速度，或者需要多少特定任務標籤才能在新任務上獲得相當好的結果。嵌入越通用，所需要的特定任務標籤也越少。MT-DNN 的論文作者在域適應中對 MT-DNN 和 BERT 進行了比較，其中兩個模型都能夠通過逐漸增加用於適應的域內數據的大小來適應新任務。SNLI 和 SciTail 兩個任務上的結果如下表和下圖所示：在僅有 0.1％的域內數據（SNLI 中的樣本量為 549 個；SciTail 中的樣本量為 23 個）的情況下，MT-DNN 的準確率達到+ 80％，而 BERT 的準確度大約為 50％，這證明了通過 MT-DNN 學習的語言嵌入比通過 BERT 學習的語言嵌入通用性更強。

SNLI 和 SciTail 數據集上，MT-DNN 和 BERT 的準確度對比

開源消息

不久後，微軟將在 Github 社區（https://github.com/namisan/mt-dnn）中開源 MT-DNN，開源包中包含預訓練模型、源代碼以及說明文檔（逐步描述了如何復現 MT-DNN 論文中實現的結果，以及如何通過域適應讓預訓練的 MT-DNN 模型適用於任意新任務）。

via：https://www.microsoft.com/en-us/research/blog/towards-universal-language-embeddings/雷鋒網 AI 科技評論編譯。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！