無監督學習和transformers如何在OpenAI手裡玩出新花樣

新聞 08-03

他們的系統分兩個階段工作。首先他們利用無監督的方式在超大數據集上訓練一個 transformer 模型，過程中使用語言建模作為訓練信號，然後放在較小數據集上進行微調使它可以處理一些特定任務。該方法基於他們情感神經元的相關工作，在那項工作中他們發現當訓練數據量達到一定程度時，無監督學習會表現出令人驚訝的區分性特徵。因此，他們決定驗證一個想法，即是否可以開發一個模型，先以無監督的方式在大數據集上進行訓練，然後再進行微調以保證應對不同任務時的表現。而結果顯示，此方法效果拔群。相同的核心模型只要進行極小的微調就可以應對不同任務。

僅需少量調整即可達成他們的目標。所有的數據集都使用單一的前向語言模型，且不包含任何集成方法，絕大多數研究成果使用的是完全相同的超參數配置。

為什麼是無監督學習？

在大型文本語料庫上預訓練我們模型可以提升它在極具挑戰性的自然語言處理任務（如 Winograd Schema Resolution）上的表現

OpenAI 發現他們可以使用底層語言模型去執行任務且不需要訓練。例如，隨著底層語言模型的優化，模型做選擇題這種任務時的表現在穩步提升。雖然這些方法的絕對性能相較於當前最優的監督方法來說往往更加低下（在問答任務中，還是簡單滑動窗口基線模型表現更好），但是這些方法在各種任務中表現出的魯棒性令人鼓舞。不包含任何任務信息和現實信息的隨機初始化網路的表現不比啟發式隨機初始化網路好。這也為生成式預訓練為什麼可以提升下游任務的表現這個問題提供了一些啟發意見。

OpenAI 還可以用模型中已有的語言功能來執行情感分析。斯坦福情緒樹數據集（Stanford Sentiment Treebank）由電影的正/負面評論組成，他們可以用語言模型來猜測評論是積極的還是消極的，具體方法是在評論句子後面加上「very」，然後再觀察模型把這個「very」判斷為「積極」還是「消極」。這種方法不需要根據任務去調整模型，其性能與經典基線相當，準確度能達到80％。

OpenAI 的工作驗證了 transformer 結構的魯棒性和實用性，也表明它足夠靈活，不需要複雜的任務定製和超參數調整就可以在各種任務中拔得頭籌。

缺點

這個項目有這幾個值得注意的點：

算力需求：許多以前的針對 NLP 任務的方法是從頭開始在單塊 GPU 上訓練一個小模型。OpenAI 的方法的預訓練過程很昂貴——8 塊 GPU 訓練一個月。幸運的是，這個過程只需要進行一次，而他們已經開源了自己的模型，所以其他人就省了這個步驟。該模型比較大（相較於之前的工作），需要使用更大的算力和內存，他們使用了 37 層（12 塊）transformer 架構，並在多達 512 個 token 的序列上訓練。大多數實驗是在 4 或 8 塊 GPU 上進行的。這個模型調整起來很快，這也變相的減輕了資源需求。

通過文本認識世界的限制與偏見：網上隨處可見的書籍和文本並不包含這個世界的全部信息，有時候信息也並不準確。近期的工作表明某些信息只通過文本無法進行學習，另一些工作表明模型會學習和利用數據分布上的偏差。