谷歌Transformer大進化，機翻最強王者上線

智造觀點

谷歌Evolved Transformer通過AutoML技術進行特定任務定製，在編碼器和解碼器模塊底部的卷積層以分支模式運行，提高了語言建模的性能，目前在機器翻譯領域可以達到最先進的結果。

Transformer是一種AI架構，最早是在2017年Google的科學家合著的論文《Attention Is All You Need》中介紹的，它比較擅長撰寫散文和產品評論、合成聲音、以古典作曲家的風格製作和聲。

但是，谷歌的一個研究小組認為它可以更進一步使用AutoML技術，根據特定任務進行定製翻譯。在一篇新發表的論文和博客中，研究人員描述了工作成果：與原始的Transformer相比，現在的Transformer既達到了最先進的翻譯結果，也提高了語言建模的性能。

目前，他們已經發布了新的模型Evolved Transformer——開放源代碼的AI模型和數據集庫，來作為Tensor2Tensor（谷歌基於tensorflow新開源的深度學習庫，該庫將深度學習所需要的元素封裝成標準化的統一介面，在使用其做模型訓練時可以更加的靈活）的一部分。

一般意義上，AutoML方法是從控制器訓練和評估質量的隨機模型庫開始，該過程重複數千次，每次都會產生新的經過審查的機器學習架構，控制器可以從中學習。最終，控制器開始為模型組件分配高概率，以便這些組件在驗證數據集上更加準確，而評分差的區域則獲得較低的概率。

研究人員稱，使用AutoML發現Evolved Transformer需要開發兩種新技術，因為用於評估每種架構性能的任務WMT"14英德語翻譯的計算成本很高。

第一種是通過暖啟動（warm starting）的方式，將初始模型填充為Transformer架構進行播種，而不採用隨機模型，有助於實現搜索。第二種漸進式動態障礙（PDH）則增強了搜索功能，以便將更多的資源分配給能力最強的候選對象，若模型「明顯不良」，PDH就會終止評估，重新分配資源。

通過這兩種技術，研究人員在機器翻譯上進行大規模NAS，最終找到了Evolved Transformer。

那麼Evolved Transformer有什麼特別之處呢？

與所有深度神經網路一樣，Evolved Transformer包含神經元（函數），這些神經元從輸入數據中傳輸「信號，並緩慢調整每個連接的突觸強度（權重），這是模型提取特徵和學習進行預測的方式。此外，Evolved Transformer還能使每個輸出元件連接到每個輸入元件，並且動態地計算它們之間的權重。

與大多數序列到序列模型一樣，Evolved Transformer包含一個編碼器，它將輸入數據（翻譯任務中的句子）編碼為嵌入（數學表示）和一個解碼器，同時使用這些嵌入來構造輸出（翻譯）。

但研究人員也指出，Evolved Transformer也有一些部分與傳統模型不同：在編碼器和解碼器模塊底部的卷積層以分支模式運行，即在合併到一起時，輸入需要通過兩個單獨的的卷積層。

雖然最初的Transformer僅僅依賴於注意力，但Evolved Transformer是一種利用自我關注和廣泛卷積的優勢的混合體。

在測試中，研究人員將Evolved Transformer與原始Transformer在模型搜索期間使用的英德翻譯任務進行了比較，發現前者在BLEU（評估機器翻譯文本質量的演算法）和Perplexity（衡量概率分布預測樣本的程度）上性能更好。

在較大的數據中，Evolved Transformer達到了最先進的性能，BLEU得分為29.8分。在涉及不同語言對和語言建模的翻譯實驗中，Evolved Transformer相比於原始Transformer的性能提升了兩個Perplexity。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！