谷歌神經網路研究報告：Transformer解決翻譯難題

【編者按】我們所熟知的機器翻譯工具在翻譯過程中，其效果可能並不是非常好，會出現一些明顯的錯誤。最近，谷歌利用神經網路技術來處理語言理解，優化其翻譯效果。

本文中介紹了谷歌研發的新工具Transformer（轉換器），這是一種基於自我關注機制的新型神經網路架構。

本文來源於research.googleblog，作者Jakob Uszkoreit；由億歐編譯。

神經網路，特別是循環神經網路（RNNS），是語言建模、機器翻譯和問答系統等語言理解任務的主要核心方法。本文中我們將介紹Transformer（轉換器），是一種基於自我關注機制的新型神經網路架構，並且非常適用於語言理解。

Transformer（轉換器）優於英語到德語及英語到法語之間翻譯基準的反覆性和卷積模型。對於更高的翻譯質量而言，轉換器只需要較少的計算來進行訓練，同時更加適合於現代機器學習硬體。

語言理解的準確性和效率

神經網路通常通過生成固定的或變長的向量空間模型表示來處理語言。從單個單詞或是部分單詞的表示開始，神經網路便從周圍的單詞中收集信息，以確定上下文中特定語言的含義。例如，在「I arrived at the bank after crossing the…」這句話中，要確定句中「bank」的意思代表「銀行」還是「河岸」，那麼就必須知道句子結尾是「路」還是「河」。

近年來，RNNs成為典型的翻譯網路架構，以左向右或右向左的方式順序處理語言。一次讀一個單詞，這迫使RNNs執行多個步驟來做出決定，這些決定依賴於這些不相連的單詞之間的關係。在上述例子中，RNN只能通過逐步閱讀「bank」和「river」之間的每個單詞後才能確定「bank」在這裡意味著「河岸」的意思。之前的研究表明，決策需要的步驟越多，循環網路就越難做出這些決定。

RNNs的順序特性也使得充分利用諸如TPUs和GPUs等現代快速計算設備變得更加困難，因為這些設備擅長並行處理而不是順序處理。卷積神經網路（CNNs）的序列比RNNs要少得多，但在CNN的架構中，要整合來自遠端輸入信息的步驟數量隨著距離的增加而增多。

Transformer（轉換器）

相比之下，轉換器只需執行少量的、持續的步驟。在每個步驟中，它應用了一種可以直接與句子中所有單詞建立關係的自我關注機制，且不需要考慮單詞所在的位置。在上述例子中，「我過河後達到了河岸。（I arrived at the bank after crossing the river.）」這句話中，轉換器只需識別到「「river」就能對「bank」的意思做出決策。

具體來講，如果要計算出給定單詞「bank」的意思，轉換器會將其與句子中的其他單詞進行比較。這種比較的結果是對句子中的每個單詞賦予其關注度得分。這些關注度分值決定了每一個單詞對「bank」意思的貢獻度。例如，消除歧義的單詞「river」對「bank」表示「河岸」的意思做出巨大貢獻值，也得到很高的關注度得分。這些關注度得分的加權平均值被輸入到一個全連通的網路，從而生成「bank」的意思是與河岸相關。

機器翻譯的神經網路通常包含一個編碼器來讀取輸入語句並生成其表示。然後，解碼器在諮詢編碼器生成的表示時，逐字生成輸出的句子，這些由未填充的圓圈表示；然後通過自我關注，轉換器從所有其他的單詞中聚合信息，在整個上下文中生成一個新的表示，由填充的圓圈表示；最後這個步驟並行重複多次，從而形成一個新的表示。

解碼器運行規律類似，但每次都按照從左到右的順序生成單詞。它不僅包括之前生成的單詞，還包括由編碼器生成的最終表示。

GIF/910K

信息傳輸

除了計算性能和更高的準確性以外，轉換器還能夠形象化地顯示如何處理給定的單詞，以及信息是如何在網路中傳輸。

為了說明這一點，我們選取了一個眾所周知的挑戰機器翻譯系統的案例：指代消除。讓我們來看一下下面的句子及其法語翻譯。

很明顯，在第一個句子中，「it」指的是動物，第二個句子中，「it」其指的是街道。

在將這些句子翻譯成法語時，「it」的翻譯取決於名詞的陰陽性，而法語中的「animal」和「street」則有不同的屬性。與現行的谷歌翻譯模型不同的是，轉換器能將這兩句話正確地翻譯成法語。當計算「it」的最終表示時，轉換器注意到編碼器所關注的單詞，從而揭示了網路是如何做出決定的。在其中的一個步驟中，轉換器清楚地確定了「it」所指代的兩個名詞，並在不同語境中做出正確選擇。

編碼器將其自我關注分布在轉換器英譯漢訓練模型中的第5層和第6層。

鑒於此，轉換器在句法選區解析的經典語言分析任務中表現良好，也不足為奇，這也是自然語言處理群體幾十年來針對高度專業化系統的突破。

谷歌自然語言理解部門的軟體工程師Jakob Uszkoreit表示，我們對轉換器的未來潛力非常感興趣，並且已經開始將其應用到其他問題，不僅包括自然語言，還包括不同的輸入和輸出，例如圖像和視頻。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！