「開源」谷歌「一個模型解決所有DL難題」背後的Tensor2Tensor

新智元編譯

在新智元公眾號回復【Tensor2Tensor】下載文中提到的3篇論文

GitHub地址：https://github.com/tensorflow/tensor2tensor

谷歌前幾天連續發表的幾篇「標題黨」論文引起較多討論，《一個模型解決所有問題》（One Model To Learn Them All）和《你只需要注意力機制》（Attention Is All You Need），兩篇論文發表時間相近，作者是來自谷歌大腦，Google Research 和多倫多大學的同一批人，新智元對兩篇論文都進行了介紹。

尤其 One Model To Learn Them All 這篇論文，提出如何創造一個單一的深度學習模型，很好地處理多種不同的任務。

谷歌的研究人員稱這個模型為 MultiModel，並在多種任務上進行訓練，包括翻譯，語法分析，語音識別，圖像識別和物體檢測等。雖然結果跟現有方法相比並沒有非常顯著的改進，但這些結果表明，在各種任務上訓練機器學習系統可能有助於提高整體的性能。雖然谷歌沒有說能得到可以一次學習所有任務的主演算法，但這項研究確實表明，谷歌採用的方法可能對未來開發解決不同領域問題的類似系統有幫助。

現在，谷歌宣布這個模型背後的系統 Tensor2Tensor 已經開源，作為 TensorFlow 開源項目的一部分，所有人都可以使用其實驗自己的模型或驗證谷歌的結果，驗證此研究是否可以推廣到其他更多領域。

下面是來自谷歌博客的介紹。

用 Tensor2Tensor 庫加速深度學習

深度學習（DL）已經推進了許多有用的技術，例如機器翻譯，語音識別和物體檢測。在研究社區，我們可以找到很多作者開源的研究，複製他們的結果，然後進一步推動深度學習。但是，這些DL系統大多數使用獨特的設置，需要大量的工程工作，並且可能僅在特定的問題或架構工作，這使得難以運行新的實驗並比較結果。

今天，我們很高興地發布Tensor2Tensor（T2T），這是一個用於在 TensorFlow上訓練深度學習模型的開源系統。T2T有助於為各種機器學習應用創建最優的模型，例如翻譯，語法分析，圖像說明等等，讓開發者能夠更快地探索各種新想法。本次開源的版本還包括數據集和模型的庫，包含了我們最近幾篇論文（Attention Is All You Need, Depthwise Separable Convolutions forNeural Machine Translation, 以及One Model to Learn Them All）中最優的一些模型，以幫助用戶快速啟動自己的深度學習研究。

在標準 WMT英語-德語翻譯任務上，各個翻譯模型的的BLEU得分（得分越高越好）。

T2T可以對深度學習研究提供什麼樣的改進，我們將其應用於機器翻譯作為一個示例。如上表所示，兩個不同的T2T模型，SliceNet 和Transformer，二者的性能均優於此前 state-of-the-art 的 GNMT+MoE 模型。最好的 Transformer 模型比標準 GNMT 模型得分高3.8分，而GNMT 模型就比基於短語的 MOSES 翻譯系統高4分。值得注意的是，使用T2T，你可以在1天內使用單個GPU就能達到此前state-of-the-art的結果：在單個GPU訓練1天之後，一個小型的 Transformer 模型的BLEU得分可以達到24.9分（上表中未顯示）。現在，只有有一個GPU，每個人都可以自己來修改出優秀的翻譯模型。我們在 GitHub repo 中給出了應該怎樣做的指南。

模塊化多任務訓練

T2T庫採用我們熟悉的TensorFlow工具構建，並對深度學習系統所需的多個部分進行定義，包括：數據集，模型架構，優化器，學習速率衰減方案，超參數，等等。更重要的是，它規定了所有這些部分之間的標準介面，並實現了當前ML的最佳實踐性能。因此，你可以選擇任何的數據集、模型、優化器和一組超參數，然後運行訓練來檢查其性能。我們使架構模塊化了，因此輸入數據和預測的輸出之間的每個部分都是一個張量到張量的函數。如果你對模型的架構有新的想法，那麼不需要替換整個的設置。你可以保留嵌入部分，損失函數，以及其他所有內容只需將自己的函數替換到模型中，該函數仍將張量作為輸入，輸出也是張量。

因此，T2T是非常靈活的，訓練不再需要綁定在特定的模型或數據集上。它非常簡單，即使像LSTM序列到序列模型這樣的著名架構也可以用幾十行代碼來定義。而且，還可以在不同的領域對一個單一的多任務模型進行訓練。你甚至可以同時在所有數據集訓練一個單一的模型。我們很高興地得出報告，我們的多任務模型就是像這樣訓練的（見論文介紹：One Model To Learn Them All），已經在許多任務上得到非常好的結果。該模型同時用 ImageNet（圖像分類），MS COCO（圖像說明），WSJ（語音識別），WMT（翻譯），以及 Penn Treebank 語法分析語料庫上訓練，包含在T2T上。這是首次得到證明，一個單一的模型能夠同時執行所有這些任務。

內置的最佳實踐模型

在這個開源的初始版本中，我們還提供腳本用於生成研究社區中廣泛使用的許多數據集[1]，許多模型[2]，一些超參數配置，以及其他重要技巧的一個表現良好的實現。雖然在這裡很難全部列舉，但假如你決定使用T2T來運行模型，就能免費獲取序列的正確填充和相應的交叉熵損失，Adam優化器的調優好的參數，自適應批處理，同步分布式訓練，圖像的調優好的數據增量，標籤平滑，以及一系列的工作得非常好的超參數配置，包括上面提到的取得當前最好結果的翻譯模型，這也能幫助你取得很好的結果。

舉個例子，比如說將英語句子解析成語法樹的任務。這個問題已經有幾十年的研究，並且開發了許多有競爭力的方法。它可以表示為一個序列到序列的問題，然後用神經網路來解決，但是需要大量的調優。使用T2T，我們只需要幾天的時間來添加語法解析數據集生成器（parsing datasetgenerator），然後調整 attention transformer 模型來訓練這個問題。令我們驚喜的是，我們只用一周的時間就取得了非常好的結果。

上表是在標準測試集（WSJ的section 23）上進行語法解析的F1得分。在這裡我們只比較了分別在Penn Treebank WSJ訓練集上訓練的模型結果，更多結果可以參看我們的論文（AttentionIs All You Need）。

在 Tensor2Tensor 貢獻

除了探索現有的模型和數據集外，你還可以輕鬆定義自己的模型，並且將自己的數據集添加到Tensor2Tensor中。我們相信，Tensor2Tensor中已經包含的模型能在許多NLP任務上表現很好，所以只要添加數據集就可能產生非常有趣的結果。通過使T2T模塊化，你也很容易貢獻自己的模型，然後看看它在各種任務中的表現。通過這種方式，整個研究社區可以從一個基線庫受益，並加速深度學習研究。請參考我們的GitHub倉庫，嘗試新的模型，並貢獻自己的模型！

致謝

在許多工程師和研究人員的廣泛合作下，我們得以發布Tensor2Tensor。我們想在此致謝核心團隊成員（按字母順序排列）：Samy Bengio,Eugene Brevdo, Francois Chollet, Aidan N. Gomez, Stephan Gouws, Llion Jones,?ukasz Kaiser, Nal Kalchbrenner, Niki Parmar, Ryan Sepassi, Noam Shazeer, JakobUszkoreit, Ashish Vaswani。

[1] 我們包含了一些圖像分類數據集（MNIST，CIFAR-10，CIFAR-100，ImageNet），圖像說明數據集（MSCOCO），翻譯數據集（包括英語-德語、英語-法語在內的多種語言的WMT），語言建模數據集（LM1B），語法分析數據集（PennTreebank），自然語言推理數據集（SNLI），語音識別數據集（TIMIT），演算法問題數據集，等等。我們將加入更多數據集，並歡迎你的提供.?

[2] 包括LSTM序列到序列RNN模型，具有可分離卷積（如Xception）的卷積神經網路，最近的ByteNet或Neural GPU模型，以及我們在本文中提到的一些state-of-the-art的模型。我們將在開源庫中積極更新更多模型。

原文：https://research.googleblog.com/2017/06/accelerating-deep-learning-research.html

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！