FB新研究：大批量SGD準確訓練ImageNet僅需1小時

選自arXiv

機器之心編譯

參與：蔣思源

由於近來互聯網數據越來越大，深度學習模型越來越複雜，執行訓練的時間也越來長。因此近日 Facebook 提出了一種將批量大小提高的分布式同步 SGD 訓練方法，希望能有助於解決越來越長的訓練時間。以下機器之心對該文論進行了部分編譯，該論文詳細內容請查看論文鏈接。

論文：Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour

論文鏈接：https://research.fb.com/wp-content/uploads/2017/06/imagenet1kin1h3.pdf

摘要：深度學習隨著大型神經網路和大型數據集的出現而蓬勃發展。然而，大型神經網路和大型數據集往往需要更長的訓練時間，而這正好阻礙研究和開發進程。分布式同步 SGD 通過將小批量 SGD（SGD minibatches）分發到一組平行工作站而提供了一種很具潛力的解決方案。然而要使這個解決方案變得高效，每一個工作站的工作負載必須足夠大，這意味著 SGD 批量大小會有很大的增長（nontrivial growth）。在本論文中，我們經驗性地展示了在 ImageNet 數據集上使用較大批量大小在優化上遇到的困難，但如果這個問題解決了，訓練的神經網路會展現出很好的泛化性能。具體來說，當我們使用較大批量大小（達 8192 張圖片）進行訓練時，實驗幾乎沒有精度損失。為了實現這一結果，我們採用了線性縮放規則（linear scaling rule）作為批量大小函數來調整學習率，同時我們開發了一種新的預熱方案（warmup scheme），該方案會在訓練前期克服優化的困難。通過這些簡單的技術，我們基於 Caffe2 的系統可以使用批量大小為 8192 進行訓練 ResNet-50 網路，該訓練不僅在 256 塊 GPU 上只花費一小時就能完成，同時還有匹配小批量的精度。在使用標準硬體從 8 到 256 塊 GPU 調整時，我們的實現達到了 90% 以上的縮放效率（scaling efficiency）。該系統能使我們針對大型互聯網數據高效地執行視覺識別任務。

圖 1： ImageNet 最好的驗證誤差 vs. 小批量大小

圖 2：沒有預熱方案、恆定預熱方案和逐步預熱方案（gradual warmup）的訓練誤差對比。

圖 3：訓練誤差 vs. 小批量大小

圖 4：大批量 SGD 並帶有逐步預熱方案 vs. 小批量 SGD 的訓練和驗證曲線。

圖 5：使用不同學習率 η 的小批量 SGD 訓練曲線。

圖 6： ImageNet-5k 最好的驗證損失 vs. 小批量大小

圖 7：分布式同步 SGD 時間曲線。

圖 8：分布式同步 SGD 的圖像吞吐量。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！