Facebook公布SGD，可在1小時內訓練ImageNet

GIF/1.7M

圖：pixabay

6月8日，Facebook在其facebook research網站上公布一份研究報告，該報告指出，精確、大型的Minibatch SGD可在1小時內訓練ImageNet數據集。

深度學習與大型神經網路和大型數據集正在蓬勃發展。然而，較大的網路和數據集會導致更長的訓練時間，阻礙其研發進度。分布式同步隨機梯度下降法(Stochastic gradient descent，SGD) 為此提供了一個潛在的解決方案，通過在一組並行池worker進程中劃分SGD minibatches。然而，為了使這個方法有效，每個worker的工作量必須很大，這意味著SGD minibatch大小增長異常。在本文中，我們的經驗表明，在ImageNet數據集上，大型的minibatches可能引起優化困難，而解決這些問題的神經網路表現出良好的泛化作用。具體來說，當使用大型minibatch尺寸達8192張圖像進行訓練時，則不會顯示準確性的損失。為了實現這一結果，我們採用線性縮放規則來調整學習率，作為minibatch的函數，並開發一種新的預熱方案，以便在訓練早期克服優化過程面臨的困難。通過這些簡單的技術，我們基於Caffe2的系統可以在一小時內對256個GPU的ResNet-50進行minibatch 為8192的訓練，同時匹配小的minibatch精確度。從硬體角度，當從8個GPU增長到256 個GPU後，我們能夠實現約90％的規模效益。該系統使我們能夠高效率地對互聯網規模的數據進行視覺識別模型的訓練。

更多內容請查看報告原文

作者：Priya Goyal, Piotr Dollar, Ross Girshick, Pieter Noordhuis, Lukasz Wesolowski, Aapo Kyrola, Andrew Tulloch, Yangqing Jia, Kaiming He

來源：facebook research

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！