16篇論文、70多頁PPT幫你優化深度學習模型，免費下載

乾明 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

在沒有改變計算複雜度的情況下，只是使用「調整學習率」和「修改特定卷積層的步幅大小」等方法，就將ResNet- 50在ImageNet上的top-1驗證準確率從75.3%提高到79.29%。

這個成果來自於亞馬遜近期發表的一篇論文《Bag of Tricks for Image Classification with Convolutional Neural Networks》，作者為李沐帶領的AWS研究團隊。

論文摘要中表示，這篇論文的中的方法和結論也能適用於其他任務，比如目標檢測、語義分割等等。

最近，Reddit機器學習版塊有人發帖稱，自己也整理了各種各樣調整改善深度學習模型的方法，比亞馬遜的論文中提到的方法還要多。

他將這些內容做成了PPT，一共70多頁，涵蓋了16篇經典論文和兩篇博客文章。

目前，這個帖子在Reddit上的分數已經超過了150，GitHub上的Star也超過了400。

PPT裡面講的是啥？

這份PPT，主要有7個主題，分別是：

調整學習率

調整小批量的規模

調整優化器和權值衰減

調整特徵和標籤

調整特徵和標籤（mixup）

調整初始條件

Shake-shake正則化

每一個主題，都基於相對前沿以及效果較好的論文來進行分析。比如調整學習率這一主題，作者就選擇了《Cyclical Learning Rates for Training Neural Networks》等3篇論文。

這篇論文最後的修訂日期為2017年4月4日，這篇論文的主要就是從學習率的角度來談怎麼訓練深度學習網路，並提出了一種名為循環學習率（cyclical learning rates）的新方法。

PPT中，作者對論文中的方法與思路進行了梳理，並給出了注釋。

最後，作者也對亞馬遜的論文《Bag of Tricks for Image Classification with Convolutional Neural Networks》進行了梳理與總結。

寫這份資源的是誰？

PPT上的信息顯示，這個PPT的作者是Krzysztof Kolasiński，來自一家名為FORNAX.ai的公司。

Linkedin上的介紹稱，Krzysztof Kolasiński是這家公司的機器學習工程師，波蘭人。他是一位物理學博士，專門研究計算物理學中的量子傳輸問題。

傳送門：

PPT傳送門：

https://github.com/kmkolasinski/deep-learning-notes/blob/master/seminars/2018-12-Improving-DL-with-tricks/Improving_deep_learning_models_with_bag_of_tricks.pptx

在量子位公眾號（QbitAI）對話界面回復「70頁報告」，也可直接下載PPT~

—完—

活動報名

加入社群

量子位AI社群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「交流群」，獲取入群方式；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字「專業群」，獲取入群方式。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！