【新智元導讀】谷歌AI研究部門華人科學家再發論文《EfficientNet：重新思考CNN模型縮放》，模型縮放的傳統做法是任意增加CNN的深度和寬度，或使用更大的輸入圖像解析度進行訓練，而使用EfficientNet使用一組固定額縮放係數統一縮放每個維度，超越了當先最先進圖像識別網路的準確率，效率提高了10倍，而且更小。

目前提高CNN精度的方法，主要是通過任意增加CNN深度或寬度，或使用更大的輸入圖像解析度進行訓練和評估。

以固定的資源成本開發，然後按比例放大，以便在獲得更多資源時實現更好的準確性。例如ResNet可以通過增加層數從ResNet-18擴展到ResNet-200。

再比如開源大規模神經網路模型高效訓練庫GPipe，通過將基線CNN擴展四倍來實現84.3％ ImageNet top-1精度。

這種方法的優勢在於確實可以提高精度，但劣勢也很明顯。這個時候往往需要進行繁瑣的微調。一點點的摸黑去試、還經常的徒勞無功。這絕對不是一件能夠讓人身心愉快的事情，對於谷歌科學家們也一樣。

這就是為什麼，谷歌人工智慧研究部門的科學家們正在研究一種新的「更結構化」的方式，來「擴展」卷積神經網路。他們給這個新的網路命名為：EfficientNet（效率網路）。

代碼已開源，論文剛剛上線arXiv，並將在6月11日，作為poster亮相ICML 2019。

比現有卷積網路小84倍，比GPipe快6.1倍

為了理解擴展網路的效果，谷歌的科學家系統地研究了縮放模型不同維度的影響。模型縮放並確定仔細平衡網路深度後，發現只要對網路的深度、寬度和解析度進行合理地平衡，就能帶來更好的性能。基於這一觀察，科學家提出了一種新的縮放方法，使用簡單但高效的複合係數均勻地縮放深度、寬度和解析度的所有尺寸。

據悉，EfficientNet-B7在ImageNet上實現了最先進精度的84.4％ Top 1/97.1％ Top 5，同時比最好的現有ConvNet小84倍，推理速度快6.1倍；在CIFAR-100（91.7％），Flower（98.8％）和其他3個遷移學習數據集上，也能很好地傳輸和實現最先進的精度。參數減少一個數量級，效率卻提高了10倍（更小，更快）。

與流行的ResNet-50相比，另一款EfficientNet-B4使用了類似的FLOPS，同時將ResNet-50的最高精度從76.3％提高到82.6％。

這麼優秀的成績是如何做到的

這種複合縮放方法的第一步是執行網格搜索，在固定資源約束下找到基線網路的不同縮放維度之間的關係（例如，2倍FLOPS），這樣做的目的是為了找出每個維度的適當縮放係數。然後應用這些係數，將基線網路擴展到所需的目標模型大小或算力預算。

與傳統的縮放方法相比，這種複合縮放方法可以持續提高擴展模型的準確性和效率，和傳統方法對比結果：MobileNet（+ 1.4％ imagenet精度），ResNet（+ 0.7％）。

新模型縮放的有效性，很大程度上也依賴基線網路。

為了進一步提高性能，研究團隊還通過使用AutoML MNAS框架執行神經架構搜索來開發新的基線網路，該框架優化了準確性和效率（FLOPS）。

由此產生的架構使用移動倒置瓶頸卷積（MBConv），類似於MobileNetV2和MnasNet，但由於FLOP預算增加而略大。然後，通過擴展基線網路以獲得一系列模型，被稱為EfficientNets。

不僅局限於ImageNet

EfficientNets在ImageNet上的良好表現，讓谷歌的科學家希望將其應用於更廣泛的網路中，造福更多的人。

在8個廣泛使用的遷移學習數據集上測試之後，EfficientNet在其中的5個網路實現了最先進的精度。例如，在參數減少21倍的情況下，實現了CIFAR-100（91.7％）和Flowers（98.8％）。

看到這樣的結果，谷歌科學家預計EfficientNet可能成為未來計算機視覺任務的新基礎，因此將EfficientNet開源。

華人做出了重要貢獻

論文的兩位作者，都和中國有關。

第一作者是谷歌的高級軟體工程師Mingming Tan，北大博士，在康奈爾大學獲得博士後學位。

第二作者Quoc V. Le現在是谷歌的一名軟體工程師，在斯坦福獲得博士學位，師從著名的人工智慧領袖吳恩達。

他在越南農村長大，會英語、普通話、吳語和廣東話。小時候家裡連電都沒有。但他住的地方附近有一個圖書館。Le在圖書館裡，如饑似渴的閱讀那些偉大發明，小小年紀便夢想有朝一日自己的名字，也能銘刻在人類偉大發明家名人堂上。

14歲的時候，他就幻想一個足夠聰明的機器能夠幫助人類。這個幻想讓他走上了人工智慧的道路。

論文鏈接：

https://arxiv.org/abs/1905.11946

Github：

https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！