360副總裁顏水成教授:深度學習的研發目標及1×1的卷積的功能 | CCF-GAIR 2017

7 月 7 日，雷鋒網承辦的第二屆 CCF-GAIR 全球人工智慧與機器人峰會在深圳如期開幕。奇虎360副總裁、首席科學家、IEEE Fellow、IAPR Fellow顏水成教授帶來了主題為《精度極限VS用戶體驗》的演講。這是今天最後一場演講。

深度學習研發的兩個不同目標：

• 追求極限精度。

  針對一個具體的問題，然後去探索新的演算法，比如我們可以設計更好的模型結構，我們可以用更大、更快的模型，也可以用更多的模型去做融合，另外一方面我們也會思考用更好的訓練平台和更多的資源實現更多的訓練。更關鍵的是在訓練的時候如何利用海量的數據，比如說利用預測學習的方式實現訓練，當你訓練好模型之後，你又可以用增強學習的方式增強你的模型性能。

• 追求產品的體驗。

  人工智慧不是一個產品，必須跟具體的場景相結合才有它內在的價值，核心演算法只是這裡面的一個部分而已，無論是往前走還是往後走，最好的辦法是演算法形成一個閉環，先訓練出初始的模型，然後在具體的場景里尋找一些數據，用數據提升模型的精度，再把模型用到場景中，進行不斷地迭代，最終在場景中達到它最好的體驗。這時候演算法科學家和產品工程師結合可能讓不完美的演算法產生完美的用戶體驗。有一個很明顯的例子就是蒙眼演算法的方式。

將這兩種目標結合的實例：

物體的分割，在2016年及之前，大家都覺得分類和檢測已經可以在工業界中很好的使用，但是從來沒有人覺得物體的分割已經到了可以使用的階段。我的研究組就做了很多的研究的工作，給出一個圖象，輸出每個板塊是什麼東西，我們花了兩年的時間把它的性能從44%提升到了86%，以及在其它的分割領域有很多的成果出現，這時候工業界開始思考，有很多的應用場景確實可以受益於這種分割的技術，於是很多人開始在思考怎麼樣去對模型進行酵素，對一些限定的場景的性能能滿足產品化的需求。

從今年開始，比如說美圖秀秀可以把人的頭髮和臉分割出來，可以產生很好的萌臉的效果，還有360提供的人體分割的效果，可以把人實時從自拍的照片裡面分割出來，疊加到動態的場景，產生很多好玩、好看的效果。這是一個典型的因為追求精度極限達到一定程度的極限下，就激發了新的產品形態的設計。

1×1卷積概念

我們有很多的圖片，比如說在一個3×3的空間，在不同的位置做內積，然後得到內積的結果。在空域上由3×3變成1×1，在一個位置上做內積，這就成為1×1卷積。

純粹的內積不能很好地模擬人的神經元的工作方式，1×1卷積可以用更複雜的網路結構來替代，當這種複雜的結構是多層感知神經器，對應的後面的這些往前的操作，它對應的就是做一個1×1卷積，這個1×1卷積跟前面的3×3、5×5卷積疊加在一起，就會產生非常複雜的抽象過程。這個1×1卷積的模型參數很快就可以降到很低，這樣就為我們把深度學習往雲端遷移提供了一個可能性。

1×1卷積功能

• 用1×1卷積，能實現一個更複雜的網路結構，但是它的計算的複雜度反而會進一步降低

  它的思路非常簡單，比如說任何一個卷積，它在ReLU用完了之後，你會發現大概有40%或者更多的位置上它的輸出是0的。如果這個位置輸出是0，它原來是負10、負100還是0就變得不那麼重要了。如果可以把為0的數字估算出來，這樣具體的卷積就不用計算了。比如說你有一個3×3的卷積，下面加一個對應的1×1卷積，在ReLU完成以後，我們把它做一個點乘，1×1卷積的輸出只要為0，上面具體的數字是多少就變得根本不重要。如果我們有40%恩的位置是0，上面有40%的計算量就可以忽略，下面因為是1×1卷積，它的計算量只有1/9甚至更少，這樣你就用1/9的時間節省了40%的計算量，所以它是非常值得的。

• 從理論上來說，這種網路結構也不會有精度的損失，最終的精度方面可以達到你的模型的速度的提升。

  我們在不同的資料庫、不同的模型上做了測試，一般情況下都能提升20%到40%的性能。這種方式對於追求體驗極限的低功耗端的應用就非常重要，比如說你要做自動駕駛，需要有路上的協同，這樣的演算法在裡面就非常有價值。同樣我們在手機APP上，比如說各種相機類的產品，要做實時的人的摳相，我們在這些方面都可以很好的應用。從深度學習研發的角度來說，如果你能從演算法上降低它的功耗，它的價值是非常大的。

詳細內容請關注雷鋒網後續報告。雷鋒網原創。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！