卷積神經網路時代要結束！AI教父Hinton的膠囊網路已開源

科技 02-02

整理 | 都保傑

微信 | ai_xingqiu

網址 | 51aistar.com

在人工智慧或者說深度學習研究領域，傑弗里·辛頓(Geoffrey Hinton)被稱作「深度學習」之父，當年Hinton帶著兩個研究生，向世界展示了一個他幾十年來一直致力倡導卻並不受待見的計算機技術——人工智慧神經網路。

2012 年，計算機硬體的性能大幅提高，計算資源也越來越強，他的理論終於在實踐中充分發展。他利用卷積神經網路 (CNN) 參加了名為「ImageNet大規模視覺識別挑戰」的比賽，比賽的其中一項是，讓機器辨認每張圖像中的狗是什麼類型，從而對100多種狗進行分類。

在比賽中，Hinton帶著他的學生以16%的錯誤率獲勝——這個錯誤率低甚至低於人眼識別的錯誤率18%，並且遠低於前一年25%的獲勝成績，這讓人們見識了基於CNN深度學習的潛力，從此，CNN一炮而紅，微軟，IBM，谷歌，Facebook等許多網路科技巨頭都為之著迷起來，現在也成為整個人工智慧行業科技公司最依賴的基石演算法技術之一。

他的學生和博士後領導著蘋果、Facebook以及OpenAI的人工智慧實驗室，而Hinton本人是谷歌大腦（Google Brain）人工智慧團隊的首席科學家。

與大家熱捧人工智慧的態度不同，Hinton曾批評目前很多計算機學科的學術會議全都充斥著關於深度學習的論文，這些會議只是著眼於微小的改進，而不是深刻思考為何有些問題無法用深度學習演算法來解決，或者用什麼新的演算法能夠解決這些難題。

意識到當下深度學習演算法的局限和年代性，傑弗里·辛頓近幾年已經開始了全新的探索，試圖構建一套新的人工神經網路——Capsule Network（膠囊網路）。他有一句話：「如果你想目睹下一個劃時代的發現，一個用更靈活的智能奠定機器基礎的技術，你應該看看那些從80年代開始的反向傳播研究，那些對尚未成功的理念堅持不懈的聰慧之人。」

目前的神經網路中，每一層的神經元都做的是類似的事情，比如一個卷積層內的每個神經元都做的是一樣的卷積操作。而Hinton堅信，不同的神經元完全可以關注不同的實體或者屬性，比如在一開始就有不同的神經元關注不同的類別（而不是到最後才有歸一化分類）。具體來說，有的神經元關注位置、有的關注尺寸、有的關注方向。這類似人類大腦中語言、視覺都有分別的區域負責，而不是分散在整個大腦中。

為了避免網路結構的雜亂無章，Hinton提出把關注同一個類別或者同一個屬性的神經元打包集合在一起，好像膠囊一樣。在神經網路工作時，這些膠囊間的通路形成稀疏激活的樹狀結構（整個樹中只有部分路徑上的膠囊被激活），從而形成了他的Capsule理論。

Capsule這樣的網路結構在符合人們「一次認知多個屬性」的直觀感受的同時，也會帶來另一個直觀的問題，那就是不同的膠囊應該如何訓練、又如何讓網路自己決定膠囊間的激活關係，Hinton也接連發表過論文進行測試驗證。

在論文中，作者曾對膠囊的表現進行了討論。他們認為，由於膠囊具有分別處理不同屬性的能力，相比於CNN可以提高對圖像變換的健壯性，在圖像分割中也會有出色的表現。膠囊基於的「圖像中同一位置至多只有某個類別的一個實體」的假設也使得膠囊得以使用活動向量這樣的分離式表徵方式來記錄某個類別實例的各方面屬性，還可以通過矩陣乘法建模的方式更好地利用空間信息。不過膠囊的研究也才剛剛開始，他們覺得現在的膠囊至於圖像識別，就像二十一世紀初的RNN之於語音識別 —— 研究現在只是剛剛起步，日後定會大放異彩。

而日前，Hinton的膠囊網路論文《Dynamic Routing between Capsules》的在GitHub公布了代碼，使用TensorFlow和NumPy實現，只有一台GPU也行，僅僅5天，fork的數量就超過了1.4萬，大有要用它取代CNN的氣勢。