Geffory Hinton：深度學習進入平台期？不，深度學習需要的是「推倒重來」

一個星期前由Fran?ois Chollet在Twitter上引發的「深度學習是否進入平台期」的討論，因為大神Geffory Hinton的參與達到了高峰。

Hinton：深度學習可能需要「推倒重來」

據科技媒體Axios報道，上周三在多倫多舉行的一個AI會議上Hinton表示，他現在對反向傳播演算法「深感懷疑」。這一演算法是用來訓練人工神經網路的常見方法，該方法計算對網路中所有權重計算損失函數的梯度。這個梯度會反饋給最優化方法，用來更新權值以最小化損失函數。值得一提的是，Hinton本人是反向傳播演算法的早期提出者，1986年，Hinton在一篇論文中首次將反向傳播演算法引入多層神經網路訓練。

儘管在這次會議上，不少參會的科學家表示在人工智慧的未來反向傳播仍處於核心地位，但Hinton的發言一錘定音：可能會有全新的方法推出。Hinton在現場引用普朗克的名言稱：「Max Planck 曾說：『科學之道，不破不立。』未來取決於對我所說的一切持懷疑態度的那些研究生。」他還表示，如果要讓深神經網路變得更聰明，即向無監督學習過渡，「這可能意味著要徹底放棄反向傳播。」

這一觀點在Twitter上引起了廣泛討論，Pedro Domingos、李飛飛等多人紛紛轉發。在李飛飛轉發的Twitter上，AI科技評論注意到，前幾天的「few tools lives enternity」已經悄然變成了「no tool is eternal」，Hinton這一觀點對AI研究者的震撼之大可見一斑。

眾所周知，從Hinton於2006年在Science雜誌上發表《Deep Belief Networks》的論文開啟了深度神經網路的新時代。十餘年來，基於Hinton及眾多先驅提出的深度學習理念框架，深度學習在有監督學習上取得了一定的突破，但同時也暴露出了一定的技術局限，如數據需求大、環境適應弱、可解釋性差、性能差異大、數據分享難（https://www.leiphone.com/news/201709/QuBqR1h6I7yglwbH.html?type=preview）等。不少研究者認為，人工智慧的下一步發展有待於在無監督學習領域的進一步突破。

如何破局？Hinton提出Capsule

Hinton近日對其在2011年的一篇論文《Transforming Auto-encoders》提出的Capsule概念重新進行了思考及完善，關於Capsule的最新論文《Dynamic Routing Between Capsules》目前已被NIPS 2017接收，目前這篇論文並未正式發表，但我們還是可以從Google Research Blog（地址：https://research.google.com/pubs/pub46351.html）發表的論文摘要以及部分提到了Capsule的Slide（地址：http://cseweb.ucsd.edu/~gary/cs200/s12/Hinton.pdf）上了解到關於Hinton對Capsule的想法，AI科技評論摘編如下：

Capsule 是一組神經元，其活動向量的矢量方向及方向分別代表實體化程度及實例參數，相同水平下的活躍capsule可通過矩陣變換對更高級別的Capsule實體化參數進行預測。當多個預測一致時，高級別的Capsule將會更加活躍。在論文中我們展示了用於判別訓練的多層Capsule系統在MNIST數據集表現臻於完美，相比起高度重疊的數字的卷積網路的性能更為優越。為達到這一目標，我們試用使用迭代的路由協議機制，即低級別的Capsule傾向於將預測結果輸出發送至高級別的Capsule，從而使得高級別Capsule的活動向量具備大標量積。論文最終版本正在修訂中，並會包含評論者的意見。

換言之，Capsule試圖在神經網路內形成和抽象創建子網路，也就是說，如果你看一個標準的神經網路，層與層之間是完全連接的（也就是說，層1中的每個神經元都可以訪問層0中的每個神經元，並且本身被第2層中的每個神經元訪問，以此類推）， 這種更複雜的圖形拓撲似乎可以更有效地地提高生成網路的有效性和可解釋性。論文中提到的 Dynamic Routing，就是希望能夠形成一種機制，讓網路能夠將適合某一層 Capsule 處理的內容，路由到對應的 Capsule讓其處理，從而形成了某種推斷鏈。

（關於Capsule理論的更多內容，可參見AI科技評論之前文章：學界 Hinton近日做報告，講解其研究多年至今未發表的工作）

如何看待Capsule ？

在知乎的這一問題下，得到贊同最高的SIY.Z是這樣回答的：

首先這個工作成功或者不成功都是很正常的，就算 Capsule 真的會成為以後的趨勢，Hinton 也未必這麼快找到正確的訓練演算法；就算 Hinton 找到了正確的訓練演算法，也沒有人能夠保證，Capsules 的數量不到人腦中 mini-columns 數量的時候，能夠起達到人類的識別率（何況現在 CNN 雖然問題很多，但是識別率很多已經超過人類了）。

從目前已經披露的信息看，Capsule的概念會更仿生一些，能夠更好地模擬人類大腦神經元之間的複雜連接結構，但對這個框架具體的數學描述仍有待於進一步研究。

AI科技評論認為，在最近幾年，深度學習得到了廣泛的應用，深度學習工程化的門檻逐步降低，導致在諸多學術會議上已經開始呈現出「不用深度學習都不好意思和人打招呼」的現象，在這種環境下，不少研究者也在探索深度學習之外的其他理論研究，Hinton的「深度學習需要推倒重來，可能需要拋棄反向傳播」的反思更多具備指導性的意義，也會激勵更多人在其他的理論研究上進一步探索。

值得一提的是，有不少國內學者已經走在了這個領域的前列。如南京大學的周志華教授今年稍早發表的關於多層隨機森林的論文《Deep Forest: Towards An Alternative to Deep Neural Networks》是關於用做深度學習的，也不需要反向傳播；而在去年，周志華教授也針對當前深度學習存在的技術局限提出了「學件」的解決方案，在這一波對深度學習的重新思考中，我們也期望有更多的國內學者能夠有更多的突破。

————— 給愛學習的你的福利 —————

————————————————————

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！