周志華Deep Forrest論文參與者答網友問，或6月1日開源

新聞 04-20

新智元推薦

周志華Deep Forrest論文參與者答網友問，或6月1日開源

【Ji Feng】：作為論文參與者之一，我做的很有限，在這裡擅自談談我個人對周老師gcForest的一點愚鈍看法。這裡聲明：所有觀點僅僅代表我個人。

先說幾點個人的結論：

1. 這是一個Deep Model，只不過building blocks是決策樹。

這篇工作不是來砸深度學習的場子的，深度學習蠻好，而基於神經網路的深度模型探索的差不多了，我們想探索一下基於樹的深度模型的可能。

個人認為沒有合理理由能夠否定基於決策樹的深度模型的嘗試是徒勞，而決策樹的集成本身具有很多神經網路所不具備的性質，所以花一些時間和精力進行研究是很值得的事情（至少比調參強）。

2. 這只是個開始。

決策樹有很多蠻恐怖的性質，目前我只想說其實我們對森林的力量一無所知，裡面的潛力巨大，有待開發。深度學習從06年提出到12年，中間花了差不多6年的時間不斷發揚光大，如果指望一篇文章就能搞定這麼多年，這麼多學者，以及這麼多資金的事情，這也是不可能的。

3. 性能

很抱歉，出於我個人的懶惰，沒怎麼調整這個森林的結構。因為我們注重的是通用性。

前一陣又大致把森林複雜度做了一下，MNIST是99.39%（上升餘地依然存在，因為我僅僅把森林double了一下），我知道很多做視覺的朋友覺得CIFAR/ImageNet應該跑，這裡稍微說幾句：

a) 做視覺的朋友覺得CIFAR/ImageNet的模型性能是宇宙中心，但其實並不是做機器學習的人的中心，在這篇工作中，我們更關注一個通用的框架。

b)也想跑來著，但是沒有實現分布式演算法，而我的單機內存有限，後來還是優化了一下程序，CIFAR10是能跑起來了，每加一塊兒內存條，性能往上走4個點，目前單機能到70%。AlexNet是83%，相比之下有10%的差距。但是請注意：深度全鏈接神經網路（MLP)是47%，Alex用Deep Belief Network（這可是深度學習的第一個重要模型）在cifar10上是65%，而其他所有非神經網路的模型都是55%以下（如果對輸入不作任何變化的話）。我個人揣度作為deep forest的第一篇工作，這個結果也算是夠了?(至少比深度限制玻爾茲曼機的性能和普適性強點兒？)

c)這是第一篇工作，目的是提出一個較為通用的框架和方向，未來會有基於計算機視覺應用的專門優化。

d)你們誰送我幾塊兒內存條使使？

其他的內容，請大家看周老師的論文原文就好了。

再回應一些評論：

1. 「沒有BP肯定不行。」

很抱歉，這個不大同意。BP是一個很棒的演算法，也在我個人最喜歡的演算法top5。BP在神經網路中很重要，但是，如果認為沒有BP肯定不行，那就有些思維定勢了，類似於沒有翅膀就不能上天這種論斷。飛上天的不僅僅有鳥和飛機，還有火箭。

舉個栗子：

雖然不是做神經網路的，但是也清楚有不少現成的神經網路模型沒有BP，比如大名鼎鼎的NEAT。（如果我沒記錯的話，有一個GAN 的工作就是用NEAT做的G？)

再舉個稍微跑題的栗子：

上個月OpenAI的Evolution Strategies as a Scalable Alternative to Reinforcement Learning （這個標題很酷啊，偷笑）

...No need for backpropagation. ES only requires the forward pass of the policy and does not require backpropagation (or value function estimation), which makes the code shorter and between 2-3 times faster in practice.

所以其實BP在很多任務里並不是加分項，並不是說少了BP就玩兒不轉了。

有不少做神經網路的大神也一直在嘗試做一些取代BP的事情，這個不是什麼密事：連我都知道。

2. 「無法feature transfer。」

抱歉，這個也大不同意。自己覺得沒法做，和別人也沒法做是兩回事... 這個現在還不能講太多。

3. 「無法End to End。」

這也算是深度學習從業者裡面常見的一個cliché. 類似於BP，E2E不是模型能夠work的必要條件。另外說句題外話，如果看機器學習的歷史的話，有很多非神經網路的e2e模型並不work的。。

4. 「希望在這個浮躁的年代，每個人尤其是研究者保持獨立思考，不要人云亦云。不忘初心，方得始終。」

這句話本身說的很對。我很贊成。

需要商榷的是：什麼是始，什麼是終，什麼又是初心呢？

為了準確度，在神經網路上反覆調參的難言之隱，這，是初心嗎？

兩年前的Embedding + Everything，一年前的GAN + Everything 而寫出來上千篇文章，這，是初心嗎？

拿著榔頭滿世界找釘子而寫出來的上萬篇應用，這，是初心嗎？

把深度神經網路炒作成強人工智慧時代的來臨，用一些具有誤導性的demo來「展示」機器已經具備了人類的情感，這，是初心嗎？

個人認為，不同的群體，初心應該是不一樣的：

作為計算機視覺/自然語言處理等做應用的人來說，拋棄了所有領域知識，只會用神經網路，個人覺得也算是忘記初心了吧。個人比較懷疑樣做是解決CV/NLP的終極途徑。。我不是做應用的，這方面不好多談，斗膽建議大家讀一下UCLA教授，計算機視覺的大神之一朱松純教授的訪談：「初探計算機視覺三個源頭兼談人工智慧」。我猜，朱教授所提到的源頭，大概應該算作是計算機視覺的「初心」吧。

作為機器學習這門學科的研究者，初心應該是不斷推出有一些創新性的方向，從理論上有所啟迪，或者提出的模型讓下游的應用學科人有所收穫。例如在別人不看好CNN的時候，Yann LeCun能默默的堅持下來，將神經網路的潛力發揮到極致，這算是不忘初心，這是真牛叉。

當然灌水沒什麼丟人的（弱菜如我，這事兒幹起來無比來勁兒），為某一個理論添磚加瓦更是現代科學精神的體現。可是，你得允許世界上存在那麼一小撮人，他們有嘗試其他事情的權利。這就是價值觀的不同了。

5. 「如果有實習生來跟我講這樣一個idea，我絕對不會同意去做的工作。」

這個... 內心其實是有些慶幸。

我甚至覺得可以作為南大LAMDA組招生的宣傳語：「在我們學科組，可以做一些以深度學習為技術核心的公司里絕對會被斃掉的好玩工作。」

那就宣傳幾句吧，其實LAMDA組的方向很全面，有專門做理論證明的高尉教授，他用了5年時間證明了一個boosting裡面的一個懸而未決的大問題，是當年機器學習理論界的年度突破之一（很多人不認為能證出來），有專門做大規模分布式機器學習演算法的李武軍教授（每周5個小時馬拉松式的組會雷打不動），有專門做深度學習的，同時也是MINIEYE的首席科學家吳建鑫教授（他的學生你們肯定知道，知乎大神 @魏秀參），還有在所有人都不看好強化學習的時候就在該領域默默耕耘獨樹一幟的俞揚教授（現在RL火的一塌糊塗，真是風水輪流轉... ）當然還有學術洞察力令人髮指的周老師鎮樓，這就不用多說了。鄙組教授們方向之全，頗具優勢，共同點只有一個：不隨波逐流，是嚴肅做研究的主。作為組裡的學生，在機器學習的大部分領域遇到問題，直線距離30-50米之內就能找到正確的教授，面對面給予你真正專業的幫助與輔導，這在其他地方是很難做到的。本科生開放日就要到了，請學弟學妹們關注招生情況。比心。

第一次在知乎答題，點贊破五百就把代碼在六一節前放上來，作為兒童節獻禮。

至少拿去刷刷Kaggle競賽還是挺好使的。。

最後，祝大家不忘初心，方得始終（這句片兒湯話實在是百搭啊...）算了，劃掉。

你若安好，便是晴天。

原文地址：https://www.zhihu.com/question/56474891/answer/158293083

朱松純教授的訪談「初探計算機視覺三個源頭兼談人工智慧」鏈接：http://it.sohu.com/20161129/n474464488.shtml

本文由新智元根據作者在知乎上的評論編輯。

周志華Deep Forrest論文參與者答網友問，或6月1日開源