清華大學朱軍：深度學習「盛行」，傳統方法何去何從？

記者 | 何永燦

朱軍博士是清華大學計算機系長聘副教授、智能技術與系統國家重點實驗室副主任、卡內基梅隆大學兼職教授。2013年，入選IEEE Intelligent Systems的「人工智慧10大新星」（AI』s 10 to Watch）。他主要從事機器學習研究，在國際重要期刊與會議發表學術論文80餘篇。擔任國際期刊IEEE TPAMI和Artificial Intelligence的編委、國際會議ICML 2014地區聯合主席、以及ICML、NIPS等國際會議的領域主席。

清華大學計算機系長聘副教授朱軍

近日，朱軍博士接受了CSDN的專訪，採訪中分享了目前最新的研究進展，深度學習與傳統機器學習如何融合發揮最大作用，成為優秀青年科學家的必備特質，以及在CCAI 2017上的分享與籌備工作。

7月22-23日，中國人工智慧大會（CCAI 2017）將於杭州國際會議中心舉行，朱軍將作為「人工智慧青年論壇」共同主席主持會議，歡迎青年學者到現場參與討論。

深度學習 VS. 傳統機器學習

CSDN：在深度學習「盛行」的大環境下，如何看待相對來說比較傳統機器學習（如支持向量機、貝葉斯學習、決策樹等）？

朱軍：這個問題可以從兩個方面來看：

首先，深度學習不是萬能的，它雖然在特定任務上取得了顯著性能提升，但也面臨著很多挑戰，比如：對抗樣本的魯棒性、可解釋性、處理不完全信息與不確定環境等，隨著應用範圍的擴大，深度學習不擅長解決的問題會逐漸明顯，未來肯定會有更好的機器學習方法出現，或許還叫「深度學習」也可能是其他的名字。

其次，深度學習不是孤立的，它的進展與所謂的「傳統機器學習」是分不開的，不能把功勞都歸於「深度學習」，例如：用於保護深度神經網路避免過擬合的Dropout技術實際是一種貝葉斯學習方法，用於AlphaGO的深度神經網路需要在強化學習框架下發揮作用等。

因此，學術界和工業界都應該更客觀地看待深度學習，它的優點可以與其他機器學習方法共融，比如已經取得很多進展的貝葉斯深度學習、深度產生模型（如GAN）等。同時，它的缺點也需要從其他方向尋求改善，比如：我們最近從資訊理論的角度出發，設計了一種新的訓練準則和測試準則，可以顯著提升深度神經網路（如CNN,VGG,ResNet）對對抗樣本的魯棒性；另外，我們與清華大學的劉世霞老師合作，研製了CNNVis和DGMTracker可視化系統，它們綜合利用了信息可視化與圖形學的工具，對深度模型的學習過程進行解釋，幫助調試。

CSDN：對於「有了生成模型之後，引入深度學習就能解決統計學習的核心問題（如模型複雜度的選擇、泛化性能的理論保證、學習效率等）」的觀點你怎麼看？

朱軍：這個問題也要從兩個方面來看待：

首先，生成模型通常要引入假設，在假設符合實際的情況下，這種模型是最優的，可以提升學習效率和泛化性能。

其次，也是因為假設，如果假設不符合實際，這種模型可能帶來偏差。實際應用中，還需要對模型進行檢驗。

CSDN：去年參加CCAI 2016的AAAI主席Rao Kambhapati認為中國學者基本都在研究機器學習，範圍有點窄，你是否認同中國人工智慧研究存在這樣的誤區？除了機器學習之外，還有哪些領域或者哪些問題是值得我們關注的？

朱軍：機器學習受到很多關注是有一定道理的。作為實現現代人工智慧的主要技術途徑（之一），機器學習的目標是從經驗數據中不斷改善性能，它的作用在大數據時代變得更加明顯。目前，機器學習已經成為很多應用領域的首選技術方案。

但是，人工智慧的其他方向也同樣重要，而且在國內也正在受到很多的關注，比如自然語言理解、模式識別、知識工程、機器人，甚至是從腦科學尋求啟發的嘗試等。目前，可能是因為機器學習已經融入到這些方向中，才給人一種「到處都是機器學習」的感覺。但是，每種方法都有優點和缺點，學術界和工業界都需要鼓勵多樣性。比如：數據驅動的方法（如深度學習）往往需要大量的訓練數據，而知識驅動的方法（如貝葉斯方法）可以在小樣本下進行有效學習，二者具有互補的優勢，它們的有機融合是當前的一個熱點。

關於珠算平台

CSDN：請談談你近期的研究課題和進展，以及目前關注的研究和應用情況。

我們所做的機器學習工作，研發的演算法和平台（如珠算）通常都是開源的，工業界可以使用。另外，我們也與一些公司合作，針對具體應用開發特定的機器學習技術。

CSDN：能否概述你的團隊基於貝葉斯深度學習構建的「珠算」有哪些創新之處？適用於哪些領域？目前有哪些比較好的應用案例？

朱軍：首先，珠算是一個概率編程的庫，用戶在上面可以很容易地實現貝葉斯深度學習的模型和推理，就像在TensorFlow上寫一個神經網路一樣便捷。貝葉斯深度學習是一個前沿方向，它的基本框架是概率圖模型（貝葉斯網路），融合了深度神經網路在可學習的函數擬合方面的長處。和確定性的深度神經網路（如CNN）比，它的主要優點在於可以刻畫不確定性（如雜訊、信息不完整、隨機過程），進行推理和決策。

其次，珠算上支持的應用已經有很多，比如無監督學習、半監督學習、貝葉斯學習等。我們在珠算上已經實現了目前主要的模型，如變分自編碼器（VAE）、生成對抗網路（GAN）、主題模型、貝葉斯神經網路等，以及最好的概率推理演算法。用戶可以直接使用這些模型，也可以便捷地實現自己的模型。

最後，珠算在技術上也有很多創新，與TensorFlow很好地融合在一起。我們正在整理文章，很快將會公布技術細節。

CSDN：「珠算」選擇構建在TensorFlow之上，其中有什麼故事可以分享？

朱軍：我們做珠算的主要目的是希望能夠通過開源社區，支持大規模貝葉斯深度學習的概率編程，讓這個前沿方向的科研和實踐變得更容易。

我們考察過不同的平台，選擇TensorFlow是有一些原因的。首先，TensorFlow已經有龐大的社區，並且展示出成為通用計算圖框架的潛力。建立在TensorFlow之上有利於融入當前的生態系統。其次，TensorFlow計算圖（computation graph）支持的操作（operation）種類遠多於其他框架，能夠最大程度滿足概率編程的需求。最後，Tensorflow是少數支持多機多卡的分布式計算圖框架，非常適合做為大規模貝葉斯深度學習的基礎設施。

如何成為優秀的青年科學家

CSDN：成為人工智慧領域優秀的青年科學家，你認為需要具備哪些特質？

朱軍：科研是一個長期的過程，需要興趣和堅持，同時，對問題要形成自己的認知和選擇。現在是人工智慧、機器學習發展快速的時期，是好事也可能是壞事，太快的進展容易讓人失去定力，追逐一些容易出成果的「熱點」。隨大流雖然能發很多文章，但是，很難形成自己的系統性工作。因此，有些時候需要「少做」，才能選擇重要的問題集中精力去做。

CSDN：就你自己而言，理論紮實，成果豐富，能否介紹是哪些因素對你今天的成績起到了關鍵的作用，是時代機遇，個人堅持，前輩指導，同行交流，還是其他？

朱軍：有很多因素。正如前面所說的，首先是要有興趣，願意投入精力去學習和鑽研。其次要能夠堅持，遇到困難不迴避，能夠主動思考解決的辦法。只有通過思考得到的東西才是屬於自己的。最後，要善於向前輩和同行學習，別人的觀點可能是啟發思路的火種。

CSDN：你介紹過一些工作在付出很多努力之後不得不中止，所以說選擇方向很重要，這方面有哪些心得可以分享？

朱軍：越是創新性高的科研工作，它的不確定性也會越高，導致結果有時會與預期相差甚遠。但是，一個失敗的探索過程也是有價值的，它至少告訴你哪些路是不可行的。選擇了大方向以後，可以大膽嘗試，遇到困難或挫折是很正常的，不用氣餒。

CSDN：CMU博士後研究的經歷給你最大收穫是什麼？如何理解國內外環境的差異？以目前的情況來看，你對青年是否要出國深造有什麼建議？

朱軍：博士後是一個過渡階段，從科研和教學兩個方面，都為後來的清華任教打下了好的基礎。CMU有最好的學術環境、非常友好的同事和朋友，給我的幫助很大，我自己也在嘗試借鑒CMU的經驗指導學生。

目前，國內外的差異已經越來越小了，信息的不對稱也在逐漸消失，國內的機會也很多。最近，我也很高興看到有很多CMU的朋友陸續回國工作，這和幾年前我回國時的情形完全不同，當時我們甚至開玩笑說我是先回國給大家探路的。因此，我覺得每個人可以根據自己的情況選擇是否出國深造，盲目跟隨應該會成為過去式。

CSDN：你如何理解和處理科研與教學二者的關係？

朱軍：清華非常注重教學。我認為如果能平衡好二者的關係，教學與科研是可以相輔相成的。科研做的好能夠幫助教學，對一個領域的深入理解能夠將課堂上講的知識點融合貫通，形成有機整體，而不是生硬式的拼湊。同時，教學的過程也能幫助系統地整理學科知識，加深理解，有時也能激發科研想法。

在CCAI 2017上的分享與籌備工作

CSDN：作為 CCAI 人工智慧青年論壇的共同主席，對於組織這一論壇，你的出發點是什麼？本次論壇將主要圍繞哪些內容展開？希望為聽眾解決哪些問題？

朱軍：隨著數據和計算資源的增加，以及演算法的改進，以深度學習為代表的現代人工智慧技術正在越來越多的領域中獲得應用和發展，並已經在一些特定領域取得顯著進展，包括圖像識別、語音識別、電腦遊戲等。

但是，隨著應用範圍的擴展和複雜化，人工智慧仍然面臨著多方面的挑戰，包括魯棒性、可解釋性、安全性、隱私保護等等。

目前，人工智慧獲得顯著進展的領域通常需要大量的訓練數據，如何發展對訓練樣本更高效的人工智慧技術是很多場景下要解決的關鍵問題；另外，如何在信息不完全、不確定的非結構化環境下進行高效學習和決策也是未來要解決的重要問題。該論壇將探討人工智慧領域的前沿進展和未來趨勢，嘉賓們將通過分享自己的觀點、與聽眾互動，解答聽眾關心的問題。

CSDN：你是從哪幾個維度來組織嘉賓陣容的？由此構建起的人工智慧青年論壇將有哪些獨特之處？

朱軍：該論壇盡量覆蓋人工智慧的多個方面。邀請的嘉賓有學術界和工業界的優秀代表，也有優秀的女性科學家代表。另外，嘉賓的背景也具有很好的代表性、多樣性。希望該論壇能夠給聽眾帶來最前沿的思想碰撞。

關於 CCAI

中國人工智慧大會（CCAI），由中國人工智慧學會發起，目前已成功舉辦兩屆，是中國國內級別最高、規模最大的人工智慧大會。秉承前兩屆大會宗旨，由中國人工智慧學會、阿里巴巴集團 & 螞蟻金服主辦，CSDN、中國科學院自動化研究所承辦的第三屆中國人工智慧大會（CCAI 2017）將於 7 月 22-23 日在杭州召開。

作為中國國內高規格、規模空前的人工智慧大會，本次大會由中國科學院院士、中國人工智慧學會副理事長譚鐵牛，阿里巴巴技術委員會主席王堅，香港科技大學計算機系主任、AAAI Fellow 楊強，螞蟻金服副總裁、首席數據科學家漆遠，南京大學教授、AAAI Fellow 周志華共同甄選出在人工智慧領域本年度海內外最值得關注的學術與研發進展，匯聚了超過 40 位頂級人工智慧專家，帶來 9 場權威主題報告，以及「語言智能與應用論壇」、「智能金融論壇」、「人工智慧科學與藝術論壇」、「人工智慧青年論壇」4 大專題論壇，屆時將有超過 2000 位人工智慧專業人士參與。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！