王夢迪：探尋強化學習背後的簡潔規律，她是普林斯頓最年輕終身教授

2019年1月21日，《麻省理工科技評論》公布了2018年「35歲以下創新35人」（Innovators Under 35 China）中國區榜單。從榜單中，我們看到更多中國創新科研力量的崛起，也看到跨學科、跨領域、並且對落地應用有更強烈企圖心與使命感的科研創新，這其中涵蓋人工智慧研究與應用、NLP、腦科學、新材料、新能源、生命科學、生物科技、自動駕駛等多個不同領域。我們將陸續發出對35位獲獎者的獨家專訪，介紹他們的科技創新成果與經驗，以及他們對科技趨勢的理解與判斷。

關於Innovators Under 35 China榜單

自 1999 年起，《麻省理工科技評論》每年都會推出「35歲以下創新35人」（Innovators Under 35 China）榜單，旨在於全球範圍內評選出被認為最有才華、最具創新精神，以及最有可能改變世界的 35 位年輕技術創新者或企業家，共分為發明家、創業家、遠見者、人文關懷者及先鋒者五類。2017年，該榜單正式推出中國區評選，遴選中國籍的青年科技創新者。新一屆榜單正在徵集提名與報名，截止時間2019年5月31日。詳情請見文末。

「強化學習是人工智慧的未來」 ，王夢迪表示，「應當是同控制論、統計學習思想結合起來，用大數據的方法探索一個複雜系統的動態過程。這方面在強化學習的框架下都是空白，我的工作就是要把這個框架建立起來。」

王夢迪的履歷很傳奇，她14歲從少年班考入清華大學，隨後進入MIT於24歲取得博士學位，同年成為普林斯頓大學的助理教授和博士生導師，29歲時，她成為普林斯頓大學最年輕的終身教授。談及自己的特殊成長經歷，她表現的很謙虛，「就讀少年班是一把雙刃劍。我有幸遇到過很多極有天賦並且非常優秀的前輩和同齡人，當我有點迷茫時，我會觀察那些走在最前面的人，他們的努力會成為我的動力。」

王夢迪在麻省理工學院讀博士期間根據興趣選擇了偏數學、偏理論的系統和資訊理論方向，師從美國工程院院士DimitriP Bertsekas，用數學理論來設計大規模演算法。博士期間，王夢迪對強化學習 （Reinforcement Learning）產生興趣，並決心解決強化學習背後的演算法和理論問題。

強化學習是機器學習的未來，強化學習演算法能夠讓智能體通過與環境實時交互、獲取反饋信號來產生後續行為，並逐步「習得」最優的決策，從而獲得最大的效用值。強化學習由控制論和認知科學發展而來，糅合了大數據和機器學習技術，可以實現複雜動態系統中的實時自動決策。強化學習強調基於環境而行動，從大量經驗和數據中總結推理出下一步的策略，是未來智能自動化系統的思考引擎。

強化學習在2016年被大眾所熟知，那一年GoogleDeepMind的AlphaGo擊敗了人類圍棋頂尖選手李世石，而AlphaGo的演算法就是一種強化學習演算法。近兩年強化學習又在遊戲領域上取得突破，基於強化學習的AI在Dota2和星際等遊戲上都擊敗了人類隊伍。

「我們為什麼關心遊戲？人類的幼兒在發展自己的智能的過程中，正是通過遊戲來學習如何決策的，人工智慧的發展也正處在這一階段，我們很快能看到人工智慧將不僅僅能打遊戲，而將解決更難的問題。」王夢迪說。但其實強化學習的發展還處在比較低級的階段，「這些遊戲上的成功更像是工程上的一種試錯，100次試驗只要取1次最佳的結果就可以展示了。它們背後模型的複雜度、耗費的計算資源是常人難以想像的。」

強化學習與近些年非常成功的深度學習都還存在著很多問題，一直以來，它們的不可解釋性和難以復現性為人詬病，即所謂「黑箱」問題；而王夢迪的目標就是解決這一難題。

「很多人感覺強化學習或者深度學習的模型越來越複雜，越來越難以訓練。很多時候我們都在努力讓訓練速度加快，去優化演算法，讓更複雜的模型能跑起來。但任何演算法的加速都是有極限的，這個極限就是該類問題的計算複雜度和信息複雜度，我們只能一步步逼近它。很多異常複雜的模型和演算法往往是極為極為簡單的，比如隨機梯度演算法的極限其實是一組簡潔的隨機微分方程。我的工作就是去找到複雜強化學習背後的簡潔數學規律，利用它開發更強大的演算法，去解決高維強化學習所面臨的scalability和generalizability的問題。」

目前強化學習方面的大部分進展都來自工程優先方式的探索，先有具體的工程問題，再不惜資源地解決問題，再講原理。而對王夢迪來說正好相反，她希望從數學統計和控制原理出發，把強化學習的框架摸清楚，從根本上提高強化學習的計算效率和對數據的利用效率。她致力於推動強化學習的理論和實踐的同步發展，推動其在金融風險控制、醫療決策等領域的應用，讓強化學習方法成為未來複雜系統的智能大腦 。

「這條道路上的每一件事情，我都有極強的熱情去參與去推動。」王夢迪說。

-End-

【正在報名】

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！