港科大劉明：深度學習為機器人研究注入新能量，產業需求是新發展的源動力

2017 年 10 月，多家媒體報道了香港科技大學劉明團隊研製的低速無人車系統：

港科大電子及計算機工程學系助理教授劉明率領團隊研發了香港首部擁有多項創新功能的無人車。他們開發了一個先進無人車綜合系統，當中包含感測器系統、動態建模系統及面向終端應用的人機介面。此外，他們還研發了基於雲端的控制台，能統一全天候監控無人車的動態性能，包括車輛行駛狀態、環境信息到電線驅動的轉向、加速及制動信號等等。

劉明博士目前擔任香港科技大學機器人學院機器人與多感知實驗室（RAM-LAB）主任，他本科畢業於同濟大學，於 2013 年獲得瑞士蘇黎世聯邦理工學院（ETH）機器人學博士，由於出色的科研成果，他在博士畢業前即加入香港科技大學任教。

在他的帶領下，實驗室快速擴張，目前，實驗室中除了他的研究生和博士生，還有許多來自 ETH、清華等高校的實習生。通過多年的積累，在香港、深圳兩地已經形成幾十人規模的科研團隊。近年來團隊獲得了包括 IEEE-IROS 大會最佳 Robocup 論文獎，IEEE-CYBER 大會最佳論文獎，IEEE-ICIA 會議 Automation 最佳論文獎，IEEE-MFI、IEEE-ICAR 最佳學生論文獎等 10 余項國際獎勵。

圖：香港科技大學機器人學院機器人與多感知實驗室（RAM-LAB）團隊

在社會工作上，劉明博士歷任 2016 年 IEEE 實時系統機器人大會主席，2017 年國際計算機視覺系統大會主席，2017 年機器人產業聯盟大會組委會主席。在科研與產業上，他集機械、電子、計算機、演算法及系統工程多方面背景於一身，擁有充分的第一手技術能力與經驗。

圖：香港科技大學電子及計算機工程學系助理教授劉明

務實、謙遜是雷鋒網 AI 科技評論對這名 33 歲年輕教授的第一印象。

談到去年研製的無人車，劉明博士對雷鋒網 AI 科技評論說道，他從大學高年級就跟隨萬鋼教授進行汽車動力控制方面的研究，本科畢業之後在德國西門子從事與汽車相關的項目，博士階段進行移動機器人的研究。一步步走來，基於在汽車與機器人兩方面的積累，恰逢港香港科大提供校級發展資金支持，他就想可以藉機系統地、一體化地實現無人車系統，尤其針對低速載人載物場景。

這一問題的解決並非易事，劉明博士對雷鋒網 AI 科技評論表示，這一系統面向的是低速混雜場景，環境中包含多種未知因素。

他們團隊提供的是整體化設計方案，這不同於大多數團隊想法。劉明博士解釋道，「有些人做這樣一個無人車系統，可能主要偏重演算法和方案；有些人會從車本體的角度，比如動力系統、機械結構等考慮；還有些人會從通訊的角度來看。我們是從一體化的角度，不只是展現單一的技術，從車的底層結構，到電氣、電子硬體部分，再到演算法設計，我們都擁有自主產權，並進行了長時間的穩定性測試。」

他進一步對雷鋒網 AI 科技評論說道，這一系統有兩個突破點，一是將底層硬底平台和上層軟體平台完美結合，二是在控制系統和感知系統上的獨特演算法。「一切的目標就在於如何以一個穩定的平台進行產業落地，並擲地有聲。」在演算法方面，他們一方面運用傳統的幾何方面的感知演算法，比如 ICP、SLAM、RRT 等常規演算法，另一方面，通過機器學習與深度學習演算法，基於數據驅動進行決策與控制，應對複雜場景。

他表示，這些新的演算法的融合極具創新性，對工程實現能力也提出了很高的要求，大家也是摸著石頭過河。

深度學習為機器人研究注入新能量

在香港科技大學劉明博士的主頁上可以看到，他的研究涉及移動機器人、製圖和導航、深度學習、深度強化學習等多個領域，他對雷鋒網 AI 科技評論表示，目前他的研究以移動機器人為主，由他擔任主任的 RAM-LAB 實驗室的研究分為三個大的方向：

一是導航，包括地圖、避障、定位路徑規劃等技術；

二是學習，包括深度學習、深度強化學習、傳統的機器學習，此外，還有對識別問題、數據擬合問題以及激光點雲、多感測器融合等的研究；

三是應用，例如一些大範圍低成本室內外定位與導航的應用、可見光定位系統、無人船、無人車平台等。

目前，他們比較前沿的研究是機器學習與機器人技術的深度結合，其中包括深度學習、深度強化學習、遷移學習等。他表示，將深度學習融入機器人領域也是最近幾年才興起，他們早在 2015 年即用深度學習解決實際平台的避障與路徑規劃問題，在低速室內外服務機器人、掃地機器人等場景中具有廣泛的應用潛力。

圖： RAM-LAB 實驗室自研無人車之一

圖： RAM-LAB 實驗室無人船平台

他對雷鋒網 AI 科技評論說道，相較傳統偏幾何的感知與學習方法，比如貝葉斯優化，機器學習存在諸多優勢。

「傳統方法的特點是效果的上下限已經基本確定，而利用機器學習方法，可以通過大量有效數據的加持，一直刷新性能的上限，出現令人驚奇的結果。」

不過劉明博士坦言，深度學習與遷移學習在機器人學術圈裡目前還處於摸索階段。「傳統方法雖然存在局限性，但它的運作機理很清楚，結果比較穩定。利用機器學習雖然會取得比較好的結果，但它具有動態性，一旦訓練數據特別差，結果也會非常差。其上下限都是不確定的。它更像一個黑盒子，背後的機理、訓練過程還不明確。現在大家希望解析每一層的網路特徵，慢慢將它變成灰盒子，最終期望能向白盒子過渡。」

現在，他們也在嘗試將傳統方法與深度學習方法結合，他表示，大家對神經網路提出了新要求，比如能不能用小數據量來進行訓練，能不能進行不同問題及不同場景的遷移學習，如何證明系統的穩定性，如何將演算法快速落地到應用，而為了更好地解決這些新的問題，單靠深度學習的既有網型不行，需要引入傳統方法進行有效補充。

基於之前的 Virtual-to-real Deep Reinforcement Learning: Continuous Control of Mobile Robots for Mapless Navigation 初步研究成果，四月初，他們團隊投稿一篇最新論文——Curiosity-driven Exploration for Mapless Navigation with Deep Reinforcement Learning，這一工作中重要的一點就是通過深度神經網路描述空間關係，實現從無記憶到有記憶智能體的進化。在這裡，建圖、定位、探索的過程都是由深度神經網路一體化解決。

「相關的一些結構化信息實際上可以通過深度網路，或者是通過網路結構里某些特徵的組合去進行描述。基於這樣一個前提，我們希望這一演算法不僅僅能解決導航問題，還能同時解決探索問題，更根本的是解決記憶和知識表達、存取與轉移的問題。」

他表示這一演算法極具價值。「如果機器人具備探索能力，就可以自動掃描，不斷學習，慢慢知道空間的描述，不需要人為去做太多分割，從而真正產生『智能』，而不僅僅是『學習』。」

對於這一演算法的落地，他也非常樂觀。「從實際應用的角度來看，會非常快。我們的強項是做系統，這裡的深度學習方法只是研究中的一個點。ETH 的傳統就是，做事先從系統、數據入手。我想在最開始研究的時候，就需要去想未來的應用前景。我們最終還是希望自己研究的演算法能應用於實際，最大化地滿足產業需求。」

嚴謹務實的研究觀，創業的堅定實踐者

劉明博士表示，ETH 是一家非常注重實用的機構，整體風格非常務實，它成功的基石建立在其實際科研產出對工業界的影響力之上。在 ETH 的博士研究經歷，加深了劉明博士對實際落地的考量。

目前，他所帶領的 RAM-LAB 實驗室也是秉承這一觀點，做研究時會先考慮是否能落地。劉明博士表示，在同濟求學期間，電信學院與汽車學院的研究即注重實際效能和工程化實現，他參與的我國第一代新能源汽車的研發充分體現了「嚴謹求實，團結創新」的同濟校訓。在 ETH Roland Siegwart 教授門下的幾年學習，更加強化了他的務實思想——應該怎麼做，才能對工業界帶來促進作用。

「做事情，首先是嚴謹，然後求實，要有實際產出和應用。如果選擇做實際系統，必然面臨的是發表論文的進程會受到影響，雖然發表論文相對比較慢，但做出來的研究會產生更深遠的影響。」他如是說道。

除了務實觀，在 ETH 期間，劉明博士的導師 Roland Siegwart 教授也在其他方面給他帶來諸多指導。Roland 是全球最有影響力的機器人科學家之一，也是很多科學院的院士，發表論文累計引用次數超過 30000 次，h 指數為 85。劉明博士對雷鋒網 AI 科技評論說道，Roland 在機器人行業非常有影響力，做的工作非常前沿，同時他也是一個非常有領導力的行業領袖，執行力非常強，管理能力一流，也非常和善，願意盡最大可能去幫助他人。Roland 的很多觀念也一直影響著他，比如招生時秉承只收「能把問題搞得定」的人。

除了一直進行務實的學術研究，還有一個想法一直穿插在劉明博士的科研與實踐過程中，那就是創業。

早在 1999 年讀高中時，劉明博士就在校報上發表了一篇關於暢想未來世界的文章，他在文章中對物聯網的應用場景進行了暢想，比如遠程交流、智能家居等，當時，創業的種子已經在他心中萌芽。

讀研期間，他與朋友合作，創辦自動化設備公司，目前公司也仍然發展迅猛。在瑞士就讀博士期間，他於 2012、2013 年連續兩年獲得春暉杯創業獎，2013 年回香港之後，他參與成立了一家專註於物聯網的公司。「像遠程智能家居，工業自動化，目前都已經有了落地和實現。這相當於圓了高中時的夢。」

他表示，創業至關重要，是改變世界的最直接的方式，通過創業，可以堅實自己的研究基礎，讓科研成為有根之木、有源之水。將科研應用到產業的實際需求上，切實將兩者融合，才能進一步借力政府、資本等更廣泛的資源，定義重大的的科研與產業的出口方向。

雷鋒網 AI 科技評論非常好奇為何劉明博士沒有全職跳出科研而投入創業，他說道，

創業公司需要的技能是多方面的，而一個人的精力有限，如何把精力分配做到兼顧且專註，本身需要長期學習和自我修鍊。

很多港科大的教授在這方面非常成功，我在怎麼創業這件事情上也會進一步學習前輩的經驗。但現今已經過了創業單打獨鬥的時代，想要真正產生影響，需要很多方面共同努力與資源整合。

我們把科研與技術結合，也有一些產出，比如低速無人車、無人船的自動控制系統、智能輪椅的控制系統、家用服務機器人、工業視覺檢測等等。假設將這些產品進一步包裝和市場化，是可以短期內即推出成為產品的。但是我們極力避免馬馬虎虎完成多件事情，把攤子鋪得特別大隻見廣度不見深度。

我們更希望能在更集中的技術點上做得足夠深入，如果將過去 10 多年的科研與技術積累像放大鏡聚焦太陽光一樣聚焦起來，在一個點上集中爆發，其產出將是驚人的，會極大地滿足目前的產業需求，甚至有可能重塑一個行業。

而他也表示，馬上將會有成果展示：「我們已經在醞釀一些事情，也取得了階段性的成果，目前受限於一些條件並沒有做太多宣傳。很多了解我們的人都評價我們是一支充滿『一級既戰力』的神秘團隊，團隊成員中也包括了多名信息學競賽金牌選手和多名畢業於名校的牛人，每日無休工作到凌晨。我由衷的感激和認可團隊每一個人的參與、付出和努力。現在先賣個關子，結果將以怎樣的形式呈現在大家面前，相信很快就能看到。」

第三屆 CCF-GAIR 全球人工智慧與機器人峰會將於 6 月 29 日-7 月 1 日席捲鵬城，屆時將會有 1 個主論壇和 11 個分論壇（仿生機器人分論壇，機器人行業應用分論壇，CV 分論壇，智能安全分論壇，金融科技分論壇，自動駕駛分論壇，NLP 分論壇，AI+ 分論壇，AI 晶元分論壇，IoT 分論壇，投資人分論壇），意欲從產學研多個維度，呈現出更富前瞻性與落地性的會議內容。

劉明博士擔任大會 CV 分論壇主席，歡迎來到此次大會，與他進行現場交流。目前早鳥票正在火熱銷售中，詳情可訪問大會官網了解。

官網：https://gair.leiphone.com/gair/2018yr

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！