哈工大朱曉蕊教授：具有社會屬性的智能移動機器人

雷鋒網 AI 科技評論按：7 月 12 日-7 月 14 日，2019 第四屆全球人工智慧與機器人峰會（CCF-GAIR 2019）於深圳正式召開。峰會由中國計算機學會（CCF）主辦，雷鋒網、香港中文大學（深圳）承辦，深圳市人工智慧與機器人研究院協辦，得到了深圳市政府的大力指導，是國內人工智慧和機器人學術界、工業界及投資界三大領域的頂級交流博覽盛會，旨在打造國內人工智慧領域極具實力的跨界交流合作平台。

7 月 13 日，哈爾濱工業大學（深圳）教授、IEEE RAS國際事務委員會主席朱曉蕊教授為「機器人前沿專場」帶來了《具有社會屬性的智能移動機器人》的大會報告。以下為朱曉蕊教授所做的大會報告全文，感謝朱曉蕊教授的修改與確認。

我今天想跟大家探討一下智能機器人未來的趨勢，也就是具有社會屬性的智能移動機器人，我把它叫做「Learning from Social Behaviors」。

一、具有社會屬性的智能系統

我先從具有社會屬性的智能系統開始講起。隨著智能系統的感知能力和行動能力日益增強，人與智能系統日益融合，出現了人機共融環境，在這種人機共融的環境中，自然而然就發展出了具有社會屬性的智能系統。這種智能系統既然有社會屬性，就意味著它要具備可以進化的能力，所以我大概從以下兩個方面講一講這個系統的可進化性。

一個方面是智能系統必須要具備可以內部進化的能力。系統如果要進行內部進化，通過一個單一的計算平台是不可能實現的，所以需要實現不同平台之間的交互，比如說機器人端和雲端的計算平台之間的交互，也就是「雲機器人」的概念。

另一個方面是智能系統要具備外部進化的能力。比如說通過人與機器人之間的交互來讓智能系統擁有外部可進化性的能力，這也就是我們講的「社交機器人」的概念。

下面我分別就這兩個方面講講我們團隊在過去大概六七年間做的一些探索。

二、面向長期自主定位的雲移動機器人

首先我們提出了面向長期自主定位的雲移動機器人。在講這一點之前，我們先來回顧一下目前移動機器人或者服務機器人在應用上存在的問題：工作範圍受限、業務覆蓋受限、提供服務受限以及運維成本高。

這些問題看上去是應用層面的問題，然而具體到技術層面，實際上是關鍵的技術（長期自主的移動或長期自主和大面積覆蓋的移動）並沒有得到很好的突破的問題。

而這項關鍵技術也存在以下三大主要挑戰：

第一個挑戰是，我們需要覆蓋大面積的區域，這樣我們就需要大量的數據來描述不同的環境；

第二個挑戰是，我們還需要讓移動機器人適應動態場景，比如說檢測和跟蹤靜態或動態的物體、學習更多的知識來預測環境變化；

第三個挑戰是，由於移動機器人需要長時間運行，隨著時間增長，它要求的數據存儲量也越來越多。

這樣的話，我們就需要讓機器人擁有更多的存儲空間和更強的運算能力，如果只是靠它們的單機本體其實是很難實現的。

這裡面就提到了「雲機器人」的概念，它就是利用了機器人端的運算以及雲端的運算來進行機器人技術研究。總體而言，雲機器人有幾個優點，包括：

第一，它可以利用雲機器人的框架彈性分配計算資源，這樣就可以實現在複雜環境中的同時定位與製圖；

第二，它可以在這個框架下訪問大量的資料庫，比如說我們在做識別和抓取物體的時候，需要用很多的資料庫來進行比對，另外比如說我們做基於外包地圖的長期定位，也需要訪問大量的地圖的資料庫；

第三，這種機器人可以形成知識共享，也就是多機器人系統間的信息共享。也就意味著這些多機器人之間可以根據情況配備不同的裝備，同時它們之間可以在雲端形成一些知識共享。

具體有一個例子，就是我們自己提的面向長期實時定位的雲移動機器人。上面是我們的一個系統框架，我們主要是做了哪些事情呢？

首先，我們充分利用雲端的無線存儲空間和豐富的資料庫資源，來降低對機載感測器的要求，設計分散式演算法，尋求雲端的強大計算能力和機器人實時要求之間的平衡；

其次，我們還要補償由於網路不穩定引起的斷網問題，以及由於雲端和機器人端數據的頻繁交互引起的網路延遲。

具體的內容我就不詳細講了，我們有一篇關於這方面的論文，大家感興趣可以下載下來看一下：

Xiaorui Zhu* et al, Cloud-based Real-time Outsourcing Localization for a Ground Mobile Robot in Large-scale Outdoor Environments, Journal of Field Robotics, 2017, 34(7)

我們在做這個雲移動機器人的時候，做了一個實際的環境測試，這個測試環境是圍繞著深圳西麗片區的一條大概 13.1 公里長的道路，覆蓋了 2.5×6.7 平方公里的面積，包含了幾乎所有種類的路面：城市快道、主要交通幹道、次要交通幹道、服務性道路、城市峽谷、隧道等等幾乎沒有 GPS 信號的地方。我們最終的實時定位的結果可以看到，從開始到最後 13 公里長的道路的平均定位誤差是在厘米級的。

其實我們進行這項研究的時間是 2012 年到 2016 年，當時用的通訊方式是 4G 網路。那個時候，我們覺得這個想法不錯，Demo 也可以做出來，但是離實際的應用感覺還差很遠，而這裡面有一個很關鍵的環節，就是我們的通訊方式。

隨著 5G 時代的到來，我們能夠使用高帶寬、低延時、高並發的通訊網路，這樣雲、網、端三位一體的雲機器人才可能真正得到大規模的應用，從而讓移動機器人能夠擴展環境覆蓋面積、提升業務覆蓋能力、增強場景覆蓋力、降低運維成本。這樣整個服務機器人的商業化進程才會真正進入到一個新的時代。

下一個部分我要講的就是我剛才提到的人與機器人的交互問題，對此我們提出了具有學習行人行為能力的社交移動機器人，即「Social Mobile Robotics」。

三、具有學習行人行為能力的社交移動機器人

我們知道使用傳統方法研究的機器人是將環境中的人當做障礙物的，這樣就產生了一個問題：導致整個系統的移動效率低，甚至在人群密集的環境中很有可能是失效的。

因而我們提出一種新型智能移動機器人，其在未知的環境中具有學習行人行為模式的能力，這樣就可以增強移動機器人的智能理解和智能決策的能力。這個能力對於人來說是很簡單的，但是為了讓機器人從技術上實現這種能力，我們做了三個方面的工作：第一是未知環境可通行域感知，第二是半稠密環境語義地圖製作，第三是人機共融動態環境下同時定位與地圖更新。

我們這個系統主要有兩個貢獻：首先是提出了一種基於行人行為學習的機器人可通行區域製圖演算法，也就是「Learning from Social Behaviors（LSB）」；其次是我們提出了一種適應人機共融動態場景下的機器人同時定位與地圖構建的方法（DM-LSAM）。二者其中的焦點就在於如何在動態環境適應能力、定位精度與魯棒性這幾個因素之間尋求平衡。關於這一點，我們也發表了一些文章：

Deng F., Zhu, X.*, et al, Vision-Based Real-Time Traversable Region Detection for Mobile Robot in the Outdoors, SENSORS, 2017.9，17(9)

邢志偉，朱曉蕊*，何超，基於行人行為學習的機器人同時定位與可通行區域製圖，機械工程學報，2019

首先講一下未知環境可通行域製圖。

我們基於機器人實時看到的圖象幀，然後快速進行了一次行人檢測，如果發現這個場景裡面並沒有人，就採用基於消失點的道路檢測；如果是有人的話，就可以基於行人來進行學習，然後進行道路檢測。

上圖是我們做的一個基於消失點的非結構化道路檢測演算法，這是一個圖例，（a）是機器人當前看到的一幅圖象，然後到（f）是我們通過演算法確定的它在非結構化道路上的可通行區域。

這裡對我們的演算法和傳統的基於像素和基於邊界的方法進行了比較，發現我們的演算法在這種非結構化環境下的檢測效果，比傳統方法要好很多。

這是我們對實際環境做的一個測試。（a）是機器人實時在跑，後面幾張圖是幾個不同幀，我們對每一幀都有一個可通行區域的檢測結果。

那在機器人看到的圖象裡面有行人存在的情況下，我們如何進行非結構化道路的檢測呢？這裡面我們有一個基本假設，即行人能通過的位置也就是機器人可通行的區域，所以這裡我們也是從圖象出發，經過幾個步驟最終可以檢測到這個可通行區域。

這是我們針對不同圖片的場景來進行可通行區域感知的結果。有了可通行區域信息之後，下一步我們要建一個半稠密的語義地圖。我們進行半稠密語義地圖製作的路徑，同樣也是從圖象出發，一方面結合圖片中行人的位置，另一方面也結合我們剛才自動檢測出的可通行區域的信息。

這是用我們的演算法在 KITTI 數據集上的一個序列上做的語義地圖製作的效果，紅色的區域就是可通行區域，藍色的點是機器人當前的位置，灰色的部分是環境特徵。

我們在數據集上做了一個測試，同時進行了實際環境的一段半稠密語義地圖的製作。這裡我們重點與目前效果最好的 ORB-LSAM 在魯棒性方面的表現進行了比較，結果表明，我們的演算法在動態適應性方面提高了很多。

有了半稠密語義地圖之後，我們就會進行人機共融動態環境下機器人同時定位與地圖更新，也就是我們剛才講的 DE-SLAM。在這裡，我們基本上只用了簡單的圖象信息和 IMU 的信息，其中最重要的一點是我們將運動目標的檢測融合在了同時定位與地圖構建的框架中。

儘管我們講的是做動態場景的演算法，但是我們不能以犧牲靜態場景的效果為前提，所以我們在做實驗的時候，同時做了動態場景和靜態場景。以下是我們在數據集上做的四組靜態場景和四組動態場景。

我們發現在靜態場景下，DE-SLAM 的均方根誤差比 ORB-SLAM 減小了將近 7%；動態場景下，DE-SLAM 的適應性也更強，平均誤差比 ORB-SLAM 減小了 60%。

這是我們做的一個實際動態場景實驗，這裡我們固定了一個 30 米的標尺作為設定的實驗環境。我們發現在動態場景下，我們的 DE-SLAM 系統定義更精確，它的平均誤差比 ORB-SLAM 減低 77.89%，因此也能得到與展示環境下更一致的地圖和軌跡。

我今天就講這麼多，謝謝大家的聆聽。雷鋒網?雷鋒網

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！