吳恩達宣布百度成立AR實驗室

機器之心報道

1月16日，百度首席科學家吳恩達宣布，百度AR實驗室正式成立。這是繼百度矽谷人工智慧實驗室、深度學習實驗室與大數據實驗室之後，百度成立的第四個人工智慧實驗室。

百度新部門是在北京市規劃展覽館舉行的「百度AR復原老北京九大城門」活動中宣布的，AR實驗室將由百度深度學習實驗室副總監吳中勤負責。相比國外的科技巨頭，百度在AR/VR領域的動作顯得相對謹慎，但對於百度而言，他們有著自己的看法。「百度的AR技術研發始於兩年前，我們看到一些公司開始研發AR/VR硬體設備，」吳恩達說道。「我們認為，把AR設備放進手機端才是將這種新技術帶進每個人手中的最好方式。但這種做法的技術門檻較高，這就是我們直到今天才正式宣布新部門成立的原因。」

高互動性的增強現實應用需要依靠強大的圖像識別技術。依靠龐大的數據支持，百度在AR技術需要的圖像識別上擁有著堅實的基礎。目前，百度的人工智慧演算法可以進行數萬種Logo、細分類商品的識別（已在手機百度上得到了應用），同時在人臉識別等領域上具有優勢。在北京九大城門實景觸發的測試中，百度應用了自主研發的SLAM（Simultaneous Localization And Mapping），這是在百度無人駕駛汽車團隊中發展起來的一項技術。SLAM技術允許計算機在未知的環境下，利用感測器（camera, laser, IMU等）信息識別設備自身姿態（包括位置和朝向），同時建立周圍環境的地圖的一種方式。目前，SLAM在機器人、無人駕駛汽車、無人機和AR設備上都有應用。百度研發的SLAM技術支持多種數據源，比如單目、雙目、RGBD等，那麼現在讓我們走進百度AR的技術基礎。

技術基礎

吳中勤向我們介紹了整個AR的技術體系，首先第一步是要去真實地感知這個世界，所以需要有各種各樣感測硬體，通過感測器的信息輸入可以更好地理解場景。另外，如果想要AR技術有三維的效果，可以從上下左右多個角度各個側面理解和觀看這樣一個真實和虛擬的融合。在三維這一塊SLAM可以更好地計算出相機在整個環境中相對的位置變化。

另外，還有非常重要的虛實融合的技術。虛實融合技術最複雜的是要計算虛擬的部分如何適配現實環境的光線。虛擬的世界怎麼樣跟現實世界做到精確的匹配和融入，還有和用戶的交互。未來可以通過語音識別+自然語言理解的技術，讓你和這個世界以最自然的方式交互。

具體來看有三大技術，從場景到三維的感知到最後的虛實結合和智能交互。

場景理解

目前主要AR技術非常依賴的也是圖像識別的技術，從圖像識別來說整個互聯網的大幾百億的一個圖片數據，而且識別的速度非常快，它能夠在非常快的速度大概小几百毫秒就可以返回在四五百億的圖片庫裡面進行快速檢索的結果。

從細分類的物體識別上來說，我們支持幾萬類品牌LOGO的識別。細分類有商品的識別，細分類還包括人臉識別、手勢識別和文字識別。另外從準確度來說，目前的系統因為合作的庫還不是特別大，所以能很輕鬆地做到99%以上的準確率，我們圖片識別在國際上的很多評測都是世界第一的成績。

接下來的SLAM技術，這一套技術的特點不但是利用了簡單的計算收集運動的信息，還可以通過攝像頭感知。我們目前用單個攝像頭可以通過視覺攝像頭的辦法定位相機目前的姿態、相數以及相機的位移。這個可以看到城門裡面現在的一個實景，我們在跟蹤的時候，可以說各項指標都是世界領先的，我們在跟蹤速度上可以做到10毫秒級的快速跟蹤，完全可以做離線的計算，同時還有比較強的抗干擾能力，就是對畫面的遮擋，對物體部分的遮擋可以快速的響應還有快速的重定位，當攝像頭移開的時候可以計算到攝像頭重新定位的方位。

虛實融合

剛才講到聖誕小鹿的例子，上面這個例子，可以看到畫面當中的小車和光線是一個虛實結合的例子，我們跟一個你喜愛的偶像和吉祥物合影的時候都可以用這個技術做的非常逼真。真實世界和虛擬世界有完全不同的，真實世界會有各種環境的變化，今天就是下雪天，如果這個雪特別大，就會導致效果大打折扣，如何把虛實結合做的更加好需要研究的。

我們在3D渲染有獨特的技術，3D渲染目前可以做到跨平台，體量可以做到1兆左右，這樣互聯網上大部分移動APP都可以集成這樣一個SDK和AR服務。

用戶交互

另外，識別的過程當中可以有更多交互的內容，比如說語音識別。百度的語音識別非常高的景區度，達到97%，在最近的CS上發布，在不久將來大家會在AR交互裡面看到語音識別上線。另外這種交互還包括了比如說手掌的交互，手勢的識別。

技術亮點：

SLAM技術：

本次實景觸發測試中，採用了自主研發的SLAM(Simultaneous Localization And Mapping)技術。SLAM技術是機器人(計算機)在未知的環境下，利用感測器(camera, laser, IMU等)來估計自身的姿態 (包括位置和朝向)，同時建立周圍環境的地圖。SLAM在無人車、無人機和AR上都有非常重要的應用。百度研發的SLAM技術可以做到低功耗、高實時性，支持多種數據源，比如單目、雙目、RGBD等。

SLAM 與IMU技術的區別：

相較於手機端IMU(Inertial Measurement Unit)慣性測量單元誤差較大，只適合估計手機朝向，比如橫屏/豎屏，傾斜等方向，不能用來估計位置計算。SLAM不僅能估計手機三維朝向，還能估計手機的三維位置。

對於AR來講，傳統的虛實結合是在二維圖像上疊加虛擬三維物體。視覺SLAM演算法可以使得AR系統理解周圍的三維環境，從而把虛擬的物體放到合適的位置。更進一步，虛擬物體可以與現實的三維環境發生交互，產生更有趣的交互方式。

SLAM的核心有兩個部分：

第一部分是估計計算機的姿態(計算機在三維空間中的位置和朝向信息)

第二部分是建立周圍環境的三維地圖(稀疏或者稠密的三維點雲)。

對於AR廣告，SLAM可以讓廣告不再受限於預先制定好的海報、平面包裝等。例如，用戶可以在家裡打開手機百度，查看一款網上的沙發和客廳是否搭配，或者可口可樂公司做一款AR廣告，讓運動員圍繞可樂罐跑步等。

SLAM技術近期將上線到手機百度。

SLAM技術與IMU技術區別圖

UDT技術：

手機百度搜索技術與AR打通技術介紹：

通過UDT(User Defined Target)用戶自定義目標技術。傳統基於圖像跟蹤的AR技術需要預先確定一張圖片，用戶必須有一張完全相同的圖像，才能展示AR。UDT技術可以去掉這個限制，讓用戶隨手找一張有紋理的圖案即可展示AR效果（如公交卡，圖書，手心、鍵盤等）。UDT利用多線程、GPU等加速演算法，可以實時估計圖像中的複雜特徵信息，從而計算出空間三維位置。