Facebook用逼真物理建模構建智能具身化AI、AR

查看引用和消息源請點擊：映維網

釋放AR眼鏡的潛力，並幫助人們更好地理解周遭的世界，同時以強大的新方式幫助人類進行溝通和協作。

（映維網 2019年06月15日）當AI機器人穿過房間時，它會經過兩個沙發，一張咖啡桌和數張棕褐色椅子。在地毯打轉一番後，它朝研究人員所要求的鑰匙徑直走去。

但這實際上是Replica項目的一次數字模擬。對於這項研究，Facebook Reality Labs（FRL）針對18個樣本空間創建了照片級真實感的副本，如辦公室和雙層房屋。

為了幫助AI研究人員向機器提供真實物理世界的感知，FRL開發了所述的虛擬空間 ，而這是開發出更強大的現實助手，以及下一代增強現實和虛擬現實體驗的重要一步。Facebook的想法是，如果研究人員能夠訓練人工智慧系統在一個逼真的數字客廳中定位一組虛擬鑰匙，機器人最終將能夠在真實房間中定位真實的鑰匙。如果AR/VR應用程序可以學習如何與不同的物理環境進行交互，未來我們將能夠通過照片級真實的數字化身來參加遠方親人的生日聚會。

研究人員相信，如果模擬環境能夠捕捉到細微的細節（如鏡面反射和地毯紋理），他們將能最大化訓練效果。這正式FRL開展Replica項目的原因。

這個視頻顯示了Replica模擬與真實世界空間（左邊是真實世界；右邊是數字副本）

「Relica數據集為真實空間的三維重建真實性和質量設定了新標準。」FRL科學家朱利安·斯特拉布（Julian Straub）如是說道。斯特拉布曾在德國研讀了電子工程學，並在麻省理工學院獲得了計算機科學博士學位，然後加入FRL並專攻機器感知。首席科學家邁克爾·亞伯拉什則指出，FRL的使命是開發幫助AR和VR成為下一個計算平台所需的技術。諸如Replica這樣的項目將在實現這一願景的過程中發揮重要作用。

這是FRL創建的一個數字Replica環境

Replica精確性和保真度得益於精心設計的攝像裝置，深度捕獲系統，SLAM系統，以及密集重建系統的有機組合。利用以紅外線投射到場景中的點，FRL的高精度深度捕獲系統能夠捕獲桌子和椅子等大型物體和遙控器等小型物體的精確形狀。

定製的SLAM和密集重建系統可以將攝像裝置捕獲的原始視頻流轉換為真實空間的副本，而即使是最為細心的用戶都難以區分真假。（更多細節請參閱Replica數據集白皮書，以及團隊於2018 SIGGRAPH大會的演講介紹 ）。

研究人員在陌生的Relica環境生成了一個虛擬機器人。位置隨機（藍點），然後它將要導航到目的地（紅點）。研究人員向機器人給出相對於其起始位置的指令，例如「向北10米和向西15米」 ，但不提供地圖。機器人必須僅利用感官輸入（常規RGB攝像頭，某些情況包括深度攝像頭）來完成目標。

1. 一小時內練習數百萬次任務

Replica可以載入到AI Habitat。AI Habitat由Facebook AI開發，是一個用於具現AI研究的全新開源平台，同時旨在成為研究人員在模擬空間中訓練和測試AI機器人的最強大和最靈活方式。AI Habitat允許研究人員將機器人置放於Replica環境中，並學習如何處理不同的任務，比方說「看看我的筆記本電腦是否放在廚房的桌面上」。這種任務對於人類來說非常簡單，但機器人則不然，因為它們必須識別對象，理解語言，並有效地進行導航。今天的機器人（如智能掃地機）可以響應命令，但無法像人類那樣理解和適應周圍的世界。AI Habitat可以幫助研究人員開發能夠理解物理世界的機器人。但它同時是創造下一代AR體驗的重要研究工具。如果我們能夠訓練AI系統理解你周圍的物理空間，未來有一天我們或許可以將它融入至AR眼鏡。例如，它可以將你奶奶的數字副本逼真地置放於沙發之上，或者當你走過餐館或商店時顯示相關的用戶評價。

Replica提供了逼真的3D數據，而AI Habitat則為模擬提供了速度和靈活度。儘管其他模擬引擎通常能夠以每秒50幀到100幀的速度運行，但AI Habitat的運行速度超過每秒10000幀（單個GPU的多進程）。這使得研究人員能夠更加快速地測試機器人。如果說另一個模擬器需要運行數個月的時間，Habitat只需數小時即可完成。Facebook AI研究實習生、喬治亞理工學院博士後埃里克·韋傑曼斯（Erik Wijmans），以及AI Resident巴瓦納·傑恩（Bhavana Jain）利用這個系統來進行最先進的研究，用超過10億幀的體驗來訓練機器人。虛擬機器人同時可以不斷犯錯，但無需擔心損壞的風險，如撞牆摔倒等等。

Facebook現在已經開源了AI Habitat並發布Replica數據集，所以社區中的任何人都能夠以其作為基礎進行探索，嘗試新方法，比較結果並從其他人的研究中學習。（關於Habitat的技術細節請訪問這個頁面，Replica環境則託管至GitHub。）。Facebook表示，不同企業和組織的研究人員之間的信息公開共享是自然語言理解，計算機視覺等人工智慧技術進步的關鍵，而Facebook AI和FRL相信這對AI Habitat和Replica而言同樣如此。

為了建立可供所述領域中的所有人使用的性能基準，Facebook AI最近組織了一次Habitat Challenge挑戰賽，邀請來自AI社區的工程師和研究人員為機器人完成特定導航任務尋找最佳的方式。

Replica數據集數能夠識別並標記在虛擬空間中確定的對象，為不同類別的對象分配不同的顏色，如「椅子」或「牆壁」。AI研究人員可以利用這種「語義分段」數據來開發出更智能的系統。

觀看視頻請閱讀原文或訪問以下地址：

https://v.qq.com/x/page/y0884u71bks.html

Habitat團隊負責人、Facebook人工智慧研究科學家兼喬治亞理工學院教授領杜魯弗·巴特拉（Dhruv Batra）認為，這種技術有朝一日可以幫助機器人學會如何智能地適應現實世界，不再僅僅局限於我們的智能手機或筆記本電腦。他與同事將其描述為從「互聯網人工智慧」變成「具身化人工智慧」。這意味著在訓練機器不僅要利用靜態數據集（如汽車照片），同時需要採用互動式環境（如充滿模擬汽車的模擬停車場）。巴特拉和眾多AI研究人員都認為，這種互動式對於構建能夠在物理世界和數字世界中幫助我們的全新智能工具浪潮而言非常有必要。

2. 打造能夠創建「社交臨場感」的工具

利用AI Habitat等開放式平台模擬來訓練系統，研究人員可以在具身化人工智慧技術方面取得進展。例如，巴特拉認為未來的工具可以幫助視障人士更好地導航周遭環境。

FRL研發總監理查德·紐科姆（Richard Newcombe）指出，其中一個令人興奮不已的應用是將「社交臨場感」帶到物理世界。今天的虛擬現實能夠允許用戶與數百公里之外的朋友共享虛擬空間。紐科姆正致力於通過通過AR眼鏡為體驗帶來進一步的逼真感，並在日常生活中實現社交臨場感。有了這項技術，朋友和家人在未來將能以萊雅公主般的逼真全息圖出現在你身邊。為了創造這種社交臨場感，AI系統需要支持數字化身自然而逼真地來與物理空間進行交互，或者能夠將你傳送至一個仿如真實的模擬環境。

紐科姆解釋說：「就像FRL在研究虛擬人類時所實現的人類臨場感捕獲與傳輸一樣，我們的重建研究能夠實現彷彿置身於一個地方的感覺，如辦公室，家裡，商店，博物館或咖啡店。」這位Facebook的研究人員熱衷於開發能夠感知和理解世界情景的技術。他16歲就開始涉足這個領域，並在埃塞克斯大學攻讀機器人，計算機視覺和機器學習，並於倫敦帝國理工學院獲得了博士學位。他於四年前加入Facebook，然後開始領先致力於實現AI和XR應用程序機器感知未來的研究和孵化團隊。Replica的面世是實現這一目標的重要一步。

觀看視頻請閱讀原文或訪問以下地址：

https://v.qq.com/x/page/d0884xz3g12.html

3. 一種負責任的開源方式

打造諸如社交臨場感之類的體驗將需要硬體方面的突破，以及Replica和AI Habitat等訓練資源的持續進步。但紐科姆指出，這同時存在重要的隱私和安全考量。

他指出：「我們必須孜孜不倦的地生成重建，場景理解，以及AI推理系統。」。研究人員和工程師，以及外部專家和公眾需要通過合作來解決變革性技術對社會和個人的影響。要做到這一點，企業必須保持公開透明的態度，並分享最新的進展。在F8大會，Facebook介紹了最近關於道德設計和解決偏見的研究，而這對於AR體驗和具身化AI的研究進展非常重要。

對於Replica掃描，研究人員將匿名數據，刪除可識別個人的任何詳細信息（例如家庭照片）。在構建這種3D重建技術時，FRL研究人員同時需要確保這是一個強大的安全系統。例如，數據安全地存儲在伺服器中，而且只有有限數量的研究人員能夠訪問。另外，團隊定期與隱私，安全和系統方面的專家進行聯合審查，從而確保他們遵循相關安全協議並實施最新和最嚴格的保障措施。只有在完成所述步驟後，他們才會向更廣泛的研究社區提供掃描數據。

在AR社交臨場感和高級AI助手等技術成為現實之前，我們需要更多的技術突破。例如，Facebook AI研究人員正在探索通過AI Habitat構建逼真物理建模的方法，從而幫助AI機器人理解當它碰到虛擬桌面上的虛擬玻璃杯時會發生什麼情況。隨著這個項目的開展，Replica和AI Habitat的研究人員相信它們將在Facebook的未來中發揮重要作用。通過實現下一代具身化AI，這種技術將能釋放AR眼鏡的潛力，並幫助人們更好地理解周遭的世界，同時以強大的新方式幫助人類進行溝通和協作。

紐科姆最後說道：「通過將AR眼鏡作為一個平台，社交臨場和AI助手將能幫助你實現最高的效率，並為你呈現你所希望看到的世界。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！