MIT的工程師們開發了一種新的無人機虛擬現實訓練系統

麻省理工學院的工程師已經開發出了一種新的無人機虛擬現實訓練系統，該系統能夠使無人機在空中物理空間飛行時「感知」到豐富的虛擬環境。圖片來源：William Litant

訓練無人機快速飛行，即使是最簡單的障礙，也是一場容易發生碰撞的練習，如果發生碰撞事故，工程師們將非常沮喪且規地修理或更換無人機。

現在，麻省理工學院的工程師們已經開發出一種新的無人機虛擬現實訓練系統，該系統能夠使無人機在空虛的物理空間中「看到」豐富的虛擬環境。

該團隊稱之為「飛行虛擬現實眼鏡」的系統可以顯著減少無人機在實際訓練中遇到的碰撞事故的數量。它也可以作為研究人員們可能想要訓練快速飛行無人機的任何環境和條件的虛擬試驗台。

麻省理工學院航空航天學副教授Sertac Karaman說：「我們認為這對無人機技術的發展是一場改變遊戲規則的革新，因為無人機的發展速度非常快。如果有的話，該系統可以使自動駕駛汽車響應更快，速度更快，且效率更高。」

Karaman和他的同事們將在下周的IEEE機器人和自動化國際會議上詳細地介紹他們的虛擬訓練系統。該論文的共同作者包括麻省理工學院信息與決策系統實驗室的Thomas Sayre-McCord，Winter Guerra，Amado Antonini，Jasper Arneberg，Austin Brown，Guilherme Cavalheiro，Dave McCoy，Sebastian Quilter，Fabian Riether，Ezra Tal，Yunus Terzioglu和Luca Carlone ，麻省理工學院計算機科學與人工智慧實驗室的Yajun Fang和Sandia國家實驗室的Alex Gorodetsky。

不斷超越自我

Karaman最初的動機來自於一種新的極限機器人運動：競技無人機競賽-由人類運動員驅動的遙控無人機試圖通過錯綜複雜的窗戶、門和其他障礙物的迷宮來彼此競賽。卡拉曼想知道：一架經過訓練的自主式無人機是否能與那些由人控制的一樣快，甚至更快，並具有更好的精確度和控制力？

「在接下來的兩三年里，我們希望通過自動無人機進入無人駕駛賽車比賽，並擊敗最優秀的人制飛機，」 Karaman說。為此，該團隊將不得不開發一種全新的訓練方案。

目前，訓練自主式無人機是一項體力任務：研究人員們在大型封閉式測試場地中試飛無人機，在那裡他們經常掛著大網捕捉任何失敗亂竄的無人機。他們還設置了一些道具，例如門窗，無人機可以通過這些道具學習飛行。當無人機發生碰撞時，必須對其進行修理或更換，這會延誤開發並增加項目成本。

Karaman說，他說採用這種方法測試無人機對於那些非快速飛行的無人機是很適用的，例如那些緩慢飛行，用來構建周圍環境地圖的無人機。但是對於需要在飛行環境中快速處理視覺信息的快速飛行器來說，新的培訓系統是必要的。

Karaman說：「當你想要做高通量計算並發展更快時，即使你對其環境做出的最輕微的改變都會導致無人機墜毀。」 「你無法在這種環境中學習，如果你想突破飛行速度和計算速度，你需要某種虛擬現實環境。」

飛行護目鏡

該團隊的新型虛擬訓練系統包括動作捕捉系統，圖像渲染程序和電子設備，使得該團隊能夠快速處理圖像並將其傳輸至無人機上。

實際的測試空間 - 位於麻省理工學院31號大樓新型無人機測試設施中的機庫式體育館 - 內部配備了動作捕捉攝像頭，用於追蹤無人機飛行時的方位。

藉助圖像渲染系統，Karaman和他的同事們可以繪製真實的場景，比如閣樓公寓或起居室，併當它在空的設施中飛行時，將這些虛擬圖像傳送給無人機。

「無人機將在空蕩蕩的房間里飛行，但會幻化出一個完全不同的環境，並將在該環境中學習，」 Karaman解釋說。

無人機可以以大約每秒90幀的速度處理虛擬圖像 - 大約是人眼可以看到並處理圖像的速度的三倍。為了實現這一目標，該團隊定製了一個集成了強大的嵌入式超級計算機的電路板，以及一個慣性測量單元和一個相機。它們將所有這些硬體都裝入一個小型3-D印刷的尼龍和碳纖維增強的無人機框架中。

速成課程

研究人員進行了一系列的實驗，其中包括無人機學會通過大約兩倍大小的虛擬窗口飛行的實驗。窗戶置於虛擬客廳內。當無人駕駛飛機在實際的空的測試設施中飛行時，研究人員將無人機視角的客廳場景圖像傳回到車輛。當無人機飛過這個虛擬房間時，研究人員調整了導航演算法，使無人機能夠在飛行中學習。

根據該設施運動控制系統提供的定位信息，在超過10次飛行中，以每秒2.3米（每小時5英里）的速度飛行的無人機成功通過虛擬窗口飛行了361次，僅 「撞」到窗口三次。Karaman指出，即使這架無人機墜毀數千次，它也不會對開發成本或時間產生太大影響，因為它正在虛擬環境中墜毀，並且與現實世界沒有任何實際接觸。

在最後的測試中，該研究團隊在測試設施中設置了一個實際的窗口，並打開無人機的車載攝像頭，使其能夠看到並處理其實際環境。使用研究人員在虛擬系統中調整的導航演算法，無人機在八次飛行中能夠在真實窗口中飛行119次，只有六次墜毀或需要人為干預。

「它在現實中完成了同樣的事情，」 Karaman說。「這是我們在虛擬環境中通過犯錯誤，分解和學習來編寫程序，，但我們並沒有在這個過程中打破任何實際的窗口。」

他說虛擬培訓系統具有高度的可塑性。例如，研究人員可以在他們自己的場景或布局中訓練無人機，包括詳細的、由無人機繪製的實際建築複製品- 這是該團隊正在考慮與麻省理工學院的Stata中心合作的。培訓系統也可用於測試新的感測器或現有感測器的規格，以了解這些感測器如何處理快速飛行的無人機。

「我們可以在這個虛擬環境中嘗試不同的鏡頭，並說："如果你用這些鏡頭構建感測器，在這種環境下它將如何幫助無人機？」 Karaman說。

該系統還可用於訓練無人機在人周圍安全飛行。例如，Karaman設想將實際測試設備分成兩部分，一部分是飛行中的無人機，另一部分則是穿著感知運動服裝的人。無人機將在虛擬現實中「看到」人類，因為它在自己的空間飛行。如果它撞到人身上，結果是虛擬的，並且是無害的。

「有一天，當你真的有信心時，你可以在現實中做到這一點，並且以安全的方式讓無人駕駛飛機在人的周圍飛行，」 Karaman說。「在整個虛擬現實中，你可以做很多令人撓心的實驗，隨著時間的推移，我們將展示你可以做的所有事情。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！