研究人員教人工智慧連接視覺和觸覺等感官 | 矽谷洞察

更多精彩，敬請關注矽谷洞察官方網站（http://www.svinsight.com）

在加拿大作家Margaret Atwood的著作《盲人刺客》中,她說「觸覺先於視覺，也先於語言。它是第一語言,也是最後一種語言,而且它總是講真話。」

打開今日頭條，查看更多圖片

當我們的觸覺給我們一個感知物質世界的通道時，我們的眼睛幫助我們立即理解這些觸覺信號的全貌。

經過編程能夠看到或感覺到這些信號的機器人無法交替使用這些信號。為了更好地彌補這一感官差距，麻省理工學院計算機科學與人工智慧實驗室(CSAIL)的研究人員提出了一種預測性人工智慧(AI)，它可以通過觸覺來學習視覺，通過視覺來學習觸覺。

該團隊的系統可以從視覺輸入中創建真實的觸覺信號,並從這些觸覺輸入中預測哪些對象和部件被直接觸摸。他們使用了一個帶有一種特殊觸覺感測器的庫卡機器人手臂,名為GelSight,由麻省理工學院的另一個小組設計。

使用一個簡單的網路攝像頭，該團隊記錄了近 200 件物品,如工具、家居用品、織物等,它們被觸摸了12,000 多次。該團隊將這些 12,000 個視頻剪輯分解成靜態幀,編製成"VisGel",一個由300多萬個視覺/觸覺配對圖像組成的數據集。

「通過觀察現場，我們的模型可以想像觸摸一個平面或鋒利邊緣的感覺，」CSAIL的博士生、一篇關於該系統的新論文的第一作者LiYunzhu說。「通過盲目的觸摸，我們的模型可以完全從觸覺來預測與環境的互動。把這兩種感覺結合起來，可以增強機器人的能力，並減少操作和抓取物體時需要的數據。」

最近的工作是為機器人配備更像人類的物理感官，例如麻省理工學院(MIT) 2016年的項目，該項目使用深度學習在視覺上指示聲音，或者使用一個模型來預測物體對物理力的反應，兩者都使用了大型數據集，而這些數據集無法理解視覺和觸覺之間的互動。

該團隊通過使用VisGel數據集和生成對抗網路(GANs)的技術來解決這個問題。

GANs使用視覺或觸覺圖像生成其他形式的圖像。他們通過使用相互競爭的「生成器」和「鑒別器」來工作，生成器的目標是創建真實的圖像來欺騙鑒別器。每當識別器「捕獲」生成器時，它必須公開決策的內部推理，從而使生成器不斷改進自己。

視覺到觸覺

人類可以通過看到物體來推斷物體的感覺。為了更好地賦予機器這種能力,系統首先必須確定觸摸的位置,然後推斷出有關該區域地形狀和感覺信息。

參考圖像——沒有任何機器人和物體的交互——幫助系統對物體和環境的詳細信息進行編碼。然後,當機器人手臂工作時,模型只需將當前幀與其參考圖像進行比較,即可輕鬆識別觸摸的位置和尺度。

這看起來有點像給系統輸入一個電腦滑鼠的圖像，然後「看到」模型預測對象應該被觸摸的區域——這可以極大地幫助機器計劃更安全和更高效地操作。

觸覺到視覺

對於觸覺到視覺，模型的目標是基於觸覺數據生成視覺圖像。該模型對一個觸覺圖像進行分析，計算出接觸位置的形狀和材料。然後再回顧參考圖像，以產生「幻覺」的互動。

例如，如果在測試過程中給模型輸入鞋子的觸覺數據，它就可以生成鞋子最可能被觸碰的位置的圖像。

這種能力有助於在沒有視覺數據的情況下完成任務，例如當燈熄滅時，或者當一個人在黑暗中進入一個包廂或未知區域時。

展望未來

當前數據集僅具有受控環境的交互示例。該團隊希望通過在更多非結構化區域收集數據，或者使用麻省理工學院設計的新型觸覺手套來改進這一點，以更好地提高數據集的規模和多樣性。

還有一些細節是很難從切換模式中推斷出來的，比如只需通過觸摸就能知道一個物體的顏色，或者不用實際按壓就能知道沙發有多柔軟。研究人員表示，通過為不確定性建立更強大的數據模型，擴大可能結果的分布，可以改善這一狀況。

在未來，這種類型的模型可以幫助視覺和機器人之間建立更加和諧的關係，特別是在物體識別、把握、更好地場景理解，以及在輔助或製造環境中實現無縫人機一體化。

加州大學伯克利分校的博士後Andrew Owens說:「這是第一種能夠令人信服地在視覺和觸覺信號之間進行轉換的方法。」「像這樣的方法有可能對機器人非常有用，你需要回答這樣的問題，『這個物體是硬的還是軟的?』」或者「如果我提起這個杯子的把手，我需要怎樣的握力?」這是一個非常具有挑戰性的問題，因為信號是如此不同，而這個模型已經顯示出了它的強大能力。」

LiYunzhu與麻省理工學院教授Russ Tedrake、Antonio Torralba以及麻省理工學院博士後ZhuJunyan共同撰寫了這篇論文。它將於下周在加利福尼亞長灘舉行的計算機視覺和模式識別會議上展出。

原文作者：Rachel Gordon

原文鏈接：https://www.csail.mit.edu/news/teaching-artificial-intelligence-connect-senses-vision-and-touch

更多精彩，敬請關注矽谷洞察官方網站（http://www.svinsight.com）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！