MIT非視線成像「透視相機」：隔牆觀物、影中窺人！

新聞 09-05

新智元AI WORLD 2018世界人工智慧峰會

倒計時14天

新智元將於9月20日在北京國家會議中心舉辦AI WORLD 2018世界人工智慧峰會，南京大學計算機系主任、人工智慧學院院長周志華教授屆時將親臨會場做《關於機器學習的一點思考》主題演講。周志華教授是AI領域會士「大滿貫」得主，AAAI 2019程序主席、IJCAI 2021程序主席，《機器學習》一書的作者。

活動行購票二維碼：

新智元報道

來源：quantamagazine.org

作者：Natalie Wolchover

編譯：大明

【新智元導讀】世界上充斥著大量我們的眼睛看不到的視覺信息。MIT兩名計算機視覺科學家的研究表明，利用精妙的圖像處理技術，可以「看到」角落裡不直接可見的信息，捕捉到比普通照片暗1000倍的成像。

2012年，MIT計算機視覺科學家安東尼奧·托拉爾巴（Antonio Torralba）在西班牙海岸度假時，發現他酒店房間牆壁上的雜散陰影似乎不是由任何東西投射出來的。

托拉爾巴意識到，牆壁上的變色斑塊根本不是陰影，而是窗外庭院的一個微弱的倒立成像。窗戶充當了一台最簡單的針孔相機，光線穿過一個小開口，在另一側形成倒立的成像。在光線充足的牆壁上，這些圖像幾乎是察覺不到的。但讓Torralba感到吃驚的是，世界上充斥著大量我們的眼睛看不到的視覺信息。

「這些圖像對我們來說是看不見的。」他說，「但它們一直都存在於我們的周圍。」

受到這一現象的啟發，托拉爾巴和他的同事，麻省理工學院教授比爾·弗里曼（Bill Freeman）將其稱之為無意識的「意外相機」：窗戶、角落、室內植物和其他常見物體，都可以生成周圍環境的微妙圖像。這些圖像比其他任何圖像都要暗1000倍，通常肉眼是看不見的。「我們找到了提取這些圖像並使其變得可見的方法，」弗里曼解釋道。

在二人合作的第一篇論文中，弗里曼和托拉爾巴表明，用iPhone拍下房間牆壁上的燈光變化，在進行圖像處理，就可以顯示出窗外的場景。去年秋天，他們又和合作者研究發現，通過拍攝牆角附近的地面，能夠發現人在牆角的另一邊的移動。今年夏天，他們通過拍攝室內植物，然後用植物葉子投下的不同陰影，重現了房間其他部分的三維圖像。

安東尼奧·托拉爾巴注意到他的酒店房間的窗戶是一個意外的針孔相機（1）。通過用紙板覆蓋大部分窗戶以減小針孔的尺寸，可以使牆壁（2）上的庭院的微弱圖像變清晰（3）。倒立的圖像（4）顯示出窗外的場景。

2012年，托拉爾巴和弗里曼關於「意外相機」的論文開始引導研究人員研究周圍的角落和推斷不直接可見的信息，稱為「非視線成像」（non-line-of-sight imaging）。

2016年，基於上面的部分成果，美國國防部高級研究計劃局（DARPA）推出了2700萬美元的REVEAL計劃，為全國各地許多新實驗室提供資金。從此，一系列新的見解和數學工具，讓非視線成像技術變得更加強大和實用。

除了軍事和間諜方向上的應用外，研究人員表示，該技術在自動駕駛汽車、機器人視覺、醫學成像、天文學、太空探索以及搜索救援任務上都具備潛在的應用前景。

托拉爾巴表示，他和弗里曼開始研究時並沒有什麼特別的應用目的。他們只是深入研究圖像如何形成，以及相機構成上的一些基礎知識，而這自然導致隨後對光與環境中的物體和表面的相互作用進行更全面的研究。他們開始發現一些沒有人想過要發現的東西。托拉爾巴說，心理學研究表明，人類對陰影的解釋是非常糟糕的。也許一個原因就是，我們看到的許多陰影實際上並不是真正的陰影。

「反針孔」透視相機

攜帶著我們視野外的場景圖像信息的光線，不斷撞擊牆壁和其他表面並反射到我們的眼睛中。但為什麼我們看不見圖像呢？答案是這些光線中有太多的光線在太多不同的方向上傳播。圖像被極大地沖淡了。

要想形成人眼可見的圖像，對射在目標表面上的光線有著極大的限制，只允許人看到一組特定的光線。這便是針孔相機的成像。托拉爾巴和弗里曼在2012年的最初想法是，我們的環境中有許多物體和特徵，會自然而然對光線形成限制，可以生成足以能夠令計算機檢測到的微弱圖像。

針孔相機的孔徑越小，得到的圖像越清晰，因為成像物體上的每個點僅發射具有正確角度的單束光線穿過小孔。托拉爾巴2012年入住的酒店房間窗戶太大，無法產生清晰的圖像，他和弗里曼都知道，一般來說，這種偶然發現的天然針孔像機是很少見的。不過他們意識到，由任何小的遮光物組成的「反針孔」（或者說「針腳」）相機可以在整個區域內成像。

計算機視覺科學家、麻省理工學院教授Bill Freeman（上圖）和Antonio Torralba（下圖）

除此之外，弗里曼和他的同事還設計了用於檢測和放大細微顏色變化的演算法，例如人體面部的血液流動，以及微型運動。他們現在可以輕鬆地將運動微分至百分之一像素級別，如此細微的運動一般都會被會噪音覆蓋掉。

他們的解決方法是，在數學上將圖像轉換為正弦波。至關重要的是，在變換空間中，信號不會受雜訊干擾，因為正弦波代表多個像素的平均值，雜訊在這些波中傳播。因此，研究人員可以檢測從視頻序列某一幀到下一幀之間的正弦波位置的變化，加以放大，然後將數據轉換回來。

研究人員現在開始結合使用這些不同的技巧來獲取隱藏的視覺信息。去年10月，在Freeman當時的研究生Katie Bouman（現供職於哈佛-史密森天體物理中心）等人的研究報告中表明，以建築物的角落充當相機，可以呈現在拐角處的粗糙圖像。

通過在角落（1）附近拍攝陰影半影，可以獲得有關角落周圍物體的信息（2）。當隱藏圖像區域中的物體移動時，它們向半影投射的光線相對於牆壁掃過不同的角度。這些細微的強度和顏色變化通常是肉眼看不到的（3），但可以通過演算法來增強。圖示為從半影的不同角度投射的光的原始視頻顯示一個人在移動（4）以及兩個人在角落處移動（5）。

就像針孔和針腳一樣，邊緣和角落也限制了光線的通過。使用傳統的採集設備，比如iPhone，Bouman和公司拍攝了建築物角落的「半影」：即陰影區域中被來自角落隱藏區域的一部分光線照亮的區域。比如，如果穿著一件紅色襯衫的人走到那裡，襯衫就會向半影中投射出少量的紅光，當人走路時，這道紅光會掃過半影，肉眼看不見。經過處理後就很清楚了。

在6月的一項開創性工作中，弗里曼及其同事重建了一個房間內的「光場」：一張整個房間內光線強度和方向的圖片，這是由牆壁附近的綠葉植物投下的陰影中重建的。葉子充當了「針腳相機」，每片葉子阻擋了不同的光線。將每片葉子的陰影與其餘部分進行對比，可以發現其缺失的一組光線，從而構建隱藏場景的一部分圖像。研究人員可以將這些圖像拼在一起。

這種「光場」方法比早期的「意外相機」生成的圖像更加清晰，因為在演算法中已經輸入了關於外部世界的先驗知識：包括室內植物的形狀，自然圖像趨於平滑的假設，以及讓研究人員對雜訊信號進行推斷的其他先驗知識，這有助於對所得到的圖像進行銳化。光場技術「需要對環境周圍了解得很充分才能進行圖像重建，但可以提供大量信息，」托拉爾巴說。

利用散射光構建隱藏目標的三維幾何結構

雖然弗里曼和托拉爾巴等人在麻省理工學院校園內的其他地方發現了一直存在的「不可見圖像」，不過，一位旨在「改變世界」的TED計算機視覺科學家Ramesh Raskar採用了一種名為「主動成像」的方法：使用昂貴的專業相機激光系統來創建角落附近的高解析度圖像。

麻省理工學院計算機視覺科學家拉梅什·拉斯卡爾（Ramesh Raskar）開創了一種主動非視距成像技術。

2012年，拉斯卡爾團隊開創了一項技術，朝牆壁上發射激光脈衝，讓一小部分散射光在屏障周圍反射。在每次發射脈衝後的瞬間，使用「條紋相機」，以每秒數十億幀的速度記錄單個光子的傳播路徑，從而檢測出從牆壁反彈回來的光子。通過測量返回光子的飛行時間，得出光子的行進距離，從而重建了隱藏目標的詳細的三維幾何結構。一個比較複雜的問題是，必須使用激光對牆壁進行光柵掃描以形成三維圖像。比如，角落裡有一個隱藏的人。

「那麼，頭部特定點的光線，肩膀上的特定點以及膝蓋上的特定點都可能在相同的時間到達相機，」拉斯卡爾說。「但如果我將激光發射到稍微不同的位置，那麼來自上述三個點的光將不會在相同的時間返回。」你必須將所有信號組合起來，解決所謂的「逆問題」，以重建隱藏的三維幾何結構。

Raskar解決逆問題的原始演算法計算量很大，他的設備耗資50萬美元。但在簡化數學模型和削減成本方面取得了重大進展。

拉斯卡爾團隊的實驗設置

在主動的非視距成像中，激光從牆壁反射出去，從隱藏的物體上發生散射，然後返回原來的發射位置。反射光可用於對物體進行三維結構重建

過去的演算法往往會因程序上的細節而陷入困境：研究人員通常選擇檢測返回牆上不同位置的光子，而不是激光發射的位置，這樣相機就可以避開激光的反向散射光。但是，通過將激光和相機指向幾乎相同的點，可以使出射和入射的光子映射出相同的「光錐」。

每當光從表面散射時，它就會形成一個擴展的光子球體，這個球體的痕迹隨著時間的推移，顯現出錐形。斯坦福大學的O"Toole等人將阿爾伯特·愛因斯坦的老師赫爾曼·明科夫斯基（Hermann Minkowski）在20世紀初提出的光錐物理學理論轉換成為關於光子飛行時間與散射表面位置的簡明表達。他將這種轉換稱為「光錐變換」。

自動駕駛汽車已經開始使用直接成像的激光雷達系統，可以想像，它們有一天也可能配備「隱藏相機」來觀察角落。Raskar在2012年那篇開創性論文的第一作者Andreas Velten預測：「在不久的將來，這些激光-SPAD感測器將能夠出現手持設備上。」現在的任務是「在更複雜的場景下」和現實場景下實現這個功能，Velten說，「而不是必須非常小心地設置一個白色物體和周圍黑色的背景，我們的目標是一台傻瓜相機。」

未來方向：可用于軍事、天文和醫療行業的成像

有朝一日，非視距成像可以幫助救援隊，消防員和自動機器人。 Velten正在與NASA的噴氣推進實驗室合作，開展一項旨在對月球洞穴內部進行遠程成像的項目。與此同時，Raskar和公司已經使用他們的方法閱讀了合上的書籍的前幾頁，並透過霧看到實現短距離透視。

除了音頻文件的重建，弗里曼的放大演算法還可能會在醫療業、安全設備、或檢測微小運動的天文學研究中派上用場。該演算法「是一個非常好的想法，」紐約大學和Flatiron研究所的天文學家和數據科學家大衛·霍格說。「我認為有必要在天文學中利用這一技術。」

當被問及應用這一技術帶來的隱私問題時，弗里曼表示：「這的確是個問題，在我的職業生涯中，我對此考慮了很多很多，」他說。弗里曼是一名攝影師，戴著眼鏡，從小就開始拍攝照片，他說，自己剛開始做攝影師時，並不想從事任何和軍事或間諜應用有關的事情。但隨著時間的推移，他開始認為「技術是一種工具。可以以多種不同方式加以利用。如果你總是去極力避免任何可能具有軍事用途的東西，那麼你將永遠不會做任何有用的成果。」他表示，即使用于軍事用途，對這項技術的利用方式也是非常豐富的。

不過，讓他感到興奮的不是技術上可能性，而是能夠發現隱藏在普通視野之外的現象。「我認為，在世界上有很多東西還等著我們去發現。」他說。

參考鏈接：

https://www.quantamagazine.org/the-new-science-of-seeing-around-corners-20180830

相關論文：

https://people.csail.mit.edu/billf/publications/Accidental_Pinhole.pdf

https://www.nature.com/articles/ncomms1747

https://www.nature.com/articles/nature25489

https://www.nature.com/articles/ncomms12665

新智元AI WORLD 2018大會倒計時15天

門票已開售！

新智元將於9月20日在北京國家會議中心舉辦AI WORLD 2018世界人工智慧峰會，邀請機器學習教父、CMU教授 Tom Mitchell，邁克思·泰格馬克，周志華，陶大程，陳怡然等AI領袖一起關注機器智能與人類命運。

大會官網：