心酸科研路：3年前CVPR論文，僅被引用11次，如今成就黑洞照片！

科技 04-13

譯者 | Linstancy、Major

編輯 | 琥珀

出品 | AI科技大本營（公眾號ID：rgznai100）

近日，由天文學家公布的人類首張黑洞照片引起了轟動，在這張「並不清晰」的照片背後卻是 Katie Bouman 團隊早已在三年前就提出的新演算法 CHIRP——使用 Patch priors 進行連續高解析度圖像重建獲得的。當時，Bouman 還是 MIT 電子工程和計算機科學專業的一名 26 歲的研究生。2016 年 6 月，Bouman 等人在當年的 CVPR 會議上收錄的「Computational Imaging for VLBI Image Reconstruction」的論文中介紹了這項新演算法。值得一提的是，同年獲 CVPR 最佳論文是提出的深度殘差網路（ResNet）的何愷明等人。

該演算法將從分布在全球各地的射電望遠鏡收集到的數據匯聚在一起，它是由一個名為 Event Horizon Telescope（EHT）的國際合作項目開發的。從本質上說，這個項目是將整個地球變成一個大型射電望遠鏡天線。

Event Horizon Telescope 項目採取的解決辦法是協調射電望遠鏡在相離很遠的地點進行測量。但即使是再多兩倍的望遠鏡也會在數據中留下很大的缺口，因為它們需要大約 1 萬公里寬的天線。填補這些空白正是 Bouman 等人提出新演算法的目的。

以色列 Technion 電子工程系教授 Yoav Sechhner 認為，「論文作者使用了一種非常先進的方法來學習先驗知識（priors），從本質上說，先驗知識約束著所探尋的未知世界。因此，利用少量採集的數據可以很好地確定球在時空中的確切狀態。這種先驗模型方法在 EHT 項目圖像中的應用並不簡單。作者承擔了重大的努力和風險。它們在數學上合併成一個單一的優化公式，一個非常不同、複雜的感知過程和一個基於學習的圖像先驗模型。」

與之共同參與的還有 MIT 計算機科學與人工智慧實驗室的同事、哈佛史密森天體物理中心和麻省理工學院海斯塔克天文台團隊，還有她的指導老師 MIT 計算機科學與人工智慧實驗室教授 Bill Freeman。

據悉，當時該篇論文公布後並未贏得太多人的關注，根據 Google Scholar 可以看到，這篇論文也僅被引用了 11 次。北京郵電大學副教授陳光感嘆：「引用數未必代表工作的影響力，尤其是多學科工作！」

讓我們重讀這篇論文。

傳送門：https://arxiv.org/abs/1512.01413

摘要：

VLBI (Very Long Baseline Interferometry) 即長距離的基線干涉測量法是一種利用地球上分布的望遠鏡所發射的無線電信號實現同步成像的技術。實現這一技術的挑戰在於所重構細粒度的 VLBI 圖像需要非常大量稀疏的數據，而這些數據可能含一定的雜訊干擾，因而需要利用計算機視覺知識設計圖像統計模型來解決這個問題。

本研究提出一種基於貝葉斯 (Bayesian) 的新穎方法來解決 VLBI 圖像重構問題。相比於其他方法通過參數微調和篩選來處理不同類型數據，本研究所提出的方法 CHIRP，能夠在不同的方法設置如 low SNR 或 extended emission 等條件下，產生良好的結果。實驗結果表明：該方法不僅可以在真實合成實驗中取得良好的效果，還能成功應用於那些公開的真實數據集。目前，該研究項目已經開源。

簡介

眾所周知，天文學和物理學的進步離不開高解析度的天體成像技術。例如，通過高分辨的成像技術能夠回答有關黑洞及其周圍邊界物質分布的一些問題。由於遙遠天體信號源的高分辨成像需要大直徑的 single-dish 望遠鏡，而望遠鏡的直徑和角解析度的關係呈反向，因此即使直徑再大的望遠鏡也無法將所採集的數據同時放在一個陣列中。這種情況下，需要使用多個這樣的望遠鏡，即通過長距離基線測量法 VLBI 來得到所需的數據，其測量原理如下圖1所示。

圖1 頻率覆蓋圖。(a) EHT 中望遠鏡位置示意圖。通過觀測某一天所發射的信號，得到所對應的源圖像頻率平面的橢圓軌跡。(b) 這些頻率 (u, v) 是預計投射的基線位置，其長度垂直於望遠鏡對的視線。相同顏色的點對應於相同望遠鏡對的測量值。

由於 VLBI 技術所採用的是一組稀疏約束的源圖像空間頻率數據，這不適用於圖像重構任務，且很大程度上需要依賴先驗來指導優化過程。而對於 ETH，傳統的圖像重構演算法也很難得到所要的高解析度圖像。因此，本研究利用計算機視覺技術，提出一種新穎的圖像重構演算法 CHIRP (Continuous High-resolution Image Reconstruction using Patch Priors)。

本文的主要貢獻如下：

數據集

本研究構建了一個大型的真實數據集和項目主頁，用於評估 VLBI 圖像重構演算法的性能，希望通過大量易於理解的訓練和測試數據，讓更多領域的研究者能夠理解這項研究。項目主頁的內容主要包括：

用於 VLBI 圖像演算法訓練和盲測 (blind test) 的標準數據，包括真實數據和合成數據，能夠自動定量地評估演算法性能。

演算法性能的定性對比結果。

提供一個在線表格，可以根據使用者所指定的方法，輕鬆模擬真實數據圖像和望遠鏡參數。

由於當前的干涉測量數據集難度較小，且所含有的雜訊特性並不適合無線電波長。因此，本研究引入一個新的 VLBI 無線數據集，不僅能夠揭示當時演算法的不足，同時能夠促進新演算法的發展。該數據集包含：

合成測量數據 (Synthesis Measurements)：超過5000個標準格式的 VLBI 合成測量數據，包括各種陣列配置、源圖像以及雜訊級別。

真實測量數據 (Real Measurements)：提供了33組相同標準格式的 VLBI 測量數據，這些數據都是通過 VLBA (Very Long Baseline Array) 方法採集得到的，為演算法的測試提供實驗數據。

測試集合和錯誤度量 (Test Set and Error Metrics)：提供一組具有挑戰性的合成數據用於演算法的盲測 (blind test)，該測試集引入公平定量的對比方法，包括 MSE、PSNR 以及帶結構相似指數 (structural similarity, SSIM)的 MSE 指標，來評估演算法間的性能。

方法

連續圖像表徵 (Continuous Image Representation)

在此，對於想要恢復的圖像 L (l, m)，將其定義在角坐標 l 和連續空間 m 上。在圖像重構時，許多演算法通常假設一系列離散的點作為圖像的數據源，這種離散化的數據將在優化期間引入一定的誤差，特別是在擬合更高頻率的可見性時。因此，本研究採用一個離散數項來參數化一副連續的圖，這不僅能夠對連續圖像進行建模，還能減少優化過程的誤差。由於每個測量的複雜可見性都近似於 L (l, m) 的傅里葉變換，因此圖像的一種簡便的參數化形式可以表徵為一個平移縮放的連續脈衝函數的離散值，如三角脈衝。如下圖2所示，可以看到相比於一組離散的是點數據源，這種圖像表徵能夠更準確地近似真實的頻率分量。

圖2 精確的圖像頻率建模圖。可以看到，在相同的參數量情況下，所提出的方法能夠得到更加準確的真實頻率分布，其中紅色部分是真實圖像的頻率，而傳統的離散圖像模型用綠色表示，通過矩形和三角脈衝優化後的模型分別用青色和藍色表示。

因此，本研究中採用兩倍間距的三角脈衝函數，這等價於在脈衝中心進行線性插值，同時簡化了非負的約束條件。值得一提的是，這不僅適用於 VLBI 圖像重構，這種方法存在一定的普遍適用性。

Model Energy

基於給定復雙譜測量值 M，採用最大後驗概率 (MAP) 來估計圖像係數 x。此外，得益於 patch prior 方法在圖像存儲方面的成功應用，在此採用高斯混合模型的 patch prior 來正則化圖像，提出一種 EPLL 的方法 (Expected Patch Log Likelihood)，並最小化最大後驗概率的能量值，這與貝葉斯後驗概率法 (Bayesian posterior probability)相似。

優化過程

對於演算法的優化，這裡採用基於半二次方分裂法( Half Quadratic Splitting) 方法，並引入一組用於圖像中每個重疊部分的輔助 patch 值，通過不斷迭代來優化演算法。而對於迭代過程，這裡提出了一種多尺度的迭代框架 (Multi-scale Framework)。首先，初始化以小雜訊為中心的圖像 x0。隨後，使用圖像的離散化公式，增加脈衝數並作用於圖像上。該框架允許在模型優化前得到最佳的低解析度圖像重構結果，也能有效地避免最終結果陷入局部的最優解。本研究的優化過程使用一組 20×20 的脈衝，並以10的大小，逐漸增加到 64×64。

實驗結果

為了驗證所提出演算法 CHIRP 的有效性，本研究進一步在合成數據和真實的 VLBI 數據上進行大量的實驗。

合成數據的結果：下圖3展示的是在 CHIRP 方法在合成數據上的結果，可以看到過濾掉空間頻率的影響明顯高於最小條紋的間距。

圖3 合成數據上的結果 (最大解析度圖)

方法對比:下圖4展示的是其他三種最先進的演算法 (SQUEEZE，BSMEM 和 CLEAN) 與 CHIRP 方法的結果對比。可以看到，CHIRP 方法能夠處理各種不同的數據源，從簡單的天體數據到複雜的自然圖像，而不需要額外的參數調整。相比之下，CLEAN 產生的圖像比較模糊，SQUEEZE 和 BSMEM 所得到的圖像相對稀疏。