利用事件相機將模糊視頻還原成高速清晰視頻

本文為AI研習社CVPR頂會贊助計劃獲得者@rain在CVPR小組原創首發。

今天首度解讀一篇CVPR19 oral論文，利用事件相機將模糊視頻還原成高速清晰視頻。該文利用了目前火熱的事件相機，巧妙的利用多感測器之間的互補特性，且具有很好的推廣應用價值。過去大家做圖像的去模糊，一般只會考慮普通相機採集到的圖片，通過估計模糊的核函數，來為圖像做去模糊，而這裡引入了一個高速的事件相機，通過兩個有互補特性的sensor, 為其特性和兩者採集數據之間的關係進行建模，把問題formulate成一個簡單的非凸優化的問題，

Bringing a Blurry Frame Alive at High Frame-Rate with an Event Camera

Liyuan Pan 1,2, Cedric Scheerlinck1,2, Xin Yu1,2, Richard Hartley1,2, Miaomiao Liu1,2, and Yuchao Dai3

1Research School of Engineering, Australian National University, Canberra, Australia

2Australia Centre for Robotic Vision

3School of Electronics and Information, Northwestern Polytechnical University, Xi』an, China

摘要

事件像機可以測量在高速下精確到微秒的運動和照明變化下的強度變化(稱為「事件」)。與主動式像素感測器(APS)相比，事件相機允許同時輸出強度幀。然而，當相機輸出圖像幀率相對較低，圖像中的運動模糊就比較嚴重。一個模糊的圖像可以看作是一個序列的潛在圖像的積分，而事件相機能找出潛在圖像之間的變化。因此，我們能夠通過在潛圖像上關聯事件數據來對模糊生成過程建模。在本文中，我們提出一種簡單有效的基於事件的方法，基於事件的二重積分模型，從一個模糊的幀及其事件數據中，重建高幀率的清晰視頻。這種視頻的生成基於求解一個簡單的單標量的非凸優化問題。通過合成圖像和真實圖像的實驗結果論證了該模型的優越性和並且該方法已經超過了當前最好水平。

事件相機(如動態視覺感測器)(DVS)[17]和動態像素視覺感測器(DAVIS)[3])是非同步測量的感測器，可測量在每個像素上的強度變化，擁有微秒級的時間解析度(如果在場景中沒有物體運動，就沒有觸發事件)。事件流通過精確的逐像素級彆強度的變化來對運動信息進行編碼。與傳統相機相比，事件攝像機更適應低照度和高動態的場景，因為他們不受不足/過度曝光的影響或與同步快門相關聯的運動模糊。基於事件相機和標準攝像機內在差別，現有計算機視覺演算法設計因為標準相機不能用於事件相機直接。雖然(DAVIS)[3]可以同時提供強度幀和事件輸出，當前事件相機仍然存在的主要局限性:

? 低幀率強度圖像:相對於高時間解析度的事件數據(≥3μs框架速率)，當前事件相機僅輸出低幀率強度圖像(≥5ms時間解析度)。

? 固有的模糊效果:當錄製高度動態時場景中，運動模糊是一個常見的問題，這來源於場景和相機之間的相對運動。APS輸出的強度圖像趨向於模糊。

為了應對這些挑戰，已經有了各種各樣的通過重構高幀率視頻的方法湧現出來。現有的方法大致可分為:1)只利用事件數據[1]，[27]，[2]，其中結果往往缺乏自然視頻的質感和一致性，因為他們沒有使用具有互補性的低幀率的強度圖像;2)只利用低幀率強度圖像[11]提出了一種端到端學習框架學習單個模糊圖像與之間視頻序列的回歸關係，而不使用豐富的事件信息;3)事件與強度圖像結合解決方案[29]，[31]，[4]，它建立於兩者之間的相互作用的信息。然而，這些方法在解決與捕獲圖像相關的模糊問題上都失敗了。因此，重建的高幀率視頻還是會出現模糊。

儘管模糊的幀會導致的圖像退化，他們也編碼了相機和場景之間的相對運動。充分利用編碼後的運動信息有利於重建高幀率的視頻。

為此，我們提出了一個基於事件的二重積分(EDI)模型，通過重構來解決上述問題，從一個單一的圖像(均勻模糊)及其事件序列中重建一個高幀率的視頻，其中模糊在每個重構幀中得到緩解。我們的EDI模型揭示了高幀率清晰視頻，捕獲的強度幀和事件數據之間的關係。基於EDI模型，高幀率視頻生成問題可轉化為簡單作為簡單的非凸優化問題。我們的主要貢獻總結如下

1) 我們提出了一個簡單有效的模型，命名為基於事件的二重積分(EDI)模型，從一個單一的圖像及其對應的事件數據中恢復高幀率清晰的視頻。

2) 利用我們提出的EDI公式，我們提出了穩定而通用的方法通過求解非凸優化問題生成一個清晰的視頻，特別是在低照明和複雜的動態條件下。

3) 我們重建視頻的幀率理論上可以與事件發生率一樣高，(比我們實驗中的原始幀率高200倍）。

我們看一下基於事件相機採集的真實數據的重建結果，a)是模糊圖像，b)對應的事件相機的數據，c)[34]方法的去模糊結果，d)[22]方法的去模糊結果，e)[11]方法的去模糊結果，(f-g)[29]方法的結果，h)我們方法的結果。

事件相機的數學模型可以用下面的式子來描述

其中潛圖像用Lxy(t)表示t時刻x,y位置處的圖像強度，而且潛圖像並不能從相機的輸出中直接得到。

強度圖像的數學模型可以用下面的式子描述

普通相機可以提供全幀的強度圖像，當然速度比事件相機的速度慢很多。這裡的B是一個模糊圖像，是在積分時間裡的均值。

基於事件相機的雙積分模型可表示為

e表示隨時間變化的連續函數。

我們接著定義E作為在時間點f 和t 之間的事件的積分累加，

這樣潛圖像L可以表示為

對於模糊圖像，我們有

我們把幾個式子合併之後可以得出

如果能計算出上面這個式子，那麼潛圖像L(t)也就可以求解出來，這也就是論文的演算法核心之處。

再來看一些實驗結果

a)是模糊圖像，b)[11]方法的去模糊結果，c)我們baseline1方法的去模糊結果，d)我們baseline2方法的去模糊結果，e)我們的重建方法在L(0)到L(150)的採樣結果。

最後是在合成數據集上的結果。a)是模糊圖像，b)[11]方法的去模糊結果，c)我們方法的去模糊結果。明顯能看出本文方法的優勢。

總結一下全文，該文對強度圖像和事件數據之間的關係進行了建模，實驗部分從與其他state of the arts 的方法的對比上可以看出，該方法明顯優於現有的方法。值得大家一讀。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！