谷歌AI用「深度」學習來虛化背景，單攝手機可用，Jeff Dean表示優秀

虛栗子 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

真 · 深度學習

Jeff Dean說的。

因為，谷歌又給Pixel的相機注入了機器學習的靈魂：在背景虛化的任務上，學習了一下深度(Depth) 。

學習前 (Stereo) 與學習後 (Learned) ，對比在動圖右半邊。表面看去，該虛的地方確實更虛了一些。

「不仔細就看不知道是動圖」系列

史稱深度學習。

不過，神經網路的學習效果，不止表面看去這麼簡單。

彌補立體視覺的缺憾

以前的人像模式，只是簡單地用了立體視覺原理：

在同一個場景下，給同一個人物，拍下兩張角度略微不同的照片。

肉眼幾乎看不出的平移，請看下圖

循環播放兩張照片，發現人物是不動的，背景卻平移了。這個現象就叫做視差(Parallax) 。

仔細看，那個模糊的圓圈

用視差來預測物體所在的深度，這樣的方法叫做相位對焦 (PDAF) 。

但PDAF有自己的局限，一是平移量通常很微小，找到函數關係比較困難；

平行線的移動方向是個謎

二是，立體視覺技術都會有孔徑問題 (Aperture Problem) ：遇到直線，直線的平移方向、平移了多少，可能都無法判斷。

再仔細觀察一次這個栗子 (這次不是動圖) ：

學過 (右) 比沒學過 (左) ，注意平行板

比如，圖中有水平線的時候，深度預測就常常出錯。如上圖左，幾塊平行板的深度應當相似，可虛化程度卻很不一致。

所以，谷歌AI團隊決定，不能只用PDAF，也要有其他預測依據來支撐。

多種預測工具 x 高質量數據收集

團隊開發的新方法里，增加了許多其他的預測工具：

比如，遠離焦平面 (In-Focus Plane) 的點，就沒有近處的那麼尖銳。這提供了一個散焦(Defocus) 深度判斷依據。

比如，生活里的常見物體，我們本就粗略知道它們的尺寸。用這些物體在圖像里的大小，來判斷深度，是語義上的依據。

用一個CNN把這些輔助的依據，跟原本的PDAF結合起來。

特別的數據收集姿勢

訓練這隻CNN，需要餵食大量的PDAF圖像，就是角度略有不同的組圖。

還需要與圖像相對應的，高質量的深度圖(Depth Maps) 。

除此之外，想改善手機的人像模式，訓練數據就要和手機拍照的效果差不多。

看上去草率，實則有點厲害

於是，團隊DIY了一件很鬼畜的裝備。把五台Pixel 3綁在一起，讓它們同時拍攝(誤差2毫秒以內) 。

這五台手機的位置排布是有說法的：

五個視角確保了多個方向存在視差，避免孔徑問題；

基本上保證，一張照片中的某個點，至少在另一張 (同時拍攝的) 照片上也出現過。少有缺乏參照的點；

各個攝像頭之間的距離，要遠遠大於PDAF基線，這樣預測會更準確；

同步拍照，確保了在動態場景里也能計算深度。

動態場景：寶寶時刻在動，但拍到的是同一時間的形態

(另外，這個裝備是便攜的，戶外拍攝的樣本也可以採集。)

排除其他干擾

不過，就算數據很理想，真要準確預測圖中的物體深度，也並不容易。

用一對PDAF圖像，可以得出很多種不同的深度圖：

(鏡頭的不同，焦距的不同，都會對深度判斷產生影響。)

要把這一點考慮進入，就直接預測各個物體之間的相對深度，秒掉鏡頭的影像因素。

團隊說，這樣就能生成滿意的結果了。

速度最重要

(雖然，國內可能沒有多少Pixel用戶......)

團隊在博客里寫到，拍照的時候需要快速預測，不能讓~~相機~~舉著手機的人類等太久。

所以，用TensorFlow Lite把CNN放進手機，用Pixel 3的GPU來完成快速計算。

到谷歌相機的6.1版本，就能用上了。

用戶可以用Google Photos自己修改深度，來改變模糊值，以及焦點。

也可以用三方深度提取器，提取一張jpg的深度圖，自己欣賞。

—

完—

年度評選申請

加入社群

量子位AI社群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「交流群」，獲取入群方式；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字「專業群」，獲取入群方式。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！