除了10X長焦外，OPPO在影像演算法上還有哪些「黑科技」？
OPPO 27日在深圳舉行了一場「揭秘」其影像演算法的小型技術研討會。我原本也受邀前往深圳參加活動，無奈因受華南雷暴影響而不得不取消行程（與我同命相憐的還有『攝影筆記』的@寧思瀟瀟 老師）。好在OPPO的小夥伴以在線視頻的方式讓我得以遠程參會，與其他媒體夥伴們共同聆聽了OPPO工作人員對其影像演算法的講解並與之互動。應該說，儘管當天的這場研討會時間不長，而且我還與會場還遠隔千里，但整場活動下來依然還是讓我覺得「乾貨滿滿」，受益匪淺。
其實，我對於OPPO影像技術的發展始終非常關注，此前也撰寫過幾篇文章分析他們的成就。不過，無論是關於N系列的旋轉攝像頭、與索尼合作開發的IMX398感光元件，還是最近發布的潛望式長焦鏡頭，我的關注點始終在「硬體」方面——這當然和與我長久以來一直從事相機硬體的報道有很大關聯。但事實上，與相機不同，目前手機在拍照上的突破實際並不僅僅是建立在硬體更新基礎上的，還有更多是建立在影像處理（也就是我們常說的『演算法』）層面。OPPO還特地為其起了一個名字叫「計算攝影」。
關於「計算攝影」，OPPO著重談了三個方面的內容，分別是HDR、超清夜景與長焦：
先說HDR（高動態範圍）：
很明顯，我們早已不再局限於僅在夜裡或者日出日落時分使用HDR拍攝照片了。為了解決風景照片中強烈的明暗對比，或是為了兼顧逆光人像的「顏值」與「背景」，我們都需要手機「HDR」來獲取一張曝光精準、明暗層次分明的照片。從理論上來看，和相機一樣，手機的HDR也是通過「多幀合成」實現的——對同一場景連續拍攝多張不同曝光（從-EV到EV 0到 EV）的照片，然後選對它們進行堆棧疊加，選出每張細節最豐富的部分「拼」成一張HDR照片。
這個流程看起來簡單，但實際涉及的計算要比我原先設想的更複雜：首先，由於我們用手機時多為手持拍攝，因此獲得的一串素材照片不可能像擺放在三腳架上拍攝的那樣整整齊齊。此時，手機必須先對這些照片進行分析，尋找其中共有的「特徵點」利用「對齊演算法」進行「對齊」；其次，如果在按下快門後被拍攝物體產生了移動，那麼手機還必須對畫面進行必要的補償，填補上因為運動而導致出現的畫面模糊部分，等等。
值得注意的是，我原本以為手機的「多幀合成」素材和相機一樣，是由等比例的多張不同曝光（EV）畫面構成的。打個比方說，一組9張素材里有三張是欠曝偏暗的（-EV）、三張正常曝光的（EV 0）和三張過曝超亮的畫面（ EV）。但實際上OPPO的多幀演算法是採用「先拍攝4-6張正常曝光的（EV 0）素材」，然後「再拍攝若干欠曝幀（-EV）素材」後再進行二次合成。也就說，這一組素材里，只有「正常曝光」和「欠曝」兩種情況，而「過曝」素材是不存在的。
我思考了一下，之所以OPPO採用這種方式，實際是為了能將照片的拍攝快門速度控制在較短的區間內。畢竟，如果想要拍攝一張 EV的過曝照片，那麼手機的曝光時間就必須變長——這顯然與手持拍攝時的防手抖相悖。而之所以要多拍攝幾張EV 0的素材，則是為了從中確認出一張最清晰的基準幀，然後以它為基礎利用其他素材以堆棧方式一方面提升暗部細節，一方面又對同時引發的雜訊進行抑制。當然了，畫面的高光細節則靠此後拍攝的那些-EV欠曝照片中獲得。最終所有細節疊加，即可獲得一張曝光層次分明，從暗到明所有位置都具有豐富細節的HDR照片了。
OPPO的這種的思路也出現在「夜景」拍攝中：
從一開始，OPPO工程師就考慮到傳統相機上「三腳架 長曝光」的拍攝方法無法直接用在手機用戶的手持夜景拍攝中。因此秉承「真實的清晰」理念，OPPO開始採用「拍攝多張短曝光時間（-EV）照片」 「對齊特徵點」的方式來實現手持夜景拍攝，這也就是OPPO的「超清夜景1.0」技術。
不過，OPPO的工程師很快發現夜景照片的堆棧數量似乎並不是越多越好。素材超過6張之後，「對齊特徵點」的防手抖效果反而會下降，同時畫面里還更容易出現「鬼影」之類的問題。經過不斷試驗和調整，他們最終決定同樣採用「EV 0多幀合成」打底，再加「-EV欠曝」二次合成的拍攝方法。是的，這種做法和此前的HDR演算法如出一轍。而它的應用讓夜景拍攝幀數需求一下子降低了4成，同時用戶的拍攝時間也從原來的4秒大幅縮短到2.5秒！
與此同時，相較其他產品通過「像素塗抹」對畫面降噪的方式，OPPP採用了全新的「AI降噪」：工程師們利用超過萬張的素材庫和搭建雜訊模型，對畫面里的雜訊進行分區、分層的AI降噪運算。這種運算是在機內RAW數據處理時執行的，能夠實現真正像素級的降噪。新的AI降噪方式不但可以保留更多的畫面細節，而且畫面的整體色彩飽和度也得到了很好的維持。是的，這就是OPPO的「超清夜景2.0」技術——用它拍攝出的夜景畫面整體觀感純凈、細節豐富且色彩飽和度高，感覺與白天明亮光線下拍攝的畫面沒有太大差異。
我還與OPPO的工作人員確認，其機內的AI演算法會在拍攝時根據畫面內容（是否有運動物體）以及機身穩定狀態而自動選擇曝光時間的長短。如果AI判斷用戶是手持拍攝或者畫面里有運動物體，OPPO會採用較短的曝光時間而提升清晰度；反之，手機則會選擇較長的曝光時間以求獲得更出色的畫面純凈度，確實相當智能！
其實，在Reno長焦拍攝中也會運用OPPO獨到的演算法：
比如為了能夠讓長焦畫面擁有更多細節，OPPO會先採用多幀合成方式拍攝一張擁有儘可能多細節的素材，然後再對其放大裁切。這樣一來，所獲得的長焦畫面細節會更多一些；還有，對於我一直質疑「到底有啥用？」的60X長焦，OPPO其實會對其拍攝的文字內容進行優化以方便辨識。是的，這個60X長焦或許在我的攝影領域用處不大，但每天會有不少學生朋友用它在大教室後方拍攝導師的板書。因此，這個「文字優化」演算法能幫助他們獲得更清晰的課堂記錄；再比如，我一直稱讚OPPO Reno在拍照上的一大優點是「（超廣角、主攝、長焦）三攝白平衡統一，沒有明顯色溫差異」，這實際也是OPPO的工程師通過大量的調試工作，最終在Reno 10X機身內內置了11組效果調校參數後才成功降低了三枚攝像頭之間的白平衡差異！
此外，在長焦防抖問題上，我過去一直以為只要加入OIS光學組件，各廠商之間的防抖效果就會差不多。但事實是，當許多廠商對防抖像素偏差標準還停留在20像素以上的時候，OPPO已經把它優化到10個像素以內；其他廠商機內防抖陀螺儀的偵測速度是400Hz時，OPPO已經將其提高到了1000Hz以上！此外，我們曾經介紹過OPPO在「抖音」等程序中加入的HIS混合防抖技術——它可以同時讓OIS光學防抖和EIS電子防抖共同作用，讓用戶手持拍攝的畫面看起來更穩定更順換，幾乎可以和加裝穩定器後的效果媲美。
在這次活動的尾聲，我也與媒體夥伴們一起向OPPO的研發人員提出自己的建議：你們是否能夠為拍攝UI中提供一個獨立的「微距」按鍵，以便用戶能夠隨時進入微距拍攝模式？OPPO能否學習友商的「手持長曝光拍攝」（比如白天拍攝流水、夜景拍攝車尾燈線條）功能？還有，你們是否能夠對「炫彩模式」進行持續改進，除了提升色彩表現外也能夠對暗部雜訊有更強的抑制，等等。這一切都比OPPO的研發人員一一記錄下來，並表示會認真研究，期望能早日將其加入到新版的ColorOS系統中去。
按照廠商的說法，OPPO 2018年單單在影像演算法上的研發投入就已經超過2億元人民幣，而且他們還打算在今明兩年將繼續對影像演算法保持如此巨額的投入！毫無疑問，我此前誇獎OPPO Reno 10X的「直出效果出色」，除了其本身有過硬的硬體底子外，也與OPPO持續在影像演算法上的不斷提升有直接關係。
最後，其實我也想談談自己對於「計算攝影」的看法：誠然，手機產品很難在短時間（甚至或許是永遠）無法在光學角度追上傳統相機，但這並不意味著手機照片無法在市場角度取得全面勝利。而能幫助手機獲得這種勝利的唯一方式就是「演算法」。特別是以「多幀合成」為代表，它不僅能夠彌補手機的小型感光元件在曝光寬容度、雜訊抑制方面的先天缺陷，同時也能夠通過不斷的演算法升級而獲得更豐富的拍攝效果與更出色的拍攝體驗，這種靈活且強大的「可升級性」恰恰是傳統相機在短期內很難全面複製的。
OPPO在演算法方面的銳意進取並非手機行業的個例，無論是目前銷量領先的各家手機大廠還是谷歌這樣的安卓「總後台」都在這個領域不斷發力（因此我們才能夠看到Google Pixel如何通過一顆攝像頭獲得準確的景深虛化和驚人的夜景白平衡）。也正是因為廠商們的共同努力，手機拍照才能夠在短短几年時間內成功的完成了對於傳統卡片相機的逆襲，並開始逐漸侵蝕中高級相機的現有市場。我相信，隨著未來手機演算法的進一步改進以及處理平台的不斷加速，「計算攝影」的地位也將會不斷提高，最終超越傳統光學領域的地位，成為推動數碼影像持續進步的最主要力量。
不過，我相信面對今天的局面，傳統相機廠商也不會束手就擒坐以待斃。此前奧林巴斯公司的E-M1X相機上就出現同樣利用「多幀合成」 「特徵點對齊」獲得的「5000萬像素手持拍攝」功能，或許這就是傳統相機廠商邁向「計算攝影」的又一次勇敢嘗試呢！
TAG:春卷 |