突破手機運存和功耗限制，Google攜手MIT打造實時AI「修圖師」

MIT和Google共同開發一套實時圖像處理系統，融入了機器學習，且可在手機上運行該系統。

近日，MIT計算機科學與人工智慧實驗室和Google研究團隊提出了一套系統，在不影響手機耗電量等性能的情況下，可以實時對照片細節進行修復，讓拍照者立即得到HDR圖像。

高動態範圍（HDR），就是利用每個曝光時間相對應最佳細節的LDR圖像來合成最終HDR圖像，它能夠更好地反映出真實環境中的視覺效果。

換言之，就是在拍照時，如果考慮高光區域的曝光，暗部細節就會丟失；而照顧暗部細節，高光區域就會過曝。為了解決這一問題，可以利用相機連拍至少三種曝光度以上的照片，最後再用軟體合成一張保留所有細節的照片，此技術稱為HDR技術。

據悉，早在16年的Google Pixel手機上，Google就開發了相關演算法和軟體，並顯著改善了手機拍攝出的照片質量。其中，複雜高動態範圍（HDR）演算法是其技術核心，它可以捕獲數字圖像中顏色丟失的微小變化，但是受限於智能手機硬體的處理能力，而未能發揮很好的作用。

而早在2015年，MIT的研究生Michael Gharbi就開發了一個「轉換器」，它可以很好地解決Google面對的問題，大大降低圖像處理所需的帶寬和功耗。

該「轉換器」的具體實現就是，讓手機向網路伺服器發送圖像的低解析度版本，隨後伺服器發送回一個針對性的轉換演算法，將手機上低解析度版本的圖像修改為高解析度的圖像。「轉換器」使得智能手機能在短時間內進行複雜的圖像處理，且不耗費大量的電量。

據了解，最新的這套系統是Google在MIT的這款「轉換器」之上，結合自己已有的系統開發出來的。

對此，Gharbi說：「Google聽說了我做的工作，於是他們自己做了後續的工作，合併了兩種方法。而現在我們要做的就是要讓演算法自己學習和選擇，即融入AI，而無需人為向雲端伺服器發送圖像。目前來看，第一個目標就是加速和優化程序，使其能在手機上運行。」

為了實現快速處理，團隊開始從圖像的低解析度版本來進行處理，但因為高解析度圖像中的各個像素的顏色值變化微小，而機器學習系統必須從自身的「粗糙輸出」辨識出圖像各像素點的細微顏色變化特徵，以判斷出圖像處理演算法的類型，因此最大的難點依然是高解析度採樣的簡單實現。

為此，該團隊對機器學習系統進行大量的訓練，在其輸出設置上，團隊沒有讓系統輸出完整的圖像，而是輸出表示圖像中像素點顏色修改程度的公式。在訓練中，根據輸出公式應用到原始圖像後的效果與潤飾後版本的近似程度，系統對機器學習性能進行判斷，以此對其自身進行優化。

目前研究團隊已對機器學習系統進行了5000張圖像數據集的訓練，其中每張圖像都具有五個不同的潤飾變體。

現在，在處理高解析度圖像上，融入AI的HDR演算法比原始演算法快了100倍，這也就意味著在很少的運存和電池電量的情況下，手機可以實時顯示HDR演算法修過的圖像。

Google Research的Jon Barron表示，使用機器學習進行計算機攝影的改進是一項令人興奮的想法，但一直受限於手機的處理器能力和電源容量。現在我們找到了避開這些問題的方法，並將會使用戶有很棒的實時攝影體驗。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！