不止是去噪-從去噪看AI ISP的趨勢

很多文章已經寫過了intel實驗室這篇 see in dark的論文。大多數評論是從這篇文章的去噪角度來評論這個結果的，但是從論文的內容中不僅是降噪的這部分但是今天我們要從另外一個角度來看這個論文。這一篇中我們主要分析可能對今後成像部分尤其是ISP的影響。其實這篇文章很早就開始寫了，但是最近由於我個人的問題一直沒有能完工。

首先在讀這篇文章時候除了去噪，我注意到的是這篇論文中的模型是一個以RAW bayer為輸入，RGB輸出為輸出。從成像的角度這就是一個完整的ISP。

論文中主要評估了通過一個全卷積神經網路處理的結果對比經過BM3D和普通傳統的ISP處理流程的結果。這是一個粗暴的做法，但是也讓大家看到AI ISP至少是有可行的希望的。首先向吐槽的是作者實際上給出的傳統的ISP和我們一般使用的ISP的模塊上還是有很大的差別的。不過這並不影響分析的重點。從下圖中的結果中來看，這個神經網路在數據集中代替ISP的效果還是很不錯的。雜訊被很好的去除，尤其是彩色雜訊部分讓大家有深刻印象。並且從圖片中可以看到從顏色，到紋理細節上都沒有什麼問題。這個讓令人驚訝，那麼這個全卷積網路是不是就能完整的代替了ISP？在做出這個結論之前我們先首先看下論文中的其它部分。

在論文中描述傳統的中的ISP的結構並沒有實際使用中的模塊複雜程度，但是包含了一般ISP中主要的功能。當然他這裡也介紹了google的HDR+結構的ISP結構，不過一樣只是介紹了主要模塊。但是這裡其實並沒有和實際使用的比較好的ISP架構做對比，現在實際中的ISP往往有多個去噪模塊同時複合使用在RAW域和之後的YUV(RGB)中都會有。不過從目前提供的圖片效果來說，應該很少有能做到文章中的深度學習網路的效果。

文章中主要分析了其強大的去噪能力，作者是通過PSNR和SSIM的評價方法對圖片通過傳統的處理和通過神經網路的比較。結果確實令人驚訝，作者也說這是對於bust還有BM3D去噪方法不公平的比較。不管怎樣文章中的去噪能力不需質疑。不過個人認為下面第一張圖片其實不應該增加到比較內容中。這個還是相機處理的有問題的表現，不應該作為一個效果的對比對象。

由於這個評估更集中於雜訊，並沒有更多動態範圍和顏色的客觀測試所以我們並沒有更多的結果但是作者做了很多不同方法的比較最後發現對於雜訊的影響來說目前的組合是他們嘗試過最好的。

這其中作者做了

1 網路模型更改為CAN網路，

2 修改輸入圖片為SRGB的模式，

3 改變 Loss functions ,

4 甚至RAWimage輸入網路的方式，

5 直方圖擴展（簡單的可以理解為均衡）。

最終得到當前處理是最好的。從數據分析來看作者的主要目的還是去噪。但是從結果來看，我們有一個疑問，如果一個網路模型就能代替所有的ISP處理步驟，那麼在我們是否可以使用深度學習神經網路代替ISP呢？我們接下來分析。

1 首先作者的論文主要是為了分析去噪，所以場景都是集中於低光的部分，如果增加更多的場景這比較粗暴的方法不知道光通過訓練集的大小是否可以解決。即使能解決，需要多少個場景，多少訓練樣本能夠解決。

2 作者在比較CAN網路的時候發現CAN網路中有偏色的問題，但是這部分沒有深入分析這個原因。所以現在沒辦法確認這是不是真的和網路結構有關，還是能夠有更好的解決辦法。

3 另外一點遺憾的是作者是在同一台相機上做的訓練和測試，不知道相同型號不同相機下由於硬體一致性的問題是否會嚴重。因為傳統的ISP中是會對硬體的不一致性根據校準數據進行圖像矯正的。

4 作者論文的中的運行速度對於ISP 來說並不理想。不過這部分也許可以被後期硬體和演算法的進步所解決。

因此在公眾號內部我們有發起這個話題的討論，最終我們有以下幾個看法：

一不用懷疑ISP演算法研究的必要性

即使使用深度學習網路代替ISP也是最終的應用端，但是訓練神經網路的數據集還需要更好的ISP演算法輔助生成。因此更好的ISP演算法依然是需要的。也許後面的有些部分的ISP演算法會形成非對稱的形式。在訓練樣本的生成

二是否使用一個神經網路替代ISP

這個答案其實是不確認的，但是所有人都認為應該至少部分難以一般演算法很難得到更好的結果和調試結果部分如降噪，提升動態範圍，以及細節的恢復，或者是圖像融合的部分是最有可能被神經網路的方法代替。這方面建議大家可以看下google的一片論文。其中將Burst降噪多幀合成處理過程使用神經網路實現了。論文的名字是Burst Denoising with Kernel PredictionNetworks Supplemental Material。從論文的角度上我們來看去噪的效果比傳統的HDR+要好很多網路架構和效果如下面兩圖。但是和Seeindark是否能夠對比我們目前還不知道。

不過我們也認為其中一些比較成熟且消耗比較少的模塊有機會繼續沿用傳統ISP的處理方法。

三從硬體方面考慮

更多的CNN加速器在晶元中，而且加速器和ISP的配合需要十分注意的設計。如何在不影響效率的情況下還能使神經網路加速器和現有的ISP架構結合將是重點。現有的ISP很多實現演算法的設計中對於緩存的應用還是很好的。ISPAI化在這方面還需要有些嘗試。

四對於從業人員和行業發展的影響

從不同論文的效果，我們覺得深度學習進入ISP是個大的趨勢。這個毋庸置疑，從大的行業角度來看AI化的兩個目標是

1 得到更好的效果

2減少人工成本（工作結構）

前者比較好理解，後者是神經網路的進入，可能從一定程度上減少終端的一些ISP的開發和tunning的人工成本（工作結構）。當然行業的高水平ISO開發和tunning工程師依然會搶手，甚至需要的更多。依然需要人開發更好的演算法以優化訓練集，還是需要好的IQ工程師進行對應的圖像質量評價。雖然有一部分tunning工作結構可能被採集訓練照片所代替，但是這個時間依然會有一定緩衝期。

補充下，文章中的數據集和論文都在公眾號的共享資源中可以找到，大家可以自己嘗試跑一下，看看具體的結果。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！