卷積神經網路新方向：Three-column CNN實現無參考立體圖像評估

>

Three-column CNN模型通過同時處理立體圖像中包含的平面圖像信息，以及差分圖像所包含的深度信息，構造了一類新的無參考立體圖像質量評估方法，突破了傳統的處理思想，有效地將平面信息與深度信息統一的運用到質量評估演算法。

模式識別領域國際權威期刊《Pattern Recognition》在2016年1月發表了山東大學視覺感測與智能系統實驗室與華為諾亞方舟實驗室的研究成果《Learning Structure of Stereoscopic Image for No-Reference Quality Assessment with Convolutional Neural Network》，該文章首次將卷積神經網路（CNN）用於無參考立體圖像的質量評估領域，提出了新的研究方法。

隨著以立體視頻為主的立體信息的廣泛推廣，為了滿足人們的視覺需求，使立體技術得到更加廣泛的應用，如何準確評估立體圖像的失真程度，並設計出一套能夠對立體圖像系統各個環節進行質量評估的系統成為圖像處理和分析領域中的研究熱點和重點。立體圖像質量評估由於自身結構原因，與平面圖像質量評估相比具有更高的挑戰性。立體圖像包含平面信息以及深度信息，因此不僅需要分析平面圖像質量，同時考慮深度感知質量，因此如何將兩者結合起來，特別是在複雜深度場景中，將對立體圖像質量度量尤為重要。此外，立體圖像質量的計算必須符合人眼的視覺結構特點，如何建立人眼立體視覺機制與立體圖像感知評價的統一是當前問題所在，而目前對人類視覺特性不夠透徹，準確地模擬人類視覺系統存在較大的困難，因此對質量評估演算法有很大的阻礙。

無參考圖像質量評估演算法Three-column CNN模型

山大視覺感測與智能系統實驗室與華為諾亞方舟實驗室都致力於深度學習方向研究，研究領域覆蓋環境感知、表情識別、圖像質量評估等方向。在立體圖像質量評估領域，實驗室嘗試使用卷積神經網路模型（CNN）進行處理，儘管卷積神經網路已成功應用於人臉識別、語音識別等領域，但在圖像質量分析方面屬於創新性的應用。山大和華為合作構造了一組「Three-column CNN」的結構學習模型，使用多輸入的意義在於同時處理平面信息以及深度信息：卷積網路一方面通過處理平面圖片，獲取平面信息中如圖形結構、光影等人類視覺敏感的感知信息；另一方面網路同時處理立體圖像對應的差分圖像，有效提取複雜環境下的深度信息，從而有效的模仿了人眼立體機制對圖像進行感知。在此之外，該網路根據平面圖像與立體圖像中差分圖像的結構相似性，利用平面圖像資料庫對網路預學習，從而有效解決了立體圖像數據不足的問題，進一步提升了網路的學習能力。研究人員表示，該Three-column CNN模型在無參考立體圖像質量評估的性能達到了業界領先水平，並已接近全參考演算法水平。

如今伴隨著立體視頻在生活中的快速推廣應用，面向立體圖像的質量評價的研究也會獲得更多來自工業界和學術界的關注，山大張偉博士和華為馬林博士表示，將在當前研究基礎上繼續深入工作以期獲得更優秀的結果。

※立體的五星 Logo！全新 Foot Patrol x Converse 實物細節曝光
※立體水晶星標！Footpatrol x Converse One Star 即將發售
※Illustrator繪製立體感十足的APP圖標教程
※立體娃娃屋Creative Spaces
※Illustrator巧用透視網格工具繪製立體圖形
※Photoshop繪製立體風格的Bbox寄存器圖標
※真·立體！SE社計劃明年推出VR漫畫《Project Hikari》
※Tatiana Astua 立體字母設計欣賞
※Illustrator繪製3D立體風格的悖論空間
※Illustrator繪製2.5D等距立體圖標教程
※獨具立體感的多彩配色，Ultra Boost 4.0 「Multicolor」
※立體聖誕樹賀卡，Merry Christmas！
※畫家 Ironside Impastos 的立體花卉油畫
※立體壁畫大師-埃里克 Alan Grohe！
※義大利藝術家Tetiana Korobeinyk的立體絲綢藝術！
※Photoshop製作立體主題風格的APP展示模板
※Photoshop結合AI製作立體炫彩藝術字效果
※立體空氣感Wire nail美甲圖片
※Illustrator繪製條紋風格的3D立體字教程