照片也變臉，NVIDIA FastPhotoStyle 演算法將氛圍轉移到另一張照片

想必各位讀者多少都有注意到，先前有開發者利用 AI 與圖像處理技術，將成人影片中女主角的臉與明星交換，達到「變臉」的效果。這次 NVIDIA 發布的 FastPhotoStyle 演算法，則能分析來源照片的風格，並套用至目標照片，能讓目標照片保有原本的景色並染上不同風格，創造出更精彩的照片。

照片風格轉移演算法的用意，在於將來源照片的風格與目標照片的景色融合為一，讓合成產生的新照片能保有原本的景色，並套上不同風格。雖然目前已有許多現成演算法能達到這功能，但效果並不一定理想，有時還會造成圖像錯誤的情況。且這些演算法往往相當吃運算資源，一張解析度為 640×480 的照片可能就需花費好幾分鐘來處理。

加州大學默塞德分校（University of California, Merced）與 NVIDIA 研究團隊為了改善這些問題，一起研發了創新的 FastPhotoStyle 演算法。

FastPhotoStyle 會將處理程序拆分為風格轉化（Stylization）與平滑化（Smoothing）等兩步驟，在風格轉化階段，程序會分析來源照片的風格，並套用至目標照片。接下來的平滑化階段，程序則會強化圖片空間的一致性，發揮降低破綻的效果。

左欄為來源照片，中欄為目標照片，右欄則為套入風格的結果照片。（Source：FastPhotoStyle GitHub，下同）

從更多範例可看到合成效果相當自然。

A、B 欄為來源、目標照片，C、D 欄為其他演算法，E 為 FastPhotoStyle 演算法成果。（Source：A Closed-form Solution to Photorealistic Image Stylization，下同）

FastPhotoStyle 演算法會在風格轉化階段輸入來源、目標等兩張照片，然後對其進行 Photo WCT 轉換（Whitening and Coloring Transform），如此一來便能得到中繼照片。這時候中繼照片已經具有來源的風格，但是會因為合成影像的關係，讓畫面產生鬼影與失真。

接下來的平滑化階段，需要讓輸出的照片看起來更自然，為了達到這個需求，演算法會輸入目標、中繼照片，並比對圖中鄰近的區域，將相近的像素套入相同的風格，讓畫面更為滑順，接下來則是避免平滑化讓結果偏離 Photo WCT，以維持整體風格。

FastPhotoStyle 會將程序拆為風格轉化、平滑化等階段進行。

A、B 欄為來源、目標照片，C、D 欄為使用一般 WCT 與針對圖像最加化的 Photo WCT 轉換後中繼照片，E、F 欄則為平滑化後的成果。

與現有演算法最大的不同是，FastPhotoStyle 並不需經過更新運算的過程，每個步驟獨立進行，能夠讓處理速度提升 60 倍，並能在研究中以人眼分辨的測試中，獲得 2 倍優於目前演算法的評價。

NVIDIA 將 FastPhotoStyle 演算法以開源方式發布，有興趣嘗試的讀者可以至 GitHub下載程序，或是閱讀A Closed-form Solution to Photorealistic Image Stylization 白皮書。

如需獲取更多資訊，請關注微信公眾賬號：Technews科技新報

《T客邦》是由台灣最大的電腦出版集團「PC home電腦家庭」所經營，每日提供專業、詳實、高品質的科技資訊，成為許多電腦愛好者的科技網站。

Latest posts by T客邦

未經許可，任何媒體、網站或個人不得複製、轉載、或以其他方式使用本網站的內容，違者必究。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！