人工智慧進軍動漫產業,可以助力整個行業,讓動漫日更、優化動漫視效?
來自喵圖科技的演算法研發團隊給出了深度學習在動漫領域的研究進展,開發了一套在壓縮GPU顯存的情況下,通過人工智慧給漫畫線稿優化線條、自動上色的技術。
訓練機器自動上色,生成效果「以假亂真」!
研究團隊使用生成對抗網路(GAN)完成上色任務,達到與人工作畫相近的效果。GAN 使用了兩個以博弈論的方式協同工作的網路,以相互競賽的方式來訓練彼此。構成 GAN 的兩個網路分別是鑒別器和生成器,神經網路自行從輸入圖片中學習到上色的方法,由生成器創建偽造的樣本,同時鑒別器接收[input, training data]和[input, fake output]對來鑒別哪些樣本是真實的,哪些樣本是偽造的。網路G的目標就是盡量生成真實的圖片去欺騙判別網路D,隨著其中一個網路變得更強大,另一個網路也必須適應和提升。最後博弈的結果是什麼?在最理想的狀態下,G可以生成足以「以假亂真」的圖片。基於GAN 的生成器,研發團隊還針對不同的業務場景設計了解耦模型,通過校正輸出、輸入圖片之間的關係,減弱甚至消除這種相互關聯,將不同場景區別開來。如此訓練後得到的模型,能夠找到最接近輸入圖片畫面風格的參數,實現自動上色。
攻克技術難題,GPU模型壓縮技術很優秀
傳統的自動上色演算法對GPU的資源消耗極大,很難做到大規模的對應上色處理請求。舉個例子來講,具有50個卷積層的ResNet-50需要超過95MB的存儲器以及38億次浮點運算。喵圖科技研發團隊基於通道減枝,試圖去除冗餘和不重要的項來降低存儲和計算複雜度,訓練一個更緊湊的神經網路來重現一個更大的網路的輸出。此外,他們還將神經網路二值化,讓計算主要在正1或負1間進行,幾十倍地降低了網路大小和計算量,保證預測準確率。經過他們的努力,AI自動上色仍能照常工作,但GPU 顯存佔用降低至原模型的5%,速度提升為10倍。
此項研究的成功,代表著自動上色技術不僅可以用於娛樂面向用戶,也可以形成低成本工業規模服務於整個動漫行業,可以為動漫行業提供「工業級」畫面輸出,大大壓縮動漫製作的生產時間,節約生產成本。在未來,動漫製作組只需要幾個人為作品製作劇情方向、繪製部分分鏡,剩下的可以都交給AI自動上色來搞定。
※古城再添文化地標 平遙將於七月舉辦國際雕塑節
※《熱血街舞團》選手楊凱吐槽鹿晗:我白選他們了
TAG:中國網 |