中國學霸們開發的一款AI，要讓插畫師丟了飯碗！

新聞 08-23

本文來自動畫學術趴，授權轉載自知乎專欄AI Insight，文章經過編輯調整。

事先聲明，這篇文章的標題絕不是在聳人聽聞。事情的起因是今天早上在朋友圈看到同學在轉發一篇論文，名字叫《Create Anime Characters with A.I. !》，打開一看，論文主要是通過各式屬性生成二次元人物的頭像，使用的方法是cGAN，效果非常impressive。

論文作者來自復旦大學、CMU、石溪大學、同濟大學

下圖左側為通過屬性金髮、雙馬尾、害羞、微笑、緞帶、赤瞳生成的人物，右側是通過屬性銀髮、長發、害羞、微笑、張嘴、藍瞳生成的人物，都表現得非常自然，完全看不出是機器自動生成的：

模型生成的隨機樣本：

固定cGAN雜訊部分生成的樣本，此時人物具有不同的屬性，但是面部細節和面朝的角度基本一致：

更加令人興奮的是，作者搭建了一個網站，任何人都能隨時利用訓練好的模型生成圖像，進行實驗！（點擊閱讀原文即可到達實驗網站）

這裡的按鈕的含義都比較簡單，總的來說我們要先選定一些屬性（完全隨機也是可以的），然後點擊左側的generate按鈕生成：

完全隨機生成的結果，看起來非常好：

選擇發色（Hair Color）為金色（Blonde），髮型（Hair Style）為雙馬尾（Twin Tail），點擊生成，效果同樣很贊！如下圖：

技術細節

我之前也寫過兩篇文章，一篇介紹了GAN（全稱為生成式對抗網路，人工智慧中的一種生成式模型）的原理（GAN學習指南：從原理入門到製作生成Demo），一篇介紹了cGAN（全稱為條件生成式網路）的原理（通過文字描述來生成二次元妹子！聊聊conditional GAN與txt2img模型），這兩篇文章都是以生成二次元人物來舉例，但是生成的結果都比較差，只能看出大概的雛形。今天的這篇論文大的技術框架還是cGAN，只是對原來的生成過程做了兩方面的改進，一是使用更加乾淨、質量更高的資料庫，二是GAN結構的改進，下面就分別進行說明。

改進一：更高質量的圖像庫

之前使用的訓練數據集大多數是使用爬蟲從Danbooru或Safebooru這類網站爬下來的，這類網站的圖片大多由用戶自行上傳，因此質量、畫風參差不齊，同時還有不同的背景。這篇文章的數據來源於getchu，這本身是一個遊戲網站，但是在網站上有大量的人物立繪，圖像質量高，基本出於專業畫師之手，同時背景統一：

除了圖像外，為了訓練cGAN，還需要圖像的屬性，如頭髮顏色、眼睛的顏色等。作者使用Illustration2Vec，一個預訓練的CNN模型來產生這些標籤。

改進二：GAN結構

此外，作者採取了和原始的GAN不同的結構和訓練方法。總的訓練框架來自於DRAGAN經過實驗發現這種訓練方法收斂更快並且能產生更穩定的結果。

判別器也要做一點改動，因為人物的屬性相當於是一種多分類問題，所以要把最後的Softmax改成多個Sigmoid：

詳細的訓練和參數設定可以參照原論文。

一些問題

雖然大多數的圖像樣本都比較好，但作者也提出了該模型的一些缺點。由於訓練數據中各個屬性的分布不均勻，通過某些罕見的屬性組合生成出的圖片會發生模式崩壞。比如屬性帽子(hat)、眼鏡(glasses)，不僅比較複雜，而且在訓練樣本中比較少見，如果把這些屬性組合到一起，生成的圖片的質量就比較差。

如下圖，左側為aqua hair, long hair, drill hair, open mouth, glasses, aqua eyes對應的樣本，右側為orange hair, ponytail, hat, glasses, red eyes, orange eyes對應的樣本，相比使用常見屬性生成的圖片，這些圖片的質量略差：

總結

這項工作確實令人印象深刻，生成的圖片質量非常之高，個人認為如果加以完善，完全可以在某種程度上替代掉插畫師的一部分工作。最後附上文中提到的一些資源（可長按複製從瀏覽器打開）：

網站：MakeGirls.moe（已有訓練好的模型，打開就可以嘗試生成）

論文：https://makegirlsmoe.github.io/assets/pdf/technical_report.pdf

好，以上就是知乎作者何之源跟大家分享的專門跟日式插畫師搶飯碗的AI。從以上的效果看來，AI生成的頭像基本讓人滿意。按照這種效果繼續完善，恐怕不少插畫師的飯碗不保了。

我們接著延伸著多聊點兒東西。

事實上，強大的人工智慧已經在慢慢滲入到藝術領域的各個角落。

首先讓我想起的是工程師Christopher Hesse利用智能學習圖形工具pix2pix研發的系列識圖工具——Image-to-Image，將線條轉換為真實圖片。

其中一個子應用edges2cats是一個能自動將線條轉化為萌貓的工具。它能根據你發揮的想像力，畫出的各種輪廓，來完成一張貓咪圖片。

今年刷屏的還有谷歌發布的一款利用 AI 技術的畫畫工具AutoDraw，嚇得廣告設計師都以為自己要失業了。

AutoDraw能將機器學習與你信手塗鴉創建的圖形配對，幫助你繪製完整而比較漂亮的圖形。

而在AlphaGo與柯潔的圍棋對局以AI三局全勝落幕不久後，數一數二的同人、插畫社群根據地——P站在「pixiv Sketch」上線過一項黑科技新功能——自動上色。

你只需要提供線稿完成品。待作品準備完畢，就可以點擊右上方的「自動著色」。

當你選擇後，界面會看到兩種不同模式的自動上色效果，你可以通過預覽來選取自己的偏好模式，AI就會自動進行運算並輸出上完色的圖稿。

當然，如果對輸出的結果不滿意，你還可以繼續再用pixiv sketch的內置工具手動修改指定局部區域的顏色，通過標記而輸出更符合你期望的結果。

簡單幾步，一副上色效果還不賴的畫作就誕生了！難怪消息一出，就有網友評論說：「從此高產似母豬。」

早在P站此次發布自動上色前，已經有不少工具具有「自動描線」等功能。而今年1月份，日本就已經測試用AI來提供自動上色服務的「Paints Chainer」。而P站的自動上色服務也是基於前者的技術框架，升級改造後的成果。它們的背後是也是人工智慧觀察60萬張上色插圖，學習人類上色方法，經過一連串運算得出的成果。