讓畫面更逼真！這個強化超解析度GAN讓老遊戲迎來第二春

乾明 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

能推動AI落地的，不只有利益，也有興趣和情懷。

近期就有一群資深遊戲玩家，用增強型超解析度生成對抗網路（ESRGAN）做出了經典遊戲的高清化MOD。

效果很感人。就像給近視患者戴上了眼鏡一樣，整個世界都清晰起來了：

原來一團模糊，現在各種紋理、細節清晰可見。

目前，《重返德軍總部》、《毀滅戰士》、《上古捲軸III：晨風》和《馬克思·佩恩》等遊戲已經有了相應的Texture Pack可供下載。（傳送門在文末）

要知道，隨著顯卡越來越厲害，計算能力越強大，很多經典的遊戲雖然玩法很經典，但在當前的硬體配置下，但粗糙的畫面讓人越來越難以接受。

不少遊戲公司都有了「高清重製」這些遊戲的想法。費時費力不說，重置版的遊戲，也很少能夠保留原來的遊戲風格與感覺。

ESRGAN給人的，就是原汁原味的體驗。

在《上古捲軸III：晨風》資源包的下方，一位資深的遊戲玩家評論稱，這不是一個技術噱頭，而是一個相當好的「高清重製」，為遊戲畫面的原始紋理增加細節，還保留了其美學風格。這就是我記憶中《晨風》的樣子，細節和我原來想像中的一樣的。

有人發出感嘆稱，這個AI簡直是「天賜之物」！更是有不少人用「Fu*k」來表達自己的心情。

當然，少不了有人有一些大膽的想法，那些放在硬碟里「落灰」的老遊戲，能夠迎來第二春了。

這個應用場景同樣也引起了AI圈大佬的注意。GAN之父Ian Goodfellow在Twitter上轉發了相關的信息，引發了不少的關注。

但AI圈和遊戲圈的討論畫風，略顯不同。

有人說，從這個效果你就能夠看出，為什麼英偉達和好萊塢看到GAN和NN會如此興奮了！

也有人腦洞大開：是不是可以用相同的方法，把1080P升級到4K？

當然，有想法是好事兒。但ESRGAN到底是什麼？

ESRGAN是什麼？

ESRGAN，是增強型的超解析度生成對抗網路。想要弄清楚它，還需要從超解析度生成對抗網路（SRGAN）說起。

一般情況下，想要把遊戲畫面變得高清化，需要對圖像的超解析度重建。

傳統的超解析度重建方法，是用較小的倍數將圖像放大。但問題是，放大到4倍以上時，圖像就會出現過度平滑的現象，就變得不那麼真實了。

針對這個問題，Twitter的研究團隊提出了超解析度生成對抗網路SRGAN。

他們的思路是，藉助GAN的網路架構來生成圖像中的細節，生成器（generator）生成一張超分辨圖像，來騙過判別器（ discriminator ）。

在GAN基礎上，他們還設計了感知損失（perceptual loss）函數和對抗損失（adversarial loss）函數來提升輸出圖像的真實感。

論文鏈接：

https://arxiv.org/abs/1609.04802

比起傳統的方法，SRGAN在效果上有了很大的提升，但這條路並無止境。

然後，ESRGAN誕生了。

與SRGAN相比，ESRGAN在不少方面有了增強。

在模型架構上的，基本和SRGAN差不多，區別在於針對基本塊(BasicBlock)的替換。

在ESRGAN中，提出了新的RRDB殘差密集塊（RRDB），然後將殘差密集塊中的殘差作為基本的網路構建單元，而不是進行批量預處理（歸一化），從而有助於訓練更深更複雜的網路結構。

除了改進生成器，他們還對SRGAN的判別器做了一些改進。基於相對GAN的想法，讓判別器判斷的相對真實性而不是絕對真實度。

SRGAN的判別器，僅僅針對輸入圖x判斷真實且自然的概率，而相對判別器嘗試去預測真實圖像xr相對於生成結果（假的）xf更加真實地概率。

此外，ESRGAN也提出了一種更加高效的感知損失函數，而使生成的圖像有更加清晰的邊緣。

對比的效果是這樣的：

ESRGAN的論文，被ECCV 2018收錄，贏得了PIRM2018-SR挑戰賽的第一名。

作者來自商湯-香港中文大學實驗室等機構。第一作者為Xintao Wang，2016年本科畢業於浙江大學。

目前是香港中文大學多媒體實驗室的3年級博士生，師從湯曉鷗和Chen Change Loy。

最後要說的是，ESRGAN已經開源了，也有人給出了如何在Windows上運行ESRGAN的指南。

如果你也有大膽的想法，請收好下面的傳送門~

傳送門

ESRGAN論文

https://arxiv.org/abs/1809.00219

ESRGAN代碼

https://github.com/xinntao/ESRGAN

如何在Windows上運行ESRGAN

https://kingdomakrillic.tumblr.com/post/178254875891/i-figured-out-how-to-get-esrgan-and-sftgan

遊戲模組下載

重返德軍總部：

https://www.dsogaming.com/news/return-to-castle-wolfenstein-gets-hd-textures-using-esrgan-available-for-download/

毀滅戰士：

https://www.dsogaming.com/news/this-hd-texture-pack-for-doom-upscales-the-textures-via-ai-neural-networks-and-looks-incredible/

上古捲軸III：晨風：

https://www.dsogaming.com/news/morrowind-enhanced-textures-is-a-must-have-mod-that-upscales-texture-by-4x-with-esrgan-technique/

馬克思·佩恩：

https://www.moddb.com/games/max-payne/addons/max-payne-remastered

—完—

加入社群

量子位AI社群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「交流群」，獲取入群方式；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字「專業群」，獲取入群方式。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡就點「好看」吧 !

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！