深度學習繼續發力 NVIDIA首次實現AI繪製駕車遊戲demo
NVIDIA的DLSS深度學習採樣技術是目前顯卡界最強的防狗牙技術,但AI的強大當然不會止於此。NVIDIA昨天發布的一篇研究論文探討了AI生成畫面與傳統遊戲引擎結合的方法,他們也為此製作了一個混合圖形系統原型。
雖然NVIDIA所使用的演算法和構架思路前人早已提供,比如pix2pix、GAN(對抗生成式神經網路),不過NVIDIA在此實現的新突破,則是藉助這些現有的東西,用它們製作了一個能跑起來的遊戲demo,儘管這個駕駛模擬demo很簡陋,而且跑的成本有些高(NVIDIA用了塊Titan V),從無到有這一過程總有它的特殊意義在。
為實現該demo,NVIDIA首先餵給GAN模型一堆從自動駕駛中獲得的開源數據組,讓AI學習辨識畫面中的內容如天空,車輛,樹木道路以及建築等等,隨後交由其自己根據學習數據生成這些物體的新狀態;接下來是準備虛擬環境,用虛幻4引擎以傳統方式構建出車輛所處環境的基本拓撲;最後,GAN模型會把構成畫面的各種元素實時生成出來傳遞給虛幻4引擎,更新畫面的模型信息。
在demo成型的初期,GAN模型的表現非常不穩定,在25fps的幀率條件下它所傳遞的物體顏色和貼圖信息幾乎每幀都會改變,畫面相當瞎眼;在為模型加入短時記憶之後,通過對比兩幀畫面,整套系統會自行判斷畫面內物體的運動,讓整體動畫看起來更具關聯性,更像是連續行進中的遊戲畫面。
NVIDIA強調稱該技術仍處於實驗室的早期階段,沒個十年二十年恐怕不會出現在我們最終能玩到的遊戲內。但是這類AI玩法我們其實已經在「根據人臉塑造自己的3D角色形象」,還有深度偽圖等實例中見過了,也許它所要花的時間,會比我們想像中的要短。
![](https://pic.pimg.tw/zzuyanan/1488615166-1259157397.png)
![](https://pic.pimg.tw/zzuyanan/1482887990-2595557020.jpg)
※12月1日起,動動手指就能攜號轉網了!
※三陽發布XP 35MM F1.2鏡頭 專門收割佳能系老法師
TAG:愛活網 |