打破次元壁！這個 AI 演算法可以讓照片里的人跳出來

《哈利波特》世界裡有一種神奇的魔法報紙，報中照片上的人物可以動起來，看起來有點像 GIF 圖。在故事裡這當然是「魔法」的功勞，現實世界中還沒有造出這樣的報紙。不過，華盛頓大學的幾個科學家不死心，他們想用 AI 演算法來讓照片中的人動起來。

圖片來源：Haven & Hearth

這種技術叫做 Photo Wake-Up。先來看一下效果，他們在照片、海報和藝術畫上都進行了實驗。

首先向我們走來的是籃球運動員庫里，看起來是剛進了球。

然後是鋼鐵俠。哎，你從太空回來了？

是超級賽亞人孫悟空！只是原地蹦了幾下...... 我以為他要變身了

還有一位長相奇怪的女子，原來是畢加索的《瑪雅和玩具船》。

是不是很酷炫？這些人物就像是從畫中走出來的一樣，不僅從 2D 變成了 3D，還能做各種動作。

其實類似的嘗試之前就有人做過，把照片里的 2D 形象映射到 3D 模型上，然後讓它們動起來。不過結果嘛，像是行屍走肉。

因為 2D 形象都是從某一個固定角度去看的，用 3D 模型的標準去控制，會出現不匹配的情況。更不用說畢加索畫里的人，根本沒有一個合適的模型來匹配。讓 2D 形象動起來還有一個難點，就是身體部位的重疊部分不好控制，走路的時候哪只手在前？哪只手在後？還要被身體擋住。這些複雜的問題不解決，根本無法做到栩栩如生。

團隊給出的解決方案是 AI 演算法。首先將 2D 形象與 3D 形變模型匹配，標記出身體各部位的位置。然後按照形變演算法，一步步構建網格。

按照關鍵點位置控制網格，還原出皮膚數據，構建好貼圖。

最後，把貼圖放回到原圖中，用演算法填充背景，人物就可以隨便跑了！

團隊還特別提到，頭部姿勢的準確性對動起來的人十分重要，因為大部分人會將注意力放在人物的臉上。因此，他們的演算法還可以識別形象的頭部角度，還有注視方向。

為了讓這個演算法可以實際應用，團隊還提供一個調整的選項，允許使用者改動關鍵點的位置。

這項技術可以被用到 AR、VR 中，配合相應設備來使用。想像一下，未來我們在博物館中看的藝術畫，可能是動起來的。

Photo Wake-Up 項目地址：https://grail.cs.washington.edu/projects/wakeup/

編輯：Rubberso

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！