抖音上那些舞蹈大咖，可能根本不會跳舞……

從小被說小腦不發達，四肢不協調的痛，一般人真的體會不了。。。

每當提到跳舞，小辣椒想像中的自己，哪怕是跟著 《 最炫民族風 》的節奏都抖得帥氣異常——

但實際上，跳出來是這樣。。。

以及這樣。。。

嗯？啊？我明明每個 beat 都在點子上的啊。。。

就在最近，來自加州大學伯克利分校的研究團隊研究出了一個新演算法，能讓人人都變身舞蹈界的楊麗萍。

Everybody Dance Now

怎麼操作？

首先，準備一個範本舞蹈作為源視頻，就先隨便選段兒火星哥的 「 短腿舞 」 吧。。。

然後，再傳入一段兒普通人隨意晃動的視頻，作為用於修改的目標視頻。

在接收到指令後，Everybody dance now 演算法會將源視頻中人物的動作完全復刻到目標視頻中。

不過，刁鑽的差友可能會懷疑是火星哥舞蹈難度係數不，動作幅度不夠大所以復刻過程比較簡單。

那就再來段兒芭蕾吧，對舞者控制、力量、協調性的要求都更高，復刻難度看上去比 「 短腿舞 」 更大了。

說真的，演算法的處理結果竟然還挺讓人驚喜。。。

動作同步毫無壓力，從頭到手，再到腳部動作幾乎都跟源視頻保持了一致。

要說有什麼不足，可能就是氣質這個東西，真沒法兒複製，源視頻和目標視頻中的舞者的儀態差異不小。「 天鵝頸 」 看來真的只能靠練出來了。。。

效果我們都看到了，現在來說說 Everybody dance now 的動作學習是怎麼辦到的。。。

大家應該注意到兩個視頻之間有一個火柴人的動畫了吧？它就是真箇演算法的關鍵 ——GAN 對抗網路。

演算法先分別對源視頻和目標視頻中人物的動作進行解析，然後將動作以身體關鍵點的形式簡化成火柴人動畫，再把兩個火柴人的動作一幀一幀對應修改。

這個過程中，兩個火柴人的動作經過了無數次映射學習，就像是女生在教男朋友怎麼才能給自己拍一張好看的風景照一樣。。。

男朋友拍照給女生看，女生提出反饋意見給男朋友修改學習，從而磨合，直至男友的水平和女生的欣賞力達到一致。

除了身體姿勢的學習，演算法還把人物的身體分為了肩部以上和肩部以下兩個板塊，肩部以上的面部表情復刻也採用了同樣的演算法進行復刻。

emmmmm，雖然細節效果有點一言難盡。。。

其實要是仔細看，不只是目標視頻中人物的面部出現了消融的現象，身體在動的時候也有相似的部分部位丟失和模糊化，演算法目前還做不到完全的精準復刻。

目前，Everybody dance now 還沒有被運用到實際的場景中，也還沒有被開源出來。

不過因為這套 GAN 的學習方式省去了 3D 建模的複雜流程，一旦成熟很可能會有效提升遊戲、動畫動效的製作效率。

至於更小一點兒的使用場景嘛，這套演算法用在抖音、微視上可能會火。

想想還有點小期待。

圖片、資料來源：

1.Everybody Dance Now論文：https://arxiv.org/pdf/1808.07371.pdf

2. 《 UC 伯克利超酷研究：舞痴和舞王之間，只差一個神經網路》，量子位

3. 《 到底什麼是生成式對抗網路 GAN ？》，微軟亞洲研究院

4.Dance，giphy.com

「 不用短腿也能跳火星哥的短腿舞 」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！