想成為抖音的下一代舞王?Deepfakes 技術可以幫你
人工智慧在視頻操作方面十分強大,利用deepfakes 技術來實現人臉交換就是最顯著的例子。然而,技術更新換代日益迅猛,deepfakes 技術的最新應用是什麼呢?讓我們且稱之為deepfakes舞蹈合成術。它利用人工智慧讀取舞蹈動作,並將其複製到目標對象。
該技術是由加州大學伯克利分校的四位研究人員研發的。正如他們在arXiV上發表的一篇論文中所述,該系統由許多獨立的步驟組成。首先,錄下目標對象的視頻,用子程序將其動作轉化為線條畫。(要保證轉化的質量則需要較多的視頻素材:大約20分鐘的視頻,每秒120幀)。然後,找到一個源視頻,並製作他們動作的線條畫。然後,就可以進行交換了,基於源視頻的動作線條畫通過神經網路合成目標對象的視頻。
從現代舞到芭蕾舞,該系統可將各種風格的舞蹈動作轉化為線條畫
這聽起來可能很簡單,但其中包含著工程師們不少的奇思妙想。例如,裡面有一個子程序可以使動作的線條畫更平穩,因此舞者不會過多地晃動,此外還有一個完全獨立的神經網路,專門用於追蹤目標對象的臉部以確保真實感。
然而,該系統也有一定的局限性。例如,神經網路無法準確地模擬鬆散的衣物,因此目標個體必須穿緊身的衣服。在發布出來的視頻當中,你還是可以看到相當多的違和之處,尤其是當目標對象和源視頻中舞者的關節沒有對齊或人工智慧軟體無法重現如手部快速從後往前翻轉等複雜動作時。
不過,該系統仍令人印象深刻。過去,這種視頻操作可能需要花費整個團隊一天的時間,但現在僅需要一些源視頻和正確的人工智慧軟體。預計不久以後就會發布應用該技術的APP,但我們可能需要先忽略一下這可能會給視頻的真實性帶來的影響。
※8點1氪:滴滴被多部門約談;蘋果新手機將沿襲iPhone X外觀;韓國電視台將推出區塊鏈真人秀節目
※36氪領讀 | 薛兆豐:我為什麼支持收取高額的擁堵費
TAG:36氪 |