斯坦福工程師：視頻剪輯或像文本編輯一樣簡單 | 矽谷洞察

更多精彩，敬請關注矽谷洞察官方網站（http://www.svinsight.com）

在電視和電影中，演員們經常會在原本完美的表演中犯些小錯，或者漏掉某個關鍵詞。對於編輯來說，目前唯一的解決辦法就是接受這些瑕疵，或是出高價補拍修正錯誤。

但是，想像一下，如果編輯可以用轉寫的文本修改視頻，那麼，他們就像處理文字一樣，很容易在其中添加單詞、刪除不需要的單詞，或者根據需要拖拽單詞重新排列片段，重組出幾乎完美的成品視頻，這些視頻在非專業人士眼中並看不出來任何破綻。

來自斯坦福大學、馬克斯·普朗克信息學研究所、普林斯頓大學和奧多比研究院的研究團隊研究出一種剪輯畫面特寫視頻的演算法，特寫視頻指鏡頭在演員肩部以上的畫面。

新演算法可以讓基於文本的肩部以上特寫視頻剪輯成為可能。

作者表示這項工作對視頻編輯和製片人來說可能是件好事，但也會引起人們對網上圖像、視頻真實性的質疑。然而，他們也提出了一些使用該技術的指導方針，提醒觀眾和表演者視頻是被編輯過的。

斯坦福的博士後學者Ohad Fried說：「不幸的是，此類技術總會吸引那些不好的演員，但是考慮到該技術支持創造性視頻剪輯與內容創建應用程序，這些努力是值得的。」

唇語閱讀

該軟體採用新型轉寫技術從不同視頻片段中提取語言動作，並通過機器學習，轉換為讓觀眾看起來自然的成品視頻——比如唇形同步等。

有關此項研究的論文第一作者Fried說：「從視覺上看，視頻是無縫銜接的，所以也就沒必要去重錄了」，該論文發表在arXiv網站上，也將在《美國計算機學會圖形學彙刊》上發表。Fried在Maneesh Agrawala的實驗室工作，Agrawala是工程學院的Forest Baskett教授，也是該論文的資深作者。該項目從2年前Fried還是普林斯頓大學研究生的時候就開始了，他那時與計算機科學家Adam Finkelstein合作項目。

如果演員說錯話，編輯可以只編輯文本，應用程序將從視頻其他地方的不同單詞或單詞各部分中組合出正確的單詞。這就相當於重寫視頻，就像作家重新輸入拼寫錯誤或不合適的單詞一樣。然而，該演算法至少需要40分鐘的原始視頻作為輸入源，所以它還不能處理視頻序列。

當文本被編輯後，該演算法就會從錄製的視頻中選擇可以編輯的動作合成新材料，而曾經的編輯方法則會使視頻產生不和諧的跳躍或其他視覺缺陷。

為了使視頻看起來更自然，該演算法對運動參數進行了智能平滑處理，並提供期望結果的三維動畫版本。然而，這裡描繪出的圖像離理想情況還很遠。在最後一步，名為Neural Rendering的機器學習技術會把低真實性的數字模型轉換成寫實的唇形同步視頻。

為檢測系統的功能，研究者進行了一系列的複雜編輯，包括增添、刪除、改變單詞，翻譯為不同語言，甚至從中創造出完整的句子。

一項有138名參與者參與的眾包研究中，該團隊的剪輯在60%的情況下都被認為是真實的。剪輯過的視頻與原視頻的視覺質量非常相似，但Fried認為該技術仍有很大的改進空間。

馬克斯·普朗克信息學研究所的學生、該論文的第二作者Ayush Tewari說：「這對電影后期的影響很大。」它首次提出在不重拍前提下修復已拍攝對話的可能性。

倫理問題

Fried補充道，儘管如此，在合成假視頻的時代，這種技術也引發了重要的倫理問題。以這種方式編輯視頻是有價值且有正當理由的，因為重新錄製或修復視頻內容瑕疵，或根據觀眾需求定製視聽視頻內容，都需要大量的財力人力。例如，教學視頻可以根據不同的語言文化背景的聽眾進行微調，兒童故事也可以根據不同年齡進行改編。

Fried說：「這項技術實際上就是為了把故事講得更好。」

Fried承認會有人擔心這種技術被用於非法目的，但是他認為，風險是值得的。照片編輯軟體也經歷了類似的爭議，但最終，人們還是希望生活在有照片編輯軟體的世界裡。

Fried說，有幾種選擇可以作為補救措施。一種是開發某種可選水印，它可以識別被編輯過的任何內容，並提供完整的編輯底賬。此外，研究人員可以開發數字或非數字指紋技術等取證技術，確定視頻是否被剪輯過。事實上，這項研究及其他類似的研究也為更好地識別被編輯過的視頻提供了重要經驗。

Fried說，沒有一個方案可以解決所有問題，所以觀眾都必須保持懷疑和謹慎的心態。他補充道，此外還有很多更簡單的視頻編輯方法。也許最緊迫的事情就是提高公眾對視頻編輯的意識並增強教育，這樣人們就可以更好地質疑、評估合成內容的準確性。

原文作者：ANDREW MYERS

原文鏈接：https://news.stanford.edu/2019/06/05/edit-video-editing-text/

更多精彩，敬請關注矽谷洞察官方網站（http://www.svinsight.com）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！