迪士尼在研究一種人工智慧，讓聲畫剪輯可同步

科技 11-19

迪士尼也要開始做AI研究了

從技術的角度來看，擅長講故事的迪士尼在這方面也有相當多的積累，例如隱藏在上海迪士尼樂園裡的那些。現在，迪士尼也要做AI研究，想幫助視頻剪輯師更好地工作。

迪士尼旗下的迪士尼研究部門(Disney Research)和蘇黎世聯邦理工學院合作，正在開發一套機器學習系統，在識別畫面的基礎上，將畫面跟相關的聲音連接起來。

這聽起來可能有點繞，其實是日常生活常見的現象。例如隨著關門的動作進行，人們會「想像」特定的關門聲音。本質上，其實是人們把關門相關的視覺信息跟聲音信息做了連接。

這項研究想要做的，就是培養機器人這種關聯性。在建立畫面和聲音的強關聯性上，最大的障礙是那些跟畫面中的物體運動不相關的聲音，例如汽車開在馬路上，附近還有公放的音樂，這會形成干擾。

他們的培訓方式是這樣的，給機器人喂入一系列隨手拍攝的、帶有聲音的視頻。在喂入前，他們做了前期加工，從視頻畫面中用軟體篩掉那些含有較低雜音，或者純背景音的畫面，再把剩下的畫面、聲音喂入到系統內，對它進行培訓。

在歐洲機器學習大會上，這些研究員展示了初步的研究結果，他們培訓的AI系統成功地做了這些畫面跟聲音的配對：關門、杯子碰撞和汽車在馬路上行駛。

暫時還不清楚這個研究會如何幫助迪士尼。在研究報告中，這些研究員稱，他們的技術除了有助於幫視頻畫面跟聲音做匹配，可能還有助於對視頻資料的分類，或者是運動識別。這些聽上去可能是幫助剪輯師在後期剪輯時提高效率。

作為一個支援部門，迪士尼研究部門做的研究看上去跟其它科技公司沒有太大差別，但開發的主要目的是為了能應用於迪士尼的旗下業務。

去年，這個研究部門還推出了一項新的眼球追蹤技術，幾乎可以複製人眼。他們使用了大量攝像頭和燈光來捕捉人眼的所有細節，還能保證複製品能根據環境變化而發生改變。

您可能感興趣