上崗三月後 搜狗與新華社再推站立式AI合成主播!
智東西2月19日消息,今天,搜狗公司與新華社新媒體中心達成戰略合作,並聯合發布了首個站立式AI合成主播。
新的AI合成主播將從過去的「坐著播新聞」升級成結合肢體動作的「站立式播報」,這意味著AI在模仿人類聲音、唇形、表情的基礎上,進一步學習人類的體態、手勢等,表現力更加豐富,也代表著「搜狗分身」技術再次取得新進展。
三個月前,在2018年互聯網大會期間,搜狗與新華社發布全球首個AI虛擬合成主播。搜狗公司CEO王小川表示,三個月來,首批入職新華社的一中一英兩位AI合成主播,已生產3400餘條新聞報道,累計時長達10000多分鐘,參與了包括第五屆世界互聯網大會、首屆進博會、2019春運、春節等若干重要報道,成為AI與傳媒業融合併付諸規模化應用的典型案例。
無論是初代AI合成主播,還是站立式的AI合成主播,其背後的關鍵技術是「搜狗分身」。
初代AI合成主播
在初代AI合成主播中,搜狗分身技術讓機器可以模擬人類說話時的聲音、嘴唇動作和表情,並且將三者自然匹配,從而形成一個人類的AI分身。
通俗來講,由真人主播面對鏡頭錄製一段新聞播報的視頻,搜狗分身憑藉這段視頻就可以將真人主播的聲音、唇動、表情動作等特徵進行提取,然後通過語音合成、唇形合成、表情合成以及深度學習等技術,「克隆」出與真人主播十分相似的具備新聞播報能力的AI虛擬主播。
站立式AI合成主播
而搜狗此次展示的站立式AI合成主播,則在前代合成主播的基礎上,利用「搜狗分身」技術繼續賦予AI肢體語言的能力,讓AI合成主播的表現力更豐富更逼真,進而幫助人類提高信息表達和傳遞的效率。
隨著「搜狗分身」技術能力的不斷提高,AI合成主播的定製周期也大為降低,僅靠少量用戶真實音視頻數據,即可快速定製出高逼真度的分身模型。本次發布會,搜狗與新華社還推出首個AI合成女主播,正是「搜狗分身」技術持續複製不同類型、不同特點AI合成主播能力的一個體現。
最新推出的站立式AI合成主播將參與2019年全國兩會的報道,並將在搜狗搜索、輸入法等資訊平台上與用戶見面。
在智東西看來,搜狗分身背後則是搜狗對多模態合成技術的探索,所謂多模態即多種感官的融合,本次的站立式AI合成主播,在語音合成、唇語合成以及表情合成的基礎上,又增加肢體語言的合成,無論是從單點圖像生成,還是從不同維度的多模態合成上,都是一次技術的進步。
此外,從三個月前搜狗與新華社推出的首個AI合成主播,到今天搜狗與新華社達成戰略合作,多為AI合成主播的上崗,也代表著搜狗多模態合成技術落地的深化。
TAG:智東西 |