人臉「移植」，快手是怎樣做到的？

郭一璞 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

AI能換臉，想必你已有所耳聞。

但通過手機就可以實時「變臉」，快手還是第一家。

沒錯，這家短視頻領域的獨角獸，正在利用AI技術，給產品創造更多玩法。

近期新版本更新後，快手App上新增了AR換臉特效，與常見的點綴式手機AR特效不同，這個AR角色的面孔可以由用戶自定義。

怎麼講？

比如在拍攝短視頻時，如果選擇了AR換臉特效，可以選取相冊中的照片，把相冊中的人臉「移植」到AR三維模型上…

之後，一個長著你想要的臉的3D虛擬角色，就誕生了。

像這樣：

這樣：

或者這樣：

今日最佳白切雞

當然，玩起來很簡單，但背後的AI技術並不簡單。

AR變臉背後的AI技術

核心而言，要感謝快手的3D引擎，以及考驗AI硬實力的YCNN深度推理學習技術。

所謂3D引擎，就是為了呈現3D的角色，在引擎上添加編輯器模塊、渲染模塊、肢體模塊、聲音模塊等。

這些模塊讓3D角色皮膚光滑、在真實的光影條件下立體而真實，可以讓用戶隨意拖拽這些角色的位置。

但這才剛開始。

3D角色成形後，離實現AR換臉還有3大步驟：

一，讓3D角色AR化；

二，把用戶照片中的臉移植到AR模型上；

三，讓即使目前最低配的手機也能完成如此複雜的運算。

這就需要快手自主研發的YCNN深度推理學習引擎發揮作用了。

YCNN深度推理學習引擎可以讓AR演算法優化，在手機端實現運行，還可以幫助對用戶的照片進行臉部識別，精準分割出人臉的部分，貼到3D角色的臉上。

除此之外，在快手魔法表情等應用中，YCNN深度推理學習引擎也發揮了作用

說出來可能多餘，但這家短視頻領域的獨角獸，技術——特別是AI技術，佔據著核心關鍵的作用。

快手內部，甚至還有一支專門的AI團隊。

快手Y-Lab實驗室

這支團隊番號Y-Lab，稱Y實驗室，快手希望把它打造成DeepMind一樣的團隊。

所以Y-Lab的負責人正是快手AI副總裁鄭文。

鄭文是快手CEO宿華在清華期間的同學，清華碩士畢業後去了斯坦福讀博，研究計算機圖形學和電影特效。

鄭文博士

此後，鄭文陸續在ebay和pilot.ai從事計算機視覺方面的研究。

2016年的秋天，鄭文博士受到老同學宿華的邀請，回國擔任快手Y-Lab實驗室負責人。

快手Y-Lab實驗室專門做一些為用戶提供有趣體驗的功能，比如這個手上長多肉的AR特效：一顆種子從天而降，掉落在手心，逐漸生根發芽，長成一顆多肉，之後慢慢變為盛放的樣子。

此外，人體姿態捕捉也是Y-Lab正在研究的產品，用戶通過手機直接拍攝人的動作，就可以將所有動作轉化為特效。

在影片《猩球崛起3》上映時，快手推出的「一秒變凱撒」就是利用了Y-Lab的這項技術，手機直接捕捉人體關節的活動狀況，電影主角凱撒的形象就可以隨著人的動作而變化。

值得一提的是，Y-Lab還對快手的視頻推薦機制發揮作用力。

一方面，通過視頻理解技術，讓機器讀懂視頻的技術，從視頻中提取出語義、圖形，識別視頻中的物體角度、運動、變化，從而進行判斷。

另一方面，從用戶使用數據中造成用戶畫像描摹，感知用戶的興趣和潛在喜好。

從而把適合的內容推送給潛在的用戶，實現精準分發。

而且不能忽略的是，由於深度學習對訓練數據規模的依賴，所以目前快手的海量用戶規模和行為，也在幫助快手的AI日夜進行迭代和提升。

數據越大，AI越好；AI越好，用戶體驗也會相應提升。

對於AI公司來說，這至關重要。

AI公司快手

不過，「千人千面」的AI推送已經見怪不怪了。

而且這也只是AI公司快手的森林一葉。

在快手，不僅僅是推送環節，整個短視頻的製作、識別、推送過程，都與AI息息相關。

在內容生產環節，各類AI技術識別場景，讓用戶記錄更有趣的生活場景，創造豐富的玩法，提升趣味性。

同時根據場景幫助用戶選擇最合適的濾鏡，提升視頻效果。

之後，運用視頻解析，讓機器高效的看懂、理解視頻，讓機器對用戶有深度的認知和理解。

最後到匹配環節，機器基於對視頻內容和用戶喜好的理解，智能分發視頻內容。

毫無疑問，AI驅動也是快手快速崛起的核心原因。

快手目前已有7億用戶、50億視頻。可以說，從短視頻創作，到呈現在目標用戶眼前，整個過程都有AI深度參與。

快手Y-Lab也正在變得越來越繁忙。快手方面稱，需要更多的AI專家，越多越好…

招聘頁面上，從深度學習、推薦技術、搜索技術、計算機視覺、NLP、圖形學、語音、三維人臉識別，到音視頻演算法等，AI方向無一不包，明確而緊迫。

—完—

活動報名

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！