三星新專利公開，或將AR emoji應用到視頻通話中

今年年初三星正式發布了Galaxy S9，同時推出和iPhone X的Animoji非常相似的AR Emoji，它們的功能相差不多，都是用人臉的表情製作出一個動畫表情，由此通過社交軟體分享給朋友和家人，讓聊天變的更有趣。

最近，三星的一份專利公開，顯示出將AR Emoji應用到視頻聊天的可能。

專利中表示, 現有的視頻通信系統和服務, 如 Skype 和 Google 網路, 在運行播放器應用程序的設備之間傳輸2D 視頻流。這種視頻通信系統通常將壓縮序列圖像的視頻流傳輸與設備之間的音頻流配對。大多數通信系統都是供單個用戶使用, 需要在包含照相機和顯示器的計算機設備上運行播放機應用程序。

但這樣的視頻通信系統在為用戶提供視頻功能的同時, 也存在一些弊端。例如, 現有的視頻通信系統通常需要較高的帶寬, 並且在將信號傳輸到另一個設備之前需要生成和壓縮整個圖像序列時, 其固有的高滯後時間。所以, 對於低滯後時間和高質量的應用程序, 現有的視頻通信系統要求通信設備最好通過 wi-fi、3G 或4G 移動通信技術進行傳輸。

因此, 需要有一個可視化的通信系統, 能夠顯示用戶的實際肖像, 面部表情和實時的運動, 同時減少帶寬。

根據專利的說明, 發送3D 網格模型更新數據比一般傳輸方式發送圖像序列需要的帶寬要少得多, 從而允許在帶寬較小的環境中進行流暢的通信，可以解決前述問題。

這項專利主要是兩個設備之間視覺通信的方法和系統。包括創建第一個設備用戶的3D 網格模型;在二個設備之間的可視通信會話期間接收感測器陣列中的感測器數據, 其中圖像數據包括第一個設備用戶的運動方式，第二個設備由圖像數據確定3D 網格模型的變化，將3D 網格模型更新顯示出來。

具體來說, 在第一個設備上, 記錄對3D 網格模型的更改和發送更新數據比獲得新圖像並且將圖像壓縮到圖像序列中的滯後時間更低。

在第二個設備上, 不需要等待整個圖像的傳輸和解壓縮循環，可以一次更新3D 網格模型。即使第二個設備不支持3D 視頻通信的情況下, 第二個設備仍然可以通過對3D 網格模型的分析，顯示出2D的圖像，同時通過傳統的2D 視頻傳輸方案將圖像傳輸給第一個設備。

在專利的一個案例中, 視頻模式的可能由用戶手動選擇。例如, 系統確認第一個設備包含3D攝像頭系統, 那麼據可以允許用戶在3D視頻模式或2D視頻模式之間選擇。如果混合視覺通信器發現該設備僅包括2D 攝像頭系統, 則混合視覺通信可能默認為2D 視頻模式，系統也可以根據可用帶寬自動向用戶建議2D 視頻模式或3D 視覺模式, 並在可視化過程中根據帶寬的變化動態更改視頻模式。

這個圖片用於說明創建出的用戶的臉部和頭部的3D 網格模型

三星的專利規定, 新的視覺通信應用將能夠與各種操作系統, 如 Android, 黑莓, 窗口和 iOS。

另一個有趣的點是，除了從攝像頭和深度感測器接收圖像數據外, 它還可能接收與可視化通訊會話上下文相關的其他感測器數據, 比如環境條件數據和用戶的身體數據，用戶的身體數據包括位置感測器(加速度計、陀螺儀等) 和生物識別感測器（如心率感測器、電偶皮膚感測器、瞳孔膨脹感測器等），將此用於確定用戶位置的移動和情緒狀態。同時，3D 模型組件還可以存儲不同的面部表情, 以及不同可選姿勢供用戶選擇。

必須說明，三星在2013年就開始了這方面的研究，2016年就第一次提交這份專利，最開始的時候，專利只是為了減少對視頻時帶寬的需求，提出一種用於進行視頻聊天的 "3D 網格模型"。這個3D 模型只會對用戶的面部表情作出反應, 只有這些表情的變化會被傳送。相對於一般的傳輸方案, 這樣對帶寬的要求更少。

巧合的是, 這個專利在三星推出AR emoji之後通過，但三星只是有可能會應用這個技術，到現在為止也並沒有官方在這方面的說明。但至少，這項專利可以說明三星一直都在探索增強現實模型的應用。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！