為什麼蘋果和 Snapchat的AR 計劃都沒大火？

20 世紀 60 年代末，全世界的大學都想知道這個問題的答案：有朝一日計算機能擁有視力嗎？大家都對計算機能否看到東西，能否與人類互動特別感興趣。這個探索導致了一個新領域的誕生，那就是計算機視覺。在 90 年代初，麻省理工學院的研究人員發明出能檢測人類頭部的機器，曼徹斯特大學的研究小組也有了一種可以檢測面部特徵的機器。直到 2013 年，此時距離智能手機問世已經 6 年，人工智慧技術以神經網路形式出現已經 3 年，瑞典皇家理工學院的團隊才得以在手機上運行這個東西。

這項工作長期以來都完全是學術研究，但在 2014 年，烏克蘭初創公司 Looksery 利用這技術創建了一個數字化妝品自拍應用，用戶下載量超過 100 萬次。Snapchat 看到了更大的機遇，收購了該公司。6 個月後，Looksery 成為了 Snapchat 現在著名的 Lenses。Facebook 意識到有必要將其競爭對手的功能與功能相匹配，隨後在第二年早些時候收購了應用程序 MSQRD 背後的團隊。以人為中心的計算機視覺，以自拍 AR的形式在公共形式中應用，突然在全球範圍內引起了轟動，成為兩大社交媒體巨頭爭奪關注的關鍵武器。

2017 年，蘋果推出了開發 AR 應用的 ARKit，Snapchat 推出 AR 相機應用 World Lenses，Facebook 則開放了 AR 工作室，然而這些努力並沒有帶來用戶的瘋狂增長。

對我們來說，新的社交 AR 不僅將縮小自拍 AR 與以眼鏡為基礎的新興 AR 之間的差距，而且潛在的技術可能是未來幾年的關鍵組成部分。為了做到這一點，需要開發一個神經網路，在所有的配置中實時檢測追蹤人們，而不僅僅是自拍，這是個很大的挑戰。

用前置攝像頭追蹤自拍照本質上是一種特殊情況，在識別和跟蹤一個人的時候，可能會遇到各種各樣的情況。從前置鏡頭到後面的鏡頭可以看到很多其他的例子，其中包括：主題有可能偏離中心；人可能看起來是不同的距離/尺寸；他們通常不會面對鏡頭，所以不能只看人臉，而是要尋找頭部、頭髮、帽子和其他各種特徵的背部；照片中經常有很多人。

上面這些問題都是必須克服的，克服後技術才能夠工作。那麼這項技術到底能做些什麼，我們可以分為以下四個部分：

多人檢測

考慮到用戶的相機圖像，應用程序需要識別圖像中顯示頭部和相應物體的區域。這使得我們可以根據頭部的大小來估計人的距離。通過身體，可以將任何視覺信息錨定在人的運動上。

持久的個人跟蹤拍攝

將多人頭部和身體檢測的信息與多個幀進行比較，以追蹤場景中人物的運動和身份。這使我們能夠將視覺信息固定在一個特定的個人身上，即使他們被其他人包圍，或是他們離開了相機的視線又重新進入。

個人背景和全身分割

對於每一個被跟蹤的人，進一步分類哪些像素屬於他們的臉、皮膚、頭髮、衣服和背景。這為我們提供了一系列分層的清晰的分色，可以用它來進行 AR 效果的高級混合。否則只能使用光場或深度感測捕獲技術，這在智能手機上不容易實現。

編輯器

我們專門訓練神經網路以產生這些層，讓任何設計師都可以輕易地與之交互和操作。因為這些網路是基於簡單的數學計算，所以很容易讓他們在桌面和移動設備上運行相同的質量。這使得設計者可以快速的迭代和設計，使用自定義編輯器，為溢出應用視覺效果。

案例：

社交應用：鼓勵人們聚在一起，扮演他們最喜歡的明星。

遊戲體驗：玩家現在可以成為遊戲中的角色，目標和視覺操控，被攻擊時還能還擊。

時尚應用：在顧客身體上放衣服，既可以娛樂，也可以試用和購買。

我們的細分用戶可以將他們的移動頭像放置在任何視頻中，這都是實時追蹤的。在基於眼鏡的未來，人們很可能是整個互動的上下文觸發器。最初是在室內，比如特定於人的提醒 、個人詳細信息或更豐富的遊戲體驗。然後很可能會看到涉及商業交易的戶外交互，比如網上即時支付，以及視覺增強，預計 Tumblr 和 Pinterest 後面的相同動機將會擴展到個人身上。

簡而言之，在以技術為動力的世界裡，以人類為中心的視覺技術的進步只會進一步將兩者聯繫在一起。我們正在走向一個未來，智能手機的商業、娛樂和自我表達將會從屏幕上消失，進入現實世界。

來源：Medium

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！