Unite 2019：谷歌ARCore全新功能及開發技術深度解析

5月10日，Unity一年一度的開發者盛會Unite 2019正式開幕。在結合VR/AR等新興技術的同時，不斷更新迭代且具有高靈活、實時、可擴展以及豐富的互動性的Unity，已於無形之中打破了常規的工業設計並為不同的領域帶來了與眾不同的沉浸式體驗。Unite 2019超過百場的技術分享也向各行業展示了一年以來Unity經歷的蛻變。

在本次Unite大會上，谷歌由其美國本部AR部門的軟體工程師楊橙分享了ARCore的全新功能以及開發技術的深度解析。

打開今日頭條，查看更多圖片

ARCore全新功能

AR主要功能就是運動跟蹤、環境理解和光估測，此外楊橙還分享了一些ARCore具有的新的特有功能。

1.運動跟蹤，利用攝像頭圖像中的視覺差異，利用平行測距與映射的演算法，結合涉及當中的慣性感測器，把這兩個感測器結果結合在一起，就可以計算出手機的POSE，這樣可以渲染出準確的AR效果。

POSE就是位置和旋轉，它基於某一個坐標空間的姿態，ARCore提供所有的POSE都是基於視覺坐標，每一幀都根據環境的變化不停計算。

2.光估測，檢測其環境光線的相關信息，提供給定攝像頭圖像的平均光強度和色彩校正。

3.環境理解，對物理環境的理解，找到平面，不管是水平的還是垂直的，我們會把這些平面估測出來，大小、位置、旋轉是非常重要的概念。

4.錨點，ARCore會根據環境變化不停更新，如果這個點非常重要，那麼用戶就可以放一個錨點，確保虛擬的物體不會因為自身位置修正而發生偏移。

5.可跟蹤對象，ARCore會跟著時間的推移來追蹤一類物體。

6.雲錨點。用戶可以把錨點和特徵點傳到雲上，ARCore則利用利用Cloud API，實現兩個不同辦公室的AR工程實現同步。通過鏡頭看到的景象和託管的進行對比，兩個結合在一起的時候，可以實現非常豐富的AR遊戲（但在國內目前不太好用）。

此外楊橙還提到，在最新版本的ARCore中，增加了30%準確度和15%的檢測召回率，可以準確追蹤多個圖像，最重要的一點是可以追蹤移動的圖像。

在Unity使用增強圖像

首先要把所有想要識別的圖像，載入到一個資料庫裡面，然後設置ARCore，直接運行ARCore。載入圖像有兩種方式：

1.運行之前把所有的圖片載入進去，或實時在線載入。

2.新開一個線程，避免無法響應。ARCore對於Playfab有了很多優化，可以直接用菜單選擇載入想用的圖片。

只要設置好ARCore，直接開始運行，ARCore會自動檢測並提供一個可靠的POSE。當找到了POSE，用戶可以在POSE添加很多你自己的虛擬層。

楊橙哈提供了一些幫助用戶快速識別圖像的建議：「我們建議你使用質量分數高於75的，會直接先為你的圖像進行評分，避免大量的壓縮，比如說圖像本來是非常大的圖像，放在ARCore上變得很小，這也是不便於training的，最小要求是300×300的解析度。」

「UX建議，當你需要用戶尋找的時候，我們建議你用動態UI框，檢測到的哪一個瞬間，我們希望圖像佔有整個相機視野的25%。」

增強面部API

這個API提供三個要素，首先是中心position，第二個是區域position，用戶可以在上面分別載入一些3D模型，第三個是如果需要全臉的匹配，用戶可以拿到468點的3D面部網格。一般是兩種不同的效果，第一種是可以載入局部的耳朵和鼻子，其實是針對面部某個區域的輪廓，還有一種是全臉網格效果。

楊橙詳細解釋了它的效果和用法：「首先在你的app層需要你提供這樣一些素材，然後交給ARCore做的事情，就是ARCore提取相機的圖像，告訴你每個區域的position在什麼地方，然後Unity或者說其他的渲染引擎裡面可以結合起來。」

「如果說是2D效果，我們會需要你提供面部貼圖，面部網格分布是這樣的，如果是眼睛和嘴巴的區域點會分布的更加密集一些，這樣會和面部肌肉結合，會得到更多的細節。每個點我們提供XYZ，讓你來渲染位置，以及渲染材質，做一些真實的光照效果。」

ARCore的面部增強功能利用了用了谷歌AI，使用大量的數據集來訓練，推測面部輪廓和面部網格的神經網路，再將神經網路模型載入到手機上，這樣用戶可以直接離線，使手機生成臉部的推測。

它還使用了深度學習的機器學習方式，用合成的3D網格數據，以及真實註冊好的2D輪廓數據，把這些數據集同時給神經網路去訓練，利用這個神經網路推測當前面部的2D輪廓和3D網格，最後得出來的結果是合成的數據和真實數據的採集，而且是不帶任何偏見的真實數據。

尚未登場的功能：HRD光照

ARCore提供的API，給用戶平行光光源和強度。然後再模擬環境光，這也是當前非常流行的模擬全局光照的做法，之後提供一個合理的16bit立體方貼圖。

在Unity裡面使用非常簡單，只要在模板上設置即可。

【87870原創文章，轉載須註明來源及鏈接，否則將追究其法律責任！】

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！