黑貓醬的科普課堂

關注AR醬，

和我們一起發現閃閃發光的AR從業者！

公告

願意投稿的老師們加我

黑貓醬

灰醬最近在減肥，然而他是不會成功的，因為我要搞破壞了

iPhone雖然不是第一部智能手機，

但卻開啟了智能機時代。

蘋果在新技術應用上也許比別人慢上半拍，

但總能神奇地將那些誕生許久

卻遲遲無法進入主流市場的產品

帶向成功。

這次ARKit一出，

很快iOS就將成為最大的AR平台。

雖然我不是果粉，

不過我還是想說

但是只會喊666怎麼能顯示我的才學呢？

今天我們就以計算機視覺的角度

來看看它到底6在哪裡

雙目，單目

人體本身就是一台非常精密的機器。

人眼，就是兩顆3.24億像素，

結合大腦能感知厚度

以及空間的深度或距離等數據的攝像頭。

人的眼睛長在頭部的前方，

兩隻眼的視野範圍重疊，

兩眼同時看某一物體時

產生的視覺稱為雙眼視覺。

雙眼視覺的優點

是可以彌補單眼視野中的盲區缺損，

擴大視野，

併產生立體視覺。

也就是說，

假如只有一隻眼睛，

失去立體視覺後，

人判斷距離的能力將會下降。

這也就是單目失明的人

不能考取駕照的原因。

人在只有一隻眼睛的情況下，

較難分辨長度、

大小這些數據，

開車的話就容易出意外。

攝像頭如同是人眼的仿生設備，

當有兩個攝像頭的時候，

我們可以通過計算得到長度數據。

雙攝像頭模型示意圖

測距公式

除了雙攝像頭，

還有各種測距方式

比如紅外感測器

可以得到尺度數據。

就像HoloLens和Tango團隊所做那樣。

但是蘋果這次厲害在

只用手機自帶的單目攝像頭，

就能完成SLAM。

單目視覺測距

不知道從什麼時候開始，

淘寶新增了一個功能

手機測量鞋碼。

打開手機攝像頭，

在腳邊放上身份證作為測量參照物。

對準腳後跟和側面之後，

手機計算得到腳長。

原理非常簡單，

初中生都懂。

但是，

這不正是一個單目攝像頭測距的例子嗎？

單純的單目視覺測距，

必須已知一個確定的長度，

比如

f為攝像頭的焦距，

c為鏡頭光心

物體發出的光經過相機的光心，

然後成像於圖像感測器

或者也可以說是像平面上，

如果設物體所在平面與相機平面的距離為d，

物體實際高度為H，

在感測器上的高度為h，

那麼有這樣的關係：

H一定要是已知的，

我們才能求得距離d。

單目VIO

再回到單目失明人士的例子。

其實失去了一隻眼睛

並不意味著完全無法獲取立體視覺。

不妨閉上一隻眼睛，

試著去辨別窗外兩顆樹

相對你的距離遠近。

也是能夠辨別的，

但因為你的大腦需要更多處理，

你的反應時間更長了。

單目失明的人判斷長度數據和雙目從原理上是一樣的，

但是由於只有一隻眼睛，

人需要在運動過程中通過計算獲取。

也就是說，

原本兩隻眼睛不動

就能做到的事情，

現在需要晃動腦袋了。

這張圖和上面那張雙攝像頭模型示意圖一樣，

都是高斯三角測量法。

以前我們介紹過Tango的vSLAM技術，

和ARKit一樣，

也是運用了VIO。

VIO，是一個集合了視覺里程計，

建圖，和重定位的演算法系統。

例如以ORB作為圖像特徵提取工具，

全過程包含三個並行的線程，

即跟蹤，

建圖和閉環。

其中跟蹤線程運行在前端，

保證實時運行，

建圖和閉環線程運行在後端，

速度不需要實時，

但是與跟蹤線程共享同一份地圖數據，

可以在線修正

使得地圖數據精度

和跟蹤精度更高。

單目視覺SLAM存在以下一些難點：

計算量過大，在4核處理器上通常會佔去60％左右CPU資源。

在機器人運動過快時會出現跟丟不可復原的情況。

單目SLAM存在尺度不確定的問題。在機器快速旋轉時，此問題尤其明顯，很快會出現閉環誤差過大無法糾正的情況。

視野變得狹窄

針對尺度問題，

一般有兩種解決辦法。

增加一個攝像頭，成為雙目SLAM。

增加一個IMU（慣性計量單元）形成視覺慣導定位系統。

這個過程

就跟只有一隻眼睛的人

判斷深度數據一樣，

只有一隻眼睛，

腦袋的計算量就更大。

判斷深度數據前，

也要獲取運動數據。

ARKit測距

GIF/2K

需要尺子測量長度

是生活中的常見場景。

ARKit就很好的勝任了這一任務，

並且精度可觀。

通過相機收集視覺信息，

然後結合IMU。

如果手機能從相機中「看」到的東西越多，

獲得的參照長度數據就越精確，

測量結果也就越準確。

總結

ARKit最厲害的地方，

是在IMU

和視覺融合方面

做了非常先進的工作。

在不更新硬體的情況下，

讓已經發布的舊型號iPhone

都能擁有不錯的AR體驗。

誠如一句戲言，

蘋果厲害的不是AR，

而是低功耗技術。

來啊，加群啊！

閱讀推薦

醬發現 微軟研究院研發出眼鏡大小全息顯示系統

AR/VR 眼鏡可能影響視力

醬發現 打破次元壁，HADO讓你在現實世界放個帶特效的大招

「吶，做 AR VR，最重要的就是開心啦」

夢想重要，開心也重要

當你有有趣的想法時，也要來AR醬上

和我們一起分享啊

關注一下好不好

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！