ARkit無法推動AR爆發，想走進黃金時代，必須有AR雲的支持

編者按：隨著ARkit和ARCore的發布，尤其是前不久剛剛推出的iPhone X的誕生，都引發了業界對AR這個大趨勢的討論。不少人都認為，AR走進黃金時代。但是Ori Inbar在發表在Medium上的一篇博文指出，AR想要走進黃金時代，必須要有AR雲的支持，文章中不僅介紹了為什麼需要AR雲，還詳細解剖了AR雲所需要的技術能力及發展情況、當前各大巨頭在AR雲領域的布局狀況，以及創業公司都有哪些機會等等。本文作者Ori Inbar在AR領域已經有了10年從業經驗，與人聯合創立的公司（Ogmento——Flyby）被蘋果收購，成為ARkit的基礎。現在與人共同創辦了專註於投資AR領域的風投Super Ventures。文章由36氪編譯。

隨著蘋果的ARkit和Google的ARCore的發布，增強現實（AR）應用已經具備了成為一種商品的能力。

但到目前為止，AR的「大規模普及」主要是在AR開發者當中，並在YouTube上產生了大量的瀏覽量。不過，開發者們還沒有證明他們的應用能夠成為第一批新奇應用，並獲得大量用戶的支持。

可以肯定的是，將會有一些超級熱門的AR應用（如Pokemon Go），將會在iPhone和高端安卓手機上享受到新推出的AR應用的超級分銷渠道。不過，我並不指望每天都有數億人使用AR應用。

基於ARKit&ARCore的AR應用就像是在1996年的時候，你一個人在網上衝浪，沒有朋友。

不要誤解我的意思，ARKit的發布對於AR行業來說是一個好事兒，不過，促進AR應用的大規模採用將需要更多的因素。當AR體驗通過空間、時間和設備等因素在現實世界中持續存在的時候。AR雲將會產生。

我希望iPhone X將引入一種關鍵的元素，讓用戶可以在AR雲上看到更多的AR，而不是ARKit。這並不單單是一個後置式的深度攝像頭，它應該可以讓數千萬台相機感知周圍環境的形狀，並為用戶和用戶提供一個豐富的、精確的3D地圖。但這還沒有發生，希望在下一個版本中會出現。不過，這只是減慢了AR雲的創建速度，但它無法阻止對它的需求。

新發布的iPhone X在機身背面還沒有完整的深度攝像頭功能。

發布在2017年的偉大樞紐

在過去的幾年裡，隨著人們對AR和新型移動設備的了解越來越多，對AR的計算需求正在迅速增長。許多創業公司一直致力於開發與ARkit和ARCore類似的AR Tracking功能。不過，自從蘋果和谷歌發布了相關成果之後，這些創業公司都在爭先恐後地調整自己的定位，以繼續衝擊這個熱門新潮。自然樞紐通常是跨平台的能力。一方面，這是一個合乎邏輯的堆棧提升，但另一方面，這個額外的薄層有多大的機會呢？而不是Unity已經提供了跨平台功能（在多個平台上進行部署）？這些創業公司難道不需要提供更強大的工具、服務和內容，來證明它們在新層上的存在嗎？

我傾向於在這些戲劇性的發布之後尋找積極的結果，所以我馬上想到：Kit＆Core終於釋放了技術AR創業公司解決這個困難問題的需要，並允許（聰明的）提升價值鏈，並專註於一個更有利可圖的項目：AR雲。

AR研究人員和業內人士長期以來一直認為，在未來的某個時刻，實時3D（或空間）的世界地圖——AR Cloud將成為計算領域最重要的軟體基礎設施，其價值遠遠超過Facebook的社交圖譜或谷歌的頁面排名索引。

我在增強現實（AR）工作已經有十年了，我在2009年與人聯合創立的公司（Ogmento——Flyby）被蘋果收購，成為ARkit的基礎，有趣的是，在收購之前，同樣的技術也被授權給了Google Tango。我也共同創立了AWE（專門針對AR的會議）和Super Ventures（專註於AR的投資基金），因此我對AR行業有非常廣闊的視野，並且總是在尋找AR可以產生巨大價值的領域。

這篇文章的目的是為了引起人們對ARKit和ARCore以外的AR雲的價值的關注。

為什麼我們需要AR雲？

有了AR雲，整個世界就可以變成一個共享的空間屏幕，從而支持多用戶參與和協作。

正如文章開頭所說的，大部分基於Kit&Core的應用都不過是單一用戶體驗，這將限制它們的應用吸引力。而且，可以預見的是，YouTube肯定會因為受到大量分享AR體驗視頻的影響。

但是分享一個AR體驗的視頻遠比不上分享真實的體驗。借用Magritte（比利時畫家）的說法：這不是一個真正的管道。

Magritte 1928年的一幅畫，邀請觀眾討論一種說法，即管道的表徵不是真正的管道。

AR雲是物理世界的共享記憶，它能讓用戶共享體驗，而不僅僅是分享視頻或消息。它將允許人們在遊戲、設計、研究或團隊協作中進行協作，解決問題——現實世界中能做的任何事情。

多用戶參與是AR雲的重要組成部分。但更大的希望在於，在現實世界中，信息的持續存在。

利用AR位置在共享空間中協作的概念——2011

我們正處在信息組織方式的根本性轉變的邊緣。今天，世界上大部分的信息都是用數字文檔、視頻和信息片段組織起來的，存儲在伺服器上，在網路上隨處可見。但它需要某種形式的搜索或發現。

根據谷歌最近的統計數據，超過50%的搜索是在移動中完成的（在本地搜索）。現在，越來越多的人需要在你需要的地方找到你需要的信息。

AR雲將成為世界的軟3D拷貝，並允許在其起源——在物理世界中（或如科學家在拉丁語中稱為「原位」）重新組織信息。

有了AR雲，每個物體的使用方式，任何地方的歷史，任何人的背景——都將在那裡被發現——就在這個東西身上。

誰控制了AR雲，誰就能控制世界信息的組織和訪問方式。

這種情況何時會發生？

AR雲的創建並不是一個簡單的事情。行業領袖們正在懇求開發者、專業人士和消費者都有耐心，因為這需要一段時間才能實現。但作為AR和前沿科技的投資者，現在是時候確定這場長距離比賽的潛在贏家了。

第一個用於建築的協作性AR演示-2004

作為參考，讓我們快速了解一下AR追蹤技術的時間線，該技術剛剛被ARKit和ARCore商品化：

• 第一個點雲構想:19世紀

安德魯·戴維森（Andrew Davidson）使用計算機視覺的第一個實時SLAM：1998

喬治·克萊因（George Klein）在iPhone上展示的第一首單聲道：2008年

• 第一個AR專用設備宣布——Project Tango:2012

• 具有Occipital結構感測器的iPad上的SLAM：2013

• Flyby展示了類似於ARKit般的能力:2013

• ARkit和AR Core的發布:2017

看看這段簡短的歷史教訓——在成熟的AR雲服務得到廣泛普及之前，它的發展還需要3年甚至更長的時間。

與此同時，創業公司可以解決整體願景的部分問題，採取先發優勢，為特定需求打造服務（比如企業）。

現在還沒有任何AR雲嗎？

在過去的十年中，有幾家公司在雲服務中提供了AR服務，最早是在2008年，然後是Layar、Metaio（Junaio）、後來的Vuforia、Blippar、Catchoom，以及現在的新進入者。但這些雲服務通常是2種類型的服務之一：

• 儲存GPS或位置相關信息（在餐館裡顯示信息提示）

• 在雲端提供圖像識別服務，從而觸發AR體驗。

這些雲服務並不了解實際的場景和物理環境的幾何結構，如果沒有它，將虛擬內容與真實世界的結合是一件很困難的事情，更不用說與他人分享真實的體驗（而不僅僅是一段很酷的視頻）。

等等，《Pokemon Go》呢？

《Pokemon Go》令人難以置信的是，它是一種僥倖，是一種異類，獨一無二。用類似的遊戲機制複製自己的成功將會非常困難。它的遊戲伺服器存儲地理位置信息、超本地圖像和玩家的活動——但不存儲其6500萬月活用戶在物理位置上的共享記憶。因此，沒有真正的共享經驗。

為此，它需要AR雲。

什麼是AR雲？

一些科學家從1990年代起就構想了AR雲的不同方面，但我還沒有看到其他人有簡潔的描述。這是我在AR行業的簡化版本。

AR雲系統應該包括：

• 1）一個與真實世界坐標相一致的持久點雲——一個共享的世界的軟拷貝

• 2）從任何地方和多設備上立即實現本地化（使世界的軟拷貝與世界同步）的能力。

• 3）將虛擬內容放入世界軟拷貝的能力，並能夠實時同步，能夠使設備和遠程操作中與之交互。

讓我們把它分解一下：

1）一個與真實世界坐標一致的持久點雲

在維基百科中定義的點雲是「在某些坐標系統（x，y，z）中的一組數據點」，目前是一種非常常見的3D繪圖和重建、測量、檢查和其他工業和軍事用途的技術。從現實世界捕捉點雲是工程師們的行話「解決問題」。幾十個硬體和軟體解決方案已經存在了一段時間，它們使用激光雷達、深度或立體攝像機等激光掃描儀，如Kinect、單眼相機照片/無人機/衛星圖像，以及用攝影測量演算法處理的圖像，甚至使用合成孔徑雷達系統（無線電波），如Vayyar或太空載雷達。

從長遠來看，攝影測量是和攝影一起發明的——所以第一個點雲是在19世紀誕生的。

一款遊戲根據Hololens產生的點雲來適應你的客廳的形狀。

來自大眾的AR雲

為了確保它擁有最廣泛的覆蓋範圍，並且始終保持著一個新的世界副本，一個持續的點雲需要另一個複雜的層次：雲資料庫需要一個機制來捕獲和存儲來自不同來源（包括移動設備）的一組統一的點雲，並且它的數據需要能夠實時地訪問許多用戶。

解決方案可以使用最好的本地掃描或跟蹤機制在指定設備上（Kit、Core、Tango、Zed,、Occipital等），但必須將點雲數據存儲在跨平台的可訪問資料庫中。

用戶分享個人點雲的動機類似於Waze（譯者註：利用移動設備的GPS信息來獲取有關路面交通流量的信息，從而向汽車駕駛員提供更好的行車路線）用戶的動機：獲得有價值的服務（最佳導航方向），而在後台分享設備上收集的信息（你在任何特定路段的速度），以改善其他用戶的服務（為其他司機更新時間）。

儘管如此，這可能會對增強現實的地圖服務造成嚴重的安全和隱私問題，因為這些環境的映射將比普通的公共道路更私密。我看到了加密點雲創業公司的巨大機遇。

深度照相機加速了AR雲的創建

深度相機可以極大地幫助創建3D地圖。事實上，這是一個非常重要的組成部分，如果沒有它，普通的智能手機就無法為3D地圖做出多大貢獻。

有了深度相機，你就能更好地理解場景的幾何結構。這些演算法的工作原理與普通智能手機攝像頭的工作原理類似，但捕捉到的點雲將會更加密集和精確，從而產生更高質量的AR雲。

之前有幾款設備提供了這種功能，但從未大規模普及:Tango是一項試驗，有數千台銷量;Occipital感測器的銷量為幾千台;2017年推出的基於Tango技術的聯想Phab 2 Pro是首款配備深度攝像頭的商用智能手機，但普及率並不高，而最新的華碩ZenFone AR則更加智能，但仍然處於邊緣。

iPhone X仍然沒有深度攝像頭——一旦它做到了——它將為用戶提供指數級的價值。因為它有很多用戶。

多用戶並不新鮮

AR雲的多用戶實時訪問需求與任何MMO（大型多用戶在線）核心的伺服器能力類似，允許大量用戶從任何地方訪問信息，從而實現實時協作。除了在MMO中，你會發現一個完全合成的永久開放世界，與人物、故事情節和內容一起存儲在一起，而在AR雲中，真實世界是開放的世界——而「點雲」和「增強信息」是完全一致的。

3D地圖並不新鮮

3D地圖已經廣泛應用於無人駕駛汽車、機器人和無人機。即使是像Roomba這樣的自動真空吸塵器，也會使用這些3D地圖進行導航，甚至會考慮分享這些地圖。

AR雲很特別

但是，AR的點雲並不是你的平均點雲——它需要給AR提供一個友好的環境。如果3D地圖過於密集，在移動設備上進行處理將會太慢，而用戶希望在移動設備上進行即時響應。如果地圖是局部的，那麼從任何角度來看，它可能都不足以實現本地化，從而破壞用戶體驗。換句話說，AR雲是一種特殊的點雲，它有自己的一組參數。

谷歌Tango將其稱為「區域學習」——它讓設備能夠看到並記住物理空間的關鍵視覺特徵——邊緣、角落和其他獨特的功能——這樣它就能在稍後識別該區域。」

AR雲的要求可能會在室內和室外發生變化，也可能在企業或消費者用例中使用。

但最根本的需求是快速本地化。

2）多設備上在任何地方的即時本地化

本地化意味著要預測相機的姿勢，這是任何AR體驗的基礎。

Flyby的定位器將一個點雲與一個真正的廚房相結合。

為了讓AR應用在現實世界中定位虛擬內容，這是它的創造者想要的方式，因此設備需要理解攝像頭的視角相對於環境本身的幾何圖形的位置。

為了在世界上找到自己的位置，該設備需要將攝像頭視圖中的關鍵功能點與AR雲中的點進行比較，然後找到匹配對象。為了實現即時的本地化，AR雲定位器必須根據設備的方向和GPS定位（以及wifi、蜂窩信號等其他信號進行三角測量）來縮小搜索範圍。通過使用更多的上下文數據和人工智慧，可以進一步優化搜索結果。

一旦設備被本地化，ARKit或ARCore（使用IMU和計算機視覺）就可以接管並執行穩定的追蹤——就像之前提到的那樣，這個問題已經解決並被商品化了。

目前，已有數十種解決方案來定位一款設備，如谷歌Tango、 Occipital 感測器，當然還有ARKit和AR Core。但這些開箱即用的解決方案只能在本地的點雲上進行本地化，每次只能實現一個設備。微軟Hololens可以定位於一組在該設備上創建的點雲，但（開箱即用），它無法針對由其他設備創建的點雲進行本地化。

搜索是為了「終極定位器」，它可以在任意給定的角度對一大片本地的點雲進行本地化，並且可以與多個跨平台設備共享點雲。不過，任何本地化者都只能像其持久的點雲一樣優秀，這是嘗試和構建兩者的強大動力。

3）在3D環境中放置和可視化虛擬內容，並在設備和遠程設備上實時與其交互。

一旦你擁有了一個持久的點雲和終極定位器——完成AR雲系統的下一個要求是能夠定位和可視化3D註冊的虛擬內容。「以3D形式註冊」是一種技術術語，「在現實世界中排列，就好像它真的存在一樣」。虛擬內容需要具有互動性，這樣一來，多個持有不同設備的用戶就可以從不同角度觀察真實世界的同一部分，並實時與相同的內容進行交互。

「上帝模式」

管理和維護AR雲及其應用的一個關鍵特性是上帝模式：在整個點雲的任何角落遠程放置3D內容（+交互）的能力。這有點類似於黑和白這樣的遊戲，玩家可以扮演上帝：在地圖上選擇一個位置，從不同的角度觀看一個場景，實時監控活動，並能在其中亂搞。這可以在電腦、平板電腦或其他設備上完成。這些類型的工具將為現實世界定義一個新的內容管理系統類別。

在黑白視頻遊戲中，「上帝之手」可以看到任何東西並操縱任何東西。

這就得出了AR雲的3個要求。聽起來很難。今天有誰能建造它嗎？

誰能建造它？

AR雲是一個如此龐大的項目，世界上大概有3家公司擁有足夠的財力和足夠的雄心來解決這一問題。

蘋果、谷歌和微軟都有可能在某一天實現完全的AR雲。實際上，如果他們不這樣做，他們就會被誰搞砸了。

但是，正如歷史給我們的啟發一樣，那就是它將需要一個（瘋狂的）初創公司來整合這些構建模塊，並證明它的概念。因為只有一家創業公司可以大膽地相信自己能夠做到這一點。

這將需要一個瘋狂的創業公司。

由於對於一家創業公司來說規模太大，我們可能會看到不同的創業公司在處理不同的業務。至少一開始是這樣。

過去的幾年，一些瘋狂的創業公司解決了AR雲的部分問題，並被巨頭收購

• 13 th Lab（被Facebook收購）

• Obvious Engineering/Seene（Snap）

• Cimagine（Snap）

• Ogmento->Flyby（蘋果）。Flyby也將其技術授權給Tango。

• Georg Klein（微軟）

Georg是一個人，不是創業公司，但他的個人業務遠遠超過了許多公司。2009年，他在iPhone 3 G上演示了類似的與ARKit的演示。

目前正在專註AR雲的創業公司或部分：

• YOUar（波特蘭）

• Scape （倫敦）

• Escher Reality（波士頓）

• Aireal（達拉斯）

• Sturfee（聖克拉拉）

• Paracosm（佛羅里達州）

• Fantasmo（洛杉磯）

• Insider Navigation（奧地利維也納）

• InfinityAR（以色列）

• Augmented Pixels（烏克蘭/矽谷）

• Kudan（英國布里斯托）

• DottyAR（悉尼澳大利亞）

• Meta（矽谷）

• Daqri（洛杉磯）

• Wikitude（奧地利維也納）

• 6D.ai（舊金山）

• Postar.io（舊金山）

大公司在做什麼？

1）蘋果

蘋果CEO蒂姆?庫克一直在宣傳AR是一個「大而深遠」的產品，而蘋果似乎也對AR有著巨大的野心。

ARkit對蘋果來說是一個很不錯的低價選擇。他們讓它在房子里運行（多虧了這次收購Flyby），並且在家裡有專門的技術來生產它（多虧收購了Metaio）。據報道，蘋果公司決定要發布ARkit到在今年的WWDC大會上發布了ARKit，僅僅花了6個月的時間。

未來的一款深度攝像頭可以為智能手機創造一種新的標準功能，從而為智能手機創造出一種新的標準功能。但我們仍需等待。

不過，除了為其自動駕駛汽車項目進行3D掃描、為其地圖繪製2D地圖和定位功能，以及「數千名從事AR工作的工程師」之外，蘋果似乎還沒有準備好開始打造完全成熟的AR雲。這可能是因為數據的隱私和安全問題。或者，他們可能像以往一樣，隱藏得很好。

2）谷歌

AR雲是谷歌「組織世界信息」遠景的下一步。谷歌在這個大型項目上可能比其他任何人都擁有更多的難題，但我並沒有屏息期待。

Tango在2013年作為一個「臭名昭著」的項目啟動，其願景包括3個元素：

運動跟蹤（使用視覺特性和加速計/陀螺儀）——這和ARCore一樣，被剝離出來了。

區域學習——「區域學習讓設備能夠看到並記住物理空間的關鍵視覺特徵——邊緣、角落和其他獨特的特徵——這樣它就能在稍後識別該區域，並將環境數據存儲在地圖中，之後可以重新使用，與其他Tango設備共享，並通過諸如注釋、指令或興趣點等元數據進行增強。

這聽起來與AR雲願景非常接近，但實際上Tango目前在設備上存儲了環境數據，但卻沒有與其他Tango設備或用戶分享的機制。Tango API本身並不支持雲中的數據共享。

深度知覺：探測環境中的距離、大小和表面——這需要Tango相機。

谷歌在今年的I/O大會上宣布了一項新服務，該服務和被稱為「視覺定位服務」（VPS）的AR雲非常類似，不過基於開發者的調查，該服務正處於「非常早期的階段」。

當然，得益於街景車，谷歌已經為其打造了一款非常精緻的3D地圖（用於戶外）。谷歌可能會在幾年內將所有的AR雲服務整合在一起。不過，谷歌的API往往是有限的，而且可能還不夠好，無法獲得最佳體驗。

因此，谷歌是擁有AR雲的自然首選，但不太可能是最好的，甚至不可能是第一個。

3）微軟

微軟首席執行官的振興重點已經在雲和全息計算方面得到了明確的傳播。Hololens是迄今為止最完整的AR眼鏡系統（儘管仍然很笨重），微軟提供了一種神奇的能力，可以在設備上創建點雲。然而，它不能在多個設備上進行本地分享。由於微軟在當前的移動戰爭中沒有表現出足夠的實力，它跳過了整整一代的智能眼鏡，引領了這一潮流。不過，由於智能眼鏡預計將緩慢普及，它們的「增大化」雲可能在一段時間內不會有太大的需求。

4）Facebook、Snap，或許還有亞馬遜、阿里巴巴和騰訊

他們也有這樣的野心，但它們已經落後了好幾年。（這是一些初創公司獲得收購的絕佳機會）

5）其他競爭者包括特斯拉、優步和其他自動駕駛汽車和機器人公司

這些公司已經在打造戶外或室內真實世界的3D地圖——但並不需要特別關注AR。

一個建立未來基礎設施的機會

隨著Magic Leap的發展，AR雲將成為增強現實技術的最大機遇。說到Magic Leap，它曾經雄心勃勃地想要打造AR雲。他們還保持著這一雄心嗎？我們應該在意嗎？

此外，以上這些公司都沒有動力去構建跨平台的解決方案（除了Facebook）——因此，創業公司還有另外一個有意義的優勢，可以在創建AR雲的過程中發揮主導作用。

這篇文章並不是要像在RFQ中那樣定義AR雲的需求……只是為了反映我對它的設想。

（36氪編譯組出品，未經允許嚴禁轉載。編輯：郝鵬程）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！