神級開源混合現實眼鏡！200塊錢視覺效果超HoloLens

我昨天晚上徹夜未眠，不是因為蘋果昨天的發布會發布的ARKit，而是因為我體驗的一個紙板做的增強/混合現實(AR/MR)眼鏡，讓我激動不已。

我被邀請到位於矽谷的科技創意工作室Amber Garage參觀他們的開源項目HoloKit。它由畢業於清華、斯坦福的胡伯濤，紐約大學的朱逢源和香港科技大學沈劭劼教授的研究團隊共同研製而成。

在我看來，他們送給了AR行業這份大禮，將改變整個增強/混合現實和虛擬現實（VR）行業的規則，森森的有一種增強/混合現實界的普羅米修斯的感覺！！

GIF/1.8M

（我用生命擔保這個是實拍圖，於紐約地鐵）

GIF/2.0M

（HoloKit實拍圖）

眾所周知，微軟HoloLens商業版賣39188人民幣，而開發版賣23488人民幣，而且還限量！

而這個牛逼的研究團隊用不到兩百人民幣的成本，超過了微軟HoloLens的視覺效果！要知道微軟HoloLens上百人團隊研發了數年時間，初略估計耗費上億美元。(Hololens用的是waveguide波導成像，HoloKit用的是和Meta 2一樣的傳統光學方案)

而Holokit，不要39188，只要兩百塊！！！

GIF/1.9M

（HoloKit實拍圖）

更可怕的是，他們把軟體和硬體方案全部無償的開源出來，所以現在任! 何! 人！都可以做增強/混合現實的開發了。

GIF/2.0M

對，就是這個看起來醜醜的紙板HoloKit眼鏡，讓整個增強現實行業面臨洗牌，數百家VR/AR/MR公司面臨轉型，但成千上萬的開發者將因此受益。

2017年6月6日的這個夜晚，這個眼鏡也會讓無數人激動或者焦慮的睡不著覺，增強現實開啟了新紀元。

焦慮者之中會有全球幾十家增強現實和虛擬現實公司，包括英特爾、微軟，谷歌、Facebook、Meta、Magic Leap等一大波VR/AR領域投入重金的科技及巨頭。

激動的會是國內所有的VR開發者，創業者、廠商和代工廠，和所有想做AR/MR卻無從下手的開發者、創業者、廠商和代工廠。

而如今，同樣影響的還有蘋果ARKit，ARKit這個昨天發布會上最容易被人忽視，卻是昨天蘋果發布會上最革命性的產品之一。

簡單的說，ARKit基本實現了單目加慣性測量元件(IMU)的定位演算法可以提供的大部分功能，憑藉廣泛的硬體覆蓋率，iOS有望有活力的AR內容平台，類似PokeMon GO類的AR遊戲體驗肯定有質的飛躍，一大波真AR遊戲應用可能會到來。

蘋果封裝了這些定位演算法並提供給開發者調用，做的事情其實和HoloKit一樣，所以並不會對蘋果AR策略有影響。但根據目前通過粗略的與蘋果的iOS 11測試版對比評測發現，HoloKit的VINS演算法應該也能基本達到ARKit官方展示的效果，所以安卓廠商可能可以直接利用修改HoloKit開源的演算法做到比蘋果ARKit更牛逼！

為什麼有人要焦慮？

先解釋一下MR（混合現實）是什麼呢？MR是將真實世界和虛擬世界混合在一起，來產生新的可視化環境，環境中同時包含了實時的物理實體與虛擬信息。當VR已經爛大街，MR的大門才剛剛開啟，在Garnter的技術成熟度曲線上遠遠落後於VR，還處於幻滅期。

所有人都相信MR是未來，巨頭也瘋狂的投資AR/MR行業。

為了布局，Google和阿里等投資了13.9億美元給Magic Leap，微軟HoloLens上已經研發數年時間，騰訊和李嘉誠等投資5000萬美元給Meta，而Google也花費重金在Project Tango上，英特爾在Project Alloy上也制定了明確的MR策略，要砸錢做頭盔，連Facebook也開始大談特談AR策略。

儘管巨頭們都花重金投入，然而從一個普通的消費者角度來講卻沒有看到實質性進展：

Magic Leap依然還是個迷，流出來的信息也就是一張背包圖，也有人說是頭戴電冰箱。

Hololens還是限量的非消費者版，現在這個版本據胡伯濤說他2年前就用過了，東西是不錯，感知部分空間定位做的很棒，顯示部分一般（視場角只有45度），要價$3000（2萬多人民幣），消費者買不起，第三代版本據說要2019年發布。

李嘉誠和騰訊投資的Meta 2開始預訂，還沒有發貨，據說定位的延時超過100毫秒，顯示部分清晰度一般，而且還需要一台PC連著，用戶預定等了一年半還是沒有拿到！

其他的MR公司的眼鏡也都停留在展會演示品階段。

現在，這些都無所謂了，過去大家體驗不到的神秘兮兮的混合現實眼鏡已經向我們打開了大門。

因為任何一個人，利用開源的HoloKit的演算法和硬體，不到兩百塊錢可以搞出世界上頂尖的混合現實眼鏡。

這讓很多人不得不焦慮。

GIF/1.8M

GIF/1.8M

（咦，上面的東西看起來好熟悉）

為什麼有人要激動？

來說一下我的用戶體驗，我體驗之後，說了大概十五個「我操，太牛逼了」。

其實用了HoloKit之後表示震驚的不止是我，還有斯坦福光場顯示專家 Gordon Wetzstein教授，甚至是谷歌Project Tango的創始人Johnny Lee。

Johnny Lee of Google Project Tango

連Youtube第一網紅Casey都拍手叫好！

Casey Neistat using Holokit in New York City, May 24 2017

來看看這段視頻感受一下：

把增強現實產品行業水平前進了至少一年

先給一張表格對比HoloKit和其他產品的優劣。

(這麼算 FOV : h = 30 deg, v = 17.5 deg for hololens. 2 * atan(sqrt((2 * tan(h degree /2))^2 + (2 * tan(v degree /2))^2) / 2) to degree)

交互部分

交互外設支持：你能想到的能連上手機的東西，都能做交互。

比如說一個藍牙耳機的音量鍵 + 你頭部指向中心的游標，就可以做幾乎等價於HoloLens 主要交互模式。

比如說任意一個藍牙控制器（$10以下），都能做交互。

比如說另外一個手機也能做控制器，還能實現了3自由度的交互呢。

下圖中這兩人一個用手柄，一個用手機做交互。其實效果都是一樣的。是不是很便宜就實現了很多很科幻的效果？

GIF/1.9M

GIF/1.6M

手勢識別

最簡單的方式：我們可以裝個 leap motion上去也實現了黑科技手勢識別。

黑科技的方式：利用現有普通手機的單目攝像頭做手勢識別，不需要額外硬體。這個目前有很多庫都能用，一個比較好的是 manomotion。

GIF/417K

感知部分

感知部分是這個項目中最高科技的部分。

HoloKit採用基於手機慣性感測器和相機的感測器融合的里程計定位(VINS) 來實現Inside-out tracking （由內向外定位）跟蹤。目前採用了香港科技大學沈老師領導的實驗室今年最新的論文的技術，這個黑科技是真實的（在矽谷密探微信公眾號後台回復「mr」獲得論文鏈接和代碼實現）。

以下是來自胡伯濤的評論：

Meta 2 的位置跟蹤爛到我已經不想說什麼了。跳過。

HoloLens 比我們的效果好些，延時低，魯棒，因為它有很多相機（4個）+ 一個HPU專用電路做定位。但正是由於特殊的晶元導致其成本居高不下的原因。

Tango 的效果不錯，所以我們做了認真對比。下面是我們和Tango的對比。下圖可以看出我們的loop closure可以把偏移修回來。

GIF/1.7M

下圖可以看出在辦公室跑了幾圈以後，Tango的飄逸已經修不回來，我們還能修正回來。

GIF/1.0M

結論是基於Tango的專用硬體的效果的大體差不多，Tango精度比我們好一點的，我們長期的定位效果好點。

HoloKit vs ARKit

Apple 6月5日，發了 ARKit 這個事。所以昨天下載了iOS 11 beta，做了一個簡單對比。

GIF/1.9M

(上方是HoloKt,下方是蘋果ARKit)

上面的iPhone 7plus跑的是HoloKit的VINS，下面的iPhone 7plus手機跑的是Apple ARKit，可以看到ARKit完全沒有辦法把方塊定在地上，飄走。而HoloKit的VINS還穩的。ARKit直接用的Apple官方的Demo App。

至少我們這個實驗可以看出，ARKit比HoloKit使用的VINS演算法飄 （Apple 官方提供的demo vs HoloKit App）。HoloKit應該也能基本達到ARKit官方展示的效果，但這短短髮布24以後的測試不能說明什麼問題，ARKit 現在還只是Beta，11月才發正式出來，我們還無法給出誰好誰壞結論。

此外 在平面檢測方面，HoloKit的演算法可以告訴開發者平面位置，所以可以將虛擬物體置放於桌子和地板上。

更重要的是，HoloKit是支持Unity的，所以不需要你懂黑科技和c++，

普通程序員好藝術家也能使用Unity，來開發基於HoloKit的App！

普通程序員和藝術家也能使用Unity，來開發基於HoloKit的App！

簡單的說，HoloKit憑著一己之力，至少把MR行業的普及硬生生往前推進了一年，而且將增強/混合現實的火種傳遞給了所有的普通開發者！！！

你不需要買一個幾萬塊的HoloLens，就可以做出超牛逼的混合現實項目！！！而我的感受是在學神把作業讓你抄，所以學渣也能及格了！！

順手把VR行業水平推進了至少一年

說句題外話，HoloKit雖然做的混合現實，但是順手可能把虛擬現實行業拯救了。

不依靠外部標記點的Inside-out（自內到外）追蹤方案一定是未來VR設備發展的趨勢，VR能夠真正成為的「無線」體驗，讓人們在 VR 世界裡拼接利用肢體和手勢進行交互。

定位追蹤有多重要呢？簡單的說，以前看片(不可描述)你是固定在一個地方，如今你可以繞著她從不同角度從不同位置強勢圍觀。

微軟的MR專家Mark Bolas曾表示，HoloLens當中擁有「Inside-Out」追蹤技術可用於VR頭顯設備。如果把HoloLens改用非透明的屏幕，並將視場角擴大，那就成了一款可以秒殺目前所有VR頭顯的一款高性能VR設備。

而這次HoloKit開源的位置追蹤演算法（注意是基於移動設備的方案），基本秒殺了目前市面上所有基於移動設備的方案的 「Inside-Out」 VR頭顯的位置追蹤，從視場角看也優於HoloLens。矽谷密探此前也報導數家矽谷做「Inside-Out」追蹤技術的公司，他們可能也不得不被迫轉型。國內的VR廠商也接觸到了最尖端的位置追蹤方案，瞬間超越了HTC Vive和Oculus等廠商，把國內VR行業水平推進了至少一年。

這也造福了廣大開發者和消費者，能夠「無線」定位的VR頭盔和移動VR設備可能會因此普及，大量受制於定位困難的VR遊戲開發者會因此解綁，或許會有VR的殺手級APP誕生。

這是一個禮物

HoloKit是Amber Garage創始人胡伯濤的一個實驗性藝術項目。

所有人都相信MR是未來，但眾所周知，受限於各種因素，谷歌，微軟等大型互聯網公司在MR上的表現是緩慢成熟。他認為將學術界的最新技術轉移到手機上，可以實現一種簡單，價格實惠的MR套件，然後就有了Holokit。

不過他不是一個人在戰鬥，他的創意的時候背後有一個實力驚人的團隊。

HoloKit核心產品是基於慣性感測器與單目視覺融合定位演算法的Inside-Out的追蹤演算法解決方案。Amber Garage負責項目的設計和技術研製，HoloKit的演算法來自香港科技大學沈劭劼教授的研究團隊。HoloKit的光學原型是來自紐約大學ITP學生朱逢源的課程項目，硬體設計和研製來自歌航電子，經個團隊半年的打磨，才形成目前的產品設計和開源代碼。

「這是一份送給AR/MR行業的禮物，為所有技術人員提供開放源碼，甚至我們HoloKit的硬體都給出DIY指南。」胡伯濤表示，「對非商業行為全部免費開源，每個人都可以發揮創意思維。」

國內外用戶可以從App Store下載Holokit演示應用程序，支持iPhone 7和iPhone 7 Plus。預計七月份將會提供更加完善的版本。GitHub上已經提供了官方視頻和開放相關代碼。

這是一次社會性的藝術實驗，「我對增強/混合現實的態度是中性的，因為長久以來都沒有AR的killer app，我想知道如果所有人的都能低成本的參與增強/混合現實，試錯成本大大降低。大量的開發者和有創意的學生和藝術家都能進入這個領域這個行業是否會迎來爆發？還是說可能MR/AR並沒有想像那麼大影響？」

胡伯濤還表示，「我們很期待並好奇，開源貢獻者將這樣的核心演算法發展成什麼樣，創建什麼樣的應用，為MR的內容生態提供什麼樣的創意。HoloKit軟體的核心跟蹤庫是一個開放源碼的C++庫，開發者可以使用Unity開發App」。

這是一份送給AR/VR/MR行業的大禮，這會帶來一場新媒體藝術的革命，混合/增強現實從此開啟了新紀元。

Credit:

Botao Hu (Amber Garage)

Peiliang Li, Tong Qin, Shaojie Shen (HKUST Prof. Shaojie Shen』s research group)

Fengyuan Zhu (graduated from NYU ITP)

歌航電子 (R&D Lab)

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！