李開復都在玩的裸眼AR:雲擼貓從未如此真實,谷歌3D動物走紅
宅家太無聊?不如造個動物園玩玩。
谷歌最近更新了其移動端的 AR 和 3D 動物功能,被疫情困於家中的人們玩得特別溜,網友紛紛曬出各種在家裡圈養的各種鯊魚、老虎、熊貓等等,李開復老師也不例外。吸貓重度患者從未感受過如此真實的雲擼貓,你甚至要懷疑家裡是否當真養了一直浣熊。
作者 |機器之能
一個大膽的想法,你想過在卧室里養一隻老虎作寵物嗎?
現在,只需在智能手機或平板電腦上使用 Google 搜索「老虎」,然後「見識實體大小的老虎」選項就會出現在搜索結果中,單擊「3D 視圖」,你的攝像頭裡就會跑出一隻「老虎」了。
當然你也可以像神奇寶貝訓練師一樣,把老虎放在草地上,將自己的後花園變成動物園。這時候你只能透過手機近距離觀察實體大小的老虎,不過當你移開手機之後是看不到老虎的,你也不會擔心會被咬到。
狗和浣熊,誰才是你家養的?
不再羨慕俄羅斯人,黑熊來和你打招呼嘍~
事實上,自去年初發布增強現實平台 ARCore 以來,谷歌一直在悄悄地改善其功能。ARCore 是谷歌推出的搭建增強現實應用程序的軟體平台,類似蘋果的 ARKit,它可以利用雲軟體和設備硬體的進步,將數字對象放到現實世界中。
支持 3D 圖像和 AR。AR 通過智能手機屏幕可以將數字內容和信息覆蓋到現實世界中。Google 推出的這項功能可以讓人們在手機屏幕上瀏覽 3D 對象,同時也支持在近距離觀看 3D 對象的比例和更多細節,這是在普通圖像中無法看到的。
這背後整合了攝像頭和 AR 技術,谷歌在 ARCore 和 ARKit 手機的搜索結果中加入 3D 模型,這些 3D 模型能直接通過 AR 預覽,從而強化谷歌搜索結果的互動性和實用性。
當時,谷歌還為 ARCore 開發平台推出全新深度識別工具 Depth API,強化 AR 應用開發的體驗。該工具可讓開發者使用谷歌的動態深度演算法、RGB 攝像頭製作深度地圖,讓 AR 應用的體驗更加自然。據了解,京東的 AR 實景購、騰訊手游《一起來捉妖》、滴滴的 AR 實景導航功能背後,都有谷歌 ARCore 的身影。
這次新升級正是 ARCore 的全新 Depth API 的一部分,這個 API 不久後將允許開發人員完成所謂的「遮擋」,即在 AR 場景中,虛擬的人工物體會被場景中的真實物體所遮擋。
例如,在房間中構建一個虛擬的貓,當你把相機的角度放在床或桌子或其他物體之間時,你可以看到這隻貓從視野中消失。
谷歌目前表示,他們已經做好了對其進行升級的準備,新的升級將會在未來讓 AR 體驗看起來更加真實。此外,谷歌AI團隊近日公布了一種全新的移動端 3D 識別方案:Objectron,其特點是可通過AI模型,在 2D 圖像中預測物體在場景中的位置、尺寸和方向,可用於機器人、自動駕駛汽車、圖像檢索、AR 等場景。
為了訓練 AI 模型,谷歌團隊使用了移動端 AR session 數據(包括攝像頭圖像、稀疏 3D 點雲、預測光線、平面區域等),彌補了移動設備不具備高端 3D 感測器的難題(市面上大多數 3D 數據依賴激光雷達等 3D 感測器,對日常物體的 3D 標記數據卻很少)。
除了真實環境的數據外,還使用了合成的 AR 數據來提高AI預測準確性。為提高合成數據的質量(提升了10%準確性),谷歌研發了一個 AR 合成數據生成方案(AR Synthetic Data Generation),特點是可通過調整攝像頭角度、識別平面、預測的光線數據,來生成符合物理規則的 3D 位置信息,以及符合場景的光線,讓融入在具有 AR session 數據的場景中的虛擬物體看起來更自然。
要想開啟這項功能,你需要準備一台運行 Android 7.0 或更高版本的 Android 智能手機 或者運行 iOS 11 或適用於 Android / iOS 的 Google Chrome 瀏覽器。谷歌可提供的 3D 動物玩法包括二十餘種,包括獅子、虎、獵豹、鯊魚、刺蝟、鴨、企鵝、狼、琵琶魚、山羊、羅威納犬、蛇類、鷹、棕熊、鱷魚、馬、金剛鸚鵡、哈巴狗、龜、貓、章魚、狗等。例如搜索「鯊魚(shark)」,在圖片搜索結果和Wikipedia對熊貓的描述下面,您將看到一個小框,上面寫著:「近距離見識真實大小的鯊魚」。單擊「3D 視圖」按鈕,然後單擊「在您的空間中查看」以查看您周圍環境中的熊貓。您需要授予Google訪問相機的許可權,才能將鯊魚插入您的空間。接下來你就可以透過手機觀察真實般大小的鯊魚。
通過這種方式,你還可以看到其他更多的動物,例如狗、熊貓和烏龜。
很多推特網友也紛紛「大開腦洞」,嘗試更多玩法,讓虛擬動物與環境更匹配,比如讓熊貓坐在沙發上,營造出一副「懶洋洋」宅家的景象。
譬如獅子、蛇和老虎。
還有網友曬出了與獅子共處一室的圖片,當看到威風凜凜的獅子站在身旁,是否會感到一絲恐懼?
受疫情影響,不少人困於家中,虛擬動物的出現讓人們的生活多了一絲趣味,甚至幫助很多家長解決在家帶娃找不到趣味遊戲的困擾。谷歌 3D 動物走紅,讓 AR 技術的價值得到挖掘,帶來更多教育用戶的空間。疫情期間,AR 與 3D 結合的體驗還在持續,AR 技術也會在除娛樂之外的其他地方發揮更大的價值。
※3.5億收購打水漂?Nervana被砍,英特爾專註Habana
※AlphaFold抗疫,DeepMind公布六種新冠病毒蛋白質結構預測結果