亞馬遜正通過 Sumerian 大舉進軍增強現實和虛擬現實

（映維網2018 年 04 月 19 日）亞馬遜正在通過 Sumerian 大舉進軍增強現實和虛擬現實。這是一個完整的開發應用，可為智能手機和頭顯開發 AR 和 VR 應用，而且不用多久，開發者就可以通過 Sumerian 開發直接運行在你瀏覽器的 AR/VR 應用。

在這些體驗之中，Sumerian 可以創建充滿「Host」的沉浸式虛擬世界，一種由驅動亞馬遜 Alexa 的相同人工智慧提供支持的 3D 角色。

Sumerian 是一種跨平台工具。亞馬遜沒有選擇開發自家品牌的設備或頭顯，而是為市場提供集成服務。Sumerian 基於開源網路標準，並且支持 蘋果ARKit 和谷歌ARCore，這意味著應用開發者可以開發出運行在安卓，iOS，Oculus Rift和HTC Vive等平台的 Sumerian 應用。

作為 Amazon Web Servics（AWS）的新成員，Sumerian 採用了基於用量的定價模型而非訂閱模型，而且 Sumerian 可以連接至其他 AWS 服務。

亞馬遜於 2017 年 11 月推出了 Sumerian 的預覽版，並計劃在 5 月正式上線。在這之前，PCMag 深入探訪了 Sumerian 和數款早期的消費者應用。以下是映維網的具體整理：

亞馬遜 Sumerian 的總經理 Kyle Roche 向我（Rob Marvin）演示了這個 3D 應用開發平台。我體驗了 Sumerian 的拖放應用編輯器和 3D 對象庫，用於編寫複雜動畫場景腳本的 Visual State Machine，以及創建人工智慧 Host 的過程。對於 Host，你在這些虛擬體驗中時將能與它們進行完整的對話。

我同時與負責亞馬遜 AR/VR，AWS Mobile，Serverless Computing 和物聯網部門的副總監 Marco Argenti 進行了交談。亞馬遜對 Sumerian 寄以厚望，並且認為結合了 AI 的增強現實和虛擬現實將在我們的聯網未來扮演重要角色。

1. 為什麼亞馬遜要押寶 AR 和 VR？

亞馬遜從來都不畏懼進軍一個全新的領域。我們只需看看全食（Whole Foods），亞馬遜視頻，或者他們在醫療保健和醫藥行業的努力即可明白這一點。

Roche 開玩笑說，Sumerian 這個名字取自於科幻小說《雪崩》（亞馬遜同時正在將其改編成影視作品），而「Host」的概念則源於 HBO 的科幻劇《西部世界》。但 Argenti 表示，亞馬遜決定進軍 AR/VR 是因為三個關鍵的要素：智能手機 AR 的興起；VR 在 B2B 市場的廣闊機遇；這可以幫助 AWS 用戶解決一系列的痛點。

Argenti 解釋說：「信號已經足夠明顯，所以我們開始進入設計 Sumerian 的過程。典型的亞馬遜做法是，我們以逆向的方式先研發消費者用例，然後組建一支構建產品的開發團隊。」

B2B 應用包括互動式數字招牌（如《銀翼殺手：2049》中會說話的巨大全息圖廣告），虛擬培訓，以及一系列的工業物聯網用力，比方說利用感測器來創建數字孿生和複雜的模擬。Argenti 同時強調了智能手機 AR 已經通過 ARKit 和 ARCore 來到了一個關鍵的臨界點。

他說：「在與現實交互和探索周圍的世界方面，攝像頭正在日益變成一項十分強大的工具。快速的圖形處理器可以實時疊加信息，而感測器可以幫助構建一個 3D 現實。其思想是，數以億萬計的用戶擁有一個高質量，高解析度的情景感知感測器。」

2. 亞馬遜是如何構建 Sumerian？

亞馬遜最初是在 2016 年下旬開始思考 AR 和 VR 可以為 AWS 用戶帶來的幫助，然後在大約一年後的 AWS re：Invent 大會中亮相了一個預覽版。在這期間的時間裡發生了幾件事情。

首先，亞馬遜收購了一家破產的瑞典初創公司 Goo Technologies。他們的 3D 開發環境 Goo Create 成為了 Sumerian 集成開發環境（Integrated Development Environment，IDE）的基礎。

Goo Create 的視覺三維建模同樣是基於網路的雲服務，但亞馬遜更進一步，他們將後端遷移到了 AWS。將其構建在已有的可擴展雲基礎架構基礎上存在大量益處，但重要的是這可以大幅縮短延遲。Roche 表示，Sumerian 最大的賣點之一是，對於一個如其強大的編輯器，你無需下載或安裝任何東西。在演示期間，Sumerian 可以在數秒內完成瀏覽器 URL 的載入。即使是進行實時自然語言處理（NLP）和渲染精巧的動畫也不會減慢其速度。

作為一個低碼開發平台，Sumerian 可以支持幾乎沒有開發經驗的用戶，而程序員和數據科學家可以通過可編程的 API 和 Sumerian 的命令行界面來自定義場景和編寫複雜的應用邏輯。

Argenti 表示：「我們渴望一種你點擊一下就可馬上進入場景的體驗。然後為你提供可以拖放對象的 3D 圖形工具。Sumerian 是一個可以聯想當動作和事件發生時可以出現什麼情況的視覺工具，這一切可能無需編寫任何一行代碼。」

3. 創建 3D Sumerian 應用

亞馬遜對 Sumerian 的整體設計理念是儘可能地鞏固創作體驗。Roche 表示，他們希望可以掩蓋大量重複的開發任務，所以無論你最終選擇發行的平台是什麼，構建 Sumerian 應用的基本過程都相同。

你可以選擇一個模板，或者直接開始創建一個新場景。Sumerian 的部分默認模板包括辦公場所，培訓室和倉庫，貨船和戶外篝火等場景。主編輯器支持 WebGL 和 WebVR，其布局方式與我們測試過的許多低碼工具相同。

左邊是一個實體面板。一個實體本質上是資料庫中的一個表格，可幫助你管理導入應用程序的數據。下方則是 asset 窗口，你可以在其中搜索要拉入場景中的對象，或者打開 Sumerian3D 模型的完整 asset 庫。Roche 表示，Sumerian 提供了一系列的開源對象庫並且與 Sketchfab API 集成。亞馬遜也有興趣整合諸如 TurboSquid 和谷歌 Poly AR/VR 對象庫等平台。你同時可以將自己的 asset 導入到 Sumerian 中，然後將它們放入場景。

Roche 解釋說：「asset 面板可以作為調整管道的拖放區。你可以拖放大多數常見的 3D 文件格式。我們會轉換它們，對它們進行優化並為你儲存它們。我們在後端做的一件事情是，如果你在多個場景中使用相同的 asset，我們實際上會為你創建一個參考鏈接。」

屏幕中間是主畫布，你可以將 asset 和 3D 模型拖放到場景之中。畫布的角落有一個按鈕，用於啟動場景的 WebVR 預覽。

其下方則是時間線編輯器，工作原理與視頻編輯工具類似。當你拖入動畫和聲音並使用 Visual State Machine 創建場景，Host 行為和事件進程時，它們都會顯示在時間軸中，你可以通過時間軸調整一個狀態將如何過度至另一個狀態。

右側欄是 inspector 面板，其包含你正在查看的組件詳細信息，以及你可以如何定製它們。對於可能有一百種不同變體的模型而言，你可以在不實際觸及場景的情況下調整屬性和紋理等內容。

4. 亞馬遜的策略：海納百川式的集成

Sumerian 不僅在 3D 開發領域發支持 Unity，Unreal 和 Vuforia 這樣的平台，同時還在更廣泛的 AR/VR 生態系統中兼容 ARKit，ARCore 和 Windows Mixed Reality。Roche 表示，Sumerian 將「開發一次，隨處運行」的理念應用於 AR/VR 應用程序，特別是針對企業開發者」。

Roche 指出：「專業 3D 開發者或專業動畫師都有一個合作的工作室，但大多數（AWS 用戶）都是網路或移動開發者，在工作中學習到像 Unity 這樣的工具。Unity 很優秀，但要真正精通它要比把他們的技能帶到 3D 困難得多。所以我們決定把重點放在這一部分。」

Sumerian 支持多種核心開源標準：WebGL，WebAR，WebVR 和即將推出的 WebXR 框架。 WebXR 框架可以把 AR/VR 應用帶到不同平台的所有設備與瀏覽器，而萬維網聯盟（W3C）將在未來幾個月內投票批准 WebXR。屆時，Sumerian 應用將能夠直接在瀏覽器中運行。

在 WebGL，WebVR 和 WebXR 之間，Sumerian 完全與平台無關，而且 Sumerian 已經發布了本地 wrapper 來直接與 ARKit 和 ARCore 集成。Roche 表示，Sumerian 可以為任何支持 WebVR 的平台構建應用，這不僅只是包括 OculusRift和 HTCVive，同時還包括三星Gear VR和谷歌Daydream View等等。另外，Sumerian 正在就 WebXR 與谷歌 Chrome 團隊進行緊密合作，開發基於瀏覽器的應用程序。

另一個主要角色是 微軟。儘管亞馬遜尚未宣布 Sumerian 將與 WMR 生態系統集成，但 Roche 確實提到最新的微軟HoloLensRS4 版本包含了 WebAR 支持，而這意味著 Sumerian 可以運行 HoloLens 的場景。亞馬遜同時在觀察Magic Leap和 Meta 等公司的頭顯。

Argenti 說道：「我們做出了選擇，我們本可以進行自研，並推動開發者走向這條道路。但我們希望可以儘可能廣泛地支持一個巨大的市場。當一切都整合至 WebXR 時，完整的設備生態系統就會隨之而來。我們瞄準的是底層基礎。」

5. Sumerian 的 AI Host 將改變一切

Host 是 Sumerian 最獨特的賣點之一。Host 是一種可以放置在 AR 或 VR 場景中的 3D 動畫角色。用戶可以向 Host 提出問題，而開發者可以編寫一套複雜的動作，行為，手勢和移動方向，因為它們可以進行對話，並且會圍繞場景四處走動。Roche 指出，亞馬遜吸收了大量的靈感，包括《第二人生》和《模擬人生》等在線遊戲。

Sumerian 目前有兩個默認 Host：克莉絲汀 (Christine）和普雷斯頓（Preston）。但亞馬遜將在今年推出一系列的 Host。這些 AI 角色存在很多細微的差別。Roche 向我展示了一個關於克莉絲汀的演示，他將 Host 拖到場景之中，並打開 inspector 面板來定製她的情緒，面部表情和手勢。Sumerian 可以自動生成手勢，Host 會根據對話的自然語言處理進行對話。所以如果克莉絲汀對你說「嗨」，這可能會觸發揮手動作。

藉助一個名為興趣點的系統，你可以在編輯器中選中一個複選框，令 Host 的眼睛始終看著相機。所以如果你佩戴 HTC Vive Pro 在 360 度的空間中走動，Host 將跟隨你。如果這是一款與智能手機攝像頭相關的 AR 應用程序，亞馬遜的 Rekognition 深度學習系統則可以運行面部分析，判斷你的位置和你的面部位置，然後令 Host 直接透過屏幕看著你。這會提供一種眼睛接觸的幻覺。

用戶還可以使用亞馬遜的 Maya SDK 從零創建自己的定製 Host，但亞馬遜已經提供了基本框架，方便你從中調整 Host 的外觀，口音和語調變化，以及語言等等。從長遠來看，亞馬遜正在考慮如何幫助用戶更輕鬆地創建 Host。Argenti 談到了用於第一人稱角色的 Host 生成器概念，或者使用面部識別來匹配渲染角色和真實人類。

Argenti 表示：」結合 Rekognition，如果我們在程序上儘可能多地生成這些角色，我們可以嘗試將你與最接近的角色進行匹配。我們可以拍攝你的照片並運行反向面部識別，並將其與隨機角色進行匹配，從而提供一個看起來像是你的 Host 版本。」

Argenti 解釋了集成其他 AWS 服務可以令 Host 更加逼真，比如說 Amazon Comprehend 自然語言處理服務。Comprehend 可以分析文本並提取諸如心情和情緒分析等元數據。所以根據對話者的情緒，Host 可以有不同的面部表情或表達方式。

Argenti 說：「如果對話者生氣了，也許 Host 可以令他們平復心情。不僅在我們傳達信息的方式上有所發展，我們通過深度情感分析來呈現這一點的方式上也有進步。」

6. Alexa 背後的語音服務

能夠進行對話的 Host 才是好 NPC。與在 WMR 中激活 Cortana 小娜的方式不同，你不能在 Sumerian 應用中通過說「Hey Alexa」來激活語言服務。相反，亞馬遜採用了 Alexa 背後的自動語音識別和自然語言理解 API 來幫助 Host 進行對話。

Sumerian 與 Amazon Lex 和 Amazon Polly 進行了集成。Polly 是一種文本到語音轉換服務，可將文本轉換為 Host 的語音腳本。Lex 則是一個用於構建會話界面的 NLP 引擎，這是 Host 理解和響應用戶說話內容的方式。Sumerian 目前已經通過 Polly 支持了超過二十種語言，而且嘴唇同步功能可以令 Host 的嘴巴動作與語言或語音節奏相匹配。

Argenti 說道：「當你沉浸在 AR 或 VR 中時，語音是一種真正有意義的媒介。如果你看到一個角色站在那裡，我會希望與它進行交談。所以我們從人工智慧團隊中挑選了兩個這樣的工具，並試圖將它們人格化。我們希望場景能夠傾聽並回應我們。因此，你可以像聊天機器人一樣將整個 Lex 流程拖放到角色上。從很多方面來講，它比構建一項 Alexa 技能要容易得多。」

7. 沉浸式世界中的腳本邏輯

Sumerian 的 Visual State Machine 是你設計複雜序列和虛擬模擬的工具。藉助視覺時間線編輯器或完整的 JavaScript 界面，應用創建者和開發者就可以編寫腳本邏輯來控制場景中的 Host 或其他對象。例如，Sumerian 包括一個可以編寫腳本的飛行無人機對象。

當你把真實世界的對象引入等式時，這一切都將變得更加複雜。由於 Argenti 同時負責 AWS 的無伺服器計算和物聯網部門，他認為將 Sumerian 連接到 Lambda 和 Greengrass 這樣的 AWS 服務中可以為複雜模擬帶來更多可能性。Greengrass 是機器學習模型在物聯網設備上進行本地運行的一種方式。我們可以設想一個根據工廠車間機器數據進行訓練的 ML 模型，然後我們把這種演算法帶到 Sumerian，並且使用 AI 來模擬同一台機器。

Argenti 說道：「AR 和 VR 中真的可以存在一個模擬世界，每個角色或對象都能通過現實世界中的機器學習訓練變得智能起來。最終，你將希望嘗試以最逼真的方式來重新創造現實。今天我們可以進一步靠近，但從行為角度來看，它還不足以模擬實際情況。」

8. Weatherbug 的模擬氣象學家

當亞馬遜向我演示 Sumerian 應用時，我十分驚訝於他們展示的第一個應用是與天氣有關。

但正如 WeatherBug 總經理 Olivier Vincent 所解釋的那樣，虛擬現實與天氣數據的結合比你想像中更為合理。由於人們已經開始通過應用程序查看天氣狀況，天氣預報已經丟失了其中一個亮點：站在天氣屏幕前的當地天氣預報員。

Vicent 說道：「天氣就是告訴你某個時間段內某個地方將會發生什麼，你可以在應用中以一種 2D 方式進行快速查看，但我們知道一直以來天氣預報員都十分受歡迎。所以我們的想法是以一種更加身臨其境的方式重新引入天氣預報員。」

WeatherBug 構建了一個包含虛擬新聞工作室的 Sumerian 場景，並配有一個主播台和天氣屏幕。然後他們把克莉絲汀當作氣象學家。這款應用可以根據你的位置提取當前的天氣數據，然後 Host 將以一種個性化的方式來向你播報天氣。在 WeatherBug 主應用中，Vincent 啟動了一個展示曼哈頓 3D 模型的 VR 場景，這時克莉絲汀會向你播報天氣，並且提供最高溫度和最低溫度等其他信息，而你甚至可以看到飄落的雪花。

9. 艾迪生：虛擬看護者

位於新墨西哥州的健康管理科技公司 Electronic Caregiver 則開發了一款十分不同的 Sumerian 體驗。

這家公司為老年人提供了包含醫療幫助的可穿戴設備，他們同時開發了一種名為 Addision Care 的解決方案，目標是降低家庭護理成本，並使用會話式 AI 來評估老年患者跌倒的風險。Electronic Caregiver 為藥店，醫院和臨床醫生推出了一個終端機，通過機器學習來分析患者的步態。他們開發的 Sumerian 體驗同時應用了一個自定義的 Host：艾迪生（Addison）。Addison 將會幫助用戶完成關於跌倒歷史的口頭調查問卷。

Electronic Caregiver 的技術總監 Bryan Chasko 表示：「讓老年人接受技術並不容易。隨著這方面越來越好，語音技術將會涉足這個市場，你將不再需要讓他們坐在鍵盤和滑鼠前面，通過艾迪生，他們只需進行對話即可。」

Electronic Caregiver 製作艾迪生已有數年時間，利用 Amazon Lex 和 Polly 來開發這個 3D 角色。該公司是其中一家幫助亞馬遜構思可以通過 Sumerian 解決的難題，以及如何自動化 AR/VR 應用創建流程的 AWS 用戶之一。

Electronic Caregiver 的一名虛擬開發者 Judah Tveito 表示，Sumerian 將他們需要投入數月時間的流程轉化為只需幾次點擊的體驗。Chasko 指出，該公司還在開發艾迪生移動應用。Electronic Caregiver 將艾迪生定位為家庭虛擬護理人員。對於獨立生活的老年用戶，AI 可以提醒他們服用藥物，或者在其跌倒或出現其他醫療緊急情況時自動撥打 911（美國報警電話）。

Chasko 說道：「我們認為這可以解決的最大問題之一是，老年人獨自生活時的隔離感，我們希望提供一個全天候的家庭環境，當你沒有與艾迪生對話並且在浴室跌倒時，只需大喊『我需要幫助』就可以挽救許多生命。」

10. 賺錢機器：B2B 和物聯網

亞馬遜談到很多關於互動式數字標識的場景。想像一下，當你在酒店大堂，商場或體育場中散步時，你可以在屏幕中看到陪你一起走動的 Host。這聽起來可能有點令人毛骨悚然，但 Host 可以處理位置等情景信息，並將廣告轉變為個性化的對話。Argenti 認為 Host 是公司品牌的虛擬擴展，可以根據業務需求進行改變。

亞馬遜正在為 Sumerian 的用戶探索一系列的 B2B 和物聯網應用。在工業方面，Argenti 表示諾基亞整合了一個包含感測器和可視化系統，並將其用於監測集裝箱內的環境，這樣工作人員無需實際打開集裝箱即可測量內部溫度和減震效果。

他說：「你可以想像這麼一個 AR 世界：我們將數百萬台設備連接到 AWS，並從現實世界獲取大量的感官數據。然後，我們可以使用 AR 進行三角測量來識別對象，並在其上顯示相關信息。從服務和維修到監控，安全等各種服務，這存在很大的適用性。」

Sumerian 同樣存在廣泛的電子商務可能性。對於任何來自亞馬遜購物目錄的 Sumerian 3D 模型而言，如果將其添加到 AR/VR 場景中，你都有可能獲得開發者推薦費用。這是 AWS 上的企業和獨立開發者通過 Sumerian 應用實現營收的一種方式。

Argenti 設想了 Sumerian 和亞馬遜零售部門之間的眾多交叉機會，他說：「我們可以利用我們零售團隊在家居裝飾，家用電子產品，以及其他高價值物品方面的一些工作來創建 3D 模型。然後你可以用它們來拍攝一個照片級真實的透視空間。我該如何設置一個現代化的閣樓呢？我們應該擺設什麼傢具呢？」

11. 一切都回到 AWS

為所有 AR/VR 設備和平台搭建橋樑是降低 AR/VR 開發門檻的一種明智方式，不僅對 B2B 公司是如此，對開發者來說都是如此。令亞馬遜大力發展 Sumerian 的一點是，這可以推動更廣泛地 AWS 服務採用。對於嘗試使用新服務的現有用戶，以及新 Sumerian 用戶來說都是如此。後者將開始使用亞馬遜的存儲，計算，處理，人工智慧和其他服務，因為它們都融入了之中體驗。定價模式同樣很有吸引力，因為亞馬遜不徵收預付費，AWS 只按照你的使用量進行費用。

這只是所有流經 AWS 大環路的一部分。數據來自於物聯網設備，通過 AWS Lambda 函數進行處理，部署在 AWS Greengrass 以進入訓練機器學習模塊的 AWS IoT，並且最終作為 3D 模型成為 Sumerian 中的 AR 可視化。

12. 亞馬遜對 AR/VR 未來的展望

亞馬遜希望 Sumerian 能夠刺激行業製作 3D 大眾產品，以及降低成本。在 AR 方面，Argenti 表示由於 ARKit 和 ARCore 的原因，基本的支持者已經到位。他指出，當開發者提供足夠的應用和視頻內容時，行業將出現一個拐點。在 VR 方面，亞馬遜希望看到的重大變化是硬體價格下降，變得輕便和無線。

Argenti 說：「當這一切發生的時候，以及當你像佩戴眼鏡一樣佩戴 VR 體驗的時候，VR 將實現騰飛。我認為它必須要像在平板電腦上觀看視頻或打開電視機一樣自然，只有這樣才能達到與其他媒介相同的主流消費水平。圍繞內容創建者，廣告客戶，終端用戶，以及迎合這些用戶的公司來開發一個完整的生態系統就是具體的操作方式。」

Argenti 還強調了 VR 和 MR 中沉浸感的重要性。亞馬遜為 Sumerian 設置的另一個目標用例是教育和培訓。他指出，無論你是在學習如何使用醫療設備，還是說學習新的語言，這一切都是為了令你感覺自己彷彿置身於一個真實的環境之中。

他說道：「你足不出戶就可以坐在一家法式小酒館裡學習當地語言。Host 會用法語與你進行對話。菜單是用法語書寫。然後在這個現實中，你可以觸摸一個菜單並看到相應的翻譯，將你的手指放在一個條目上即可看到單詞變成不同的語言。學習主要是情景化的學習，所以作為一種學習工具，能夠涉及你所有感官的體驗將十分強大。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！