詳解 OPPO「明星級」技術能力：Breeno和ARunit

在目前的手機產業中，OPPO 憑藉其對用戶需求的準確把握和將需求轉化為產品賣點的能力，已迅速成為主流智能手機品牌，在全球市場份額排名中位居第四，佔據了移動互聯時代的流量入口。

從 2016 年開始，OPPO 把重點放在開放平台建設上，旨在為開發者打造技術、平台、資源和終端一站式的服務閉環。不久前，OPPO 正式開放 Breeno 語音技能平台的接入，同時不斷拓展 ARunit 相關能力，助力開發者打造更加優質的產品。

4 月 13 日在北京舉行的 OPPO 技術開放日，OPPO 相關技術和產品負責人現場為大家詳細解讀 Breeno 和 ARunit 框架的技術能力和開發流程，小編為大家整理了以下內容。

1

如何開發一款語音技能產品？

語音交互技能是這幾年才興起的新鮮事物。它使產品和服務可以覆蓋用戶的語音交互場景，並快速做出合理的響應。由於支持語音交互的產品和服務，極大地方便了人們的生活，這使語音技能開發成為了新一輪內容及服務的創業藍海。

語音的技能幾乎可以支持現在互聯網所有的產品類型，包括信息的查詢、益智的遊戲、問答等。同時也支持多元化的資源載體，包括 APP、快應用、H5 等。

那麼，語音技能究竟是怎麼開發的？在哪開發？怎麼發布? 什麼樣的語音技能效果好？我們可以從 OPPO 的語音技能平台 Breeno 上尋找答案。

Breeno 語音技能平台，是一個為開發者提供技能創建、測試、部署的工具平台。通過該平台，開發者可享受完全免費的平台服務，更加簡單高效地創建優質語音技能，實現了終端用戶使用自然語言即可喚醒和使用語音技能的目的，在降低開發成本的同時，又能提高開發效率。

Breeno 語音技能平台框架

Breeno 語音技能平台主要分為三部分：平台工具、審核和上線部分。

在平台工具層中，「基礎支撐」是最基礎的底層能力，有海量數據和演算法支持；「技能形態」是對多元化資源內容的接入形態支持，並提供通用性很強的標準卡片模板，具有廣泛性和包容性；「核心流程」是整個框架中最核心的部分，也是開發者能做出優秀語音技能的過程支持。

在審核層中，「審核後台」具有審核流程和標準、審核機制、基本功能支持和技能統計四個模塊，審核後台的價值是在技能上線前，幫助開發者把控技能體驗。

在上線層中，「技能商店」是直接面向用戶的，所以需要具備豐富的信息內容。此外，平台方面會幫助開發者做技能的運營和推薦。

在 Breeno 上創建一個語音技能的流程是怎樣的？

創建一個語音技能，可以分為六個步驟：語音技術對話管理接入方式在線測試一鍵部署統計監控。Breeno 可以全程提供技術支持。

第一步，語音技術支持。語音技術支持分為四個環節：語音喚醒、語音識別、語音理解和語音合成。在這些環節中，Breeno 為開發者提供的支持有：

在語音喚醒方面，支持包括「打開 技能名稱」的喚醒，還有「包括喚醒和意圖需求的一句話」的喚醒；

在語音識別方面，採用了科大訊飛語音識別模型，識別準確率 95% 以上；

在語義理解方面，提供多種通用系統意圖和詞典支持，提供在線技能意圖的訓練模型，提高意圖識別準確率；

在語音合成方面，提供中文普通話 TTS 語音播報，還有多種 SMML 播報標籤語持續更新中。

第二步，對話管理支持。對話管理部分主要是指語音對話中用到的自然語言處理：

支持單輪和上下文多輪語音交互對話配置；

多輪對話中上下文槽位信息自動繼承，從而能高效率管理對話服務。

第三步，接入方式支持。接入方式就是交互展現，用戶收到的回復如果只有文本內容，未免太過簡陋。Breeno 提供了多種形式的展現模板，並幫助開發者在各種交互形態下進行試驗和自適應調整，整體降低了開發者的開發成本。包括：

第四步，在線測試支持。當整套技能開發完畢後，最讓人頭疼的問題就是測試。Breeno 提供了模擬器在線模擬測試和真機測試，還支持測試正例上傳和存儲。

第五步，一鍵部署支持。技能發布時，支持一次發布多個終端同時部署，減少多次發布的過程。同時，還提供在線資源和內容存儲管理，以及線上代碼編輯和服務一鍵配置能力。

第六步，統計監控支持。技能上線後，開發者需要實時了解應用表現，所以需要進行數據監控和統計。Breeno 會把真實的數據和用戶操作信息同步給開發者，方便及時升級和優化。

OPPO 有一句很有名的廣告語：充電 5 分鐘，通話 2 小時。其實，在 Breeno 上創建語音技能也只需要 5 分鐘，具體內容大家可以參考 Breeno 語音技能平台官方文檔去體驗一下。https://open.oppomobile.com/wiki/doc#id=10205

2

如何為你的應用增加 AR 功能？

現在 VR 給人們的印象就是：頭帶一個密封的頭盔。很多人以為 AR 也會是這樣。當然微軟也有 AR 頭盔，但是 AR 最大的市場在於移動設備。原因在於，AR 硬體在成本方面有一定的局限性，目前並未普及；另一方面，AR 技術已經可以和智能手機兼容，用戶沒必要購買專用的 AR 硬體就可以體驗 AR 內容。而且大部分情況下，消費者用 AR 移動設備就足夠滿足需求了。

那麼，AR 究竟是怎麼做到「虛實結合」的？

由於 AR 是現實場景和虛擬場景的結合，所以基本都需要攝像頭，在攝像頭拍攝的畫面基礎上，結合虛擬畫面進行展示和互動，那麼需要實現的是：

了解真實相機的實時姿態。

將虛擬相機的位姿視角與真實相機對齊，這樣才能感受到虛擬物品的真實存在。

虛擬對象到真實環境的渲染要夠真實，所以要很強大的 AR 渲染功能，實現虛擬物體與現實環境場景相融合。

人與虛擬物體實現交互，包括手勢、軀體、骨架識別等，更有趣味性和深度。這裡的交互可以基於攝像頭、頭盔、手錶等介質完成。

那麼從技術角度，這個過程該怎麼完成呢？

一套完整的 AR 系統包括四個模塊：運動追蹤、環境理解、目標追蹤和虛實融合。

1、運動追蹤系統該系統

可以在移動過程中，實時跟蹤手機的自身的位置，並構建自身對周圍環境的理解。ARunit 的追蹤技術使用攝像頭來標識興趣點（也稱特徵點），並跟蹤這些點隨著時間變化在屏幕上的移動。通過結合這些點的移動信息與手機慣性感測器的數據，ARunit 能夠在手機移動時確認自身的位置和屏幕朝向。

2、環境理解能力

我們在用手機掃描現實場景時，需要尋找到水平平面或者數字平面，再選擇虛擬物體放置位置，然後生成虛擬物體。在這個過程中，系統會檢測環境中的平坦表面（如桌面、牆面），並估測目標區域中的平均光照強度，結合標識的關鍵點，進而構建起自身對周圍環境的理解。據了解，OPPO 的 AR 團隊正在不斷擴展能力邊界，正在結合深度攝像頭對現實場景進行 3D 建模，生成現實場景的三維模型。如此一來，虛擬物體可以被放在任何錶面，包括斜面和角落。此外，OPPO AR 將針對三維重建做數字化描述得到現場地圖，通過結合這種地圖可以做到遮擋和碰撞，使用戶有更進一步的交互體驗。

3、目標追蹤

目標追蹤主要是對現實場景中一些感興趣的物體的追蹤，可以增加 AR 的趣味性。比如對圖象標誌的追蹤，通過在 APP 里錄入一些商標模型，進行追蹤掃描，生成一個虛擬品牌宣傳形象或標語。此外還有物體追蹤、人臉追蹤等，包括可以對人臉做一個 3D 美妝，遊戲中的虛擬人物的服裝造型等。這樣可以幫助開發者將 APP 做的更有趣。

4、虛實融合

如果簡單的把三維虛擬物體，放在某現實場景中會顯的很假。這裡需要用到三維渲染光，通過我們對現實環境光源光強的估計，對現實場景中虛擬物體放置位置材質的理解，渲染出來的虛擬物體才更加逼真。

ARunit 架構和調用流程

開發前，開發者需要選擇合適的平台和開源工具。OPPO ARunit 就是一個跨平台支持的增強現實應用框架。它具有較強的兼容性，其中包括 C、java、Unity3D 等版本 sdk，能夠提供實時跟蹤與建圖、尺度估計、多平面檢測、光照估計、命中檢測等功能。它可以幫助開發者快速搭建自己的 AR 應用，並極大的釋放 AR 應用方面的創意和靈活性，同時開發成本也很低。

OPPO 手機都會內置 ARunit 的功能，並逐漸普及同時支持 2D 和 3D 的設備。開發者可以通過 ARunit 調用能力、支撐應用本身的功能和場景。這些能力上文中提到的位姿跟蹤、環境理解、光照估計、遮擋、擊中測試、手勢交互等，並在持續增加更多新的能力。

ARunit 的調用過程比較簡單，如下圖所示：

ARunit 的介面設計也很友好，與 ARcore 類似，之前有過 ARsdk 開發經驗的，都可以很輕鬆的切換到 ARunit 上，無需很多重複性學習。具體文檔見：https://open.oppomobile.com/wiki/doc#id=10171

AR 應用案例及場景探討

目前，在應用中開通 AR 功能已成為趨勢。對於開發者來說，AR 有哪些應用場景可以去落地？

從支撐 AR 應用的終端設備發展來看，增長速度是極快的，2016 到 2018 年間的手機增長了 37 倍，預計在 2020 年的時候全球將會有 6 億台手機具備 AR 的功能，而大部分的手機都可能具備探測高精度深度信息的攝象頭。

在 2018 年，OPPO ARunit 已經完成了 100 項技術研發，並基於攝像頭的能力設計了 AR 尺子和 3D 掃描應用。之後，ARunit 與合作夥伴不斷創新，從不同角度帶給用戶新的體驗和內容：

「ARunit 高德地圖 = AR 實景導航」，用戶可以開啟 AR 導航，通過手機看到周圍的真實環境和導航路徑，能看到指引員「小歐」在向你招手，這對於方向不容易辨別的路況很實用。

「ARunit 王者榮耀 = 王者榮耀 AR 相機」，用戶可以在任何桌面和地面上同王者榮耀里的英雄合影，也可以調整照片的濾鏡、美顏效果和燈光，甚至可以與你喜歡的英雄進行互動。

「ARunit 神奇 AR = AR 短視頻」，用戶可以將模型素材和特效放在現實場景做融合，多種內容的組合可以產生新奇玩法，可以看到真實二次元出現在三次元里的樣子。

此外，OPPO 一直持續關注 AR 領域的布局，重點關注遊戲、購物、拍攝、地圖、生活、教育等與用戶有緊密聯繫的場景，並通過 AR 技術的能力為用戶開發者傳統的商業模式賦能新形態。並針對 AR 開發者設立了 TOP100 的計劃，專門為 AR 應用開發者提供多種資源的支持，包括技術支持、聯合營銷和商店推廣等，幫助 AR 開發者在早期迅速獲得市場認知和儘可能多的用戶量。

隨著未來技術的不斷提升，開發者們會有更多的想法和創新，也會有更多新的場景和應用誕生，希望 OPPO 能與廣大開發者一起，在未來技術的探索和實踐上，共同前進。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！