AIoT，構建更佳邊緣AI能力

| 導語7月27日，雲 社區技術沙龍第24期「物聯網技術與應用」圓滿落幕。本期沙龍特邀請騰訊雲技術專家對騰訊雲全棧物聯網產品進行了深度揭秘，針對騰訊雲IoT全棧產品中的IoT平台、邊緣計算、物聯網安全、物聯網操作系統、AIoT這五個產品進行全面的技術剖析和滿滿乾貨分享。下面是鄧煜平老師關於如何快速構建邊緣AI能力，雲邊協同對接，以及基於邊緣AI能力的實踐案例的分享。

前言

今天主要想跟大家分享一下我們物聯網產品矩陣裡面另外一個產品AloT產品。AloT我想這個詞大家應該在最近聽得比較熱。我記得在2016年的時候，應該那個時候有一個詞不知道大家有沒有聽過，叫ABC，如果關心雲計算都比較了解ABC這三個詞的含義。A是AI，B是Big Data，C是Cloud。它代表了當時整個業界的發展趨勢，AI和雲計算的結合。自此之後，很多AI結合雲計算的應用就展現出來了，非常豐富。我們現在基於很多聲音的識別，基於自然語音的處理，甚至基於圖片的處理，比如說人臉支付還有包括人臉核身，通過線上的方式來實現身份認證、電子合同簽約等等。這些圍繞著我們個人的一些AI的應用，更多地是通過調用雲端AI的能力，來實現AI應用的一些場景和實踐。

我印象當中應該是從2017年底2018年初的時候，AloT這個詞慢慢談得比較多，這個也是結合物聯網的發展趨勢這樣大的背景出現的。我們發現越來越多的AI會向物聯網的設備進行遷移或者是結合，利用物聯網的一些數據採集和搜集的技術來實現更多智能硬體和更多智能應用的一些場景，這個就是我們所謂的AloT詞的含義。簡單來說融合了AI和loT的一些產品特性，我們通過把一些AI和物聯網的特性結合，來實現一款AloT的產品。

我的內容包括四個方面，一開始我會跟大家介紹AloT產品的特性以及我們這款產品裡面應用到的技術架構，我盡量用深入淺出的語言和大家聊一下裡面應用到哪些技術。這些技術我想也可以幫助大家在使用我們的產品，或者說大家自己設計其它產品的時候，我們的思路可以有所借鑒和分享。最後我們可以展示一下如何通過我們的產品快速搭建邊緣AI能力以及我們實際解決方案的實例。

什麼是AIoT產品及產品特性

剛剛講AloT產品的出現主要是在ABC的場景之下，我們現在發現很多的AI能力正在逐漸下沉到邊緣側。為什麼會有這樣的情況？我們會發現智能硬體這層它的數據要上雲，一般是要通過下面這層物聯網物理鏈接層，物理鏈接層黃色這部分其實分為兩塊的接入方式，包括廣域窄帶和廣域寬頻這兩種技術，例如我們談的比較多的NBIoT、LoRa這是窄帶的技術，還有是4G或者是2G等等這種廣域的寬頻接入。近場的接入通訊包括WI-FI、藍牙等等不同的接入方式。通過這些鏈接方式之後，我們的數據會進一步進到運營商的接入網、核心網。騰訊也有相應的LPWA網路管理的核心網，在這層的數據進行匯聚和接入。最後到雲計算的機房裡面，這塊我們有相應的窄帶信令、寬頻視頻的產品。再通過一些消息隊列，我們對接到雲上的各種組件包括存儲、資料庫等等，進一步再到我們雲上定義的這套AI的推理平台，實現我們剛剛講的聲音、圖像、視頻等AI處理。

1. 傳統AI能力實現過程中的問題

大家可以看到整個的過程從數據鏈接到接入層再到運營商的核心匯聚層，最後到雲計算機房，這個數據鏈路非常長，這裡面會帶來兩個問題。

第一個我們在調用這樣一個介面的時候，整個的延時會達到數百毫秒。數百毫秒級大家應該會有一些概念，比如說舉一個形象的例子，大家平時去坐公交車坐地鐵，我們去刷閘機，那個時間大概是從你的卡放到閘機一直到你進去，大概響應的時間是500毫秒。地鐵閘機它要求一分鐘通過的人必須達到40-50人，所以說如果我們這種AI的一些應用，如果我們的時延過長，會影響我們的一些用戶體驗。這是在時延方面帶來的一些缺陷。

第二個關於流量。我再舉一個身邊的例子，大家可能用過家用攝像頭，你可以把攝像頭放在家裡的客廳來監控或者是智能貓眼放在門外面去監控周圍有沒有敏感人員，也有小店鋪的店主採用智能攝像頭進行防盜監控。它們往往把視頻推流到雲端，或者是通過手機直接觀看。我們算過一天所有的視頻上雲大概會有4個GB，會佔用這麼大帶寬的消耗。而且往往很多的數據實際上你是不關心的，我主要想看今天發生的敏感事件，比如說在家裡面寶寶有沒有哭或者是寵物有沒有亂抓一些東西等等，這些需要你花時間把所有錄的視頻去進行回看，往往這樣的用戶體驗也不是非常好。

2. AI能力下沉到邊緣側的優勢

我們的客戶需求希望把一些AI能力下沉到邊緣層，讓我們的邊緣設備能夠自動處理你關心的一些數據，再把你關心的數據上報到雲上。這樣帶來了兩個效果：第一個你的帶寬省了很多，因為我們只是把關鍵的數據放到雲端看。第二個即使出現一些問題比如說敏感的人員，或者說剛剛講的這種寶寶哭了或者是戴口罩、戴帽子的敏感人員靠近你家附近的時候，我們可以通過一些事件信息的上報通知我們的用戶。而不是說我們把整個的視頻傳到雲上，這樣我們需要AI的推理能力能夠進一步的加速。

所以說在這兩個背景下，我們有了這樣的需求，更多的場景需要我們的AI能力進一步下沉到邊緣側，同時我們的場景需要快速AI的技術能力。尤其在我們看到的四個場景裡面，包括我們的智慧工廠，它有遍布各地的生產工廠，它們通過AI來進行缺陷檢測，還有一種產品和半成品缺陷分類處理的時候，它是需要AI的計算能力能夠在邊緣側快速地得到執行，然後它聯動後面的執行機構來完成。那麼像智慧零售裡面用到的，需要快速進行邊緣側推理的場景也是非常顯而易見和理解。我們看到無人貨櫃，我們看到有些無人貨櫃我們只要把門打開，取出一些商品關上你走開就可以了。在這個過程中它迅速在邊緣側完成了物品的分類、人臉的識別這兩個點。物品分類對應你要扣多少錢，人臉識別對應從哪個賬戶扣錢。如果說AI的計算能力過慢，也會影響用戶體驗。

包括我們在農牧這個領域，很多的養殖場分散在全國各地，全國各地的網路帶寬條件是非常惡劣的。在這樣的情況下，我們如何能夠為我們的客戶提供更好的、成本更低的邊緣AI的解決方案，是值得我們去思考的。這個我到最後一頁給大家分享關於農牧非常有意思的一個應用場景和案例。我們需要在邊緣側迅速識別敏感特定的人員，還有對關鍵事件的上報，這些都是我們在邊緣側實現一個比較好的、具備快速推理能力的非常剛性的一個需求。

3. AIoT產品解決的問題

總結一下，我們的AloT產品它主要解決的問題，包括這幾個方面：

第一個有更快速的數據響應，我們本地的邊緣智能硬體能夠完成AI的推理和計算，將我們原來在雲端AI調用產生的這種數百毫秒的延遲我們能夠縮短到幾十毫秒甚至是幾毫秒，能夠帶來更好的用戶體驗，滿足客戶的需求。

第二個我們能夠實現更低的帶寬和雲存成本，也就是說我們通過本地邊緣的AI推理，把我們的一些非結構化的數據，比如說我們的視頻、圖片等等我們把它轉化為結構化的數據。比如說人臉的ID關鍵事件，我們把這些推送到雲端。我們在雲端使用的成本和我們網路帶寬的消耗會相對比較少。

第三個我們希望實現更便捷的系統部署和維護。也就是說我們很多的邊緣設備它裡面具備的AI能力是可以動態擴展，我們這個設備在部署完了之後可以不定期的給它添加不同AI推理的模型和能力。而不是在系統一部署的時候智能硬體只能實現人臉識別，下一步我可能要實現物體的分類或者車牌的識別。那我們可以通過我們這樣的系統，讓它能夠像安裝手機一樣，能夠動態地更新和下載。

最後一塊是我們希望為客戶構建一站式的AI演算法選擇和硬體平台選擇。我們的客戶往往在尋找合適的AI演算法和合適的AI硬體上面會花很多的精力，造成很多困擾，他需要去整合很多的資源，整合很多的演算法公司，整合一些硬體公司。實際上我們希望AloT這個產品能夠為客戶一站式地把這些問題解決掉。這是我們這個產品所需要解決的問題。

4. AIoT的技術現狀

剛剛我們談了我們的構想非常好，而且客戶需求也是客觀存在的，我們現在技術如何，實際上已經能夠促使我們的產品達到一個可以商業化的階段。它主要是來源於四個技術的發展。第一個大家非常了解的容器編排技術，實際上騰訊雲很多的業務都是基於容器化部署的架構來進行實施的。我們將來在我們的邊緣智能硬體上面採用容器化編排技術就可以實現我們不同AI應用的動態載入和分析。同時也可以讓我們的開發者，能夠使它的開發和部署運維更加快捷地融為一體。這個是我們邊緣側軟體運行架構帶來的一個好處。

另外一塊實際上大家也知道，AI為什麼這幾年這麼火，其實AI採用的一些技術很早在80年代、90年代就已經提出來了，實際上AI的核心原理，基於機器視覺這種深度學習的技術，簡單來講是基於統計學的一些演算法。通過統計學應用到的深度卷積神經網路的一些技術，我們來實現AI推理。這些技術往往促進了我們晶元和我們演算法架構的演變。

也就是說現在AI之所以能夠那麼火，實際上依賴於我們AI硬體生態不斷完善和豐富。我們發現原來能夠處理AI的晶元最早可能是顯卡GPU，或者是運算能力非常強的CPU。到第二個階段我們發現有一些可以基於這種半定製化的FPGA的晶元出現，直到最近兩年實際上很多廠商都推出了專門針對AI演算法裡面用到非常多共性的神經網路卷積演算法加速的AI晶元，來降低我們在邊緣側AI演算法產生的功耗以及整個硬體產品的成本。在演算法框架和豐富的硬體晶元助推下，實際上整個邊緣硬體和邊緣AI這樣的一個能力也逐步建立起來。

最後一個是我們的物聯網技術，也通過多年的發展，現在涵蓋從窄帶到寬頻，從廣域到近場，不同的技術能夠方便讓我們的萬物互聯，方便讓我們的設備數據採集到雲端。所以說這四個趨勢，我們認為已經能夠促成AloT應用的成熟。

5. AloT產品主要的一些特性

AloT產品主要的一些特性，包括我們設備的自動接入。比如說邊緣的智能硬體，我們可以讓我們的設備通過很簡單的方式接入到管理平台裡面，能夠實現離線AI的計算。同時我們也提供了一站式豐富的演算法市場，可以讓我們的用戶在演算法市場上面去自由選擇它所希望採用的演算法，包括我們熟知的人臉識別、物體分類、人體識別、車牌識別、缺陷檢測、動作檢測等等。這些一系列的演算法市場，也可以直接在演算法市場上進行下載。

當這些演算法下載到我們這個平台上面來以後，可以實現非常快速的二次開發，我們可以基於演算法市場裡面提供的這些演算法API，在邊緣側可以自己做二次開發和包裝，讓這些應用把AI計算出來的結構化數據推流上雲。同時我們也可以在我們的控制台上一鍵部署這些應用。我們的開放平台也是支持各種不同主流的AI硬體平台。這個我到後面會介紹一下。

AIoT產品的技術架構

1. AIoT產品與其他產品的關係

這裡比較簡單地描述一下這個產品和其它產品的關係。實際上從這個圖我們可以看到我們整個物聯網AI的數據流圖。這個是我們終端側，中間是我們AI智能網關或者說硬體，這個是雲上的一些組件，這邊是我們在雲上AI的技術產品。我們從這邊的數據流過來，比如說剛剛結合我們的OS和SDK，可以把設備側採集的各種數據上到邊緣側的網關，通過我們的網關上傳到雲上的IoT Hub，通過我們的規則引擎分發到我們相應的一些其它基礎的AI產品裡面。我們利用雲上AI的產品，對這些數據進行處理，它的分類、打標籤還有一些模型的訓練等等。

我們搜集到這些數據以後，最後我們會生成一些模型文件，用這些模型文件把它通過我們的模型鏡像倉庫，下載到我們邊緣智能硬體平台上來。我們訓練出來的模型可以在我們的邊緣硬體側上面進行本地AI的推理。所以說整個的過程包括我們數據的採集以及模型的分發和本地的AI的推理流程，一共三個部分。當然我們也可以直接把我們預先訓練好的模型，直接通過我們的平台下載下來，實現本地邊緣AI能力的構建。這個是我們整個產品和其它物聯網，就是今天這個演講之前介紹的其它產品組件的一個關係，這些產品都是可以像搭積木一樣，把它組合成一個整體的產品能力。

2. AIoT產品的總體架構

這個是我們整個AloT產品的總體架構，虛線框是我們整個AloT產品的產品能力，它包括藍色這部分是我們部署在雲上的組件，綠色部分是我們邊緣側的軟體協議棧。我們雲上的部分分為兩塊，一塊是應用與模型分發平台，還有一個是應用與模型發布工具。我們通過雲端的控制台來控制邊緣的網關或者是邊緣的智能硬體，然後邊緣網關和邊緣智能硬體可以直接在裡面集成雲上推送的組件，和我們雲上其它的產品，比如說IoT Hub，比如說雲上視頻推流能力來進行打通。

下面分別給大家詳細介紹各個部分產品的模塊和設計的一些思想架構。這塊是我們雲端的架構還有發布工具。下面這塊是我們應用與模型分發平台的整體架構。實際上它的架構基於四個模塊：

一塊是我們的網路代理模塊，這個主要是用來和我們邊緣側的盒子進行通訊，監控邊緣側硬體設備一些許可權的認證和一些設備管理的能力。基於這樣一個模塊，我們可以實現對設備遠程的激活、設備狀態的搜集、管理等等。

另外一塊是我們鏡像管理模塊，它主要是用來支撐我們對不同的用戶上傳不同AI模型和AI應用去進行管理，包括用戶自己上傳自行開發的這種AI模型。我們也提供了一些公開使用的公有AI模型。通過這些鏡像管理的模塊來實現對應用的管理，以及應用可視化發布許可權的管理。它是配合我們的應用與模型發布工具來完成的功能，也就是說用戶可以通過我們的應用模型發布工具來實現它們AI應用的一些上傳。

還有我們的認證授權模塊，這個主要是實現了對使用控制台的一些賬號管理，包括我們對一些設備進行分組，我們可以通過一個模型，把它分發到分組劃分的設備裡面來。同時我們可以邀請協作者管理運行在不同設備上面不同的應用。我們的許可權管理分為設備的管理和對應用的管理。這個是認證授權模塊的部分。

另外還有一些消息通知組件，這裡就不詳細的介紹。

這裡面核心的點是實現了我們對不同的設備，不同的模型還有不同的人員，進行一個分組許可權的管理。我們客戶可以藉助我們本地的應用與模型發布工具的架構，來實現對它本地鏡像倉庫裡面AI模型的上傳，和我們的模型鏡像倉庫進行打通，這個是在雲端實現主要的一些產品功能。

3. 邊緣設備側裡面協議棧的架構

下面介紹一下目前在邊緣設備側裡面協議棧的一些架構。邊緣硬體設備可以理解為就是一個智能的小網關或者是一個AI盒子。它的底層實際上是基於各種AI加速晶元的硬體平台，不管是使用CPU、GPU還是專門的人工神經網路加速晶元。在這樣的硬體加速平台上面，我們可以支持主流的一些操作系統以及在上面基於容器引擎的架構。在這樣的架構基礎上，我們分為五個模塊。最底下是我們的設備接入服務，實際上之前分享過邊緣計算的架構，這裡面架構的思路、想法是一致的。主要是完成對協議的轉換，包括我們智慧建築裡面用到的協議，包括工業現場裡面用到的協議等等，還有我們通用MQTT消息協議，以及我們寬頻視頻推流的一些協議等等。

這個部分是完成了網關下面管理的子設備的一些管理，比如說像攝像頭這樣子設備的管理。在中間主要是提供核心的服務，這些核心服務就包括這些不同服務之間的消息匯流排，它們數據流之間的一些交互以及不同的服務，後續繼續動態載入進來的服務之間，它們服務的配置與發現。之前也分享過採用了微服務這樣一套的設計架構。

再往上主要是我們的智能分析服務。這塊除了一般意義而言像規則引擎、本地流資料庫、時序資料庫之外，最為重要的是這裡面集成了AI的一些中間件。比如說基於Intel這種AI加速晶元裡面，我們採用了OPEN VINO這樣AI中間件讓我們的客戶非常方便基於它現有開發的模型，在上面進行一些快速的調用。那麼在基於這樣智能分析模塊的服務之上，我們提供了兩類，一個是模型應用服務。結合我們剛才講的模型應用市場裡面不同AI的應用和AI的演算法模型，可以在本地化為客戶輸出不同的AI服務能力。

然後另外一塊是雲端的服務模塊，這裡面包括兩個，一塊是窄帶信令的部分，一塊是寬頻推流的服務組件。與之對應的是打通了雲端不同服務組件，例如視頻推流組件等。

邊緣側的安全也是非常重要的，它包括硬體設備所涉及到安全的方方面面。其中像之前也有分享到的設備認證，我們採用了TID的設備認證協議，包括安全啟動、安全存儲、運行時保護等等。下圖是整體的一個邊緣側協議棧的總覽。

下面我就幾個邊緣側的服務我快速和大家介紹一下。像這塊我們剛剛講的是基於一些動態服務的註冊和發現，因為我們提到有一些服務是可以通過動態後續載入，裡面核心應用的技術是用到服務註冊和發現的運用。在我們的內部有一個註冊中心，可以讓不同的微服務之間通過查詢註冊中心，來獲取其它服務所提供的一些API的介面和調用。同時註冊中心也會負責不同微服務的健康檢查。這個是我們在邊緣側動態服務註冊上面採用的技術。

我們剛剛講的邊緣側主要干三件事，一個是數據採集，還有一個是AI的推理能力，第三塊把推理出來的結構化數據上雲。這個部分實際上指的是數據採集。數據採集這部分我們採用了像Telegraf的容器化組件，我們可以用來實現對設備本地的一些關鍵數據的採集，包括我們CPU的狀態，包括窄帶消息、視頻消息的採集，以及我們不同工業的協議，智慧建築的協議，它們這裡面不同協議以插件的方式接入到我們的數據裡面。再通過這些數據，我們可以在本地的AI分析引擎進行處理，在雲端進行可視化展示。同時我們也可以通過直接在邊緣側直接推流到我們的雲端進行數據分析，這個主要是我們數據採集的框架。

第二部分剛剛講的採集完了之後需要進行AI的結構化處理。我們可以看到紅色框裡面是AI模型的中間件，最下面我們可以通過我們的模型市場下載各種各樣不同的模型。這些模型我們在邊緣內部也採用集成了，比如說像主流的架構來支撐它把這種不同的模型，通過這種gRPC或者是我們在本地的Restful API封裝，來提供給到演算法容器來進行調用。

那麼這個演算法容器，它自身就集成了包括幾部分的內容，比如說IPC攝像頭推流的部分，包括視頻的解碼，解碼完了之後輸出的圖片，我們通過調用TF serving的這個容器對這些圖片進行人臉識別，縮放對齊。再對我們的人臉識別進行本地化的聚類。所謂的本地化聚類是指我們可以通過對同一個人他不同特徵來進行聚類，最後對這個人生成一個唯一的face ID。再把這樣的一個face ID直接推流到雲上的IoT Hub，這個我們之前的課程也分享過了，IoT Hub主要承載窄帶通訊的能力。

我們在這個演算法的基礎上其實也集成了我們AloT寬頻視頻的能力。當我們發現有一些敏感事件告警上雲之後，本地的調用可以調用我們的視頻推流能力，直接把現場的視頻推到雲上進行觀看。比如說可以在我們的手機通過小程序或者是在PC客戶端來進行觀看。在雲上的結構化數據可以再進行二次的聚類，這樣可以讓不同的盒子所產生的數據進行歸一化的處理。這個是我們在AI數據處理這部分的架構。

當然我們也提供了一個更高級的版本，我們也可以讓我們的開發者基於不同的模型和架構進行自己的一些自主化的封裝，這個是比較適合於對AI架構有一定了解的開發者來使用。不再詳細展開敘述。

除了剛剛AI的應用之外，這部分主要是我們的數據從採集再到我們AI的處理，我們需要把它推到雲上。雲上這塊我們也集成了目前兩大能力，一塊是剛剛也有介紹，我們本地集成的IoT Hub SDK，可以快速讓我們設備的結構化數據推送到我們的雲端。同時我們也集成了我們視頻的一些組件，能夠在本地實現視頻的推流，我們通過一些簡單的配置即可獲取推流URL，將需要採集的攝像頭上面傳輸過來的一些視頻，推送到我們的雲端。讓我們的客戶可以通過推送上來的這種視頻流，再通過拉流的方式在手機端上進行呈現。這是在邊緣側集成的兩部分能力，一個是窄帶通訊的能力，一個是寬頻視頻的能力。這個是邊緣側大體的架構，從我們的核心組件到數據的採集、邊緣AI分析以及推送上雲這四個部分。

另外一個是我們邊緣側的安全，包括了邊緣側的設備認證，實際上今天下午分享的另外一個課程TID有詳細內容，這裡我就不展開講。實際上這裡我們還有一個很重要的點，模型的版權保護。因為實際上我們提供的是開放的演算法生態，很多演算法公司非常關心，比如說我們部署在邊緣側設備上的演算法模型是不是能夠得到很好的保護，而不是被隨意地拷貝走。這樣我們訓練出來的一些模型可以很輕易的被任意複製。我們在邊緣側實際上提供了這些模型版權保護的功能。這是邊緣側安全涉及到的兩部分。

另外，我們提到過一個增量分發，也就是說我們會提供給客戶設備一個標準的ISO包，這個ISO包裡面會集成我們從操作系統到DOCKER引擎以及AI中間件的不同組件。那麼這樣做的一個好處實際上是利用了DOCKER容器增量分發的功能，也就是說我們在分發我們新的模型的時候，由於我們邊緣側的設備盒子已經集成了這些中間件，我們在分發的時候可以極大減少分發的大小和容量，來減少它對網路帶寬和分發時間所造成的影響。這個也是我們利用了DOCKER技術所帶來的良好特性。

我們這樣的產品實際上也是支撐到一些主流的AI加速硬體平台，我們騰訊雲也會優選推薦大家一些硬體加速平台。這些加速平台實際上是可以對AI算力進行靈活擴展。我們AI的晶元可以從2個擴展到4個甚至是8個。你可以自由根據成本的需要，對算力的需求，對這個算力進行自由的擴展。

如何快速搭建邊緣AI能力

我們下面簡單講一下我們這個產品的使用步驟。包括設備的註冊激活，選擇相應的演算法模型，選擇完之後來進行部署，在雲端進行展示和監控。具體的使用步驟這裡稍微簡單展示一下，包括我們購買或選擇一款邊緣智能硬體設備，我們可以在網上下載提供標準的ISO安裝包，你接入到區域網和PC機連通之後，它就會自動發現這個設備，並且輸入我們提供的設備碼，你就可以來看到這樣一個設備的激活和在線狀態。然後可以登陸到我們的控制台上面，去選擇我們提供的十幾個模型，目前我們這個產品還在內測，我們現在提供了15個模型供開發者使用。

選擇完模型之後，我們可以把它選擇安裝到我們指定的設備，包括你可以自定義部署的時間，如果部署時間比較長，你可以選擇定義到晚上來進行部署。當然這個是我們使用的公開演算法模型，我們也可以使用你自己開發的一些AI模型，你不用把它發布到我們公開的模型市場，你通過一些客戶端的軟體可以上傳你自己開發的一些模型，通過我們的控制台分發到指定設備，最後可以通過雲端監控設備上面CPU的佔用情況、運行的參數情況等等。

應用解決方案示例

最後是實際的場景展示，包括我們通過邊緣側我們可以實現，大家可以看到這個屏幕展示是我們在雲端上的網頁，實際上所有的數據云端上面只上傳了圖片以及我們推理出來的性別、年齡、區間還有我們剛剛說的通過本地聚類實現的這種到訪次數的統計等等。我們可以看到右邊AI的盒子和我們的IPC的攝像頭都是在本地的區域網裡面，它不需要把我們的視頻完全推流到我們的雲端。這裡是我們熱力圖的展示，它展示我們另外一個人體識別模型的效果。

這個很有意思，是我們客戶做的一個案例。我們剛剛講了智慧養豬的一個案例。我們發現很多的養殖場分布在全國各地，它的網路環境是非常差。現在我們客戶通過用邊緣AI的能力來實現了對豬數量的自動盤點以及豬體重的自動估重，這個體重的自動估重是可以實現精確的料肉比控制，可以為我們的客戶控制養殖成本，也可以節省它的人力時間。所以說我們實實在在地體會到邊緣AI不同於傳統的雲端AI能力所達到的一些效果。這就是我今天的分享，謝謝大家。

Q：您好，我問一下因為我看到了你現在所說的基於容器，因為最早的一些產品是基於（OPEN CL），有沒有技術考慮把它做成非容器的？

A：我覺得這個問題非常好，容器這個技術它實際上會依賴於一個操作系統，實際上在有一些邊緣智能硬體，它目前並沒有，它的計算能力有可能非常弱。我們目前這個階段想先把基於操作系統這種方式的容器技術能夠進一步的完善。因為按照我們的判斷，關於這塊未來的硬體發展，它一定是往計算能力越強還有功耗成本更低這個方向去走。所以第一步會採用這種方式去做。當然您剛才提到的對有一些嵌入式設備，比如說像一些智能攝像頭，它可能目前這個階段裡面不一定能夠去支撐跑這麼複雜的系統。在這樣的場景下，我們可能會採取一些其它的方式做融合。這個是我們未來的一個規劃和考慮。

當然我覺得什麼時候去推出，還是需要結合我們硬體的發展狀態，配合我們軟體的一個架構來跟上。因為按照我們現在開發的趨勢，實際上算力越來越強的CPU也會逐漸出現，有一些計算能力比較弱的這種場景，它用到晶元的算力包括本身的CPU的能力包括它的成本也都逐漸往下走。我覺得最好的例子是我們的手機晶元，手機晶元由於出貨量巨大，還有它技術的融合，它的晶元也融合了一些AI的能力，那麼它的技術也在往一些智能硬體設備上去做擴展。所以具體我們什麼時候採用什麼樣的技術路線，我覺得需要綜合考慮軟、硬體產業的發展態勢。

Q：鄧老師您好，我想問一個問題怎麼平衡雲端模型的計算能力和計算的準確性。我們希望我們的數據在邊緣計算是達到可控而且是可靠的模型。

A：其實我想說關於模型這塊，實際上我們在雲端上採用的AI模型和邊緣側採用的AI模型可以是一致的，只不過說它的計算平台是不一樣的。在這種可靠性來講，我覺得更多的可能是需要綜合考慮，比如說雲端AI考慮我們的調用網路的依賴，我們給雲端AI輸入參數的大小，以及我們雲端AI使用會造成的其它成本。當然我們的邊緣AI也不是完全沒有缺點，比如說我們為了實現邊緣AI，我們可能需要對邊緣設備去做智能化升級，或者說我們把傳統的攝像頭統一接到邊緣盒子上面，而這個盒子是帶有AI能力的。所以說我覺得採用哪一種技術，需要綜合從硬體成本、對網路的依賴、以及傳輸數據量三個角度去考慮，來綜合評估到底我們採用哪一種方案去實現AI應用。

騰訊雲高級產品經理。擁有十餘年從物聯網晶元設計、實時操作系統開發到SaaS服務開發的經驗與產品策劃經歷，對物聯網安全技術、無線連接技術、AI晶元等物聯網關鍵技術有深入了解，尤其擅長軟硬體結合的產品開發與策劃工作。擁有大型物聯網項目的實踐經驗。

鄧煜平

點擊觀看視頻回顧

關注云加社區公眾號，回復「物聯網沙龍」，獲取完整PPT！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！