關於蘇寧人工智慧平台的真面目，你想知道的都在這裡了

雷鋒網按：9 月 7 日，首屆人工智慧計算大會(AI Computing Conference 簡稱 AICC)在京舉行。本次大會由中國工程院信息與電子工程學部主辦、浪潮集團承辦。

在 AI+互聯網論壇上，蘇寧人工智慧實驗室技術總監王棟作為嘉賓以《人工智慧在蘇寧的應用》作了演講，就智能視頻內容理解、全場景個性化、蘇寧智能機器人平台三大部分做了詳細介紹。此外，李偉在接受媒體採訪時，就蘇寧無人零售店等方面的情況進行了解答。

以下為王棟演講內容實錄，雷鋒網做了不改變原意的編輯：

智能視覺內容理解

這部分內容在蘇寧應用的比較廣泛，也算比較成熟。重點介紹兩塊，第一塊是敏感和誇張的表達識別。《中華人民共和國廣告法》發布以後，我們禁止一些誇張的詞語或者一些敏感詞語在廣告，包括文本內容和圖片內容中出現。所以，我們要儘可能把我們自營的一些商家或者聯營商家中上傳的圖片和文本表達比較誇大的部分，比如世界第一、很好等等這樣的字眼去掉。

這部分內容主要涉及到電商圖片處理，一個是自動反面分析，另一個是單字元識別，另外一部分是視頻監控，主要是用在線下門店的。因為我們都知道蘇寧易購有很多線下門店，包括易購、蘇寧小店、蘇寧超市等等，所以我們在很多情況下是需要做一些店面流量監控以及熱力圖，可以發現用戶進店以後會對哪些區域比較感興趣，是不是有些用戶經常到門店裡面去，這樣一邊做客流量分析，一邊在店面選址和線下個性化方面做一些輔助。這部分主要涉及到的是單攝像頭和多攝像頭目標檢測和跟蹤，以及在實體店中的一些流量分析。

首先看一下敏感和誇大表達識別，主要是兩個例子。這是我們剛才介紹的，在圖片中如果有這樣一些字，我們會做檢測，最後做一個基本的校正。

這是一些識別樣例，我們會自動做一些反面分析，然後做字元區域檢測，最後做文字識別。這是我們檢測出來相對來說敏感或者誇大的表達，比如說電池廣告有最持久、業績第一等等，這樣的表達是新《廣告法》禁止的，我們有可能把類似這樣的圖片做一個識別和去除。

第二部分，視頻監控是我們部署在門店裡的一個攝像頭，主要是在入口區域。這部分是我們希望去監測客流量的，實際上這個攝像頭目前我們部署的並不是特別多，主要是做人臉識別，目前只是針對個人做一些去重。

然後是我們部署在店中的攝像頭，通過熱力圖分布可以看到用戶對於 3C 數碼產品，看展品的用戶分布非常多，在其他桌面上是非 3C 數碼的線下產品，那些區域用戶分布並不是特別多。這樣我們給店面的展品布局一些指導意見，如果發現有一些展品持續一周、兩周，甚至一個月時間沒有什麼人觀看，我們會及時做展品的上下架。

全場景的個性化

蘇寧易購有線上電商和線下門店，線上電商基本有 PC 和手機端 APP，我們會在很多頁面上，像首頁以及商品詳情頁和購物車都會做一些個性化，基本方法是採用業界比較主流的用戶畫像，包括用戶基本描述，以及對類別品牌偏好等等。另外一部分是商品畫像，主要是商品自身的一些描述，用當前比較主流的模型做個性化推薦。

首先看一下會話系統，這是一個基於搜索的問答系統以及基於回顧模型智能客服，然後是簡單的 Demo。70 年代主要是用圖書館搜索的方法，延續到 90 年代以及 2000 年初的時候，Library Search 已經興起，2015 年隨著搜索技術發展，基於社區的問答、基於知識圖譜和知識庫的問答不斷的興起，這個時候會話系統已經逐漸的成熟，但實際上會話系統也不是 2015 年出現的，而是存在了很長的時間，只是之前沒有引起足夠的重視，2015 年出現了很多聊天機器人、客服機器人，學術界和工業界特別重視這個領域的研究。

接下來是 Question Answering Overview 的解說，自動問答是有一個自動演算法的，能夠自動回答用戶提出的問題。目前來說，自動問答有一個基本分類，按照問題類型可以分為是否類問題、觀點類問題、事實類問題和比較類問題。按照內容類型來分可以分成文本回答和可視化回答。

文本回答就是用戶的問題以及答案，其實都是文本的，但是可視化問答就是你的提問可以用圖片來表達，機器人回復的時候也可以給你一個圖片，這是多模態問答系統。總的來說，自動問答是整個會話系統後面的一個核心的技術。

這個是基於信息檢索系統 Q&A 的基本架構。剛才我們介紹，Q&A 的實驗可以分三大類，一類是基於信息檢索的，還有一類是基於社區的問題，像百度知道，還有知乎等等。另外一類是基於知識庫或者知識圖譜的問答，這個相對來說比較火。

首先我們會做一個問題的提問，根據問題預定一個答案，做一個基本的分類。第一步是去檢索一些相關文檔，從文檔中檢索一些相關段落，最後再從段落中提取出我們想要的答案，再反饋給用戶。

舉個例子，比如我想買一部蘋果手機，這個時候的答案可能是一些商品推薦或者說商品建議。如果事先不做問答設置的話，有可能反饋回來的是富士蘋果，我們知道蘋果手機是 3C 產品，跟我們吃的蘋果是不一樣的。

接下來介紹一下會話系統類型，可以分成兩類，一類是 Chatbot，閑聊陪伴機器人；另一類是助理型任務型機器人，它可以幫你完成某一項具體的任務。閑聊陪伴機器人像微軟小冰和百度的小度機器人。任務型機器人像微軟小娜，蘋果 Siri 等等。一些大公司和創業公司都有很多閑聊型機器人和助理型機器人推出，效果也都很不錯。

接下來看一個助理型機器人基本架構以及它的工作流程。用戶說一段話之後，首先我們要進行語音識別，比如用戶的話是讓機器人播放一首本周比較流行的爵士音樂，用戶說完這段話之後，我們要做一個語音識別，識別成文本，接下來我們就要做自然語言理解，試圖理解用戶所說的具體的語義。

我們用的比較多的模型是框架語義模型，要做相應信息抽取，把用戶想要聽的歌手，想要聽哪個類型的歌曲，以及具體時間抽出來，把它填充到具體預定義播放的語義裡面。

比如，風格是爵士樂，日期是本周，歌手是缺失的，因為這裡面的信息沒有抽取出來。這種情況下，機器人可能會主動發問你想聽誰的爵士樂，對應的槽值達到一定數量以後，我們可能不會主動發問，因為它已經檢索到用戶想要聽的歌曲。接下來有一個會話管理，這部分主要是會話狀態跟蹤，主要任務是根據當前會話狀態以及用戶輸入決定怎麼去響應用戶。

基於剛才的例子，播放本周最流行的爵士樂，這時候我會問你想聽誰的爵士樂，另外一種類型是直接給用戶播放本周最流行的音樂，用戶點擊之後就可以播放。這一步之後要經過自然語言生成，根據當前用戶輸入和當前會話狀態，決定是反饋用戶一首音樂的播放鏈接，還是再詢問用戶希望聽哪個歌手的爵士樂。這部分要根據響應做一個自然語言的生成，返回用戶，這樣就是一個多輪交互或者單輪交互的過程。

接下來重點介紹一下自然語言理解。再細分有三個模塊，一個是領域分類，比如說我想知道用戶到底是想聽音樂、問天氣，還是電商購物，如果是電商購物，就會涉及到智能導購。第二步是要去理解用戶意圖，你是想買手機還是想買其他的商品。最後是一個 Slot Filling（槽填充） 模型，我們希望根據用戶會話中的信息，抽取出我們要完成這項任務所需要的一些槽位裡面的槽值。抽取完畢以後，我們就會做相應的響應。比如說我們直接調動電商的搜索引擎，把用戶想要的商品反饋給用戶，或者根據用戶想聽的歌曲搜索一首歌，返回給用戶。

我們經常用到的是框架語義模型。有兩個例子，一個是購物領域的例子，一個是聽音樂的例子，都是具體要完成某一個任務的助理型機器人。比如，用戶需求是我想買一個紅色蘋果手機，適用人群是男士，這個時候我們的框架語義模型就會把顏色、品牌以及適用人群這三個槽值抽取出來填充到對應的槽位，一個是顏色、一個是品牌、一個是適用人群。

有了這三個屬性以後，我們可以根據會話管理的狀態控制，再詢問用戶是不是還需要其他的屬性。比如說你需要網路支持嗎？也有可能我們的屬性已經到達了一定的閾值，這個時候可以幫用戶搜索滿足用戶需求的手機。

聽音樂的例子也是一樣，比如說我這個月想聽詹姆斯的爵士樂，最後音樂的風格就是爵士樂，歌手就是詹姆斯，時間就是本月。這個時候我們就可以把用戶這段語言中所需要槽位的值抽取出來，採用一些信息抽取方法，填充了缺失的槽位之後就可以幫助用戶完成指定的功能或者任務。

這裡面涉及到三個具體的子模塊，一個是用戶分類。比如說用戶說了這麼一段話，我想買一部紅色手機，適用人群是女士，這個時候我們就把它分到用戶購物領域，識別到用戶的具體意圖是購物，而不是聽音樂或者問天氣。

識別出用戶需求領域，我們就要看用戶意圖，具體是要買手機還是買衣服，還是買瓶裝水這些快消品。我們會根據用戶表達的 Mobile phone，就知道用戶要買 3C 數碼產品。接下來我們要做 Slot Filling，比如紅色是手機其中的一個屬性，女性是手機中的一個適應人群。然後是參數，把對應的槽值填充到缺少的這些槽位上去。

我們都知道商品在商品庫里，比如說手機 1 它的顏色是紅色，適用人群是女士，手機 2 它的顏色是藍色，適用人群是男士。我們從這段話中把用戶表達出來的意思填充到槽位中，搜索出結果，顏色是紅色，適用人群是女士，我們就可以把所有符合的手機檢索出來，反饋給用戶一個手機列表，也有可能把第一個手機反饋給用戶。這個時候向用戶詢問，你是想要一個還是三個。

接下來重點說一下槽填充模型到底是怎麼做的。它的定義是針對某一個具體實體或者某一項具體任務，我們希望能夠填充缺失的一些信息，或者是缺失的一些屬性。比如這是一個未知的人，我們希望通過問答方式獲取用戶的一些個人信息。比如說我可以問你叫什麼、住哪兒、電話號碼以及性別等等，或者您感興趣的一些東西。

用戶可能會通過會話系統說出一些答案，當然那些答案也可能跟你的問題毫不相關，用戶可能沒有直接回答，也可能用戶的回答是錯的，我們希望通過線上問答的一些方法，把跟用戶相關的屬性抽取出來，填充到待填充的槽中。

槽填充模型應用場景非常廣泛，一個是剛才我們所說的可以在會話系統中用，通過單輪和多輪交互獲取用戶信息。另外在商品屬性回填中會用到，因為我們都知道自營或聯營商家，在給平台上傳商品的時候，可能會有一些商品參數或者屬性缺失。這個時候我們可能就要從很多競品的電商平台中，把相應商品抓取到，跟我們待填充的商品做一個配對，配對完之後，就可以把缺失的一些屬性或者是一些參數回填回來。

比如說亞馬遜上有一個商品屬性缺失，但是發現天貓、京東或者蘇寧上同一款商品的屬性是全面的，這個時候我們會採用槽填充或者信息抽取的模型把商品信息抓過來，完善商品缺失的一些參數或者屬性。

還有一個是我們的一些實體畫像的完善。比如說在百度百科詞條里，劉德華的配偶或者老婆信息是缺失的，我們發現搜狗百科或者其他百科上的詞條是有信息的，我們會首先把對應的詞條抓過來做槽值映射。因為對方百科網站上屬性不一定是用老婆，也可能是用配偶或者其他一些描述，所以這個時候我們要解決統一表達，把對應槽值進行回填。這三類相對來說應用的比較廣泛。

槽填充模型的基本方法是有一個基於模板匹配的方法，還有一個是基於模型或者是分類器的方法。模板匹配的方法基本上是一些專家預定的固定模板，比如說我喜歡聽某一個人的歌，基本上這樣對應模板常用的表達我們就可以把對應歌手抽取出來。另外是基於分類器或者分類模型的方法，可以把它形式化成標註的任務。比如說給我買一張明天從上海到北京的機票，我們可以把具體的每一個詞打個具體的標籤，把缺失的部分填充到對應的槽當中。

比如說用戶的問題是在小鎮中心有沒有一個比較便宜的餐館，這個時候我們可以把它形式化成一個序列標註的任務。可以給每一個詞打上這樣的標籤，你也可以做成二元組的方案，有很多種組合，Price 的槽和 Cheap 是正位，每一個槽可以做很多交叉組合，形成標註樣本，最後做分類模型。比較廣泛採用的是通過用戶的一段表達，可以把用戶這段表達中我們所需要的一些信息抽取出來，填充到對應的槽中。

智能機器人平台

這是我們基於 Slot Filling 做的智能家居。支持的家電設備有 15 種，我們可以支持大部分家電指令控制，因為很多情況下智能家居的場景我們是希望能夠通過語音方式去控制家電設備。比如說把燈打開，幫我打開一下燈，能把燈開開嗎？這樣一些基於口語化的統一表達其實都是一樣的意思，我們希望智能平台能夠識別出用戶的表達，把相應指令發送到智能家電上去。

這是我們蘇寧智能機器人平台人工智慧實驗室做的家電控制的例子。我們可以控制空調，可以跟它說把空調調成 20 度。我們可以解析成待控制的設備就是空調，具體控制指令和參數就是去控制溫度，調成 20 度。

除了智能家居的應用之外我們還做了智能客服。首先看一下智能客服的定義，用機器人輔助的方式去給用戶提供一些客服服務，它的應用場景有四大類，第一類是機器人優先，如果客戶有問題，首先是機器人去應答，如果機器人解決不了，我們再及時轉人工客服。

另外一種情況就是輔助應答，這個時候機器人是不會跟用戶去交互的，如果說用戶有問題，接待他的都是人工客服，但人工客服會基於機器人的一些答案，直接採用或者不採用。比如說用戶想問這個是不是能配貨？人工客服可能直接說的話會有很多字，比較麻煩，機器人會給人工客服一個回答的建議，人工客服可以在上面修改，也可以直接採用機器人的答案回復給用戶。

另外就是在排隊和離線的場景中，因為人工客服可能會回復不過來，這個時候我們可能採用機器人優先接待，不要讓用戶等待太長時間。這個方案我們也有一個解決辦法。

還有個例子是我們給員工平台內部做的基於財務和 IT 人士的客服。當然主要是用戶的一些標準問題，還有一些擴展題，以及具體的答案。基於這樣一些訓練樣本，涉及到報銷或者財務相應的標籤，我們採用的模型是二分類模型。

基本的架構是這邊具體的問題，在整個訓練集中提煉出相似問和不相似問，經過預處理和特徵選擇的模型，最後可以選出這樣一個模型。當然這個模型還是比較簡單的，用的是傳統分類模型，基於深度學習的方法目前還在開發中，效果還是不錯的。

這是我們智能財務客服的一個例子，是在蘇寧內部用的。蘇寧內部有一個 IM 豆芽，在上面可以問它一些基本問題。比如差旅費報銷有哪些內容，差旅費有哪些，這樣的同義表達都可以把差旅費相關的內容反饋給用戶。

目前我們支持財務客服、IT 客服和人事客服。這是蘇寧的聊天機器人，有基本的閑聊，有一些笑話功能，還有多輪交互的天氣功能，單個以及多輪交互的導購功能。

蘇寧智能機器人平台採用一個比較流行的框架，人工+智能相結合的混合智能模式。很多時候包括訓練數據的一些準備，以及線上回答錯誤的情況，我們都需要很多在線和離線數據標註的糾正。HI 這部分，人工的參與是必不可少的，其他的部分就是 AI，如果有用戶話術，我們首先會做一個意圖的理解，還有話術擴充。基本上這部分就是我們的知識庫和知識圖譜，建立索引以後，這部分是對用戶的響應，這部分是用戶可能在線或者離線。有可能是專業財務、IT 或者人事客服，也可能是普通標註員，他們會不斷幫助我們修正這些知識。這就是我們混合智能的方案。

目前我們已經支持了智能家居機器人、理財機器人，還有一部分是線上彈幕和直播機器人，文創的 PPTV 是蘇寧的在線視頻網站，用戶觀看視頻的時候可以進入到直播聊天室，上面有一些彈幕並不是人生成的，而是機器人在合適的時間根據合適的內容生成一些高質量的彈幕，這個時候就會產生一些灌水效應。喜歡看彈幕的一些用戶會發現今天聊天室或者視頻里彈幕比較多，有可能增加他觀看時長。

演講結束後，李偉接受了包括雷鋒網在內的媒體採訪，以下為採訪內容實錄：

提問：在電商行業，除了大家比較熟悉的智能推薦之外，人工智慧還有哪方面的應用，蘇寧目前在這塊有沒有什麼工作計劃或者布局？

李偉：除了推薦之外，其實我們還有搜索、個性化以及用戶畫像和商品畫像建模，有很多 AI 方面的技術目前都已經用到了蘇寧線上易購以及線下門店，線下的門店目前我們正在部署和調研，還沒有大規模的推廣。因為蘇寧是零售起家的，有很多線下門店，但是有很多門店正在升級改造，很多門店都是傳統的設計，並不是特別方便跟 AI 結合，這是蘇寧易購。

蘇寧除了易購以外，還有文創的 PPTV，還有金融、投資、體育、理財、置業等等六大產業，其實很多地方都可以有很多人工智慧應用。比如說我們的人工智慧實驗室目前在搭建智能機器人平台，也是閑聊陪伴和專業助理功能的，專業助理是幫助用戶完成一項具體任務或者一個具體需求，比如智能客服、智能導購等等，目前這些都在跟蘇寧的很多業務線結合。

提問：前段時間我們看到蘇寧無人店已經開業了，那以蘇寧為代表的傳統電商，跟阿里這種互聯網電商相比，在擁抱人工智慧方面有哪些不同？

李偉：蘇寧也在轉型，而且也轉型很長時間了，向互聯網轉型，之前只做線下的零售、實體店，現在有了線上的易購，慢慢也在擴展到其他的產業。跟 BAT 以技術驅動為主的公司相比，蘇寧在技術沉澱方面相對落後，但是董事長越來越重視研發投入，尤其是技術沉澱和積累方面。

我們希望能夠跟 BAT 以及其他創業公司合作，我們甚至會投資或者入股，以這樣的方式去做一些技術投資，或者自己成立研究院以及蘇寧實驗室這樣的機構和部門，不斷的讓技術驅動的部門跟業務線緊密結合，下沉到業務，去了解業務的痛點。另一方面也爭取自己不斷的去積累技術，把這些技術跟業務很好的結合，進一步去推動智慧零售。

提問：蘇寧在無人店的布局是怎樣的？

李偉：蘇寧的確是想做無人店，但是也在找一些合適的方式，因為可能有些商品適合放在無人店裡面，有一些區域也適合部署一些無人店，但有一些商品還是適合有人工在裡面。不管是結賬的時候，還是有一些問題諮詢的時候。蘇寧在這方面會有布局，也在認真的做一些調研。

蘇寧現在處在前期布局和調研階段，所以不會大規模的布局，會開一些概念店，去看哪種方式更符合用戶，也能最大化用戶和商戶的利益。

提問：現在無人零售店一般有兩種技術解決方案，一種是基於 RFID 的，一種是基於計算機視覺的，您更傾向於哪種技術？

李偉：其實這兩種技術我還是比較傾向於它們相互結合，因為完全依賴於計算機視覺，或者完全依賴於電子標籤的方案，可能都不一定能夠達到很好的用戶體驗。像 Amazon Go 更多的是依賴於 CV，深藍科技也比較依賴於 CV，實際上計算機視覺如果你不加限制，它很難去解決所有的問題。包括用戶身份的認證，用戶對於商品拿放動作的識別，還有體態識別，還有用戶進店之後所有行為的跟蹤等等，這些都是很大的技術難點。

短期之內如果技術沒有一個特別大的突破，可能很難完全依賴於 CV，應用到無人店裡面去。

電子標籤技術上非常成熟，如果非要用 RFID 和 CV 去做無人店，最好是兩者結合這樣比較好。因為有的時候可能可以用計算機視覺做一些很好的識別，如果計算機視覺做的不好的我們可以用 RFID，兩者的結合是很好的方案。

提問：無人零售有的說是風口，有的說是資本過剩。關於亞馬遜的無人零售，阿里說亞馬遜的無人零售就是一個 PR，您怎麼看？

李偉： Amazon Go 我沒有親身體驗，他們目前好像只是面向內部員工，掃碼之後可以進去拿貨，出來之後可以直接結賬，沒有人工收款這樣一個流程。其實蘇寧目前也在做一些無人店方面的事情，包括在徐庄總部已經開了一家無人店。蘇寧因為是做零售實體店起家的，還是非常注重無人店的想法，包括繽果盒子等等，也在向無人店技術驅動的公司做一些調研，我們也有參與過，有一些完全基於計算機視覺的公司，去了以後你發現有很多場景確實是沒有辦法把用戶的體驗做的很好，而且也存在安全和衛生的問題。

比如說他可以接觸到食物，在某種特定場景下拿的動作不要太快，慢一點，配合 CV 的技術是可以識別出來的。很多人是多次拿放，另外一個人想要購買的話他會不會去買，因為畢竟有安全和衛生的問題。

提問：目前阿里和京東他們都在跟一些社區的小超市，甚至農村的超市合作，京東說要做百萬便利店，蘇寧在這一塊有沒有布局？

李偉：其實現在蘇寧除了賣傳統的電器和家電的易購店以外，也在布局蘇寧小店，類似於 7-11，除了蘇寧小店以外還有蘇寧超市，大部分都是在江蘇和上海一帶，在北京還沒有加盟店，至少還沒有落地。這些已經跟蘇寧傳統的實體店在概念上和服務模式上有很大差別，不光是賣電器，但是蘇寧傳統的易購的實體店也在升級，升級成蘇寧雲店。

蘇寧線下店面的布局目前相對來說比較多樣化了，而且已經不再走傳統家電模式，雖然給人的印象是賣傳統家電起家的，但是已經在逐漸向多元化發展，也是為了更好的滿足用戶體驗。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！