雲知聲發布多模態AI晶元戰略，同步曝光三款在研晶元

繼去年5月在行業率先推出首款面向物聯網的AI晶元——雨燕（Swift）及其系統解決方案之後，1月2日，國內領先的人工智慧企業雲知聲在京召開新聞發布會，正式公布了其多模態AI晶元戰略與規劃。會上同步曝光了其正在研發中的多款定位不同場景的AI晶元，包括第二代物聯網語音AI晶元雨燕Lite、面向智慧城市的支持圖像與語音計算的多模態AI晶元海豚（Dolphin），以及面向智慧出行的車規級多模態AI晶元雪豹（Leopard）。

5G推動AIoT落地，多模態AI芯成必然

雲知聲創始人/CEO黃偉認為，當前我們正處於5G爆發的邊緣，5G與人工智慧的結合將真正促使萬物智聯（AIoT）的落地與實現。可以預見的是，未來巨量的多維數據（如語音、圖像、視頻等）集中處理與邊緣式分布計算的需求，勢必將進一步挑戰AI底層支持硬體——晶元的計算能力。

與此同時，AIoT場景下人工智慧應用對於端雲互動有著強需求。強大的雲會讓端能力更強，而強大的端則可提升數據處理的實時性和有效性，進而增強雲的能力。二者需要緊密結合，這要求對晶元設計和雲端架構進行統一考量。傳統的通用方案架構由於在高實時性、高智能化場景中的算力有限，且無法平衡好成本、功耗、安全性等諸多現實需求，因此具備多維度AI數據集中處理能力的多模態AI晶元將成必由之路。

圖 |雲知聲創始人兼CEO黃偉

黃偉同時指出，面向5G萬物智聯時代，人工智慧服務需提供更加場景化的解決方案，雲 芯一體化的服務模式將成為行業主流。基於此，他進一步對傳統SOC（System On Chip）概念提出全新定義，其中S代表不同的AI服務能力即Skills，O代表雲端與邊緣側的互動On/off Cloud，C代表具備智能處理能力的AI晶元。

從IVM到雨燕，雲知聲的造芯之路

雲知聲2014年開始切入物聯網AI硬體晶元方案（IVM），並於2015年開始形成量產出貨，其中家居領域客戶覆蓋格力、美的、海爾、長虹、海信、華帝等幾乎所有國內一線家電廠商。在深入場景提供服務的過程中，為彌補通用晶元方案在給定成本和功耗條件下的能效比問題，以及在邊緣算力、多模態AI數據處理方面的能力短板，2015年雲知聲正式啟動自研AI晶元計劃。

去年5月16日，雲知聲正式發布了旗下耗時近三年自主研發打造的首款物聯網AI晶元。該晶元採用雲知聲自主AI指令集，擁有具備完整自主知識產權的DeepNet1.0、uDSP（數字信號處理器），並支持DNN/LSTM/CNN等多種深度神經網路模型，性能較通用方案提升超50倍。

發布晶元後僅四個月，雲知聲便選擇將基於雨燕的解決方案進行開源，於去年9月正式推出智能家居、智能音箱的兩套標杆解決方案。通過「雲端芯」結合，提供給客戶與合作夥伴面向具體場景的軟硬體一體化Turnkey解決方案，可讓客戶站在更高的設計起點、以更低的成本，在更短的時間周期內打造出更穩定可靠的產品。同時，開源的方案也可確保客戶基於已提供的AI能力自行設計其它各種長尾產品形態，構建更為豐富的AIoT生態。

目前，基於雨燕晶元的全棧解決方案已導入的各類方案商及合作夥伴已超過10家，包括美的、奧克斯、海信、京東、360、中國平安、硬蛋科技等，相關產品最早將於Q1量產上市。

物聯網 AI 晶元的多模態演進之路

在第一代UniOne晶元雨燕的發布會上，雲知聲聯合創始人李霄寒曾指出，UniOne並不是一顆晶元，而是一系列晶元，代表了雲知聲對於物聯網AI晶元發展戰略的整體構想。在今日舉行的雲知聲2019多模態AI晶元戰略發布會上，李霄寒再次從三方面論證了物聯網多模態AI晶元的必要性。他認為，當前物聯網產品線的AI晶元越來越明顯地體現出三個趨勢：

首先是場景化。晶元設計正在由原來的片面追求PPA ，即性能（Power）、功耗（Performance）和面積（Area）逐漸演變成基於軟硬一體，甚至包括雲端服務的方式來解決某個垂直領域的具體問題，晶元本身上升成為整個解決方案中的重要部分，而非唯一；

其次，端雲互動。在物聯網的不同應用場景下，海量終端設備要實現功能智能化必須端雲配合，即形成邊緣算力和雲端算力的動態平衡。端雲互動的命題需要AI晶元的強有力支持，進一步也深刻影響到晶元的設計，以及最終的交付；

再者，數據多模態。在以5G驅動的萬物智聯場景下，晶元所接觸到的數據維度將由原來的單一化走向多元化，晶元所需處理的數據也由單模態變成多模態，這對晶元尤其是物聯網人工智慧晶元的設計提出了新的挑戰。

圖 |雲知聲聯合創始人李霄寒

結合以上三點，李霄寒認為，物聯網AI晶元的最終呈現形式將不再是一個單一的硬體，而必然是承載著邊緣能力與雲端能力的多模態AI軟硬一體解決方案。

雲知聲多模態AI晶元技術布局

為實現多模態AI晶元的戰略落地，目前雲知聲已在加速技術布局，並在機器視覺方面取得飛速進展。其中，面向機器視覺的輕量級圖像信號處理器已可實現在不依賴外部內存的情況下，在30 fps的速率下實時對感測器的圖片進行預處理，以進一步提高後續機器視覺處理模塊的處理速度和效果。藉助基於人臉信息分析的多模態技術，已可實現人臉/物體識別、表情分析、標籤化、唇動狀態跟蹤等功能，可為產品交互和用戶體驗提供更多的可玩性和靈活性。

尤為值得一提的是，雲知聲多模態人工智慧核心IP——DeepNet2.0的發布，標誌著雲知聲人工智慧處理核心由1.0語音時代全面邁入2.0融合語音、圖像等處理能力的多模態時代。DeepNet2.0可兼容LSTM/CNN/RNN/TDNN等多種推理網路，支持可重構計算與Winograd處理，最高可配置算力達4T，達行業一流水平。目前雲知聲DeepNet2.0已在FPGA上得到驗證，將在2019年落地的全新多模態AI晶元海豚（Dolphin）上落地。

除此之外，在圖像與晶元技術的產學研合作方面，雲知聲還與杜克大學所領導的美國自然科學基金旗下唯一人工智慧計算中心——ASIC達成深度合作，致力於AI晶元演算法壓縮與量化技術,以及非馮新型AI晶元計算架構研究，將進一步為雲知聲多模態AI晶元戰略的推進夯實基礎。

三款在研晶元曝光，2019年啟動量產

在首款量產晶元雨燕已有大批客戶導入，佔領市場先發優勢的背景下，2019年雲知聲在晶元落地規劃方面仍將保持積極態度。

李霄寒透露，在持續迭代升級現有雨燕晶元的性能與服務之外，目前雲知聲多款面向不同方向的晶元也已在研發中，包括適用性更廣的超輕量級物聯網語音AI晶元雨燕Lite，集成雲知聲最先進神經網路處理器DeepNet2.0，可面向智慧城市場景提供對語音和圖像等多模態計算支持的多模態AI晶元海豚（Dolphin），以及與吉利集團旗下生態鏈企業億咖通科技共同打造的面向智慧出行場景的多模態車規級AI晶元雪豹（Leopard）。以上三款晶元計劃於2019年啟動量產。

目前，依託在家居、車載等真實場景下豐富的產品經驗，以及具備先發優勢的AI晶元能力，雲知聲將業務覆蓋到包括智能家居、智能汽車、智能兒童機器人、智慧酒店、智慧交通等諸多場景。未來雲知聲將持續發力多模態AI晶元，不斷拓展技術與場景生態，以實現面向未來AIoT時代的全面賦能。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！