對話微軟ONNX負責人：沒有中國的認可，開源標準沒有意義

智東西（公眾號：zhidxcom）

文 | 心緣

智東西11月27日消息，繼昨日微軟第一次在中國舉辦ONNX合作夥伴研討會後，今天，智東西同少數媒體一起採訪了微軟項目總經理Venky Veeraraghavan和微軟人工智慧平台團隊首席項目經理Prasanth Pulavarthi，深入了解了ONNX開源項目的進展和在中國的推廣情況、微軟為推動ONNX所做出的貢獻以及微軟Azure在AI方面的布局。

微軟項目總經理Venky Veeraraghavan（圖左）和微軟人工智慧平台團隊首席項目經理Prasanth Pulavarthi（圖右）

ONNX（Open Neural Network Exchange）「開放神經網路交換」項目，由微軟和Facebook在2017年9月聯合推出，旨在實現不同神經網路開發框架之間的互通互用，為開發者和數據科學家進一步降低開發門檻，並幫助硬體廠商適配最合適的開發框架來實現最佳優化。

一、ONNX將加大在中國的推廣力度

去年9月，微軟和Facebook、AWS共同創辦ONNX開放開放神經網路交換格式後，這個開放AI生態系統在短短一個月間迎來了AMD、ARM、華為、IBM、英特爾、高通等行業領軍企業的加盟。

隨著阿里巴巴、騰訊、華為、百度等中國企業陸續加入ONNX，如今，支持ONNX的全球企業已經超過20家。

微軟項目總經理Venky Veeraraghavan認為，ONNX扮演了非常好的橋樑作用，可以將諸如微軟的國外科技公司在軟體方面的能力與中國公司所擅長的在硬體的能力有機結合起來，讓任何深度學習框架在任何硬體設備上都能運行。

眾所周知，深度學習會涉及到海量數據，這就對有高速的硬體極高的需求。在擁有非常專業的硬體後，開發人員可能會對很多不同的介面、界面、格式等感到困惑，而ONNX不僅可以幫助他們更方便地實現不同開源框架間的切換，而且可以在雲端、本地PC機、IoT邊緣設備、移動終端上發揮作用。

Venky Veeraraghavan告訴記者，中國對微軟來說非常重要，微軟需要的這個開源標準如果僅僅是美國的標準，而沒有得到中國的認可和採納，那它將是沒有意義的。

AI需要一套統一的開放標準，在此之後將這個標準不斷鋪陳開來，這個過程需要大量從事相關工作的公司和人員來共同支持，並積极參与相關的開發工作，而大量的相關工作目前都在中國開展。

微軟項目總經理Venky Veeraraghavan

微軟希望藉此機會將中國本地的合作夥伴和客戶吸引到大聯盟之下，最終可以為整個AI世界搭建一個統一、開放的平台，讓包括中國企業在內的各方都有機會真正參與進來。

其中雲是很重要的組成部分，微軟認為Azure只是雲服務商之一，他們希望阿里雲、亞馬遜AWS也等更多重要的雲平台也都參與進來。

此外，中國有巨大的開源社區，儘管ONNX在中國還是起步階段，但從本周的ONNX合作夥伴研討會起，微軟將逐步加大在中國的工作力度， 在推廣、宣傳、教育等方面會有更多的投入。

二、每2-4個月更新ONNX，解決行業實際問題

微軟希望讓ONNX在技術上做到支持每個框架的出發點是解決微軟和Facebook、AWS等客戶共同存在的一些的實際問題和挑戰，不是簡單將單一模型或框架轉化或拼接在一起，而更多的是從視覺、語音、語言等領域的角度來劃分，對其進行轉化以找到最好的模型，還會繼續支持新的運算符。

通過ONNX，開發者可以將在PyTorch上訓練的模型直接移植到到MXNet上進行推理運算，促使開發者的AI工具選擇更加靈活方便。

目前，在多種AI開發框架中都能創建ONNX模型，包括PyTorch、Chainer、微軟認知工具包（CNTK）、MXNet、ML.Net、TensorFlow、Keras、SciKit-Learn，這個列表還在不斷增加。

ONNX還支持一些更高級別的運算符，比如說LSTM、GRU這些主要集中在語音和語言方面的非常領先的運算符。

此外，為ONNX模型實現可視化和加速的開發工具生態系統也已初具規模，已經出現了針對典型場景預先訓練的ONNX模型。

ONNX的具體規格一直在基於新的開發工作和新的客戶需求而持續演進。每2到4個月，ONNX會進行更新升級，添加新的運算符，使得用戶可以創建新的模型，所以微軟在未來會繼續從事這方面的工作，繼續創造出新類型的模型。

這些工作並非微軟憑藉一己之力，更多是整個社區各成員的共同貢獻。Venky Veeraraghavan如實說道，現在ONNX還不能解決所有問題，但它正在快速成熟中。隨著市面上越來越多模型的出現和越來越多客戶使用，更多的學習、反饋與總結將推進ONNX的發展。

微軟人工智慧平台團隊首席項目經理Prasanth Pulavarthi

當被問及ONNX目前存在的局限性，Prasanth Pulavarthi自信地回復到，他本人對ONNX的進展情況非常滿意，通常此類的標準的真正瓶頸在於沒有在產品中部署，但微軟的生態系統中很多公司的產品都部署了ONNX，比如該標準在英偉達TensorRT、高通驍龍產品中均得到了有效使用，因此ONNX不存在這個問題。

儘管谷歌一直沒有加入ONNX聯盟，Venky Veeraraghavan表示，微軟認為AI發展的未來毫無疑問會依賴開放的標準，微軟已和谷歌做了充分的溝通，也把自己的一些計劃和想法向他們分享過。不過目前為止，谷歌決定暫時不會積極的參與到ONNX工作當中。

但他相信，隨著時間推移 ，ONNX的優點會凸顯出來，到時候再看谷歌是否願意改變他的決定加入進來。

三、開放預覽ONNX Runtime，全力支持ONNX發展

微軟不僅是ONNX的聯合創始人，也是推動ONNX發展的技術貢獻者和受益人。比如，Windows機器學習（WinML）為ONNX提供了操作系統層面的支持，可利用任何支持DirexctX的GPU來提供硬體加速，現在從伺服器到物聯網的各個版本的Windows都能提供這項功能。

除了賦能合作夥伴，微軟也會在對內著重確保相關工作對解決內部問題有幫助。微軟旗下的Bing搜索引擎、語音、廣告平台、Office、視覺服務等主流產品基本上後台都在使用ONNX進行測試，確保這套標準能夠支持最為複雜的模型，同時在硬體平台上有出色的性能表現。

微軟還在內部使用了2周前發布的ONNX Runtime預覽版，發現和本地框架相比，其性能提升了2倍。

現已開放預覽的ONNX Runtime是專為ONNX格式機器學習模型設計的高性能推理引擎，兼容ONNX 1.2版本，自帶支持CPU和GPU的Python包，可在Azure機器學習服務或任何運行Ubuntu 16的Linux設備上進行推理運算。

ONNX Runtime全面覆蓋和支持ONNX定義的所有運算符，能快速適應軟硬體的改進，為一系列不同平台和硬體的組合提供多種定製化的加速器，從而保證為推理運算提供最佳的整體性能表現。

目前，英特爾、英偉達都在積極將ONNX Runtime整合到他們的硬體加速器中，英特爾的MKL-DNN、nGraph編譯器和英偉達優化的TensorRT推理引擎都已完成整合。

除了ONNX Runtime，支持web開發者直接在瀏覽器中運行ONNX模型的ONNX.JS也已經推出。ONNX.JS既可以減少伺服器到端的通信需求，保護用戶隱私，還提供免安裝、跨平台的瀏覽器內置機器學習體驗。

此外，ONNX.JS支持CPU和GPU的運行，可通過一系列優化技術減少CPU、GPU間的數據運輸，減少GPU處理的循環次數，將性能推到最大化。

四、Azure提供全面AI生產力，手把手教開發者用AI

當前微軟主要提供三大品類的AI相關業務，即基於AI基礎設施（AI Infrastructure）、AI服務（AI Services）以其包括ONNX在內的AI工具（AI Tools），分別面向數據科學家等精通演算法者、軟體工程師等需要直接調用AI服務的人和開發者。

在推動ONNX建設開放的AI生態系統的同時，微軟也在著力將Azure打造成出色的AI雲平台。

1、中國將在明年集齊微軟三朵「雲」

在微軟Azure的一系列AI服務中，Venky Veeraraghavan表示，最受開發者青睞的是認知服務和Bots服務。

認知服務提供自有的數據和模型來獲取語音、文本、視覺等認知方面的能力，這個領域的開發者和數據科學家通常比較活躍。

另一個最受歡迎的服務是對話機器人（Bots），比如Windows系統中的微軟小娜（Cortana）語音助手，再比如很多公司使用Bots服務在自己的網站上做客服服務。

就在今年9月舉辦的微軟Ignite2018大會上，微軟將Azure機器學習服務中的一些新服務開啟預覽，比如自動機器學習和超參數調整服務、分散式深度學習服務、硬體加速推理服務、全新的Python SDK和模型管理功能。這些服務將幫助開發者更高效快速地運行深度學習項目。

Venky Veeraraghavan表示，很快大家會看到一個通用版本正式發布出來。該平台將能夠支持開放的標準，可以在雲上或在IoT邊緣終端上部署，並且在部署之後，能對於整個模型的運算進行有效的管理。

除了Azure，微軟還有另外兩朵「雲」，分別是Office365和Dynamics 365這兩款雲端SaaS服務。目前微軟已宣布2019年春天Dynamics 365將落地中國，這意味著中國將在明年集齊微軟三朵「雲」。

2、從桌面到雲端AI的三大挑戰

從桌面的機器學習向雲端的深度學習和人工智慧進行轉移，Venky Veeraraghavan認為其客戶主要面臨的三個挑戰：

第一，在用戶戰略層面上，客戶要有專門機器學習的戰略，來指導機器學習如何能夠真正落地到真實的商業應用場景當中。

第二，如果說客戶要採納基於雲的機器學習的解決方案，這個客戶本身也需要在雲上。

第三，在人力資源方面，整個行業需要培訓大量的數據科學家，這些數據科學家不僅知道具體商業應用場景需要什麼樣的模型，同時又要能較好的了解到在具體商業運作中要解決的問題是什麼。

3、一年培養10萬餘名AI人才

除了推進雲和人工智慧的業務，微軟也在著重AI人才培養。在今年5月21日的微軟AI大會上，微軟推出了在線人工智慧學院，目標是一年內培養出10萬餘名人工智慧人才。

該學院將免費提供包括AI基礎、核心技術和高階應用在內的總共250課時的12門AI課程，覆蓋10項應用技能。完成課程學習的用戶，還可申請微軟專業學位課程（MPP，Microsoft Professional Program）作為職業技能認證。

除此之外，微軟亞洲研究院和中科大、清華等高校有六校聯盟計劃，為學校里從事AI研究的相關的學者和學生搭建一個可以在開源層面上利用的開源平台。

為了幫助更多人掌握Microsoft Azure的全部產品和應用場景，微軟還在近日上線了Microsoft Learn全新互動式學習平台，將免費提供所有Azure相關服務的在線教程，引導用戶從入門到熟練掌握Azure的所有功能和操作。

結語：ONNX是邁向開放式AI生態系統的重要一步

除了微軟之外，國外蘋果、亞馬遜、谷歌、Facebook以及國內的百度、騰訊、阿里巴巴等公司，均將AI作為公司發展的關鍵戰略，並紛紛爭做AI技術的推動著和賦能者，當前Tensorflow、PyTorch、Caffe、MXNet、Cognitive Toolkit等常用的深度學習框架背後幾乎各是一個科技巨頭。

正如文中所述，ONNX項目的推出，能夠為開發者和數據科學家提供更方便高效的開發體驗，滿足各硬體廠商對軟體框架適配性的訴求。儘管ONNX較之真正的「互通互用」還有一定距離。隨著我國更多科技公司的加入，我們不妨期待真正統一標準的AI時代的到來。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！