ArXiv最受歡迎開源深度學習框架榜:TensorFlow第一,PyTorch第四
【2018新智元AI技術峰會倒計時 21天】
諾貝爾獎唯一計算機領域評委親臨,峰會首批嘉賓陣容公布
早鳥票已經售罄,現正式進入全額票階段。 即將於北京舉辦的2018年中國AI開年盛典——2018新智元AI技術峰會上,我們邀請到了德國總理默克爾的科學顧問、諾貝爾獎唯一計算機領域評委、工業4.0教父、世界頂級自然語言處理專家Wolfgang Wahlste教授。Wahlster教授將親臨329峰會現場分享歐洲對人工智慧科技發展和AI產業化的思考。想現場一睹諾獎評委的風采,點擊搶票鏈接,馬上參會!
搶票鏈接:http://www.huodongxing.com/event/8426451122400
新智元報道
來源:Twitter等
作者:文強
【新智元導讀】Kears作者Fran?ois Chollet剛剛在Twitter貼出最近三個月在arXiv提到的深度學習框架,TensorFlow不出意外排名第一,Keras排名第二。隨後是Caffe、PyTorch和Theano,再次是MXNet、Chainer和CNTK。
Keras作者Fran?ois Chollet剛剛在Twitter貼出一張圖片,是近三個月來arXiv上提到的深度學習開源框架排行:
TensorFlow排名第一,這個或許並不出意外,Keras排名第二,隨後是Caffe、PyTorch和Theano,再次是MXNet、Chainer和CNTK。
Chollet在推文中補充,Kears的使用在產業界和整個數據科學圈中最佔主流,產業既包括大公司也包括創業公司。不過,在研究社區,Keras的份額要小很多。
這個統計結果是使用Google Search Index得到的。
這個排名讓人想起來之前Fran?ois Chollet曬的另外一次排名(時間範圍是2017年4月到7月,綜合Github上issue、fork、contributors等數據得到的活躍度),也是TensorFlow和Keras排名第一和第二。
不過,在Github的那次排名,MXNet、PyTorch的名次明顯上升。
針對近三個月來arXiv的深度學習框架排名結果,有人評論,他很遺憾Theano排名如此靠後,Theano是他的第一個框架。
深度學習的圖景總是在不斷變化,Theano是第一個被廣泛採用的深度學習框架,由Yoshua Bengio領導的MILA創建和維護。但2017年9月,MILA宣布將在2018年終止Theano的開發和維護。Theano的離開不禁讓人感慨,這也是第一個退出舞台的流行框架。
TensorFlow性能並非最優,為何如此受歡迎?粉絲團!
在過去的幾年裡,出現了不同的開源Python深度學習框架,TensorFlow就屬於其中典型,由谷歌開發和支持,自然引發了很大的關注。
但需要指出,根據香港香港浸會大學褚曉文教授團隊在2017年推出深度學習工具評測的研究報告《 基準評測 TensorFlow、Caffe、CNTK、MXNet、Torch 在三類流行深度神經網路上的表現(論文)》,TensorFlow的性能在有些時候表現並非最佳:
僅用一塊GPU,FCN上Caffe、CNTK和Torch比MXNet和TensorFlow表現更好;CNN上MXNet表現出色,尤其是在大型網路時;而Caffe和CNTK在小型CNN上同樣表現不俗;對於帶LSTM的RNN,CNTK速度最快,比其他工具好上5到10倍。
通過將訓練數據並行化,這些支持多GPU卡的深度學習工具,都有可觀的吞吐量提升,同時收斂速度也提高了。多GPU卡環境下,CNTK平台在FCN和AlexNet上的可擴展性更好,而MXNet和Torch在CNN上相當出色。
這一結果,反而凸顯出TensorFlow和谷歌強大的號召力,以及已經形成的生態圈的積極拉動影響。
在2017年初的這份報告中,褚曉文教授指出,硬體和軟體同樣重要,僅僅有硬體是不夠的,沒有好的軟體,硬體的效能發揮不出來,這也是為什麼今天有這麼多深度學習軟體,它們的性能有如此大的差異。
「Torch是很流行的軟體,2002年就有了,那時候還沒有深度學習。後來把深度學習做進去了。2014年就是Caffe,微軟2015年開源了CNTK,接下來谷歌也開源了他們相應的開發平台。第三行是它的粉絲數量,目前(2017年9月)TensorFlow的粉絲團是最龐大的,有6萬多個關注,相對來講,CNTK、Caffe加起來還沒有TensorFlow有影響力。最底下是開發平台的維護情況,隨著硬體的提升,新的演算法的提出,每個軟體都是要不斷的更新換代的,TensorFlow的更新是非常頻繁的,基本上每一兩個月就會有一個新的更新,代表著他們對軟體平台的投入。」
而Keras,則是谷歌在2017年宣布,將Keras作為TensorFlow的高級API。這意味著Keras被包含在TensorFlow版本中及時更新。除了TensorFlow,Keras也可以使用Theano或者CNTK作為後端。
其他框架和公司合縱連橫——中國框架何時才能上榜?
大家可以點擊上面的鏈接仔細看TensorFlow、Caffe、PyTorch、MXNet等框架在各種應用場景下的性能。我們性能更好,但為什麼用的人還不是最多?為了解決這個問題,開放神經網路交換(ONNX)格式的發佈於2017年9月橫空出世。
ONNX最初由微軟和Facebook聯合發布,後來亞馬遜也加入進來,並在12月發布了V1版本。ONNX是一個表示深度學習模型的開放格式。它使用戶可以更輕鬆地在不同框架之間轉移模型。例如,它允許用戶構建一個PyTorch模型,然後使用MXNet運行該模型來進行推理。
開放神經網路交換(ONNX)的Github頁面
ONNX由微軟、亞馬遜和Facebook等公司共同發起,宣布支持ONNX的公司還有AMD、ARM、華為、 IBM、英特爾、Qualcomm等。谷歌不在這個陣營中並不令人驚訝。ONNX從一開始就支持Caffe2,Microsoft Cognitive Toolkit,MXNet和PyTorch,但與其他開源項目一樣,社區也已經為TensorFlow添加了一個轉換器。
在你爭我搶,合縱連橫之下,深度學習框架的流行趨勢似乎很難預測。不過,中國的開源框架,什麼時候才能在這樣的排名上顯露自己的名字呢?
【加入社群】
新智元AI技術+產業社群招募中,歡迎對AI技術+產業落地感興趣的同學,加小助手微信號: aiera2015_1 入群;通過審核後我們將邀請進群,加入社群後務必修改群備註(姓名-公司-職位;專業群審核較嚴,敬請諒解)。
※MSRA周明團隊,NLP鐵軍「超越人類」技術揭秘
※「計算機視覺必讀乾貨」圖像分類、檢測,語義分割等方法梳理
TAG:新智元 |