當前位置:
首頁 > 科技 > PyTorch 1.0穩定版正式發布,並向開發者提供免費AI課程

PyTorch 1.0穩定版正式發布,並向開發者提供免費AI課程

曉查 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

Facebook今天在NeurIPS大會上正在發布PyTorch 1.0穩定版

Facebook在5月份公布了該版本的新功能,並在10月舉辦的PyTorch開發者大會上首次推出它的預覽版。

開發者現在可以利用PyTorch 1.0的新功能了。

比如混合前端,可以讓開發者在eager和圖形模式之間無縫轉換。

另外還有改進分散式訓練、提供一個高性能的純C++前端、與雲平台深度集成等特性。

1.0版本新特性

PyTorch 1.0的主要新特性包括JIT編譯器、更快的分散式、C++擴展等。

JIT是一組編譯工具,用來彌補研究和產品部署之間的差距。

新版本增加了改進的torch.distributed庫,開發者可以在Python和C ++環境中實現更快的訓練。新的分散式庫主要亮點有:

新的torch.distributed是性能驅動的,並且對所有後端(Gloo,NCCL和MPI)完全非同步操作

顯著的分散式數據並行性能改進,尤其適用於網路較慢的主機,如基於乙太網的主機

為torch.distributed包中的所有分散式集合操作添加非同步支持

在Gloo後端添加以下CPU操作:send,recv,reduce,all_gather,gather,scatter

在NCCL後端添加障礙操作

為NCCL後端添加new_group支持

C++前端是連接PyTorch後端的純C++介面,它遵循已建立的Python前端的API和框架結構,旨在實現高性能、低延遲的C++應用程序。

它提供了與Python前端torch.nn,torch.optim,torch.data等組件的等價介面。

對此,廣大C++程序員表示點贊,感謝自己終於得到了Facebook的重視。

C++的API不僅能用於訓練,也能用於推理。

一名在Facebook AI研究院(FAIR)的程序員說,現在C++的API感覺非常像在PyTorch中使用Python,在模型中完全使用C++處理張量也非常方便。

最近FAIR的星際爭霸AI——TorchCraftAI——就是用C++實現的。

PyTorch 1.0的其他新功能還有:

N維空張量

新的算符

新的分散式

稀疏API改進

對現有算符和分散式的補充

從0.4.1到1.0版本,代碼是否可以不改動直接運行呢?可以查看文檔中的Breaking Changes部分,如果你的代碼涉及到其中的內容,則需要修改。

https://github.com/pytorch/pytorch/releases#breaking-changes

提供免費課程與開源軟體庫

Facebook宣布與Udacity合作,免費提供成人AI課程:

https://cn.udacity.com/course/deep-learning-pytorch--ud188

上個月,Udacity和Facebook推出了一個新課程,「PyTorch深度學習簡介」,以及「PyTorch挑戰計劃」。該計劃為AI教育提供持續的獎學金。

除了在線教育課程之外,像fast.ai這樣的組織還提供軟體庫,幫助開發者學習如何使用PyTorch構建神經網路。

fast.ai是一個簡化訓練、快速準確的神經網路軟體庫,發布兩個月以來,已經在GitHub上獲得了10,000顆星。

目前已有多名開發者使用該軟體庫成功創立了新項目。例如Jason Antic創建了一個名為DeOldify的項目,該項目使用深度學習來著色和恢復舊圖像。

與三大雲平台深度集成

為了使PyTorch更友好、更易於訪問,Facebook繼續深化與雲平台的合作夥伴關係,如亞馬遜AWS、谷歌雲平台和微軟Azure。

最近,AWS推出了支持PyTorch的Amazon SageMaker Neo,允許開發人員在PyTorch中構建機器學習模型,訓練完成後在雲端部署,性能提升高達2倍。

開發人員現在還可以通過創建新的深度學習VM實例,在谷歌雲平台上試用PyTorch 1.0。

此外,微軟的Azure機器學習服務也已經推出,它允許數據科學家在Azure上無縫地訓練、管理和部署PyTorch模型。

擴展項目

PyTorch已應用於從圖像識別到機器翻譯等各個領域,Facebook列舉了一些來自開發者社區的擴展項目:

Horovod: 一個分散式培訓框架,使開發者可以輕鬆地使用單GPU程序,並在多個GPU上快速進行訓練。

PyTorch Geometry:PyTorch的計算機幾何視覺庫,提供一組常例和可區分的模塊。

TensorBoardX:用於將PyTorch模型記錄到TensorBoard的模塊,允許開發者使用可視化工具進行模型訓練。

此外,Facebook的團隊還在為PyTorch構建和開源項目,如Translate,這是一個基於Facebook機器翻譯系統的序列到序列模型訓練庫。

資源

發行版說明:

https://github.com/pytorch/pytorch/releases/tag/v1.0.0

下載地址:

https://pytorch.org

年度評選申請

加入社群

量子位AI社群開始招募啦,歡迎對AI感興趣的同學,在量子位公眾號(QbitAI)對話界面回復關鍵字「交流群」,獲取入群方式;

此外,量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募,面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號(QbitAI)對話界面回復關鍵字「專業群」,獲取入群方式。(專業群審核較嚴,敬請諒解)

誠摯招聘

量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回復「招聘」兩個字。

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 量子位 的精彩文章:

大小僅17KB!這個微型風格遷移模型太好玩了

TAG:量子位 |