PyTorch 1.0穩定版正式發布,並向開發者提供免費AI課程
曉查 發自 凹非寺
量子位 出品 | 公眾號 QbitAI
Facebook今天在NeurIPS大會上正在發布PyTorch 1.0穩定版。
Facebook在5月份公布了該版本的新功能,並在10月舉辦的PyTorch開發者大會上首次推出它的預覽版。
開發者現在可以利用PyTorch 1.0的新功能了。
比如混合前端,可以讓開發者在eager和圖形模式之間無縫轉換。
另外還有改進分散式訓練、提供一個高性能的純C++前端、與雲平台深度集成等特性。
1.0版本新特性
PyTorch 1.0的主要新特性包括JIT編譯器、更快的分散式、C++擴展等。
JIT是一組編譯工具,用來彌補研究和產品部署之間的差距。
新版本增加了改進的torch.distributed庫,開發者可以在Python和C ++環境中實現更快的訓練。新的分散式庫主要亮點有:
新的torch.distributed是性能驅動的,並且對所有後端(Gloo,NCCL和MPI)完全非同步操作
顯著的分散式數據並行性能改進,尤其適用於網路較慢的主機,如基於乙太網的主機
為torch.distributed包中的所有分散式集合操作添加非同步支持
在Gloo後端添加以下CPU操作:send,recv,reduce,all_gather,gather,scatter
在NCCL後端添加障礙操作
為NCCL後端添加new_group支持
C++前端是連接PyTorch後端的純C++介面,它遵循已建立的Python前端的API和框架結構,旨在實現高性能、低延遲的C++應用程序。
它提供了與Python前端torch.nn,torch.optim,torch.data等組件的等價介面。
對此,廣大C++程序員表示點贊,感謝自己終於得到了Facebook的重視。
C++的API不僅能用於訓練,也能用於推理。
一名在Facebook AI研究院(FAIR)的程序員說,現在C++的API感覺非常像在PyTorch中使用Python,在模型中完全使用C++處理張量也非常方便。
最近FAIR的星際爭霸AI——TorchCraftAI——就是用C++實現的。
PyTorch 1.0的其他新功能還有:
N維空張量
新的算符
新的分散式
稀疏API改進
對現有算符和分散式的補充
從0.4.1到1.0版本,代碼是否可以不改動直接運行呢?可以查看文檔中的Breaking Changes部分,如果你的代碼涉及到其中的內容,則需要修改。
https://github.com/pytorch/pytorch/releases#breaking-changes
提供免費課程與開源軟體庫
Facebook宣布與Udacity合作,免費提供成人AI課程:
https://cn.udacity.com/course/deep-learning-pytorch--ud188
上個月,Udacity和Facebook推出了一個新課程,「PyTorch深度學習簡介」,以及「PyTorch挑戰計劃」。該計劃為AI教育提供持續的獎學金。
除了在線教育課程之外,像fast.ai這樣的組織還提供軟體庫,幫助開發者學習如何使用PyTorch構建神經網路。
fast.ai是一個簡化訓練、快速準確的神經網路軟體庫,發布兩個月以來,已經在GitHub上獲得了10,000顆星。
目前已有多名開發者使用該軟體庫成功創立了新項目。例如Jason Antic創建了一個名為DeOldify的項目,該項目使用深度學習來著色和恢復舊圖像。
與三大雲平台深度集成
為了使PyTorch更友好、更易於訪問,Facebook繼續深化與雲平台的合作夥伴關係,如亞馬遜AWS、谷歌雲平台和微軟Azure。
最近,AWS推出了支持PyTorch的Amazon SageMaker Neo,允許開發人員在PyTorch中構建機器學習模型,訓練完成後在雲端部署,性能提升高達2倍。
開發人員現在還可以通過創建新的深度學習VM實例,在谷歌雲平台上試用PyTorch 1.0。
此外,微軟的Azure機器學習服務也已經推出,它允許數據科學家在Azure上無縫地訓練、管理和部署PyTorch模型。
擴展項目
PyTorch已應用於從圖像識別到機器翻譯等各個領域,Facebook列舉了一些來自開發者社區的擴展項目:
Horovod: 一個分散式培訓框架,使開發者可以輕鬆地使用單GPU程序,並在多個GPU上快速進行訓練。
PyTorch Geometry:PyTorch的計算機幾何視覺庫,提供一組常例和可區分的模塊。
TensorBoardX:用於將PyTorch模型記錄到TensorBoard的模塊,允許開發者使用可視化工具進行模型訓練。
此外,Facebook的團隊還在為PyTorch構建和開源項目,如Translate,這是一個基於Facebook機器翻譯系統的序列到序列模型訓練庫。
資源
發行版說明:
https://github.com/pytorch/pytorch/releases/tag/v1.0.0
下載地址:
https://pytorch.org
—完—
年度評選申請
加入社群
量子位AI社群開始招募啦,歡迎對AI感興趣的同學,在量子位公眾號(QbitAI)對話界面回復關鍵字「交流群」,獲取入群方式;
此外,量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募,面向正在從事相關領域的工程師及研究人員。
進專業群請在量子位公眾號(QbitAI)對話界面回復關鍵字「專業群」,獲取入群方式。(專業群審核較嚴,敬請諒解)
誠摯招聘
量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回復「招聘」兩個字。
TAG:量子位 |