Facebook開源新NLP框架：簡化部署流程，大規模應用也OK

銅靈 編譯整理

量子位 出品 | 公眾號 QbitAI

今天，Facebook開源了一個基於PyTorch的深度學習庫PyText，想容易地構建和部署NLP系統。

Facebook在博客中介紹說，新框架具有多個特性，不僅能簡化流程更快部署，還能調取眾多預構建模型和程序方便大規模部署。

PyText開源的消息經Yann LeCun轉推後，短時間引發了高額的點贊轉發，一些網友稱這是個「鵝妹子嚶」的項目。在Github今日熱榜上，PyText排名第四。

核心功能

構建PyText的初衷，是想解決當前NLP任務中時間緊且需要大規模部署之間的矛盾。研究人員的大致思路分兩步。

一是通過為模型組件提供簡單可擴展的介面，二是導出模型用於推理。目前，PyText的核心功能有以下幾點：

內含各種為NLP/NLU任務準備的模型

（如文本分類、序列標註、連接意圖-槽位模型和上下文意圖-槽位模型等。）

支持基於PyTorch 1.0中新的C10d後端構建的分散式訓練

可以輕鬆創建新模型和任務的可擴展組件

支持整體訓練

為了適應研究和生產的需要，Facebook還強調了框架的穩健性和低延遲性，目前，PyText已經應用於Facebook網站上，你和朋友視頻/音頻中的字幕生成功能就是它的功勞。每天可執行超過10億次預測。

可以看出，模塊化也是PyText的一大亮點，不僅支持從頭創建新的pipeline，還可以修改現有的工作流程。除了分散式訓練外，還支持一次訓練多個模型。

傳送門

官方博客地址：

https://code.fb.com/ai-research/pytext-open-source-nlp-framework/

GitHub代碼：

https://github.com/facebookresearch/pytext

在論文PyText: A seamless path from NLP research to production中，研究人員詳細介紹了PyText的原理：

https://research.fb.com/wp-content/uploads/2018/12/PyText-A-seamless-path-from-NLP-research-to-production-using-PyTorch3.pdf?

不花一分錢，你也能擁有Facebook同款框架了~

—完—

活動報名

加入社群

量子位AI社群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「交流群」，獲取入群方式；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字「專業群」，獲取入群方式。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！