清華大學發布珠算：一個用於生成模型的Python庫

選自Github

機器之心編譯

參與：吳攀

5 月 27-28 日，機器之心主辦的第一屆全球機器智能峰會（GMIS 2017）將在北京 898 創新空間舉行。在峰會第一天下午的「機器學習」主題 Session 上，清華大學副教授朱軍將分享演講《珠算：貝葉斯深度學習的 GPU 庫（ZhuSuan: a GPU Library with Bayesian Deep Learning）》。近日，清華大學機器學習組已經在 GitHub 上發布了「珠算（ZhuSuan）」這一軟體庫。機器之心在本文中編譯介紹了該項目的介紹文檔，如果你想現場聆聽對該項目的更詳細深入的介紹，可訪問 GMIS 官網 gmis.jiqizhixin.com 了解參會方式或點擊文末「閱讀原文」直達購票地址。

• 珠算項目地址：https://github.com/thu-ml/zhusuan

• 朱軍教授 GMIS 2017演講時間：5 月 27 日 14:10-14:30

• 演講主題：珠算：貝葉斯深度學習的 GPU 庫

珠算（ZhuSuan）是一個構建於 TensorFlow 之上的用於生成模型（Generative Model）的 Python 庫。和現有的主要為監督式任務設計的深度學習庫不同，珠算的特點是其在很大程度上根基於貝葉斯推理（Bayesian Inference），因此支持各種生成模型：既包括傳統的分層貝葉斯模型，也有最近的深度生成模型。

使用珠算，用戶可以享有深度學習的強大擬合能力和多 GPU 訓練支持，同時還能通過執行原理上的貝葉斯推理來使用生成模型建模這個複雜的世界、利用無標註數據和處理不確定性。

支持的推理

變分推理和隨機變分推理（VI & SVI）

• 支持多種變分後驗：

• 平均場後驗（Mean-field posterior）：全因素分解

• 有結構的後驗（Structured posterior）：具有用戶指定的依賴關係

• 支持的變分目標：

• SGVB：隨機梯度變分貝葉斯（Stochastic gradient variational Bayes）

• IWAE：重要程度加權的目標（Importance weighted objectives）

• NVIL：具有方差減縮的得分函數估計器（Score function estimator with variance reduction）

• VIMCO：具有方差減縮的多樣本得分函數估計器（Multi-sample score function estimator with variance reduction）

自適應重要程度採樣

• 重新加權的喚醒-睡眠（RWS：Reweighted Wake-sleep）：帶有用戶指定的自適應提議

馬爾可夫鏈蒙特卡洛（MCMC）

• 哈密爾頓蒙特卡洛（HMC）：帶有步長和 mass adaptation

安裝

珠算仍處在開發階段。在第一個穩定版（1.0）發布之前，請在主目錄中運行以下代碼來克隆這個庫：

pip install .

這會自動安裝珠算及其依賴包。

如果你正在開發珠算，你可能需要以「可編輯」或「開發」模式進行安裝。具體參見下面的開發一節。

文檔

在線文檔地址：http://zhusuan.readthedocs.io/

示例

如果你想運行我們提供的示例，你需要安裝額外的依賴包。可以通過執行以下代碼完成：

• pip install ".[examples]"

• 高斯（Gaussian）：HMC

• Toy 2D Intractable Posterior: SGVB

• 貝葉斯神經網路：SGVB

• 變自編碼器（VAE）：SGVB、IWAE

• 卷積 VAE：SGVB

• 半監督 VAE（Kingma, 2014：SGVB、RWS

• 深度 Sigmoid 信念網路：RWS、VIMCO

• Logistic Normal 主題模型：HMC

開發

如果要以「可編輯」或「開發」模式安裝珠算，在主目錄下運行：

pip install -e .

如果要移除安裝，運行：

pip uninstall zhusuan

附加的開發用依賴包可通過以下代碼安裝：

pip install ".[dev]"

1.測試

以下命令可在主目錄中運行自動測試：

python -m unittest discover -v

測試範圍：在運行測試之後，為了確保測試範圍涵蓋開發，請運行

coverage report --include="zhusuan/*"

PEP8 代碼風格檢查：我們遵循 PEP8 Python 代碼風格。要進行檢查，在主目錄中運行

pep8 .

2.文檔

文檔在 docs/ 目錄下，是 RestructuredText（.rst）文件。主頁為 index.rst。關於 RestructuredText 的教程可參閱：https://pythonhosted.org/an_example_pypi_project/sphinx.html

API References 是通過 Sphinx 自動生成的。它們在 doc/api/ 目錄下，在每次修改代碼之後都應該重新生成：

make api

在 docs/ 目錄下運行以下代碼可將文檔編譯成網頁：

make html

生成的網頁存儲在 docs/_build 目錄，可以通過瀏覽器查看。