Darkon：可更好理解深度學習模型的開源工具包

選自darkon

機器之心編譯

參與：黃小天

由於難以理解，深度學習經常被稱為黑箱。有鑒於此，Neosapience 開發了開源工具包 Darkon，它可以更好地理解深度學習模型，進而調試故障，解釋決策等等。目前 Darkon 適用於所有 Tensorflow 模型。

項目地址：http://darkon.io/

Darkon 是一個更好地理解深度學習模型的開源工具包。由於難以理解，深度學習經常被稱為黑箱。但是，可解釋性與可控性是深度學習模型商業化推廣的關鍵。人們通常認為準備性數據集上實現的高精度足以將模型進行商業化推廣，但實際情況卻是經常在實際應用中遭受失敗，並會導致極端案例的出現。進而，有必要在醫療診斷、金融決策等一些應用中解釋結果以信任系統。我們希望 Darkon 可以幫助你理解已訓練模型，進而調試故障，解釋決策等等。

本文中，我們將提供輕易分析深度學習模型的功能，它適用於任何 Tensorflow 模型（稍後會支持其他模型）。影響值在通過訓練樣本理解模型方面非常有用。分值可用於過濾拉低測試表現的不良訓練樣本。優先考慮修復被錯誤標註的潛在實例，並調試訓練和測試樣本之間的不匹配分布很有幫助。在本版本中，我們添加了 Grad-CAM 和有指導的 Grad-CAM，這對於理解 CNN 模型的決策很有幫助。

我們會慢慢使輕鬆分析深度學習模型的技術應用到你現有的項目之中。更多功能也將很快公布。

Demo

該 demo 展示了影響值的實例使用。如果你選擇預訓練網路和一個特定的測試樣本，你可以在預測中看到結果，以及有益或有害的訓練樣本。訓練樣本通過影響值被分類，其中最高值對應於有益的樣本，最低值對應於有害的樣本。

Demo 地址：https://darkon-demo.herokuapp.com/

依賴項

Tensorflow>=1.3.0：https://github.com/tensorflow/tensorflow

安裝

只安裝 Darkon

帶有 TensorFlow CPU 的安裝

帶有 TensorFlow GPU 的安裝

參考

[1] Cook, R. D. and Weisberg, S.「Residuals and influence in regression (https://www.casact.org/pubs/proceed/proceed94/94123.pdf)」, New York: Chapman and Hall, 1982

[2] Koh, P. W. and Liang, P.「Understanding Black-box Predictions via Influence Functions (https://arxiv.org/abs/1703.04730)」ICML2017

[3] Pearlmutter, B. A.「Fast exact multiplication by the hessian (http://www.bcl.hamilton.ie/~barak/papers/nc-hessian.pdf)」Neural Computation, 1994

[4] Agarwal, N., Bullins, B., and Hazan, E.「Second order stochastic optimization in linear time (https://arxiv.org/abs/1602.03943)」arXiv preprint arXiv:1602.03943

[5] Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, Dhruv Batra「Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization (https://arxiv.org/abs/1610.02391)」ICCV2017

本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。

?------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！