你的可視化ML模型可以用顯微鏡來看了！OpenAI發布Microscope

新智元報道

來源：OpenAI

編輯：張佳、嘯林

【新智元導讀】一直以來，如何讓機器學習演算法這個「黑箱」可視化，是ML社區的共同努力方向。日前，OpenAI發布神經網路可視化庫Microscope，已經使8個目前流行的神經網路可視化，最大亮點是它可以像實驗室中的顯微鏡一樣工作。「新智元急聘主筆、高級主任編輯，添加HR微信（Dr-wly）或掃描文末二維碼了解詳情。」

機器學習演算法（ML）通常被稱為「黑箱」，人類並不知道AI是怎麼決策的，演算法從輸入到輸出的過程就像變魔術一樣。

由於缺乏可解釋性，ML可能會導致很多不可控的後果。

比如， 2016年Facebook推出的聊天機器人，也因為整天接收無聊網友的對噴，吸收了人類的種種醜惡和偏見，變成了滿腦子種族歧視的「嘴臭之王」：

2019年，包括Yoshua Bengio在內的許多研究人員聯合指責Amazon的Rekognition服務表現出種族和性別偏見：它在預測圖像中膚色較黑的女性與膚色較淺的男性時的錯誤率要高得多。

如果我們無法解釋AI決策的過程和動機，就無法信任這個智能系統。因此，ML社區一直致力於使演算法的學習過程透明化。

日前，OpenAI讓演算法可視化又添新丁。

OpenAI發布神經網路可視化庫Microscope

神經元可視化

目前的初始版本分析了8個流行的神經網路。該集合一共包含數百萬張圖像。

Microscope可以像實驗室中的顯微鏡一樣工作，幫助AI研究人員更好地理解具有成千上萬個神經元的神經網路的結構和行為。

Microscope的初始模型囊括了8種歷史留名、經過廣泛研究的計算機視覺模型，包括：

AlexNet——計算機視覺的一個里程碑，2012年ImageNet的獲勝者，被引用超過50,000。

AlexNet (Places)——和經典AlexNet模型要有相同架構，但在Places365數據集上訓練。

Inception v1——該網路也被稱為GoogLeNet，2014年開創了ImageNet分類的最新水平。

Inception v1 (Places)——和經典Inception v1模型要有相同架構，但在Places365數據集上訓練。

VGG 19——該網路於2014年推出，比Inception變體更簡單，僅使用3x3卷積，沒有分支。

Inception v3——2015年發布的這一版本改進了初始架構的性能和效率。

Inception v4——2016年發布，這是Inception架構的第四次迭代，重點是統一性。

ResNet v2 50——ResNets使用skip連接在更深層的網路中實現更強的漸變。這個變體有50層。

八個視覺神經網路模型集合

每種模型的可視化都帶有一些場景，並且圖像在OpenAI Lucid庫中可用（見文末Github鏈接），可以在 Creative Commons許可下重複使用。

Microscope的主要價值在於提供持久的共享工件，以長期對這些模型進行比較研究。

Microscope想要實現兩個願景：希望具有相鄰專業知識的研究人員（例如神經科學）能夠更輕鬆地處理這些視覺模型的內部工作。

希望它能通過了解神經元之間的連接，為電路協作工作做出貢獻，從而可以對神經網路進行逆向工程。

Microscope已開源，助力可解釋性社區發展

在博客中，OpenAI詳細介紹了Microscope的初衷。

OpenAI的Microscope是八個視覺神經網路模型的每個重要層和神經元可視化的集合，通常在可解釋性方面進行研究。Microscope使我們更容易分析這些複雜的神經網路內部形成的特徵。

現代神經網路的能力是成千上萬個神經元相互作用的結果。為了了解它們的行為，OpenAI希望能夠快速輕鬆地詳細研究這些神經元的相互作用，並分享這些觀察結果，在協作環境中尤其如此。例如，一位研究人員可能會推測：

InceptionV1 4c：447是一種汽車檢測器，由車輪檢測器（4b：373）和窗戶檢測器（4b：237）組成。

447汽車檢測器

373車輪檢測器

237窗戶檢測器

Microscope的目標：當有人提出某個觀點時，其他人能夠快速探索這些神經元，評估觀點並發現新的東西。

Microscope可在幾種常用的視覺模型中系統地可視化每個神經元，並使所有這些神經元可鏈接。OpenAI希望這將以多種方式支持可解釋性社區：

儘管這些模型和可視化已經開放源代碼（我們幫助維護lucid庫，該庫用於在「Microscope」中生成所有可視化），但對神經元進行可視化卻是乏味的。Microscope將探索神經元的反饋迴路從幾分鐘變為幾秒鐘。這種快速反饋迴路對於我們在進行中的迴路項目中發現諸如高低頻探測器之類的意外特性至關重要。

使模型和神經元之間可以相互鏈接，這使得對那些神經元的研究可以立即進行審查和進一步的探索。它還消除了關於正在討論的模型和神經元的潛在混淆（五個InceptionV1版本我們又在討論哪一個？）。這對合作非常有幫助，特別是當研究人員在不同的機構工作時。

作為ML的一個領域，可解釋性的一個奇妙之處在於它的可訪問性。與許多其他領域相比，它需要相對較少的計算許可權。但系統的可視化神經網路仍然需要數百GPU小時。OpenAI希望，通過分享這個的可視化，可以幫助保持可解釋性易於訪問。

就像生物學家經常專註於研究幾種「模式生物」一樣，Microscope也專註於詳細研究少量模型。OpenAI的初始版本包括八個經常被研究的視覺模型，以及他們發現在研究它們時特別有用的幾種可視化技術。OpenAI計劃在未來幾個月內擴展到其他模型和技術上。

OpenAI表示非常期待看到社區將如何使用Microscope，他們認為它在支持迴路協作（一個通過分析單個神經元及其連接或類似工作來逆向工程神經網路的項目）或類似工作上具有很大的潛力。

盤點近期其他神經網路可視化工具

除了Microscope的神經元可視化之外，近年來的一些工作還試圖讓ML模型的活動可視化。比如，Facebook的Captum於去年秋天推出，使用可視化來解釋PyTorch的神經網路在多模式環境中做出的決策。

2019年3月，OpenAI和Google發布了激活地圖集技術，以可視化機器學習演算法做出的決策。

使用OpenAI的Web查看器瀏覽激活圖集

激活圖集可以放大

還有2019年發布的、現已流行的TensorBoard工具用於可視化ML學習內容。

「現在，您可以託管和跟蹤您的ML實驗，並公開共享它們，而無需進行設置。只需上傳您的日誌並共享URL，以便其他人可以查看實驗以及您使用TensorBoard所做的事情，」 Google工程副總裁Megan Kacholia如是說。

Microscope地址：

https://microscope.openai.com/models

開源地址：

https://github.com/tensorflow/lucid

參考鏈接：

https://openai.com/blog/microscope/

https://venturebeat.com/2020/04/14/openai-launches-microscope-to-visualize-the-neurons-in-popular-machine-learning-models/

https://venturebeat.com/2019/03/06/openai-and-google-detail-activation-atlases-a-technique-for-visualizing-ai-decision-making/

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！