谷歌、OpenAI 做了一個「魔性AI顯微鏡」，打算撬開人工智慧黑箱

人工智慧的世界是什麼樣的？

幾十年來，研究人員一直對此感到困惑。現在，人們更加想知道這個問題的答案。尤其是，從醫療保健到自動駕駛汽車，越來越多的生活領域開始應用機器視覺系統。而且這些領域直接和人的生命息息相關。

但是讓機器眼睛真正「看到」誰是行人誰是路標，仍然是一個挑戰。做不到這些可能會產生嚴重甚至致命的後果。

現在，谷歌和著名人工智慧研究機構 OpenAI 的一項新研究有望改變這種情況。他們正通過繪製一些系統來感知世界的視覺數據，從而進一步打開人工智慧視覺的黑匣子。這種被稱為「Activation Atlases」的方法讓研究人員可以分析各種演算法的工作原理，不僅揭示了他們識別的抽象形狀、顏色和圖案，還揭示了他們如何將這些元素結合起來識別特定的物體、動物和場景，堪稱在計算機視覺領域又一次重要的打開黑箱的嘗試。

「這感覺像是創造了一個顯微鏡。」這項工作主要負責人、來自谷歌的 Shan Carter 如此說道。

圖丨用 Activation Atlas 處理 GoogLeNet 視覺演算法的一系列模板（圖片：Google / OpenAI）

如果將先前的研究比作視覺演算法字母表中的單個字母，那麼 Activation Atlases 則更接近於整個字典，它顯示了字母是如何組合在一起構成實際單詞的。

這項工作不一定是一個巨大的突破，但它在「特徵可視化（feature visualization）」這一更廣泛的研究領域中向前邁出了一步。喬治亞理工學院的博士生 Ramprasaath Selvaraju 沒有參與這項工作，他表示，這項研究「非常令人著迷」，它結合了許多現有的想法，創造了一個新的「非常有用」的工具。

Selvaraju 表示，在未來，這樣的工作將有很多用途，它可以幫助我們建立更高效、先進的演算法，還能讓研究人員進入內部來提高演算法的安全性並消除演算法偏見。Selvaraju 說：「由於神經網路固有的複雜性，它們缺乏可解釋性」。但他表示，在未來，當神經網路經常用於駕駛汽車和引導機器人時，這種解釋性將是必要的。

OpenAI 的 Chris Olah 也參與了這個項目，他說：「至少，這就是我們所追求的目標。「

圖丨 Activation Atlases 能讓研究人員描繪演算法用於理解世界的視覺數據。（來源：OpenAI / Google）

激活神經元

要了解 Activation Atlases 和其他功能可視化工具的工作原理，首先需要了解一下 AI 系統是如何識別對象的。

AI 系統識別對象的基本方法是使用神經網路：一種與人類大腦大致相似的計算結構（它在複雜性方面遠遠落後於人腦）。在每個神經網路內部是一層像網狀物一樣連接的人造神經元。像人類大腦中的細胞一樣，這些神經元會響應刺激，這一過程稱為激活。重要的是，它們不僅可以開啟或關閉，它們還會在光譜上註冊，並為每次激活賦予特定值或「比重」。

要將神經網路變為有用的東西，用戶必須提供大量的訓練數據。以視覺演算法為例，這將意味著數十萬甚至數百萬的圖像，而且每個圖像都要標記有特定的類別。而谷歌和 OpenAI 的研究人員測試的神經網路，訓練數據則更加廣泛：幾乎所有東西都有涉及。

圖丨神經網路使用一層相互連接的人工神經元來處理數據。不同的神經元對圖像的不同部分起作用（來源：OpenAI / Google）

當神經網路處理數據時，神經網路中的不同神經元會因響應不同圖像而亮起，並通過這種模式連接到圖像的標籤。正是通過這種關聯，神經網路才能「學習」事物的樣子。神經網路經過訓練後，用戶就可以向它展示以前從未見過的圖片，並且能激活神經元，然後將用戶的輸入與特定類別相匹配。

但是，像許多機器學習程序一樣，視覺演算法本質上只是模式匹配而已。這給了它們一定的優勢（例如，只要你擁有必要的數據和計算能力，就可以直接進行視覺演算法訓練）。但它們也有某些弱點，例如它們很容易被之前從未見過的輸入陷入混亂。

研究人員在 2010 年初發現了神經網路在處理視覺任務方面的潛力，他們一直在完善相關研究，試圖弄清楚神經網路是如何做的。

早期的一項實驗是 DeepDream 程序，這是 2015 年發布的計算機視覺程序，它能將任何圖片變成幻覺版本。DeepDream 的視覺效果肯定是有趣的，比如在某些方面，它定義了人工智慧美學，但該程序也是演算法的早期嘗試。「某種程度來說，這一切研究都始於 DeepDream 程序，」Olah 說。

圖丨像 DeepDream 這樣的圖像讓機器學習演算法儘可能有趣（來源：OpenAI / Google）

DeepDream 所做的是將圖像調整為儘可能有趣的演算法。這就像是軟體在圖像中發現「隱藏」的圖案，又更像是有人在著色書中塗鴉：用眼睛，畫筆，螺紋和顏料填充每一寸畫紙。

後來的研究採用了同樣的基本方法，並對其進行了微調：首先針對神經網路中的單個神經元，並弄清楚是什麼激發了它們，然後是神經元群，之後是神經網路中不同層的神經元的組合。如果早期的實驗是偶然但專註的，那麼最近的工作更有針對性。通過繪製神經網路的每個部分中激活的視覺元素，積少成多，最終就得到了整個圖集：神經網路的視覺索引。

（來源：OpenAI / Google）

機器的視角

但是，Activation Atlases 實際上向我們展示了演算法內部運作方式的什麼內容？你可以先在谷歌和 OpenAI 的例子中進行理解，它們能為我們展示著名的 GoogLeNet（也叫 InceptionV1）神經網路的內部世界。

測試地址：https://distill.pub/2019/activation-atlas/

滾動滑鼠，您可以看到神經網路的不同部分如何響應不同的概念，以及這些概念如何聚集在一起。（例如，狗和鳥類在不同的地方）你還可以看到神經網路的不同層代表不同類型的信息。較低級別的神經層相對抽象，響應基本的幾何形狀，而較高級別的神經層將解析可識別的概念。

當你深入研究個別分類時，就會變得有趣。谷歌和 OpenAI 給出的一個例子是「潛水管」和「潛水員」之間的區別。

在下圖中，你可以看到神經網路用於識別這些標籤的各種激活活動。左邊是與「潛水管」密切相關的激活響應，右邊是與「帶水肺的潛水員」密切相關的激活響應。中間的激活響應在兩個類之間共享，而條紋上的那些則有更多的差異。

圖丨與「潛水管」（左）和「帶水肺的潛水員」（右）相關的激活響應。（來源：OpenAI / Google）

我們可以一目了然地看出一些明顯的顏色和圖案。在頂部，看起來像魚的鮮艷斑點和條紋，而在底部，有看起來像是面具的形狀。但右側突出顯示了一種不尋常的激活響應，與蒸汽機車密切相關的激活響應。研究人員對此感到困惑，為什麼這些關於機車的視覺信息對識別潛水員很重要？

「所以我們測試了它，」Carter 說。「我們想，"好吧，如果我們輸入一個蒸汽機車的圖片，是不是會識別為帶水肺的潛水員圖片分類或潛水員分類圖片？"現在看來確實如此。」

圖丨三個圖像顯示了如何重新分類相同的圖片。在左邊，它被確定為潛水員分類; 中間，隨著機車圖片的增加，它變成了帶水肺的潛水員分類; 當機車足夠大時，它變成了機車分類。（來源：OpenAI / Google）

該團隊最終找到了原因：這是因為機車的光滑金屬曲線在視覺上類似於潛水員的空氣罐。因此，對於神經網路來說，這是帶水肺的潛水員和潛水員之間的一個明顯區別。為了節省區分這兩個類別的時間，它只是從其他地方借用了所需的識別視覺數據。

這種例子出人意外地揭示了神經網路的運作方式。而對於懷疑論者，它揭示了這些系統的局限性。他們表示，視覺演算法可能是有效的，但他們學到的信息實際上與人類如何理解世界無關。這使他們容易受到某些詭計的影響。例如，如果將一些精心挑選的像素投射到圖像中，可能就足以使演算法對其進行錯誤分類。

但對於 Carter、Olah 和其他研究人員來說，Activation Atlases 和類似工具所揭示的信息顯示了這些演算法的驚人深度和靈活性。例如，Carter 指出，為了使演算法區分帶水肺潛水員和潛水員，它還將不同類型的動物與這兩個類別聯繫起來。

「在深水中像海龜一樣的動物，被分為 scuba 類，地面上出現的鳥類一樣，被分為 snorkel 類，」他說。他指出，這是系統從未指導學習的信息。相反，它是自學的。「這有點像是神經網路對世界更深刻的理解。這真的很令人興奮。「

研究人員希望通過開發這樣的工具，將有助於推動人工智慧整個領域的發展。通過了解機器視覺系統如何看待世界，理論上我們可以更有效地構建它們並更徹底地檢查它們的準確性。

「現在的人工智慧是一個有局限的工具箱，」Olah 說。他表示，我們可以在系統上用測試數據來試圖欺騙它們，但這種方法總是受到我們的認知限制。「Activation Atlases 給了我們探索未知問題的新工具，感覺每一代人工智慧工具都讓我們更接近真正理解這些神經網路中正在發生的事情。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！