AI偵探如何打開深度學習的黑匣子

Jason Yosinski坐在Uber的加利福尼亞州舊金山總部的一個小玻璃盒子里，思考人工智慧。Uber研究科學家Yosinski正在筆記本上運行AI，進行一種腦外科手術。像很多很快就會為現代生活提便利的AI，包括自駕Uber汽車，Yosinski的研究是深層次的神經網路。像大腦一樣，這個問題很難從外界了解：這是一個黑盒子。

這個特定的人工智慧已被訓練，使用大量的標籤圖像來識別像斑馬，消防車和安全帶這樣的隨機物體。能識別Yosinski和記者徘徊在網路攝像頭前面嗎？Yosinski放大了其中一個AI的各個計算節點——神經元，可以這麼說——看看是什麼促使其響應。兩個幽靈般的白色橢圓形彈出並浮在屏幕上。這個神經元似乎已經學會了檢測面孔的輪廓。「這回應了你和我的臉，」他說。「它響應不同大小的臉，不同的顏色面。

沒有人訓練這個網路來識別人臉。人類沒有在其訓練圖像中貼上標籤。然而，學習面孔，也許是一種方式來識別它們周邊的東西，如領帶和牛仔帽。網路太複雜，人們不了解其確切的決定。Yosinski的探測器照亮了它的一小部分，但總體來說它仍然是不透明的。「我們建立了驚人的模型，」他說。「但是我們不太了解他們，而且每年都會有很大的差距。」

似乎是深層次的神經網路，或是深入的學習，因為這個領域也被稱之為傳播到另一個科學的學科。他們可以預測合成有機分子的最佳方式。他們可以檢測與自閉症風險相關的基因。他們甚至改變了科學本身如何進行。一些機構往往在他們所做的事情上取得成功。但他們已經離開了科學家，他們的企業是建立在解釋的基礎上的，一個茫然的問題：為什麼，模型，為什麼？

眾所周知，這種可解釋性問題正在為工業界和學術界的新一代研究人員提供激勵。正如顯微鏡顯示細胞一樣，這些研究人員正在製作工具，以便了解神經網路如何做出決定。一些工具探測AI而不穿透它; 一些是可以與神經網路競爭的替代演算法，但具有更高的透明度; 有些使用更深度學習來進入黑匣子。總而言之，他們加起來是一個新的學科。Yosinski稱之為「AI神經科學」。

打開黑盒子

大腦之後，深層次的神經網路正在刺激科學創新。但模型的機制是神秘的：它們是黑盒子。科學家現在正在開發工具來進入機器的頭腦。

華盛頓大學西雅圖大學研究生，Marco Ribeiro努力通過使用稱為反事實探測的AI神經科學工具來了解黑匣子。這個想法是改變對AI的輸入——無論是文本，圖像還是其他任何東西——以巧妙的方式查看哪些更改影響輸出，以及如何影響。拿一個神經網路舉例，攝取電影評論的話，並標記那些是積極的。Ribeiro的程序，稱為「本地可解釋模型——不可知解釋（LIME）」，將會被審查標記為積極的，並通過刪除或替換單詞來創建微妙的變化。然後，這些變體將通過黑盒子來看看它是否仍然被認為是積極的。在數千個測試的基礎上，LIME可以識別圖像或分子結構的單詞或部分，或任何其他類型的數據——在AI的原始判斷中最重要的部分。測試可能會顯示「恐怖」一詞對於淘選至關重要。但是，儘管LIME可以診斷這些單一的例子，這一結果對網路的全面了解並不十分明確。

像LIME這樣的反事實方法似乎每個月都出現。但Google的另一位計算機科學家Mukund Sundararajan設計了一個探測器，它不需要測試網路上千次：如果您想要了解許多決策，而不僅僅是幾個，那麼這是一個福音。Sundararajan和他的團隊不是隨機改變輸入，而是引入一個空白的參考——一個黑色圖像或一個零排列的數組來代替文本，並逐步向被測試的例子轉變。通過網路運行每一步，他們看到它確定的跳躍，從那個軌跡，他們推斷出對預測重要的特徵。

Sundararajan比較了這個過程，找出了他所坐的玻璃牆空間的主要特徵，這些空間配有杯子，桌子，椅子和電腦的標準組合，作為Google會議室。「我可以說出一個十足的理由。」但是你要慢慢地點亮燈光。「當燈光變得非常暗淡時，只有最大的原因才能脫穎而出。」從空白的參考文獻轉變，Sundararajan可以比Ribeiro的變化更多地捕獲網路的決策。但是，更深層次的未解答的問題總是在這裡，Sundararajan說——他作為父母熟悉的心態。「我有一個4歲的人不斷地提醒我，為什麼？」

緊迫性不僅來自科學。根據歐盟的一項指示，在明年將要對有大規模影響力的公司（對公眾），必須在明年為其模型的內部邏輯創造「解釋」。美國軍方的藍天研究機構，國防高級研究計劃署正在向稱為可解釋AI的新計劃投入7000萬美元，用於解釋為無人機和智力挖掘作業提供的深度學習。Google加州山景機的機器學習研究員瑪雅·古帕（Maya Gupta）說，打開AI的黑盒子的動力也來自矽谷本身。她說，當她在2012年加入Google並向AI工程師詢問他們的問題時，準確性並不是他們心中唯一的事情。「我不知道它在做什麼，」他們告訴她。「我不知道我是否能相信它。」

美國華盛頓州雷德蒙德微軟研究計算機科學家Rich Caruana知道，最大的問題是缺乏信任。作為20世紀90年代賓夕法尼亞州匹茲堡卡內基梅隆大學的研究生，他加入了一個團隊，試圖看機器學習是否可以指導肺炎患者的治療。一般來說，送回家園是最好的，所以他們可以避免在醫院裡感染其他人。但是有些患者，特別是哮喘患者應該立即入院。Caruana將神經網路應用於由78家醫院提供的癥狀和結果的數據集。它似乎運作良好，不過令人不安的是，他看到一個更簡單，透明的模式訓練了相同的記錄，建議將哮喘病人送回家，表明數據中有一些缺陷。他沒有一個簡單的方式知道他的神經網路是否擁有同樣的缺陷。他對神經網路的恐懼是完全正當的，「他說。「真正讓我感到害怕的是神經網學什麼也同樣錯了？」

今天的神經網比卡魯阿納作為研究生使用的功能要強大得多，但其實質卻是相同的。數以萬計的圖片和亂七八糟的數據被吸入具有十幾個或更多個計算層的網路，其中類似神經元的連接「響應於輸入數據的特徵」起火「。每個層對逐漸更抽象的特徵做出反應，允許最後一層將其與狗狗區分開來。

起初這個系統會打亂這個工作。但每個結果與狗的標籤圖片進行比較。在一個稱為反向傳播的過程中，結果通過網路向後發送，使其能夠對每個神經元的觸發器進行重新加權。這個過程重複數百萬次，直到網路學習——不知何故——在品種之間做出了很好的區分。「使用現代馬力和chutzpah，你可以讓這些東西真的唱歌，」卡魯阿納說。然而，神秘而靈活的力量正是使他們成為黑匣子。

Gupta有一個不同的策略來應對黑盒子。幾年前，作為複雜物理謎題的設計師，Gupta開始了一個名為GlassBox的項目。她的目標是通過將可預測性納入其中來馴服神經網路。她的指導原則是單調性——變數之間的關係，其中所有其他變數相等，增加一個變數直接導致另一個變數增加，就像房子的平方英尺和價格一樣。

Gupta將這些單調關係嵌入到稱為內插查找表的擴展資料庫中。實質上，他們就像高中三角教科書背面的表，您可以查看0.5的正弦值。但是，她的表格有多個維度。她將這些表格連接到神經網路中，有效地增加了一個額外的，可預測的計算層次的知識，她所說的最終將使網路更加可控。

與此同時，卡魯阿納也一直保持肺炎課程。要開發出一個可以準確地匹配深度學習，避免其不透明度的模型，他轉向一個並不總是與機器學習及其鬆散的方式相統一的社區：統計學家。

20世紀80年代，統計學家率先推出了一種稱為廣義加法模型（GAM）的技術。它基於線性回歸，一種在一組數據中找到線性趨勢的方法。但是，GAM還可以通過找到多個操作來處理複雜的關係，這些操作可以一起按摩數據以適應回歸線：例如平方一組數字，同時採取另一組變數的對數。Caruana已經增加了這個過程，利用機器學習來發現這些操作，然後可以將其用作強大的模式檢測模型。他說：「令我們驚奇的是，在許多問題上，這是非常準確的。至關重要的是，每個操作對底層數據的影響是透明的。

Caruana的GAMs不如AI處理某些類型的混亂數據，如圖像或聲音，其中一些神經網路茁壯成長。但是，對於適合電子表格的行和列的任何數據（如醫院記錄），該模型可以正常工作。例如，卡拉昂納恢復了原來的肺炎記錄。通過他的一個GAM重新分析他們，他可以看到為什麼AI會從錄取數據中學到錯誤的教訓。醫院常規將哮喘患肺炎放在重症監護病房，改善其結局。只看到他們的快速改善，AI會建議病人送回家。（對於也有胸痛和心臟病的肺炎患者，也會產生同樣的樂觀誤區。）

Caruana已經開始向加州醫院（包括洛杉磯兒童醫院）傳播GAM方法，其中大約十幾名醫生審查了他的模型結果。他們花了大部分時間來討論關於肺炎入院的情況，立即了解其決定。一位醫生說：「你對醫療保健知之甚少，但是你的模式確實了解很多。」

有時，你必須擁抱黑暗。這就是研究人員追求第三條解釋路線的理論。他們說，不是探索神經網路，或者避免他們，而是解釋深入學習的方法只是做更深入的學習。

如果我們不能問...為什麼他們做某事，而得到一個合理的回應，人們就會把它放回架子上

像許多AI編碼人員一樣，亞特蘭大喬治亞理工學院娛樂情報實驗室主任馬克·里德爾（Mark Riedl）轉向1980年代的視頻遊戲來測試他的創作。他最喜歡的一個是Frogger，其中玩家通過車流量通過等待池塘的方式將同名的兩棲動物導航。訓練一個神經網路玩專家Frogger很簡單，但解釋AI正在做甚麼比平常更難。

Riedl不是要探索這個網路，而是要求人類的遊戲對手（AI），實時地形容他們的戰術。Riedl在遊戲代碼中將這些評論與青蛙的背景一起記錄下來：「哦，有一輛車來找我; 我需要向前邁進。「用這兩種語言，玩家和代碼Riedl訓練了第二個神經網路，從代碼到英語兩者之間進行翻譯。然後他把這個翻譯網路連接到他原來的遊戲網路中，產生一個總體的AI，就像在等待著一條車道的時候說的那樣，「我在等待一個洞才能開始移動之前」。AI甚至會在沮喪的時候固定在屏幕的一邊，詛咒和抱怨，「Jeez，這很難。」

Riedl稱他為「合理化」的方式，他旨在幫助日常用戶了解即將在房屋周圍和駕駛汽車的機器人。「如果我們不能提出一個問題，為什麼他們做某事，並得到一個合理的回應，人們會把它放回貨架上，」里德爾說。這些解釋雖然舒緩，但提出了另一個問題，他補充說：「在人們失去信任之前，合理化有多錯誤？」

回到Uber，Yosinski被踢出他的玻璃盒。Uber的會議室，以城市命名，需求旺盛，人潮稀少，價格不高。他不在多哈，而是去加拿大蒙特利爾，無意識的模式識別過程，指導他通過辦公室迷宮，直到他迷路。他的圖像分類器仍然是一個迷宮，像Riedl一樣，他已經招募了第二個AI來幫助他理解第一個AI。

首先，Yosinski重新分類器生成圖像，而不是標記它們。然後，他和他的同事把它染成靜電，並通過它發回一個信號，例如，要求「更多的火山」。最終，他們假設，網路會把這個噪音塑造成一個火山的想法。在某種程度上，它確實是火山，對人的眼睛，恰好看起來像一個灰色，無特徵的群眾。AI和人們看起來有所不同。

接下來，該團隊在其圖像上發揮了一個生成對抗網路（GAN）。這樣的AI包含兩個神經網路。從一組訓練圖像，「發生器」學習關於圖像製作的規則，並可以創建合成圖像。第二個「對手」網路嘗試檢測所生成的圖片是真實還是假的，提示生成器再次嘗試。這些來回最終導致粗糙的圖像包含人類可以識別的特徵。

他的前實習生Yosinski和Anh Nguyen將GAN連接到原始分類器網路內的層。這個時候，當被告知要創造「更多的火山」時，GAN拿出了分類器學到的灰色，並以其自己的圖片結構知識將其解碼成大量合成，逼真的火山。一些休眠 一些爆發。有些在晚上 有一天 還有一些，也許有缺陷，這將是分類器的知識差距的線索。

他們的GAN現在可以被捆綁到任何使用圖像的網路上。Yosinski已經使用它來識別隨機圖像字幕的網路中的問題。他反轉網路，以便它可以為任何隨機字幕輸入創建合成圖像。連接到GAN後，他發現了一個驚人的遺漏。提出想像「站在樹杈上的一隻鳥」，由GAN翻譯的網路使用指南產生了一棵樹和樹枝的田園圖像，但沒有鳥。為什麼？在將改變後的圖像轉化為原始字幕模型後，他意識到，訓練它的字幕作家從未描述過樹木和樹枝，而不涉及鳥。人工智慧已經學到了關於什麼使鳥成為錯誤的教訓。「這暗示著人類神經科學將是一個重要的方向，」Yosinski說。這是一個開始，

這一天正在下降，但是Yosinski的作品似乎剛剛開始。另一個敲門。Yosinski和他的AI被踢出另一個玻璃盒會議室，回到Uber的城市，電腦和人類的迷宮。這次他沒有迷路，他穿過食物酒吧，穿過毛絨沙發，穿過電梯的出口。這是一個簡單的模式。他會儘快學習他們！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！