幻想AI自己打開黑箱？谷歌工程總監說：所謂解釋，全是編的

李杉 編譯整理

量子位 報道 | 公眾號 QbitAI

假設你開發了一個AI，讓它做決策。結果，你可能根本沒辦法知道這些決策的依據是什麼。

這種失去控制力的感覺，想想就不太好。

但是，這是深度學習系統的常態。於是越來越多的人認為，深度學習系統已經成了一個個「黑箱」，只有打開這些黑箱，我們才能放心地把AI用到各個領域。

有一些研究人員，想通過「讓AI解釋他們自己」的方式來打開黑箱。他們致力於讓AI能用人類能看懂的方式解釋自己的行為，這被稱作「可解釋的人工智慧」或「XAI」。

看起來很美，但也有反對的聲音。

Peter Norvig就對XAI的價值提出了質疑：

連人類自己都不太擅長解釋自己的決策，又怎麼能要求機器這麼做？

Peter Norvig

Norvig是谷歌研究總監、AI經典教材《人工智慧：一種現代的方法》的第二作者、AAAI fellow、ACM fellow。

所謂解釋，全是事後編出來的

人類不擅長解釋自己的決策？不對啊，每天都上演著各種各樣的「你聽我解釋」呢……

Norvig相信，人類的那些解釋，並不是真正的決策原因，而是事後想出來的。

他周四在澳大利亞新南威爾士大學演講時說：「認知心理學家發現，當你問一個人的時候，你無法獲得他真正的決策流程。他們其實是先作出決策，然後當你問他們的時候，他們再想出一套解釋方案，但這或許並不是真的決策原因。」

這個事後想出的解釋方案，往往是為了讓之前的行動顯得合理。

Norvig說，如果你要求人工智慧用人話解釋自己，它們也可能採取這種做法。

「所以，我們對待機器學習的最終態度也可能變成這樣：我們訓練一套系統得到答案，然後訓練另外一套系統作出解釋——你的任務是根據第一套系統獲得的信息來來解釋一下它的做法。」

還真的有人做了這樣的研究。

今年年初，喬治亞理工學院的Mark Riedl等人就訓練了一個AI，在玩《青蛙闖關(Frogger)》時，用人類語言解釋自己的決策過程。

不過，負責「解釋」的是另一套獨立的演算法，用人類玩Frogger時說的話訓練過。所以，這個AI解釋出來的「決策過程」，實際上只是根據遊戲中遇到的情況，生成了一句人類可能說的話。

加州大學和馬克思-普朗克信息學院的研究人員去年12月也發表了一篇論文，用人類的方法解釋了一套基於機器學習的圖像識別技術。

研究人員表示，儘管「通過獲取模型中的隱藏信息」可以支撐這些解釋，但它們「未必與系統的運作過程相符」。

UC Irvine(加州大學爾灣分校)的一項研究似乎更實在一點。

在去年發布的論文「Why Should I Trust You?」: Explaining the Predictions of Any Classifier中，研究人員描述了一個名為LIME的系統，這個系統解釋自己決策原因的方式，是將輸入數據中與決策相關的部分高亮標註出來。

此外，Norvig昨天也補充道：「解釋本身還不夠，我們還需要通過其他方式來監督決策流程。」

不看解釋看結果

Novig表示，要了解人工智慧是否存有偏見，更實際的做法不是了解內部原理，而是直接查看輸出結果。

「如果我申請一份貸款，但卻遭到拒絕，無論決策是人類還是機器做出的，當我想要對方作出解釋的時候，對方都會說，你的抵押品不夠。這可能是真正的原因，但也有而可能是它不喜歡我的膚色。但我無法通過它的解釋知道真相。」他說。

「但如果我看看它在各種不同案例中的決策，便可以判斷它存在一些偏見——通過一系列決策便可知道一些無法通過單項決策判斷的事情。所以，能夠給出解釋固然很好，但展開一定程度的核查同樣重要。」

谷歌自己的演算法也被批存在偏見。例如，曾經有一段時間，在谷歌圖片中搜索「手」或「寶寶」，只能顯示白人的圖片。2015年，該公司的Photos應用甚至將一對黑人夫婦錯誤地標記成「大猩猩」。

谷歌自動完成功能也涉嫌存在種族歧視和性別歧視。例如，當有人輸入「Are jews」（猶太人是）的時候，系統會給出「a race」（一個種族）、「white」（白人）、「Christians」（基督徒）和「evil」（邪惡的）幾個選項。

「這些結果不反映谷歌的觀點。」谷歌去年12月回應《觀察家》（TheObserver）的報道時說，只是「反映了整個網路的內容」。該公司還在回應《悉尼先驅晨報》的一篇類似報道時說：「我們承認自動完成功能不夠科學，我們一直在努力改進演算法。」

Norvig解釋道，想要避免偏見，有一些比調查底層機器學習演算法效果更好的方法。

「我們肯定有其他調查方法，因為我們有這樣的機制。」他說，「我們可以看看，如果輸入信息有一些差異，輸出結果究竟會有所不同，還是與之前完全一樣？所以，從這個角度來看，我們可以調查很多事情。」

不放心的各國政府

雖然從谷歌的角度來看，核查輸出結果或許是一種好方法，但個人和政府可能會要求他們和其他所有採用機器學習演算法的公司或機構採取更多措施。

DARPA嚮往的「可解釋的AI」

美國軍方就對AI的可解釋性透露出了強烈的興趣。

上個月，DARPA(美國國防部高級研究計劃局)投入數百萬美元，與10支研究團隊簽訂了4年的協議，要開發可解釋的新AI系統，和將這些解釋傳遞給人類的交互界面。

今年早些時候，英國政府首席科學顧問在《連線》雜誌上撰文稱：「我們需要開發各種機制來了解演算法的運行模式，尤其是通過機器學習在計算機系統的軟體內不斷進化的演算法。」

歐洲立法者也在這一領域採取各種措施來保護個人用戶。

將於2018年5月生效的歐盟《通用數據保護條例》限制使用「嚴重影響」用戶的自動化決策系統。此外還設立了「解釋權」，：當一個演算法針對用戶作出決策後，該用戶有權要求其給出相應的解釋。

在歐洲供應或運營，「或者監視歐洲人行為」的外國企業，可能也需要遵守這些規定。

雖然Norvig認為「讓AI解釋自己」這條路行不通，他還是對監管者的關注表示歡迎。

「我們現在開始了解具體的影響了，但現在給出答案還為時尚早。」他說，「隨著我們開始看到人工智慧的潛力，我們並沒有坐以待斃，而是開始提出問題，試圖了解日後的去向。這是好事。」

【完】

一則通知

量子位正在組建自動駕駛技術群，面向研究自動駕駛相關領域的在校學生或一線工程師。李開復、王詠剛、王乃岩等大牛都在群里。歡迎大家加量子位微信(qbitbot)，備註「自動駕駛」申請加入哈~

招聘

量子位正在招募編輯記者、運營、產品等崗位，工作地點在北京中關村。相關細節，請在公眾號對話界面，回復：「招聘」。

掃碼強行關注『量子位』

追蹤人工智慧領域最勁內容

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！