當AI出現偏見時，如何讓機器學習演算法解釋自己的決策？

本文系網易新聞-智能工作室出品

聚焦AI，讀懂下一個大時代！

神經網路的預測能力推動了最近的人工智慧熱潮，但很難解釋他們是如何做出決定的。一項旨在揭示語言處理網路內部工作原理的新技術，只是為揭示這些「黑匣子」而做出的最新努力。

我們發現神經網路如此神秘，這可能並不奇怪，因為它們基本上是基於人類大腦而建立的，我們也在努力破譯這些神經網路。他們學習的模型並不像傳統的計算機程序那樣整齊地存儲在資料庫中，而是由成千上萬的虛擬神經元之間的連接組成。

這些連接不是由人類程序員設定的，相反，神經網路本質上是通過在大量數據中尋找模式來進行編程。因此，雖然你可以測試一個神經網路在照片中檢測到貓的效果，但要判斷出它們的存在與否，你很難辨明它們的視覺模式。

「當涉及到照片中貓的檢測時，這並不是什麼大問題，但這項技術正在悄然進入一些領域，在這些領域，能夠解釋這些決定可能很重要。」

說到檢測到貓的存在，這並不是什麼大問題，但這項技術正在悄然進入一些領域，在這些領域中，能夠解釋這些決策可能很重要，比如金融交易和疾病診斷。這導致了越來越多的研究試圖讓這些演算法的決策能解釋得更清楚。

本月上旬，麻省理工學院的工程師們公布了一項技術，該技術有望提供關於任何自然語言處理網路的洞察和分析，而不管其背後的軟體是什麼。這是因為它的工作原理是簡單地把輸入轉換成演算法，並測量對輸出的影響。

該研究小組利用他們自己的神經網路，對自然句子進行壓縮和解壓，得出與之相關的句子，然後將這些句子輸入到被訪問的神經網路中。通過分析輸入的細微變化如何改變輸出，研究人員能夠發現網路對特定辭彙和短語的反應。

他們進行的一項測試是在微軟Azure雲服務的一項翻譯服務上進行的。法語有不同的名詞形式，這些名詞形式取決於主語的性別。例如，男舞者是「danseur」，而女性舞者則是「danseuse」。

研究人員發現，在包含諸如博士、教授等職業的句子中，這種模型容易表現出男性化的傾向，比如聰明的或有天賦的，而在模型表現成女性化的形式時，則傾向於迷人的或者富有同情心的主體，比如舞者或護士。

這種性別傾向很難通過簡單地搜索翻譯服務的神經網路架構來發現，但其影響可能是潛在的。能夠發現這種傾向是促使神經網路更容易解釋的關鍵因素，但它也可以幫助研究人員排除那些導致錯誤的假設，從而提高他們的表現。

麻省理工學院的這一研究也遵循了華盛頓大學的類似研究，該研究也使用了輸入的變數來觀察模型的預測行為。它解決了分類演算法更簡單的問題，但它也可以通過突出顯示圖像的某些部分來進行預測，從而在圖像處理演算法方面發揮作用。

英偉達提出了一種更簡單的方法，可以在處理自動駕駛汽車的PilotNet系統所使用的視頻時實現同樣的效果。通過把網路的更高層次的輸出疊加到下層上，他們就能創建一個「可視化的面具」，突出顯示網路認為重要的實時視頻消息流的功能。

更進一步的話，一些研究人員試圖創造出人工智慧來解釋它的決定，而不僅僅是專家來進行解釋。來自美國和德國的研究人員最近公布了一種演算法，該演算法不僅可以分析圖片，回答「哪種運動正在播放」等問題，還可以用「棒球員手握球棒」這樣的短語來回答「棒球」這樣的問題。

Mark Riedl是位於亞特蘭大的喬治亞理工學院娛樂情報實驗室的主任，他讓一些人玩了電腦遊戲「青蛙」，並在他們玩的過程中解釋他們的策略。他將這些數據與描述遊戲狀態的代碼一起記錄下來，然後在這兩種情況下訓練了一個神經網路。當他把這個網路連接到另一個設計遊戲的網路時，他創造了一個人工智慧，使其可以在玩遊戲的過程中合理化自己的行為。

雖然對可解釋的人工智慧研究還處於初級階段，但歐盟最近的一項指令可能會給該領域的研究增添一種緊迫感。定於明年生效的通用數據保護條例（GDPR）將有效地創造一種「解釋權」，使公民能夠要求做出關於演算法決策背後的邏輯。

正如埃森哲的分析師在一篇博客文章中指出的那樣，關於這種新權利的程度存在爭議，但他們仍然建議企業接受可解釋的人工智慧，以便在未來證明自己的企業不受監管機構的影響。

這一領域也可能會有大筆資金投入。金融巨頭Capital One正在研究如何讓機器學習演算法來解釋他們的決策，美國國防高級研究計劃局（DARPA）正在資助13個致力於解決這個問題的研究小組。這其中包括來自俄勒岡州立大學的一個小組，他們計劃用第二個神經網路來分析神經網路，以確定神經活動對特定決策的影響。

但谷歌的研究主管Peter Norvig最近質疑這些方法最終會有多大用處。他說，即使有了人類，認知心理學家也發現，當你讓別人解釋他們的決定時，他們通常會以可能與實際決策過程無關的方式來理解他們的行為。他在悉尼的一次活動上說：「因此，我們可能會在機器學習領域處於同一個位置，在這個階段我們訓練一個系統來獲得答案，考慮到第一個系統的輸入，然後我們才會訓練另一個系統，現在你的工作就是做出解釋。」

相反，他說，隨著時間的推移，研究這些演算法的輸出可能會更有用，以識別偏差和錯誤。那麼，問題是這是誰的責任：是過度擴張的公共機構、還是學術機構或企業，在保護其人工智慧能力的聲譽方面擁有既得利益。

在現實中，這可能需要兩者的結合。人工智慧開發者需要找到方法來解釋他們的創意所做出的決定，但我們不能只接受他們的說法。還需要對這些決定如何影響人們的生活進行密切的觀察。

英文來源 singularity hub

編譯 網易見外智能編譯平台

審校 Simone

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！