再見AI黑匣子：研究人員教會AI進行自我解釋

新智元編譯

來源：thenextweb

作者：艾霄葆

【新智元導讀】AI決策過程的黑匣子問題一直是AI領域最大的擔憂之一，但近期黑匣子決策問題似乎被破解。來自加州大學伯克利分校、阿姆斯特丹大學、Facebook AI Research團隊的研究人員創建出一個AI自我解釋模型，該模型可使AI在回答問題時指出問題對應的證據，在回答相關圖像問題時，其能夠為其決策提供自然語言理由並指出圖像顯示證據。

來自加州大學伯克利分校、阿姆斯特丹大學、Facebook AI Research團隊的研究人員創建出一個AI自我解釋模型，該模型可使AI在回答問題時指出問題對應的證據，在回答相關圖像問題時，其能夠為其決策提供自然語言理由並指出圖像顯示證據。

「黑匣子」變得透明，這是一件大事。

在許多環境中，深度模型既有效又可解釋;先前可解釋的模型是單峰模型，提供了基於圖像的注意權重的可視化或基於文本的事後理由的生成。

這次的研究提出了一種多模式的解釋方法，並且認為這兩種模式提供了互補的說明性優勢。

團隊收集兩個新的數據集來定義和評估這個任務，並提出一個新的模型，可以提供聯合文本理性和可視化生成。我們的數據集定義了活動識別任務（ACT-X）和視覺問題解答任務（VQA-X）的分類決策的視覺和文本理由。

在數量上表明，使用文本解釋進行培訓不僅可以產生更好的文本理由模型，還可以更好地定位支持決策的證據。我們還定性地展示了視覺解釋比文本解釋更具洞察力的情況，反之亦然，支持我們的論點：多模式解釋模型提供了超越單峰方法的顯著優勢。

VQA-X定性結果：對於每個圖像，PJ-X模型提供了答案和理由，並指出了該理由的證據。

弄清楚為什麼一個神經網路做出它所做的決定是人工智慧領域最大的擔憂之一。正如它所稱的那樣，黑盒問題實際上使我們不能相信AI系統。

像人類一樣，它可以「指出」它用來回答問題的證據，並且通過文本可以描述它如何解釋證據。它的開發旨在回答那些需要九歲小孩平均智力的問題。

這是人們第一次創建了一個可以用兩種不同方式解釋自己的系統：

我們的模型是第一個能夠為決策提供自然語言理由並指向圖像中的證據的人。

研究人員開發了AI來回答關於圖像的簡單語言查詢。它可以回答關於給定場景中的對象和動作的問題。它通過描述它看到的內容並突出顯示圖像的相關部分來解釋它的答案。

它並不總是讓事情正確。在實驗過程中，人工智慧感到困惑，無法確定一個人是否在微笑，也無法分辨出一個人在使用吸塵器的人和一個正在使用吸塵器的人之間的區別。

但是，這是一個重點：當電腦出現問題時，我們需要知道原因。

為了達到任何可衡量的成熟度，AI的領域需要調試，錯誤檢查和理解機器決策過程的方法。神經網路發展並成為我們數據分析的主要來源時尤其如此。

為人工智慧展示其工作並以外行人員的角度解釋自己，這是一個巨大的飛躍，可以避免每個人似乎都很擔心的機器人啟示。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！