AI演算法透明不是必須，黑箱和可解釋性可簡化為優化問題
新智元編譯
來源：nytimes、wired
作者：Vijay Pande、David Weinberger
【新智元導讀】由於AI演算法內部的運作往往是不透明的，AI的黑箱問題和可解釋性問題越來越受到關注。《紐約時報》和《連線》最近的兩篇文章認為，AI的黑箱並沒有那麼可怕，我們不需要要求演算法必須透明，甚至為了可解釋性犧牲AI系統的能力，相反，將其視為一個優化問題更可行。
AI演算法對人類生活的影響越來越大，但它們內部的運作往往是不透明的，人們對這種技術的工作方式也愈加感到擔憂。MIT科技評論曾經發表一篇題為「人工智慧中的黑暗秘密」的文章，警告說：「沒有人真正知道先進的機器學習演算法是怎樣工作的，而這恐將成為一大隱憂。」由於這種不確定性和缺乏問責制，紐約大學AI Now Institute的一份報告建議負責刑事司法、醫療保健、社會福利和教育的公共機構不應該使用AI技術。
輸入的數據和答案之間的不可觀察的空間通常被稱為「黑箱」（black box）——名稱來自飛機上強制使用的飛行記錄儀「黑匣子」（實際上是橙色的，而非黑色），並且經常在空難事故後用於向調查人員提供有關飛機當時運作情況的數據。在人工智慧領域，這個術語描述了AI技術如何在「暗處」運作的景象：我們提供數據、模型和架構，然後計算機給出答案，同時以一種看似不可能的方式繼續學習——顯然對於我們人類來說，這太難理解了。
黑箱沒有什麼可怕的
在醫療領域，這個問題尤其被關注。AI被用於區分哪些皮膚病變是癌變，從血液中識別早期癌症，預測心臟疾病，確定人和動物的哪些化合物可以延長壽命，等等。但是，對黑箱的這些擔憂是不必要的。AI的透明程度並不亞於醫生一直以來的工作方式——在許多情況下，AI甚至是一種進步，它增強了醫院的能力，對病人和整個醫療系統都有積極的作用。畢竟，對於新技術來說，AI的黑箱問題並不是一個新問題：人類智能本身就是一個黑箱，而且一直都是。
讓我們來看一個人類醫生做診斷的例子。病人可能會問醫生她是如何做出診斷的，醫生可能會說出一些她用來得出結論的數據。但她真的能夠解釋她是如何、以及為什麼得出這個結論嗎,她從哪些研究中得到哪些具體數據,她從所受的教育或導師那裡得到了什麼影響,她從自己以及同事的共同經驗中得到哪些隱性知識，以及所有這些的結合如何引導她得出那個診斷?當然，她可能會說出引領她往某個特定方向走的某些指示，但這也會有猜測的成分，有跟隨直覺的成分。即使沒有，我們也仍然不知道有沒有什麼其他因素是她自己甚至沒有意識到的。
如果使用AI進行同樣的診斷，我們可以從該患者的所有可用信息中獲取數據，以及在不同時間和從其他無數同類患者身上匿名收集的數據，用以做出最有力的基於證據的決策。這是一種與數據直接相關的診斷，而不是基於有限數據的人類直覺，或者相對少的局部患者的診斷經驗總結。
但是，我們每天都必須在很多我們並不完全了解的領域做決策——並且通常都非常成功——從預測政策對經濟的影響到天氣預報，再到我們最初接觸大部分科學的方式。我們要麼認為這些決策非常簡單，要麼接受它們過於複雜以至我們無法解決，更不用說完全解釋它們了。這就像AI的黑箱：人類的智慧能夠針對一個給出的結論進行推理和論證，但無法解釋我們得出一個特定結論的複雜、隱含的過程。試想一下一對夫妻因某個明確的原因（例如，不忠）而離婚這個問題——在現實中，有許多完全看不見的、錯綜複雜的原因、影響和事件共同促成了這一結果。為什麼這一對夫婦選擇分手，而另一對類似情況的夫婦卻沒有?即使是處於這些關係中的人也無法完全解釋這個問題。這是一個黑箱。
AI的黑箱更多是一個特徵，而不是一個bug
具有諷刺意味的是，與人類智能相比，人工智慧實際上更加透明。與人類的思維不同，人工智慧可以——也應該——被審問和被解釋。例如檢查和改進模型的能力，揭示深度神經網路中的知識差距，必須要構建的調試工具，以及通過腦機介面增強人類只能的潛在能力，等等，有許多技術可以幫助解釋人工智慧，而這些解釋AI的方式無法用於解釋人腦。在這個過程中，我們甚至可以更多地了解人類智能的運作方式。
也許批評者們擔憂的真正原因不是我們無法「看到」AI的推理過程，而是當AI變得愈加強大時，人類的心智就變成了限制因素。他們擔心的是，在未來，我們需要利用AI去理解AI。在醫療領域以及其他領域，這意味著我們很快就會看到一個新類別的專業人士的出現，他們自己不必去做即時的決策，而是管理一個AI工人去做決策——就像商用飛機的駕駛員在惡劣的天氣條件下使用自動駕駛儀降落一樣。醫生將不再「主導」初始診斷；相反，他們需要確保AI系統對患者的診斷是相關的和易於理解的，並監督AI在何時以及如何提供更多的說明和解釋。未來的醫生辦公室很可能有多名計算機助理，包括醫生方面的和病人方面的，以及來自外部的數據輸入。
當這種情況成為現實時，顯然，所謂的人工智慧「黑箱」將更多是一種特徵，而不是一個bug——因為它相比人類的大腦更能夠理解和解釋決策的過程。這並沒有否定或忽視對AI進行監督的需求，只是說與其擔心黑箱，我們更應該關注機會，從而更好地應對這樣一個未來：AI不僅增強人類智能和人類直覺，而且甚至可以啟發人之本質。
不要為了可解釋性犧牲AI的能力
當前的AI系統可能會發生一些故障，例如使自動駕駛汽車遭遇事故，或在用於司法時對黑人判處相比白人更長的刑期。我們會知道這些，是因為AI已經在這些方面出現了錯誤。但是，這並不意味著我們應該堅持AI需要解釋它在任何情況下如何做決策，包括歐盟的「一般數據保護條例」（GDPR）也如此要求。
要求可解釋性聽起來不錯，但實現它可能需要讓AI人為地變蠢。機器學習有如此強大的使用前景，縮減AI的能力可能意味著無法診斷疾病、無法發現氣候變化的重要原因，等等。充分利用機器學習的能力意味著必須依賴那些現在無法向人類大腦解釋的結果。
機器學習，特別是深度學習，可以將數據分析成數以千計的變數，將它們排列成非常複雜而敏感的加權關係數組，然後通過基於計算機的神經網路反覆運行這些數組。要想理解這些運行的結果，例如為什麼系統認為有73％的幾率患上糖尿病，或者在象棋中走這步棋有84％的幾率能導致最終勝利，這就需要理解這些成千上萬的變數之間的關係，這些變數是通過大量的神經網路計算得出的。我們的大腦根本無法掌握這麼多的信息。
可解釋性是工具：我們用這些工具來達成目標。通過機器學習，可解釋性能夠幫助開發人員debug。可解釋性也可以用來判斷一個結果是否基於不應該計數的因素（例如性別，種族等，取決於具體情況）來評估責任。但是，我們可以通過其他方法來實現預期的效果，而不用約束機器學習系統的能力。
一個很有前景的工具是優化（optimization）。例如，在20世紀70年代石油危機期間，美國政府決定將限速降至55英里/時，從而優化高速公路。同樣，政府也可以決定對自動駕駛汽車進行優化。
AI系統需要對針對某個目的的優化及其結果保持透明，特別是對我們希望它們支持的一些關鍵值保持透明。但是不一定要求演算法是透明的。如果一個系統沒有達到它的目標，就需要對它進行調優。如果達到了目標，可解釋性就不是必要的。
通過將AI的可解釋性問題視為優化問題，我們可以將爭論集中在真正重要的問題上：我們想從一個系統中得到什麼，我們願意放棄什麼來得到它？
加入社群
新智元AI技術+產業社群招募中，歡迎對AI技術+產業落地感興趣的同學，加小助手微信號: aiera2015_1 入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名-公司-職位；專業群審核較嚴，敬請諒解）。
此外，新智元AI技術+產業領域社群(智能汽車、機器學習、深度學習、神經網路等)正在面向正在從事相關領域的工程師及研究人員進行招募。
加入新智元技術社群 共享AI+開放平台
TAG:新智元 |