面臨決策，演算法和人類究竟誰更公平？數據顯示二者五五開

【獵雲網（微信號：ilieyun）】6月29日報道（編譯：小白）

編者註：法庭、銀行還有其他機構如今正在使用自動數據分析系統來決定你的人生，然而我們絕不應該將決策存在的偏見問題甩鍋給這些演算法設計者。

來看一篇駭人的報道。標題直述「機器偏見」，下面的導語接著寫道：「全國上下正在使用軟體來預測未來犯罪，然而該軟體對黑人帶有偏見。」

ProPublica是一個曾獲得過普利策獎的非盈利新聞組織，該組織分析了風險評估軟體COMPAS，一款用以預測哪些罪犯更容易再犯罪的軟體。基於這些預測，全美上下，法官在審判室內決定被告和罪犯的未來，決策類型從保釋金到量刑等所有均涉及在內。當ProPublica比較了COMPAS針對佛羅里達州某一縣超過1萬名拘押者的風險評估與這些人的實際再次犯罪情況時，他們發現，演算法「以幾乎相當的水平正確預測了黑人和白人被告的再次犯罪。」但是，如果演算法預測錯誤，則在黑人和白人之間存在較大差異。尤其是，「黑人被貼上高風險但實際上並未二次犯罪的概率幾乎是白人的兩倍。」並且，在正向決策錯誤方面，COMPAS似乎也偏向於白人：「他們比起黑人，更容易被標記為低風險，而實際上卻有二次犯罪行為。」

使用COMPAS這類系統到底是否合適，遠不止種族偏見這一個問題。美國最高法院很快將審理一個特殊的案子，一名威斯康辛囚犯宣稱他接受正當法律程序審判的權利因判決他的法官藉助了COMPAS而遭到侵犯。當然，其他存在於司法系統之外的自動決策（ADM）系統也有各種潛在的問題。根據在線性格測試，ADM系統幫助人們決策求職者是否適合這份工作。徵信演算法在你能否獲得按揭、獲得信用卡乃至成本效益最高的手機交易時都起到了極大的作用。

採用COMPAS這類的風險評估系統也並不一定就是糟糕的主意。很多情況下，ADM系統可以促進公平。人為決策有時候甚無條理以至於我們需要一定的監督來使其符合我們的正義標準。正如一項特別讓人不安的研究顯示，如果法官剛剛用餐休息結束的話，假釋委員會釋放罪犯的可能性大大上升。可能，這一點連法官自己都不曾想到。但是ADM系統可以識別這種矛盾並改進決策流程。

然而很多時候，我們對ADM系統是如何運作的沒有足夠的了解，無法知曉這些系統自行決策時究竟是不是比人類更加公平公正。部分原因在於，這些系統基於連繫統開發人員都不太清楚的潛在假設來進行選擇，因此很難說哪個系統存在偏見，哪個系統不存在偏見。並且，即便答案躍然紙上，正如ProPublica對COMPAS的結論，真相有時候要複雜得多。

我們應該怎麼做才能更好地處理ADM系統呢？如今，民主社會需要比眼下更多的監督來管理這些系統。AlgorithmWatch是一家柏林的非盈利辯護機構，由我和一名計算機科學家、一名法律哲學家，以及數名記者聯合成立，旨在幫助人們了解此類ADM系統的影響。「大多數ADM流程對於受其影響的人們來說都是『暗箱操作』，這一事實超出了自然規律，必須終結。」我們在宣言中如此說道。但是，我們對這一問題的看法不同於許多批評人士——因為我們擔心的是技術可能被不正當的妖魔化。重要的不僅是演算法設計者，還有社會，是他們賦予了ADM系統的價值判斷。

公平的度量

COMPAS根據調查問卷的回答來決定其風險等級，這份調查問卷涉及被告的犯罪記錄與對犯罪的態度。那麼，這個過程真的會產生帶有偏見的結果嗎？

繼ProPublica的調查之後，COMPAS背後的開發公司Northpointe否認了該篇報道，認為記者錯誤地理解了數據。三名刑事司法研究人員，其中包括一名來自司法改革機構的研究人員都與Northpointe持相同見解。到底誰對誰錯——記者還是研究人員？德國薩布魯爾根馬普研究所專門研究軟體系統的網路系統研究小組負責人Krishna Gummadi給出了一個令人詫異的回答：兩邊都對。

Gummadi在演算法的公平性方面有著大量深入研究，他表示ProPublica和Northpointe的結果互不排斥。但是他們的結果之所以不同在於其採用了不同的公平度量。

假設你正在設計一個能夠預測哪些犯罪分子會再次犯罪的系統。一個觀點是優化「真肯定」，意味著你將儘可能識別出高風險也確實犯下另外罪行的人。這種方法存在的一個問題是它同時也趨向於增加「假肯定」的數量——即人們可能會不公平地被歸類為再犯罪者。當然也可以改變度量來儘可能減少「假肯定」數量，但是這樣又會導致更多的「假否定」——也就是可能的再犯罪者會成為漏網之魚，獲得輕量刑。

提高真肯定的概率或降低假肯定的概率都是改進統計計量的一個方法，這種方法被稱為正預測值（PPV）——即所有肯定預測為真的百分比。

Gummadi指出，ProPublica比較了黑人與白人的假肯定與假否定概率，並且發現系統偏向於白人。與之相反，Northpointe則比較了不同種族的PPV，結果顯示概率水平相當。部分原因是黑人和白人的再犯罪概率確實有差異，但數學上可能的是，每組人群的肯定預測值將相似，而假否定概率則不相同。

這件事告訴我們的一個經驗是，我們的社會——立法者、法庭以及知情公眾——應當決定我們需要這些演算法傾向於哪種決策方式。我們主要感興趣的是寧可錯殺一萬不放過一個還是儘可能地不傷及無辜？我們應當如何取捨來保證公平公正並降低監禁的巨額社會代價？

無論度量的設置如何，任何演算法都將存在偏見——畢竟，它是基於一般統計數據而非某人的個體情況進行預測。但是我們已然可以使用這些系統來指導決策，這樣至少可以比人為的自行決策更加明知且公平。

圍繞紐約警察局實行的攔截盤查做法的爭議恰好幫助我們解釋了原因。2004年1月至2012年6月期間，在允許警官當街攔下行人以暫時扣留、盤問、搜身來檢查武器和其他違禁品的措施下，紐約市經常一共執行了440萬次攔截盤查。但事實上，「440萬次盤查中，88%無進一步行動——意味著大部分被攔截盤查的行人都是無辜的，」對此行為，《紐約時報》在一篇社論中進行了大肆批判。更惡劣的是：「被攔下盤查的人種，約83%為黑人或拉丁裔人，哪怕這兩大人群僅佔了社會一半人口。」這種通過數據分析反應出來的人為偏見，提醒我們ADM系統或可在司法正義中起到積極作用。如果使用合理，根據發現ProPublica用來分析COMPAS方法中的漏洞的三名研究人員Anthony Flores、Christopher Lowenkamp和Kristin Bechtel的說法，這些演算法可以「在我們這代人，乃至有生之年，提供一個機會，以科學方式改變數刑並釋放大量監禁者。」

但是，假設我們可以接受「如果設計合理，演算法或許可以讓我們的生活更加公平公正」，可是，我們又如何能夠知道演算法的設計是不是合理呢？

民主社會如今應當開始致力於研究並判斷他們究竟希望這些ADM系統有多透明。我們是否需要新的軟體法規來確保其可以被有效監督？立法者、法官以及公眾應該對演算法優先採取哪種公平度量發表意見。但倘若演算法實際上並不能夠反應這些價值判斷，那麼究竟應該指責誰呢？

歸根結底，如果我們真的希望有朝一日能利用演算法技術帶來的優越性，至少我們首先得解決上述難以解決的問題。

本文來自獵雲網，如若轉載，請註明出處：http://www.lieyunwang.com/archives/329423

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！