是否拘留，演算法說了算！加州全美首個廢除保釋金制度，用演算法評估取代

新智元AI WORLD 2018世界人工智慧峰會

倒計時13天

新智元將於9月20日在北京國家會議中心舉辦AI WORLD 2018世界人工智慧峰會，英偉達公司全球副總裁、中國區總經理張建中先生屆時將親臨會場並做《AI與自動駕駛》主題演講。

活動行購票二維碼：

新智元報道

來源：qz.com

編輯：肖琴

【新智元導讀】上周，加州州長簽署通過一項具有顛覆性的保釋金改革法案 ——取消保釋金制度，使用演算法評估是否拘押。加州將成為全美第一個禁止等待審判的嫌疑人用現金保釋的州，而演算法是否公平的問題也再次引發討論。

從2019年10月開始，加州將取消保釋金制度，在加州被控犯罪的人將使用一種演算法進行打分評估，而不再使用巨額保釋金作為自由的抵押品。然後，縣官員將根據演算法的打分決定被告是應該釋放，還是應該關進監獄。

上周，加州州長Jerry Brown簽署了一項顛覆性的保釋金改革法案SB 10，該法案要求使用一個演算法系統取代現金保釋。每個縣都必須建立一套系統，以確定嫌疑人在審判過程中逃跑或犯下另一項罪行的風險。該系統可以自行開發，或使用第三方承包商提供的系統，但必須在2019年10月的截止日期之前完成。

多年來，現金保釋制度一直被一些活動人士強烈抗議，這項立法讓民權組織大獲全勝。他們的論點是，現金保釋使司法處於一種不公平的競爭環境，將窮人關進監獄，同時允許有錢人或有資產的人避免坐牢。

但演算法風險評估使得這項新立法的實施細節變得更加重要——一些活動人士表示，現金保釋創造了一個掠奪性的保釋債券產業，另一些人則指出以往使用的演算法風險評估工具存在對有色人種的偏見。

保釋金制度催生了保釋金保險業（Bail Bonds）

「這是一個巨大的挫折，」民權活動組織「Silicon Valley Debug」的協調員Raj Jayadev說：「根據我們的分析，這將導致審前拘留增加。」

這是因為在整個刑事司法系統中用來評估風險分數的機器學習系統已經被證明存在嚴重的種族偏見，其評分認為有色人種更有可能再次犯罪。此外，由於私營公司通常簽約提供這些服務，機器學習演算法推導出的用於計算這些分數的公式通常被作為智力財產保留下來，這會讓競爭對手傾向於該公司的技術。

有研究證明用於評估再犯罪的演算法存在偏見（來源：propublica.org）

該法案的共同發起人和政策倡導者、西方法律與貧困中心（Western Center Law on Law & Poverty）的Jessica Bartholow表示，自該法案啟動以來，演算法風險評估的問題就一直在討論中，民權組織壓倒性地支持取消現金保釋。她認為，與Jayadev的預測相反，被審前拘留的人將會更少，以前被迫支付保釋金或相關法庭費用否則就被拘留的窮人，在新政策下或許不用支付也不用被拘留了。

Bartholow說，既然該法案已經通過，那麼就需要與政策制定者合作，確保風險評估的數據和方法是公平而且透明的。例如，在2023年將會實施一項審查，檢查新系統的偏見——但審判前在監獄中關上四年仍然是很長的時間。

加州議員辦公室證實仍有細節需要解決：州參議員Robert Hertzberg已經承諾將推動新的立法，以確保風險評估工具的透明度。在8月舉行的州議會聽證會上，參議院預算委員會主席Holly Mitchell 同意共同起草該法案。

專註於研究人工智慧社會影響的非營利智庫AI Now的政策主管Rashida Richardson表示，她疑慮這個系統會比以前的系統更加偏見。

「很多基於演算法的刑事司法系統都依賴於通過刑事司法系統收集的數據。警官、緩刑犯監督官、法官等等，刑事司法系統的所有參與者都不是數據科學家，」Richardson說。「因此，你收集的數據就存在缺陷，存在許多與刑事司法系統相同的偏見。」

但是在數據和所採用因素的開放性方面有一些變化：Jayadev表示，活動人士已經迫使一些公司在計算風險評分時披露有哪些影響因素，例如嫌疑人之前的犯罪記錄和所犯罪行的嚴重程度，但沒有公開每個因素對最終風險評分的影響程度。當風險評估演算法有超過100個影響因素時，缺乏透明度會導致很難判斷演算法認為有影響的因素是否與種族、性別或任何其他受保護的人口統計學特徵有關。

在2023年進行審查之前，很難確定這一法案的實際影響。

Bartholow說：「如果我們最終得到的是一個黑盒子一樣的評估工具，而無法運行數據，不能迅速地對計算機系統進行修改，那麼我們就會屈服於演算法，這個演算法我們無法改變，也無法真正理解。」

新智元AI WORLD 2018世界人工智慧峰會

倒計時13天

門票已開售！

新智元將於9月20日在北京國家會議中心舉辦AI WORLD 2018世界人工智慧峰會，邀請機器學習教父、CMU教授 Tom Mitchell，邁克思·泰格馬克，周志華，陶大程，陳怡然等AI領袖一起關注機器智能與人類命運。

大會官網：

http://www.aiworld2018.com/

活動行購票鏈接：

http://www.huodongxing.com/event/6449053775000

活動行購票二維碼：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！