專家觀點-公共事業部門使用演算法決策所需遵循的十大原則
政府人工智慧的興起
越來越多的政府和公共事業部門採用人工智慧工具和技術來協助他們開展工作，比如交通燈管理系統，該系統可以讓救援人員更快到達目的地；以及聊天機器人，它們可以回復政府網站查詢。
最有可能引起市民擔憂的AI的應用是：將機器學慣用於創建演算法，這種演算法可以實現自動化，或者協助公共部門工作人員進行決策和評估。一些用演算法完成的決策和評估產生的影響可能會微不足道，例如是否對某些停放的車輛進行罰款；但也有一些決策可能會帶來很大的影響，例如是否給個別議員提供住房。因此，這些決定背後的邏輯關係需要嚴肅對待。
目前，城市已經做了大量的工作，以鼓勵或要求使用數據和分析技術。例如，英國政府的數據科學倫理框架概述了數據科學計劃的六個原則：1）有明確的用戶需求和公共利益；2）使用數據和工具時儘可能減小損耗度；3）創建穩健的數據科學模型；4）對公眾的意見保持警覺；5）儘可能公開和可信；6）保持數據安全。
同時，數據保護方面的法律規定了關於使用個人數據的某些做法。歐盟的《通用數據保護條例》（General Data Protection Regulation, GDPR）也將於2018年5月25日生效，負責收集或處理個人數據的組織將承擔更大的義務。GDPR還將「解釋權」納入其中，即用戶可以要求相關組織解釋他們所做出的演算法決策。
但這樣就足夠了嗎？
包括微軟在內的一些組織建議，數據科學家應該簽署類似於希波克拉底氏誓言（立誓拯救人命及遵守醫業準繩）之類的數據宣言，保證他們不會濫用相關技術。
有關「為私營部門創造更健全的實踐守則的利弊」的討論可能會繼續下去，政府和公共部門將會完成更好的實踐案例。畢竟，個人可以選擇不使用企業服務，因為他們不信任企業獲得的數據，而對於某些服務和功能他們並沒有選擇權，因為國家是唯一的提供者。正如Robert Brauneis和Ellen P. Goodman所寫的那樣，「在公共部門，演算法決策的不透明性尤其成問題，因為在一方面，政府做出決策的比重很大，在另一方面，由選民選出的政府需要為決策帶來的影響承擔責任。」
非常感謝Harry Armstrong，Geoff Mulgan和Nevena Dragicevic對本草案早期版本的反饋。
注意：在下文中，我有時會提到組織發布各種細節的必要性。理想情況下，這需要直接向市民發布信息。然而，在某些情況下，直接發布信息是不可能的也是不可取的，例如用演算法來檢測欺詐。考慮到這些情況，我建議可以向審計人員提供相同的詳細信息，這些審計人員可以確保相關標準的遵守情況。審計人員可能來自數據保護部門，比如英國信息專員辦公室；也可能來自不同公共部門的既定監管團隊。
公共部門演算法決策標準規範
1 -公共部門組織使用的每種演算法都應附帶說明其功能、目標和預期影響，並提供給使用該演算法的人員。
例如，在2016年1月至2017年12月期間，基於對過去已知的無證房屋（HMO）的物理特徵進行分析，該演算法需要評估位於加迪夫的某一房產屬於無證房屋的可能性。其目標是協助當地建築部門檢查員確定應優先進行風險檢查的財產。預計這一演算法的影響是使被檢查的高風險房產的數量增加，這些房產將標記為無證房屋。
理由：如果我們要求公共部門的工作人員負責任地使用演算法來補充或取代他們決策的某些方面，那麼工作人員必須清楚地了解他們打算做什麼，以及他們可能在什麼情況下應用演算法。在上面的例子中，建築檢查員應該清楚，該演算法沒有考慮財產所有權的細節，而只是基於過去兩年的在卡迪夫所記錄下的案例。通過使用第一條標準，他們可以了解所做決定和行動的優勢和局限性。
問題：我們如何在簡單的語言和準確描述演算法的工作方式之間取得恰當的平衡？我們是否也應該對在給定過程中引入指定演算法的位置提出一些要求？
2 -公共部門組織應公布有關演算法的詳細數據，包括演算法的演進（或者持續的發展過程），創建過程中使用的假設，以及降低潛在偏差的風險評估。
理由：公共部門組織應該證明他們已經考慮了演算法數據中不可避免的偏差，以及考慮了模型中使用的假設。完成這一步之後，他們應該概述已經採取的措施，以減輕可能出現的任何負面影響，展示他們對演算法潛在影響的理解。風險評估的長度和細節應與對個體產生負面影響的可能性和潛在嚴重程度有關。
問題：在公共部門進行有效部署的情況下，基於其可能出現的消極影響，應該在哪一環節進行風險評估？
3 -演算法應該按1-5的演算法風險等級進行分類，其中，5指的是那些對個人的影響可能非常高的演算法，而1指的是影響非常小的演算法。
理由：鑒於公共部門對演算法的使用越來越多，工作人員只能審計其中的一小部分。通過應用演算法風險量表（基於針對原則2進行的風險評估），公共部門組織可以幫助審計人員將注意力集中在可能造成最大傷害的演算法上。
問題：如何分類這樣的量表？誰來評估某個演算法應該被歸類為什麼級別？
4 -應該製作一張列表，上面記錄下利用演算法進行決策所需輸入的條件，並將該列表應公布出來。
理由：由於一些原因，演算法所使用的數據透明度十分重要。首先，檢查演算法是否按照一些不恰當的因素進行分類（例如按種族或宗教來分類）。其次，要確保演算法不能使用代理措施，防止第三方從其他數據推斷出個人信息（例如根據其姓名或原籍國猜測某人的宗教）。第三，確保所使用的數據是市民認可的數據，從而支持《數據科學倫理框架》的第二條和第四條原則：即「使用數據和工具時儘可能減小損耗度」和「對公眾的看法表示警覺」。
5 -如需全程或部分使用演算法時，必須告知市民。
理由：對於市民來說，他們有理由抱怨他們認為不公平的演算法決定(例如，他們無法享受譯員住房或在緩刑方面的權利)，他們需要知道哪些決定用到了演算法。這可能和申請新信用卡時需要接受信用檢查類似。
問題：在哪些情況下這一標準具有合理性？相比人為決策的標準，這是否會錯誤地提高人們對演算法標準？
6 -每個演算法都應該有一個相同的沙盒版本，以供審計人員測試不同輸入條件的影響。
理由：有人建議，政府和公共部門使用的演算法代碼應該公開，以便審計人員可以評估和驗證演算法的邏輯和功能。
目前這一標準還難以付諸實踐，其原因在於以下四個方面：第一，現代演算法的複雜性使得沒有足夠的人理解代碼。第二，神經網路中沒位置可供代碼進行決策。第三，使用機器學習的演算法會根據新的輸入條件來調整其代碼。第四，公共部門使用的每種演算法不可能都是開源的； 一些黑匣子的優先系統似乎難以規避。
審計員應該擁有在演算法中運行不同輸入條件的能力，並確認其是否滿足要求。如果在實時系統中無法做到這一點，那麼應該要求運行相同代碼的沙盒版本。且測試應重點關注原則3提到的演算法風險量表中開頭的幾種演算法。
7 -當藉助第三方的力量進行創建或運行演算法時，公共部門組織只能購買滿足原則1-6的第三方服務。
理由：鑒於所需的專業技能，大多數公共部門組織可能需要聘請外部專家來開發演算法，或者付費給那些提供演算法以完成解決方案的機構。為了維護公眾的信任，在採購過程中需要注意第三方必須滿足相關的標準和原則。
8 –要有專人對演算法做出的決策負責。
理由：這是一種強有力的方式，以確保每個組織的領導層都有強大的發展動力，讓他們在充分了解演算法對個人的影響和功能後，能夠更好地利用演算法進行決策。
問題：這種要求是否會阻礙公共部門機構嘗試演算法？我們是否能夠並且也應該能夠區分演算法決策和由此產生的結果？
9 -在高風險領域採用演算法決策的公共部門，應該簽署一項專門的保險計劃，向因演算法錯誤決策而受到負面影響的個人提供補償。
理由：假設有些人會受到演算法決策結果的負面影響，公共部門機構應該建立新的保險計劃，以確保市民能夠得到適當的補償。
10 -公共部門應該評估他們在決策中使用的演算法的影響，並公布結果。
理由：最後的評估工作至關重要，主要有以下三個原因：第一，要確保按照原則一中規定的功能和目標使用該演算法。第二，幫助組織了解演算法的優勢和局限性，以便改進演算法。第三，確保最佳實踐的例子能夠更好地在整個公共部門得到驗證、提煉和傳播。
公眾號背景
全球智慧城市聯盟是由TM Forum主辦的微信公眾號，該公眾號旨在報道全球智慧城市建設最新進展，分享全球智慧城市最佳實踐和案例，介紹全球智慧城市解決方案優秀案例，展示全球智慧城市城市風采。
全球智慧城市聯盟旨在引入TM Forum原創文章和全球智慧城市領域頂級文章，分享給全國智慧城市管理者、設計者和建設者。同時，我們也積極推廣來自中國的建設經驗並翻譯成英文，以電子周刊方式通過TM Forum官方渠道分享給全球讀者。
如何把這篇文章分享給好友？?
如何能收到來自TMForum中國的最新資訊？?
TAG:全球智慧城市聯盟 |