過去五年，達勒姆警察局和計算機科學(xué)家們一直在開發(fā)“危害風險評估工具”（簡稱HART）两曼。HART是一個人工智能系統(tǒng)皂甘，它可以預(yù)測犯罪嫌疑人兩年內(nèi)再犯的概率是較低、中等還是較高瞳胸。

HART是英國警方最先采用的人工算法之一哪峰。它不直接決定是否羈押犯罪嫌疑人，而是意在幫助警察決定是否將某個人列入一個叫做“Checkpoint”的康復(fù)計劃节拷。這個康復(fù)計劃的初衷是調(diào)停訴訟守搬，防止嫌疑人被送上法庭。

HART系統(tǒng)用到了34項個人數(shù)據(jù)（包括年齡啦掸、性別和犯罪史等）來評估犯罪風險的高低杰趾，其中包含了郵政編碼。不過警方目前正在剔除該AI系統(tǒng)中的郵政編碼信息的主要字段匀象，比如刪除達勒姆郵政編碼的前四位數(shù)稀销。2017年9月發(fā)表的一篇學(xué)術(shù)論文草案在回顧對這項算法的使用時寫道：“HART目前正在接受數(shù)據(jù)更新，目的是刪除兩個與郵政編碼相關(guān)的預(yù)測指標中的一個祟放。”這篇論文的聯(lián)合作者之一是一位警方成員澳踱。

愛丁堡納皮爾大學(xué)犯罪司法系統(tǒng)專家Andrew Wooff說道：“我對于將郵政編碼前幾位作為預(yù)測指標心存憂慮。”他補充說衡喧，將地域和社會人口統(tǒng)計信息等作為預(yù)測指標癣彩，會加深警務(wù)決策和司法系統(tǒng)中的偏見。“如果系統(tǒng)預(yù)測某個郵編對應(yīng)的地區(qū)具有犯罪高發(fā)風險帚屉，而且警方據(jù)此采取了行動谜诫，無疑會放大這種認知。”

這篇即將發(fā)表的學(xué)術(shù)論文攻旦，首次對HART進行了認真的審視喻旷。它指出，郵政編碼和社區(qū)的貧困程度可能有一定的相關(guān)性牢屋。住址信息之所以會成為預(yù)測犯罪的相關(guān)指標且预，可能是人為造成的結(jié)果。如果把郵政編碼作為建立再犯模型的依據(jù)烙无，那么這個模型就會使犯罪高發(fā)地區(qū)的居民備受關(guān)注锋谐。這篇論文強調(diào)遍尺，真正令人擔憂的不是模型本身，而是用來構(gòu)建模型的預(yù)測因子涮拗。

該論文還強調(diào)乾戏，“人類和算法的預(yù)測觀念存在明顯的分歧。”在該算法的初始實驗階段三热，警方成員被要求模仿算法的輸出結(jié)果鼓择，預(yù)測一個人的再犯幾率是較低、中等還是較高澈嘱。差不多三分之二的情況下（63.5％）的讯，警員將罪犯的再犯幾率歸類為中等。論文中寫道伊了，“模型和警員預(yù)測的吻合率只有56.2％误反。”

就修改算法一事，外媒WIRED聯(lián)系了達勒姆警察局栅刚，但截至發(fā)稿時間尚未收到對方答復(fù)奠钾。

剖析HART算法的內(nèi)在機制

“您被邀請參加一項研究計劃”，一位達勒姆警官手中的邀請函這樣寫道慈哗。他被告知浮两，“這項研究將徹底改變你的生活”，如果這項研究獲得成功筋悴，罪犯們將永不再犯俩食。

Checkpoint計劃是達勒姆警察局和劍橋大學(xué)聯(lián)合主導(dǎo)的一項實驗。這項實驗希望通過研究為什么有些人會吸毒暖悦、酗酒菊碟、無家可歸和出現(xiàn)心理問題來降低再犯罪率。

Checkpoint計劃的研究對象由HART算法來提供在刺。如果某人被HART算法判定為具有中等再犯幾率逆害，就會被列入Checkpoint計劃。而被系統(tǒng)判定為具有較低或較高再犯風險的人蚣驼，則不會被列入計劃魄幕。

弗吉尼亞大學(xué)公共政策與經(jīng)濟學(xué)教授Jennifer Doleac說道：“人們的生活被現(xiàn)狀所擾，但有沒有一種更好的處理犯罪的方式呢颖杏，這種方式更加公平纯陨，讓我們更加接近社會目標？”Checkpoin計劃曾被霍華德刑法改革聯(lián)盟授予獎項留储，后者稱贊了它試圖讓人們免受司法體系困擾的嘗試翼抠。

HART是一個使用R編程語言，通過隨機森林進行決策的機器學(xué)習(xí)系統(tǒng)获讳。所謂隨機森林机久，是指一種基于一系列不同輸出進行預(yù)測的方法臭墨。

HART所做的每一個決策都是建立在歷史數(shù)據(jù)之上的，它通過分析歷史數(shù)據(jù)來預(yù)測未來犯绪。達勒姆警察局向HART的第一代模型提供了2008-2012年期間的104000起羈押時間的詳細信息。它從這些信息中提取出了包括位置數(shù)據(jù)在內(nèi)的34個預(yù)測因子珠技，并據(jù)此預(yù)測每個人的再犯幾率骑失。HART的所有預(yù)測結(jié)果都是通過系統(tǒng)內(nèi)部的509個投票得出的，投票分為低嘲本、中荞扒、高三個選項。

這項研究由達勒姆警察局的刑事司法主管Sheena Urwin領(lǐng)導(dǎo)灌饵，他發(fā)表的研究成果顯示窟蝌，HART系統(tǒng)在真實世界中是行之有效的。HART系統(tǒng)的早期版本曾經(jīng)預(yù)測一個24歲的男子具有高再犯幾率粹龄。該男子有過暴力犯罪史锉潜，警方掌握了他的22條犯罪記錄。HART系統(tǒng)內(nèi)部投票時有414票投給了高再犯幾率插驾，另有87票和8票分別投給了中等再犯幾率和低再犯幾率摹色。后來該男子果然因為謀殺而被捕定罪。

以算法為執(zhí)法依據(jù)

雖然人工智能在警察和執(zhí)法機構(gòu)中的應(yīng)用仍處于早期階段篇裁，但對有志于開發(fā)AI算法系統(tǒng)的警察機構(gòu)來說沛慢，這個過程中已經(jīng)暴露出了很多值得警惕的問題。

Pro Publica 2016年的一項調(diào)查研究曾被廣泛引用达布，該調(diào)查顯示团甲，Northpointe開發(fā)的COMPAS軟件對黑人犯罪持有偏見。

喬治梅森法學(xué)教授Megan Stevenson在研究風險評估算法Kentucky的作用時發(fā)現(xiàn)黍聂，該算法并沒有起到多大的作用躺苦。通過分析一百多萬起刑事案件的資料，Stevenson得出結(jié)論分冈，“它既沒有帶來風險評估算法的擁躉們所期待的效率提升圾另，也沒有像批評者們預(yù)言的那樣加深種族歧視。”研究結(jié)果還顯示雕沉，法官們使用Kentucky系統(tǒng)的風險評估法的時間越長集乔，他們就越傾向于回到自己原有的工作方法和模式。

為了避免人類的種族和社會歧視滲透到HART算法當中坡椒，達勒姆警察局專門為員工舉辦了圍繞“無意識歧視”的宣傳講座扰路。警方還強調(diào)，這項算法所使用的預(yù)測因子中并不包含種族倔叼，而且算法輸出的結(jié)果只是一種輔助聘银，它的目的在于幫助人類更好地作出決策篇惧。2017年12月，Urwin向國會議員解釋道：“雖然我不能告訴你具體的數(shù)字替独，但警員們確實不會完全按照算法的預(yù)測行事蔫婉，因為預(yù)測并非全部和最終的參考依據(jù)，它只是一種輔助而已衬蚤。”

愛丁堡納皮爾大學(xué)的Wooff教授則表示孕赫，出于時間緊迫和集約資源的考慮，警方可能會讓警員們過度依賴AI生成的決定砌纸。他說道：“我可以想象玉惫，警員們可能更依賴于系統(tǒng)的決策而不是自己的思考。” Wooff教授認為民议，書面記錄對需要做決策的警員們或許有所幫助计灌，“這部分是因為，一旦出現(xiàn)了問題迂腔，你可以為自己的決策辯護钟牛。”

另一項聚焦于COMPAS軟件的準確性的研究發(fā)現(xiàn)，它和沒受過專業(yè)訓(xùn)練的人類做出的決策沒什么不同景殷。這項研究的作者之一Julia Dressel說道：“COMPAS的預(yù)測并不比那些幾乎沒有任何刑事司法經(jīng)驗的人溅呢，基于在線調(diào)查做出的預(yù)測更加準確。” Julia Dressel現(xiàn)在已經(jīng)成了一名蘋果工程師猿挚。

Dressel和達特茅斯學(xué)院教授Hany Farid付費讓人們使用亞馬遜的Amazon Mechanical Turk網(wǎng)站咐旧，預(yù)測罪犯是否會再次犯罪，并將預(yù)測結(jié)果和COMPAS的結(jié)果相比較绩蜻。結(jié)果顯示铣墨，人類和算法的預(yù)測準確率都在67%左右。Dressel說道：“我們不能憑空想象办绝，認為一個工具運用了大數(shù)據(jù)就能準確地預(yù)測未來伊约。我們需要讓它達到非常高的標準，而且要對它進行測試孕蝉，讓它證明自己確實像標榜的那般準確有效屡律。”

開誠布公，接受公眾監(jiān)督

達勒姆警察局的算法是一個“黑箱”降淮，系統(tǒng)無法完全解釋自己是如何做出決策的超埋，我們只知道它是基于模型內(nèi)部的超過420萬個數(shù)據(jù)點。2017年9月铝三，對HART的總結(jié)和反思得出一個結(jié)論淑免，“不透明度似乎無可避免”。目前HART系統(tǒng)僅接入了達勒姆警局的數(shù)據(jù)，未來它可能還會接入地方議會或英國警察國家數(shù)據(jù)庫中的數(shù)據(jù)暑礼。

為了規(guī)避算法不透明的問題疚线，警方創(chuàng)建了一個框架，框架規(guī)定了算法該在何種情況下被使用硅拆。這個框架被稱為“算法注意事項”背渤，里面說道，算法必須是合法栗衍、準確恒猴、可挑戰(zhàn)、負責人和可解釋的幸瓢。

AI Now研究所的技術(shù)人員Dillon Reisman說道：“問責不能只是一個核對清單。很高興看到他們制定了“算法注意事項”窿猿，但他們還應(yīng)該思考優(yōu)先使用算法是否恰當冀泻。” AI Now研究所主要的做事情是研究人工智能對于社會產(chǎn)生的影響。

警方拒絕公布HART的底層代碼蜡饵，認為這不符合大眾的利益弹渔，而且有可能將這個系統(tǒng)扼殺于研究階段。不過溯祸，警方表示他們愿意將底層系統(tǒng)交給中央組織肢专。

“達勒姆警察局將準備好向算法監(jiān)管機構(gòu)公開HART算法和相關(guān)的個人數(shù)據(jù)及羈押數(shù)據(jù)集，”警方被問及數(shù)據(jù)公開問題時如此回應(yīng)道焦辅。

Reisman認為博杖，僅僅公開這些數(shù)據(jù)還不夠，因為“光看代碼無法對算法進行評估”筷登。他說道：“你還等知道人們是如何根據(jù)算法的決策采取行動的剃根。”

在這些發(fā)生之前，AI警務(wù)系統(tǒng)的有效性仍值得商榷前方。2017年9月狈醉，一份由Urwin參與寫作的關(guān)于HART的審查報道，重點關(guān)注了算法預(yù)測是否完全適用惠险，以及種族等相關(guān)數(shù)據(jù)是否應(yīng)該被納入警務(wù)系統(tǒng)這兩大課題苗傅。

COMPAS分析報告的聯(lián)合作者說道：“根據(jù)以往的行為準確預(yù)測一個人未來兩年會做些什么是非常困難的。如果你無法做到那樣高的準確率燎拟，那么就應(yīng)該放棄這種方法靶疟，轉(zhuǎn)而尋找其他更簡單的途徑，并在公民的自由和社會穩(wěn)定之間尋找平衡辰想。”