Vestager advarer mod predictive policing

2. juli 2020 kl. 06:1013
Vestager advarer mod predictive policing
Illustration: Steen Brogaard.
Borgerretsorganisationer har efterlyst et reelt forbud på predictive policing.
Artiklen er ældre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

AI-baserede systemer til predictive policing, som forstærker eksisterende diskrimination mod etniske minoriteter, hører ikke hjemme i EU.

Sådan lyder budskabet fra EU-kommissær Margrethe Vestager i en keynote leveret ved European Ai Forum tirsdag, skriver Euractiv.

»Ordentligt udviklet og anvendt, kan [AI] udrette miakler både for vores økonomi og vores samfund. Men kunstig intelligens kan også gøre skade,« sagde Vestager i sin tale.

»Immigranter og personer der tilhører en bestemt etnisk gruppe kan blive mål for teknikker til predictive policing, som henleder ordensmagtens opmærksomhed til dem. Det er ikke acceptabelt,« fortsatte Margrethe Vestager.

Artiklen fortsætter efter annoncen

Predictive policing går grundlæggende ud på at forudsige, hvor der vil opstå kriminalitet og prioritere politiets ressourcer derefter. Problemet med værktøjet er grundlæggende, at de bliver selvopfyldende profetier.

Fordi modeller trænes på data om kriminalitet, som er skabt af politiet, vil systemet meget nemt kunne overtage evt. bias, der måtte herske i politiarbejdet, og på den måde eksempelvis forstærke tendenser til at anholde flere personer fra bestemte etniske grupper.

Bredt andvendt i Storbritannien

Borgerretsorganisationen Access Now har allerede efterlyst et decideret forbud mod predictive policing.

»Ingen sikkerhedsforanstaltninger kan gøre generel biometrisk overvågning eller predictive policing acceptabelt, retfærdiggjort eller kompatibel med menneskerettigheder« lyder det i en udtalelse fra Fanny Hidvegi, der er Europe Policy Manager ved Access Now.

Artiklen fortsætter efter annoncen

Lobbygruppe European Digital Rights har i samme boldgade kaldt predictive policing for en type AI-anvendelse, der ikke kan tillades.

Ikke desto mindre har politiet i Storbritannien i stor stil taget predictive policing til sig. En rapport fra 2019 fra borgerretsorganisationen Liberties viser, at teknikken bliver brugt over hele landet til at forudsige, hvor kriminalitet vil finde sted, samt hvem der vil begå den.

EU kom tidligere på året med et white paper for regulering af AI. Her lægger unionen blandt andet op til at skelne mellem regulering af AI, der indebærer høj eller lav risiko for de mennesker, der bliver berørt. Under et sådant regelsæt vil systemer til predictive policing skulle leve op til forskellige krav som f.eks. reduceret bias.

13 kommentarer.  Hop til debatten
Denne artikel er gratis...

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.

Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.

Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.

Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.

Tophistorier

Debatten
Vær med til at skabe en god debat ved at følge vores debatregler.

For at deltage i debatten skal du have en profil med adgang til at læse artiklen. eller opret en bruger.
settingsDebatvisning
13
4. juli 2020 kl. 16:53
Predictive policing - forvrænger

Predictive policing baseres på AI modeller, der "trænes" på data om kriminalitet, som er skabt af politiet.

Det er ikke en kritik som antyder at politiet forvrænger indsamlingen af data.

Men politiet vil som udgangspunkt altid gå efter den lette "catch". Måske er det mest enkelt at finde kriminalitet i de områder som allerede er stemplet som en getto. Med predictive policing vil man så i endnu højere grad rette focus mod disse områder som en skrue - næsten - uden ende.

Til gengæld vil man opdage mindre kriminalitet i Nr. Snede og i Hellerup.

Og hvad med den langt sværere økonomiske kriminalitet?

12
3. juli 2020 kl. 13:46
Hvorfor AI ikke altid er løsningen

Hvorfor AI ikke altid er løsningen? Hvad med at spørge almindelig dødelig i stedet for at spendere flere milliarder på at sætte en AI kasse op.

Tag blot denne her Ingemann (Badabing bar)

Du ligner en der vil røve en bank hvis havde et våben.</p>
<p>Du ligner en der vil røve en hel befolking hvis du havde en. bank.

Så, hvem er balademageren? Det kunn jo så være bank direktøren, eller en politikere.

11
3. juli 2020 kl. 12:31
Re: Uheldig formulering

Og så er ideen med forsikring stendød.

Det er faktisk ret tragisk.

Oprindelig da man fandt på forsikringer var det lige præcis det at alle samlede sammen til en pulje, således at individdet var sikret mod en hændelse det ikke alene havde økonomien til at afhjælpe.

I Danmark var det Københavns brand i 1728 der satte gang i udviklingen, og som følge af de store ødelæggelser stiftes Danmarks første brandkasse på kongelig forordning. Brandkassen skulle sikre folket økonomisk, hvis katastrofen opstod igen.

Sådan set kan man sammenligne forsikring med en slags samfund i samfundet, hvor kollektivet sikrer den enkelte, enten gennem en forsikringspræmie, eller skat - desværre er stærke økonomiske kræfter godt i gang med at destruere demokratiet, og dermed også (velfærds)samfundet, og det passer selvfølgelig som hånd i handske med forsikringsindustriens dagsorden.

10
3. juli 2020 kl. 11:09
Re: Uheldig formulering

Forsikring er lidt anderledes, fordi [...]

Faktisk burde dette 'ramaskrig' ikke komme, og grunden burde slet ikke være der.

Forsikringsselskabers idé med at differentiere præmien afhængig af hvor man bor, hvor gammel man er, hvor meget eller hvor lidt man har kørt/gået/sejlet, hvad køn man er, etc. er i fuld gang med at afspore selve ideen med forsikring: At vi alle betaler en lille del af de få skader, for at undgå økonomisk ruin for enkeltpersoner.

I begyndelsen begyndte man sikkert kun at differentiere indboforsikringen med om folk boede indenfor eller udenfor København. Så bredte det sig ud, indtil det kom helt ned på postnummer-niveau. Det samme med antal år man har kørt i sin bil. Og så om hvor gammel man er. Og så videre.

Til sidst, med al det teknologiske fikumdik, kan man måske ligefrem forudsige at Jens Petersen volvo bliver sat i brand eller stjålet 17. juni 2021. Så derfor er præmien lig med prisen for en ny volvo.

Og så er ideen med forsikring stendød.

9
3. juli 2020 kl. 09:47
Re: Uheldig formulering

Det kommer et ramaskrig hvis hun overfører dette til bank og forsikringsbranchen.

Det kunne ellers være ret relevant, når det gælder belåning. Her rammes folk netop af dette.

Folk får afslag på kassekrediiter til virksomhed - ikke fordi de har vist manglende betalingsevne/vilje, men fordi de har en forkert adresse. etc.

Forsikring er lidt anderledes, fordi behovet ikke hænger særligt sammen med forsikringstageren.

7
3. juli 2020 kl. 07:58
Vestager er sej

og de fleste danske politikere kunne lære noget [red. meget] af hendes forståelse for teknologi, og ikke mindst hendes ihærdighed for at bringe retfærdighed ind i det moderne samfund.

Predictive policing lyder måske, for nogle, som et fornuftigt tiltag. Hvem vil ikke gerne leve i et kriminalitetsfrit samfund? Forudsigelse af kriminalitet som forudsigelse af vejret kommet da alle til gavn!?

Et af de mange problemer er at mennesker er noget mere dynamiske end meteorologiske (og mange andre) forhold (heldigvis), og enhver forudsigelse vil kun være baseret på et ekstremt smalt udpluk af 'mennesker i samfund'.

For det første er dataindsamling (grundlaget for predictive policing) ikke en neutral sport, og en meget mindre neutral sport når det gælder mennesket. En god distinktion jeg ofte vender tilbage til er at data ikke er os givet men taget (https://dh2015.carrieschroeder.net/2015/10/21/data-vs-capta.

Så er spørgsmålet selvfølgelig, hvis vi KUNNE kortlægge mennesket og alle dets facetter og spørge computeren om Lars har tænkt sig at røve en 7-11, er det så etisk forsvarligt? Her kommer confirmation-bias ind i billedet, ikke kun for operatøreren, men som et generelt samfundspsykologisk fænomen - hvis du bliver ved med at mistænke Lars for at røve den skide 7-11, altså at mistænkeliggøre ham, er det ikke umuligt at forestille sig at Lars på et tidspunkt begynder at spekulere på hvad der mon er med ham. Faktisk kunne AI og predictive policing ikke være prævalent på et dårligere tidspunkt, for, for mig at se er ydre identitetsmarkører (egenskaber ved din person, ikke din personlighed) meget populære.

(Jeg så lige et afsnit af TV-Serien Shetland igår hvor nogle politifolk mistænker en person for en forbrydelse (idet den ligner en anden forbrydelse han er blevet dømt for, hvor dommen senere er blevet omstødt pga. dårlige beviser). Her pointerer hovedpersonen at hvis de bliver ved med at presse ham vil han "behave/react badly".)

Det er sjovt nok disse ydre identitetsmarkørere der er lettest at dataficere (og dermed indsamle som information), mens personlighedstræk derimod er sværere og mere omkostningsrige.

Jeg tror min hovedpointe udmynter sig i at der altid vil være en rettethed når vi har med data (og specielt data om mennesker) at gøre, det vil sige en ikke-neutral magtsbetinget handling, og i det store perspektiv et magtværktøj i socialklassernes kamp der ikke vil være med til at udligne forskellene men blot forstærke dem.

Nå ja, og så er det jo også pisseuhyggeligt.

6
3. juli 2020 kl. 00:08
Re: Uheldig formulering

Vi har vel ikke amerikanske tilstande med udbredt korruption i politiet?

Godt at vide, at du er helt fri for fordomme og derfor er sikker på, at politifolk også er det.

Vort politi er heldigvis fejlfrit.

2014.08.27: Finanstilsynet kritiserer bagmandspolitiet: Bankbosser er sluppet for billigt 2014.03.09: Niels' mareridt: Politiet sigtede mig for at have sat ild til mit hotel 2014.03.09: Eksperter: Kritisk at politiet holder fejlagtig brandmanual hemmelig 2014.07.04: Ingen straf i sigte for politiet og CSC - kan ikke blive straffet for at overtræde persondataloven 2017.08.20: Politiet var ni år om at slette ulovlig aflytning 2017.11.06: Rigspolitiet aner ikke, hvad konsulent lavede for tre millioner kroner 2018.04.08: Politiet bruger ulovlige kameraer i efterforskninger 2017.07.30: På 8. år gemmer Rigspolitiet ulovligt tusinder af fingeraftryk 2018.06.07: Pape beklager: Rigspolitiet har fundet nye mails i Tibet-sagen 2018.07.11: Advokat: Tibet-sagen udstiller politiets og embedsværkets korpsånd 2018.11.01: Politiet har ulovligt gemt ANPG-data i op til 60 dage

osv. i 2019 og 2020.

5
2. juli 2020 kl. 14:45
Re: Uheldig formulering

Politiet stopper og undersøger flest af dem de ud fra en historisk baggrund ved er kriminelle. Og statistikker viser at visse grupper af økonomiske immigranter har 4x højere kriminalitetsrater end danskere i samme socioøkonomiske gruppe.

Så AI systemerne vil hurtigt lære, at der er større chance for at få bid hvis man checker en palæstinenser uden indkomst, fremfor en af de fine Banditter i Habitter fra Hellerup.

Så der var en stat i USA der mente at der var for svært for for sorte at komme ud på kaution, så de fik et ekspertsystem der blev trænet på reelle data i staten. Det gjorde det bare endnu sværere for de sorte at komme ud på kaution.

Så det er reelt policing baseret på statistik og historie Margrethe er imod.

Det kommer et ramaskrig hvis hun overfører dette til bank og forsikringsbranchen.

4
2. juli 2020 kl. 10:24
Minority Report

er vel et godt argument imod predictive policing, omend forudsigelserne tager en lidt anden form.

3
2. juli 2020 kl. 10:22
Uheldig formulering

"modeller trænes på data om kriminalitet, som er skabt af politiet".

Vi har vel ikke amerikanske tilstande med udbredt korruption i politiet?

2
2. juli 2020 kl. 09:55
Re: Weapons of Math Destruction

Hannah Fry: Hello world. Skal også med

1
2. juli 2020 kl. 08:09
Weapons of Math Destruction

Må jeg i den forbindelse slå et slag for Cathy O'Neils bog "Weapons of Math Destruction". Ikke særlig stor og overraskende let læst.

Den er fuld af eksempler på, hvor galt det kan gå, hvis ukyndige bruger disse teknikker ureflekteret, og hvordan selv kyndige nemt falder i, fordi der er nogle perverse incitamenter og dynamikker på området.

Cathy O'Neil mener dog, at folk som hende kan håndtere det på sikker vis; jeg er ikke så overbevist, jeg tror at selv kloge og forsigtige og kyndige folk nemt kan blive forført, når de ikke længere står på afstand, men selv er involveret direkte.

Bias er kun en lille del af problemerne ved predictive policing, og predictive policing kun et eksempel på problematisk anvendelse. Jeg deler Vestagers bekymringer på dette felt, men ikke hendes generelle optimisme for området som sådan.