Vragen van het lid Mutluer (PvdA) en Van Baarle (DENK) aan de Minister van Justitie en Veiligheid over de mogelijke vooringenomenheid bij algoritmes gebruikt door de Politie (ingezonden 25 mei 2022).

Antwoord van Minister Yeşilgöz-Zegerius (Justitie en Veiligheid) (ontvangen 29 juni 2022). Zie ook Aanhangsel Handelingen, vergaderjaar 2021–2022, nr. 3139.

Vraag 1

Bent u bekend met artikel «Rekenkamer waarschuwt voor mogelijke «vooringenomenheid» bij politie-algoritmes»1 en het desbetreffende rapport van de Algemene Rekenkamer2?

Antwoord 1

Ja.

Vraag 2

Deelt u de mening dat het Criminaliteit Anticipatie Systeem (CAS) niet afdoende is gecontroleerd waardoor nu niet kan worden geconcludeerd dat geen sprake is geweest van discriminatoire gronden in de selectiecriteria? Zo ja, waarom wordt dit systeem dan nog steeds gebruikt? Hoe gaat u ervoor zorgen dat dergelijke controles in de toekomst wel worden gedaan?

Antwoord 2

Het CAS is een voorbeeld van een hotspot-benadering waarbij op basis van bestaande data wordt bepaald waar het waarschijnlijk is dat bepaalde vormen van verstoring van de openbare orde of criminaliteit voorkomen. Gebruik van het CAS levert een verwachting voor een bepaald gebied op en geeft geen output die tot personen te herleiden is. De verwachtingen die CAS levert, kunnen worden besproken met mensen in de operatie en zo wordt een aanpak van de problematiek voor de betreffende week vastgesteld. De data die wordt gebruikt betreft o.a. criminaliteitshistorie (zie hierover meer in antwoord op vraag 4). Deze criminaliteitshistorie is hoofdzakelijk gebaseerd op aangiftes van burgers, oftewel informatie die naar de politie toe komt en niet door haar eigen optreden bepaald wordt. Hiermee wordt een versterking van eventuele eigen vooringenomenheid door het algoritme beperkt.

Het CAS wordt gebruikt ter voorkoming van verschillende veelvoorkomende delicten zoals woninginbraak, vernieling en drugshandel. De aanwezigheid van de politie op plekken waar een verhoogde kans is op deze en andere soorten delicten kan bijdragen aan de voorkoming ervan.

De Algemene Rekenkamer geeft in haar rapport aan dat er onvoldoende (doorlopende) controle is of er sprake is van vooringenomenheid in het model. Op basis daarvan geeft de Rekenkamer aan dat zij – zonder zelf dieper in het algoritme te gaan kijken – niet kan concluderen of er sprake is geweest van discriminatiegronden in de selectiecriteria. Ik heb de politie daarom gevraagd om in het reguliere proces de procedures voor het vastleggen van deze controles aan te scherpen.

Een werkgroep van de politie richt zich op de opvolging van deze en de andere aanbevelingen van de Rekenkamer, die voortkomen uit het rapport Algoritmes getoetst. Deze maatregelen zijn aanvullend op de stappen die de politie voor, tijdens en na het onderzoek van de Rekenkamer heeft gezet, zo ook met het oog op dataminimalisatie en het voorkomen van vooringenomenheid. Zo is er een samenwerkingsverband opgestart met de Vrije Universiteit Amsterdam om een breed toepasbare methodiek te ontwikkelen voor de detectie van vooringenomenheid in algoritmes. Naar aanleiding van de gesprekken met de Rekenkamer heeft de politie enige tijd geleden ook besloten om de ontvangst van bepaalde gegevens al aan de poort te blokkeren, in plaats van deze gegevens later in het proces pas te excluderen. Tot slot wordt ook gewerkt aan gebruik van zo spaarzaam mogelijke datasets (dataminimalisatie) en het verbeteren van de documentatie in het algemeen.

Vraag 3

Hoe komt het dat bij de start van het huidige systeem geen basisvereiste van zorgvuldigheid in acht is genomen?

Antwoord 3

Ik herken het beeld dat geen basisvereiste van zorgvuldigheid in acht zou zijn genomen bij de start van het gebruik van CAS niet. Het rapport van de Rekenkamer geeft de politie handvaten om het gebruik van het CAS verder te verbeteren, dat waarderen zowel de korpschef als ikzelf. Zoals aangegeven in het antwoord op vraag 2 neemt de politie de aanbevelingen van de Rekenkamer serieus en is zij daar mee aan de slag gegaan.

Ik hecht er daarnaast aan te benadrukken dat bij de bevindingen van de Rekenkamer ook enkele nuances te maken zijn. In het door de Rekenkamer gebruikte toetsingskader staan de maatregelen die een organisatie heeft getroffen om een risico afdoende te mitigeren, opdat het beheersbaar is, centraal. De Rekenkamer onderscheidt per risico-onderdeel of de genomen maatregel of samenstel daarvan effectief, deels effectief of niet effectief is. Uit de individuele beoordeling door de Rekenkamer van het CAS, zoals vervat in het toetsingskader dat aan de politie is afgegeven, komt naar voren dat 23 maal de door de politie genomen risico-mitigerende maatregelen als (geheel) effectief zijn beoordeeld. Waar de beoordeling deels effectief of niet effectief luidt, gaat het in het merendeel om maatregelen die de politie als zodanig wel heeft getroffen, bijvoorbeeld op het gebied van periodieke toetsing, maar waarvan de Rekenkamer aangeeft dat de politie dit onvoldoende heeft vastgelegd. Deze administratieve onvolkomenheden zien zowel op IT-gerelateerde checks als op waarborgen omtrent dataminimalisatie. Door de opzet van het rapport (dat gericht was op algoritmes bij de overheid in het algemeen, en niet op elk individueel algoritme) komt het voorgaande minder helder naar voren.

Ook is het van belang op te merken dat het CAS ontwikkeld is in 2014 en sindsdien doorlopend wordt geëvalueerd en verbeterd. De Rekenkamer is niet de enige of eerste instantie die het CAS heeft bekeken. Zo heeft ook de Inspectie Justitie en Veiligheid in 2021 de code van het CAS ingezien, als onderdeel van een oriëntatie. De Inspectie concludeerde toen als volgt: «De code onder de motorkap van CAS is helder. Aan de code is te zien dat de meeste best practices op het gebied van programmeren zijn toegepast. Er is geprogrammeerd in de taal «Python», wat een toegankelijke taal is. De werking van het systeem is daarmee goed navolgbaar. [...] De documentatie van het systeem samen met de code en de data geven een goed beeld van hoe het systeem werkt. Dit is nodig voor de Inspectie om een goed beeld te kunnen schetsen van de precieze impact die een dergelijk systeem heeft op de taakuitvoering van (in dit geval) de politie.» Daarbij moet worden opgemerkt dat de Inspectie aan de hand van haar oriëntatie een openbaar toezichtkader opstelt. Dat kader wordt dit najaar gepubliceerd door de Inspectie. De Inspectie heeft hierbij geen oordeel gegeven ten aanzien van de aandachtspunten van de Algemene Rekenkamer.

Tot slot zijn de afgelopen vier jaar door studenten en promovendi vanuit verschillende universiteiten meer dan tien studies gedaan naar het CAS. In elk van die gevallen heeft de politie kennisgenomen van de eindverslagen en waar nodig het systeem verbeterd. Dit zal de politie ook doen met de aanbevelingen van de Rekenkamer.

Vraag 4

Wat zijn de criteria op grond waarvan het lerende algoritme CAS voorspelt waar de kans groot is dat misdaden zullen worden gepleegd?

Antwoord 4

Op 6 april 2021 heeft de korpschef in een besluit op een Wob-verzoek besloten om de pseudocode en de variabelen van het CAS openbaar te maken. Voor een volledig beeld van de variabelen verwijs ik u graag naar deze documenten.3 Kort samengevat gaat het om locatie-specifieke kenmerken en om criminaliteitshistorie. Deze criminaliteitshistorie is hoofdzakelijk gebaseerd op aangiftes van burgers, oftewel informatie die naar de politie toe komt en niet door haar eigen optreden bepaald wordt.

Vraag 5

Kunt u uitsluiten dat dit systeem afkomst of de samenstelling van een wijk met veel inwoners met een migratie-achtergrond als criteria gebruikt? Zo ja, waarom? Zo nee, waarom niet en welke gevolgen verbindt u hieraan?

Antwoord 5

Zoals te zien in de variabelen die openbaar gemaakt zijn in het besluit op het bovengenoemde Wob-verzoek wordt geen gebruik gemaakt van het criterium afkomst of nationaliteit. Ook de Rekenkamer stelt in haar rapport (op p. 31) dat de politie geen variabelen gebruikt die discriminatie in de hand werken. Dat betekent echter niet dat uitgesloten kan worden dat er indirect onderscheid wordt gemaakt. Zoals aangegeven in het antwoord op vraag 2 heb ik de politie gevraagd om (nogmaals) een controle te doen op vooringenomenheid in het model en in de data.

Vraag 6

Bent u het eens met de politie dat het niet nodig is het algoritme in haar huidige vorm buiten werking te stellen? Zo ja, waarom? Zo nee, wat is uw zienswijze over hoe nu verder met het systeem?

Antwoord 6

Uit de meer uitgebreide tabel die de politie van de Rekenkamer heeft gekregen met betrekking tot het CAS blijkt dat de zorgen met name in de governance en aantoonbare verantwoording rondom het CAS zitten. De politie heeft aangegeven hier op korte termijn mitigerende maatregelen op te zullen treffen. Daarmee acht ik het op dit moment niet noodzakelijk om het algoritme buiten werking te stellen.

Vraag 7

Hoe ziet de menselijk toets eruit die naast het CAS plaatsvindt? Welke criteria worden door de mens getoetst? Vindt die toets altijd plaats? Is de menselijke toets daarbij altijd doorslaggevend?

Antwoord 7

De modellen met het CAS worden ééns per week gemaakt. De voorspellingen worden gebruikt om de breder samengestelde intelligence-beelden te voeden die vervolgens gebruikt worden om interventie-strategieën te bepalen en instructies te geven bij briefings binnen de basisteams. Er vindt in het werkproces zoals gezegd dus nog een beoordeling (op relevantie en op juistheid) plaats.

Vraag 8 en 9

Welke stappen bent u van plan te zetten om risico’s op vooringenomenheid in het algoritmesysteem van de politie weg te nemen?

Bent u bereid het huidige algoritme wat wordt gebruikt door het CAS door te lichten om mogelijke vooringenomenheid te detecteren? Zo ja, op welke termijn wilt u dit onderzoek voltrekken? Zo nee, waarom niet?4

Antwoord 8 en 9

Zoals reeds aangegeven heb ik de politie gevraagd om (nogmaals) een controle te doen op vooringenomenheid in het model en in de data. Voor de beantwoording van deze vraag verwijs ik u verder graag naar het antwoord op vraag 2.

Naar boven