Vragen van het lid Van Nispen (SP) aan de Minister voor Rechtsbescherming over twijfels bij het gebruik van een bepaald risicotaxatie-instrument bij de reclassering vanwege het gevaar op etnisch profileren (ingezonden 1 juli 2020).

Antwoord van Minister Dekker (Rechtsbescherming) (ontvangen 18 augustus 2020). Zie ook Aanhangsel Handelingen, vergaderjaar 2019–2020, nr. 3582.

Vraag 1

Heeft u kennisgenomen van het bericht dat de algoritmes die de reclassering gebruikt mogelijk voor etnisch profileren zorgen?¹

Antwoord 1

Ja.

Vraag 2

Is of wordt door het Ministerie van Justitie en Veiligheid dan wel de reclassering zelf getoetst of het in het aangehaalde artikel algoritme indirect tot etnisch profileren kan leiden? Zo nee, waarom niet en bent u bereid dit alsnog grondig te toetsen?

Antwoord 2

Bij de ontwikkeling van de Nederlandse versie van het betreffende instrument, de OxRec (Oxford Risc of Recidivism Tool) in 2017, heeft de reclassering vanaf het begin als randvoorwaarde gesteld dat er in het instrument geen aspecten vastgelegd worden ten aanzien van etniciteit. Daarom wordt in de Nederlandse versie ook niet gevraagd naar de migratie-achtergrond van de verdachte, waar dat in de Engelse versie wel het geval is.

In het aangehaalde artikel wordt gesteld dat het opnemen van de buurtscore indirect kan leiden tot etnische profilering. Door de buurtscore in de OxRec op te nemen wordt niet op basis van ras, etniciteit, religie of afkomst geselecteerd maar op basis van de sociaal economische status van de verdachte. Uit wetenschappelijk onderzoek blijkt dit namelijk van invloed te zijn op het recidiverisico.

Vraag 3

Hoe groot is het belang van het algoritme in het geheel van instrumenten waarmee de reclassering een inschatting van het recidiverisico maakt? Wordt dit algoritme bijvoorbeeld helemaal aan het einde van de risico-inschatting gebruikt ter verificatie van de taxatie die de reclasseringsmedewerker zelf al had gemaakt of vormt het algoritme juist een integraal onderdeel van de uiteindelijke risicotaxatie?

Antwoord 3

De OxRec is een integraal onderdeel van het werk van de reclasseringswerker. Het ondersteunt de reclasseringswerker bij het inschatten van de kans op recidive en het opstellen van het reclasseringsadvies. Het is ontworpen als hulpmiddel hierbij zodat de reclasseringswerker niets over het hoofd ziet en zijn eigen beoordeling kritisch bekijkt.

Vraag 4

Klopt het dat het algoritme dat door de reclassering gebruikt wordt, gebruik maakt van informatie over de postcode waar iemand woont, de criminaliteitscijfers in die buurt en het percentage bijstandsuitkeringen? Zo ja, waarom acht u dit wenselijk?

Antwoord 4

Voor alle factoren die in de OxRec worden gemeten geldt dat deze zijn gevalideerd aan de hand van data van Nederlandse en Zweedse justitiabelen. Er is dus onderzocht of deze factoren inderdaad bijdragen aan het inschatten van de kans op recidive. In het instrument wordt inderdaad de postcode van de justitiabele ingevuld. Op basis van sociaal economische gegevens van het Centraal Bureau voor de Statistiek geeft de OxRec een buurtscore. Uit wetenschappelijk onderzoek blijkt namelijk dat dit de voorspellende waarde van het instrument verhoogt. Met andere woorden, het levert een betrouwbaarder inschatting van het recidiverisico op. Verder kan de score ook uitgezet worden voor cliënten zonder vaste woon- of verblijfplaats of als zij in detentie verblijven. De reclassering heeft de buurtscore opgenomen in het instrument om de justitiabele ook op dit punt gericht te kunnen ondersteunen en begeleiden om zo het recidiverisico te verminderen.

Vraag 5

In hoeverre heeft de reclassering zelf inzicht in de broncode van het algoritme en dus in de werking van het algoritme? Kan zij zelf zien op welke onderdelen iemand hoog scoort of produceert het algoritme slechts één uitkomst, bijvoorbeeld: hoog risico, middelmatig risico, laag risico?

Antwoord 5

De reclassering heeft inzicht in het algoritme dat wordt gebruikt in de OxRec en de wijze waarop dit tot stand is gekomen. De ontwikkelaars zijn bij het ontwikkelen van de OxRec namelijk transparant te werk gegaan. Hierdoor is duidelijk welke stappen genomen zijn in de ontwikkeling en validatie van het model. Zo is vooraf een protocol van onderzoek ingediend en wordt achteraf verantwoord in welke mate hier al dan niet van afgeweken is. Artikelen zijn peer reviewed en open access gepubliceerd zodat ze toegankelijk zijn voor iedereen om te lezen. Daarmee is inzichtelijk welke risicofactoren zijn gekozen en welke statistische modellen zijn gebruikt om de uitkomst te berekenen.

Bij het gebruik van de OxRec is de uitkomst niet een hoge of lage risicocategorie. Het model maakt een inschatting van de kans op recidive waarbij een waarschijnlijkheidsscore uitgedrukt in percentages gegeven wordt. Dit wordt weergegeven voor zowel algemene recidive als geweldsrecidive binnen 1 en 2 jaar.² Het is daarmee genuanceerd, transparant en inzichtelijk voor de reclasseringswerker.

Vraag 6

Klopt het dat de foutmarges in de berekeningen van het algoritme aanzienlijk zijn? Zo ja, acht u dit wenselijk gezien de gevolgen die dit kan hebben voor een verdachte? Zo nee, kunt u aantonen wat de foutmarges zijn van OxRec?

Antwoord 6

Een risicotaxatie is een inschatting waarbij men kenmerken van een individu afzet tegen een groepsgemiddelde van een groep personen met vergelijkbare kenmerken. Het recidiverisico inschatten als laag betekent dus niet dat iemand zeker niet zal recidiveren en het inschatten van het risico als hoog betekent niet dat recidive bij een individu met zekerheid vast te stellen is. In die zin is bij het gebruik van risicotaxatie-instrumenten dus altijd sprake van een onzekerheidsmarge. Het is zaak dat die marge zo klein mogelijk is, maar het voorspellen van menselijk gedrag, in dit geval recidive, is zeer complex.

Er is wetenschappelijk onderzoek uitgevoerd naar hoe goed de OxRec de kans op recidive inschat.³ Dit onderzoek toont aan dat de nauwkeurigheid van het instrument binnen het bereik valt dat je mag verwachten van risicotaxatie-instrumenten. Er bestaan meerdere risicotaxatie-instrumenten waarmee een inschatting van de kans op recidive wordt gemaakt. De voorspellende waarde van de OxRec doet niet onder voor die van andere instrumenten.

---

1 Trouw, 26 juni 2020, «Algoritmes gebruikt door reclassering zorgen voor etnisch profileren», https://www.trouw.nl/binnenland/algoritmes-gebruikt-door-reclassering-zorgen-voor-etnisch-profileren~b8918776/

2 Zie ook het artikel van de reclassering in het Nederlands Juristenblad: Maas, M., Legters, E., Fazel, S. (2020). Professional en risicotaxatie-instrument hand in hand.Nederlands Juristenblad. Ook te raadplegen via de website van de reclassering: https://www.reclassering.nl/actueel/nieuws/artikel-reclassering-over-oxrec-in-nederlands-juristenblad.

3 Fazel, S., Wolf, A., Vazquez-Montes, M.D.L.A. & T.R. Fanshawe, T.R. (2019) Prediction of violent reoffending in prisoners and individuals on probation: a Dutch validation study (OxRec)», Scientific Reports 2019, 9: 841.