30 950 Rassendiscriminatie

26 643 Informatie- en communicatietechnologie (ICT)

Nr. 213 BRIEF VAN DE MINISTER VAN BINNENLANDSE ZAKEN EN KONINKRIJKSRELATIES

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 9 juli 2020

Tijdens het plenaire debat over institutioneel racisme op 1 juli 2020 (Handelingen II 2019/20, nr. 90) is door de leden Klaver (GroenLinks), Jetten (D66), Asscher (PvdA), Azarkan (Denk) en Ouwehand (PvdD) een motie ingediend die de regering verzoekt te onderzoeken hoe het gebruik van risicoprofielen bij de overheid en in de private sector bijdraagt aan etnisch profileren en met voorstellen te komen om dit aan te pakken in aanloop naar de volgende kabinetsformatie.1 Deze motie is aangenomen.

Tijdens het plenaire debat heeft de heer Klaver toegelicht dat de motie met name ziet op algoritmen die risicoprofielen opstellen. Tevens heeft hij mij tijdens dit debat gevraagd of dergelijke algoritmen en hun werking mogelijk al onderdeel uitmaken van lopend onderzoek en beleid. Ik kan bevestigen dat dit het geval is en dat beleidsmaatregelen worden getroffen om de risico’s van profileringstechnieken weg te nemen. Hieronder zal ik verschillende onderzoeken en beleidstrajecten toelichten.

Ik heb in 2018 onderzoek laten uitvoeren door de Universiteit Utrecht naar de implicaties van algoritmen voor grondrechten. Hierbij kwamen onder meer de risico’s van profileringstechnieken voor het verbod van discriminatie aan de orde. Ik heb in maart 2019 een kabinetsreactie op dit onderzoek aan uw Kamer gestuurd.2

Daarnaast stuurde ik, mede namens de Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties, Minister van Justitie en Veiligheid (JenV), de Minister voor Rechtsbescherming en de Staatssecretaris van Economische Zaken en Klimaat (EZK) in oktober 2019 de brief «AI, publieke waarden en mensenrechten» aan uw Kamer.3 Deze brief gaat in op de kansen en risico’s van artificiële intelligentie (AI) voor mensenrechten, waaronder risico’s voor het verbod van discriminatie. In de brief geeft het kabinet aan dat risico’s voor het verbod van discriminatie bij de inzet van AI mede kunnen worden veroorzaakt door de inzet van profileringstechnieken (bijvoorbeeld door onjuiste classificatie). Ook zet het kabinet in deze brief het beleid uiteen om risico’s van AI met behulp van beleid te adresseren. Belangrijke onderdelen van dat beleid zijn de ontwikkeling van een mensenrechten impact assessment en de ontwikkeling van systeemprincipes om discriminatie te voorkomen.

Het mensenrechten impact assessment heeft tot doel om ontwikkelaars van digitale systemen te helpen om in vroeg stadium van de ontwikkeling van het systeem de risico’s voor mensenrechten (waaronder het verbod van discriminatie) in kaart te brengen en te mitigeren. Ook risico’s die voortvloeien uit het gebruik van profileringstechnieken komen hierbij aan bod. De verwachting is dat het impact assessment begin volgend jaar gereed is. De ontwikkeling van systeemprincipes voor non-discriminatie hebben tot doel om ontwikkelaars van digitale systemen te helpen om mogelijke discriminatoire effecten in het ontwerp van een systeem te adresseren. BZK heeft de Universiteit van Tilburg opdracht gegeven tot het ontwikkelen van deze systeemprincipes. Deze zijn naar verwachting einde van dit jaar gereed.

Overigens wijs ik er nog op dat er in bredere zin onderzoek wordt gedaan naar en beleid wordt gemaakt over (de risico’s van) algoritmen voor non-discriminatie.

Zo verwijs ik graag naar het onderzoek van het Ministerie van EZK naar zelflerende algoritmen van private partijen, naar aanleiding van de motie van de leden Van den Berg en Wörsdörfer.4 Het doel van dit onderzoek is het verschaffen van inzicht in de onvoorziene effecten van de inzet van (zelflerende) algoritmen door private partijen. Het onderzoek richt zich in het bijzonder op de effecten van de inzet van algoritmen waarvan niet duidelijk is hoe zij beslissingen nemen. Deze onvoorziene effecten kunnen ongewenst zijn. Bij ongewenste effecten kan onder meer worden gedacht aan stigmatisering van personen.

Op 26 juni 2020 is het onderzoek gepubliceerd van de Universiteit Utrecht, in opdracht van het WODC, naar de toekomstbestendigheid van de juridische kaders rondom algoritmen die besluiten nemen.5 Gekeken is naar risico’s voor non-discriminatie, gegevensbescherming en rechtsbescherming. Het onderzoek gaat in op algoritmen die besluiten nemen, zelfstandig of als onderdeel van een proces waarin ook menselijke tussenkomst/besluitvorming aan de orde is. Hoewel het maken van profielen en de risico´s daarvan in het onderzoek aan de orde komen, ook in het licht van het recht op non-discriminatie, gaat het niet specifiek in op de inzet van risicoprofielen door de overheid en de private sector. In het najaar zal een kabinetsreactie op het rapport volgen.

Voorts wijs ik u graag op de brief van 8 oktober 2019 van de Minister voor Rechtsbescherming waarin hij het kabinetsbeleid uiteenzet om waarborgen te creëren tegen risico’s van data-analyses door de overheid.6 In die brief besteedt hij ook uitgebreid aandacht aan de risico’s van profilering en het beleid om deze te beperken. In een bijlage bij de brief zijn richtlijnen opgenomen die het Ministerie van JenV aan het ontwikkelen is voor het uitvoeren van data-analyses door de overheid en die ook regels bevatten om de risico’s van discriminatie te beperken. Deze richtlijnen zijn ook relevant voor het uitvoeren van geautomatiseerde gegevensanalyses door bijvoorbeeld de belastingdienst en de politie. Bij de doorontwikkeling van deze richtlijnen wordt rekening gehouden met zowel de impact van data-analyse op de burger, als met de rol die een algoritme speelt in de totstandkoming van een (menselijk) besluit. De eerder genoemde AI-systeemprincipes zullen binnen de context van deze richtlijnen een aanvulling daarop vormen. Naar verwachting zullen de richtlijnen begin 2021 gereed zijn. Vervolgens wordt bezien in hoeverre deze moeten worden omgezet in wettelijke waarborgen.

Ten slotte wil ik u ook graag wijzen op het onderzoek naar de modernisering van het Nederlands procesrecht in het licht van Big Data, waarop Uw Kamer in het najaar van 2020 een kabinetsreactie zal ontvangen. Hierin komt de vraag aan de orde in hoeverre het procesrecht is toegerust om burgers en rechtspersonen mogelijkheid te geven zich bij de rechter te verzetten tegen onrechtmatige data-analyses.

Met de informatie in deze brief meen ik dan ook aan de motie te hebben voldaan.

De Minister van Binnenlandse Zaken en Koninkrijksrelaties, K.H. Ollongren

Naar boven