26 643 Informatie- en communicatietechnologie (ICT)

33 826 Mensenrechten in Nederland

Nr. 922 BRIEF VAN DE STAATSSECRETARIS VAN BINNENLANDSE ZAKEN EN KONINKRIJKSRELATIES

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 7 oktober 2022

Bij deze bied ik uw Kamer een reactie aan op het onderzoek Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering van het Rathenau Instituut, dat op mijn verzoek is uitgevoerd. Graag wil ik mijn waardering uitspreken voor dit rapport. Het onderzoek brengt in kaart welke maatregelen uitvoeringsorganisaties nemen om bij de ontwikkeling en het gebruik van profilerende systemen mensenrechten te borgen en hoe zij deze borging kunnen versterken. Ik kan mij vinden in de aanbevelingen en ga daarmee aan de slag. Dit onderzoek is bruikbaar voor alle overheidsorganisaties en is een goede eerste stap om te komen tot een compleet pakket van maatregelen en inzicht te krijgen in de mate waarin overheden gereed zijn om mensenrechten te borgen bij de inzet van algoritmen.

Het Rathenau Instituut heeft in dit onderzoek gekeken naar drie pilots bij uitvoeringsinstanties:

  • (1) een pilot gericht op het innen van openstaande boetes en het voorkomen van schuldenoploop van het Centraal Justitieel Incassobureau (CJIB);

  • (2) een pilot gericht op het opsporen van bewust of onbewust misbruik van AOW-uitkeringen voor alleenstaanden van de Sociale Verzekeringsbank (SVB) en;

  • (3) een pilot gericht op het detecteren van specifieke regelovertredingen en het bieden van hulp bij het vinden van werk van het Uitvoeringsinstituut Werknemersverzekeringen (UWV).

Het onderzoek laat zien dat de inzet van algoritmen nuttig kan zijn in de uitvoering van overheidstaken en kansen biedt om maatschappelijke opgaven aan te pakken. Maar ik zie ook1 dat algoritmen vooral worden ingezet om misbruik aan te pakken: bij opsporing, inspectie en handhaving. Ik wil dat algoritmen meer worden ingezet om burgers te helpen, bijvoorbeeld bij het gebruik van regelingen zoals bij UWV en SVB. En dat algoritmen alleen worden gebruikt wanneer het echt nodig is om de overheid goed te laten werken. Daarbij moeten we ons als overheid baseren op heldere juridische eisen en ethische beginselen, en die overal eenduidig toepassen in organisaties. Deze juridische eisen en beginselen blijven we binnen de overheid vaststellen en verplichten, in één implementatiekader voor de inzet van algoritmen, en in Europa in de AI-verordening voor ontwikkelaars. Ik voel ook een verantwoordelijkheid om het gesprek daarover binnen de overheid en tussen overheden op gang te brengen, en kennis te delen voor een goede implementatie. Dit met als doel dat algoritmen vooraf worden getoetst en gedurende het gebruik steeds weer worden onderzocht op datakwaliteit, proportionaliteit en mogelijke bias. Op deze algoritmen moet helder toezicht worden ingericht, vooraf, tijdens en na het gebruik. En de werking en inzet moeten transparant zijn, waarbij het duidelijk is waar burgers en bedrijven hun recht kunnen halen wanneer ze menen dat het algoritme onrechtmatig wordt ingezet.

Het onderzoek laat ook zien dat uitvoeringsorganisaties voor een complex vraagstuk staan: hoe zorg je ervoor dat je je wettelijke taak op effectieve wijze uitvoert, waarbij je tegelijkertijd alle mogelijke waarborgen treft om mensenrechten bij de taakuitoefening te beschermen? Ik heb waardering voor de initiatieven die uitvoeringsorganisaties nemen om wettelijke vereisten te vertalen naar een hanteerbare praktijk en om ethische expertise in de organisaties te versterken. De kennis uit de praktijk is onmisbaar bij het naleven van bestaande richtlijnen en kaders.

Op basis van het onderzoek en de ervaringen uit de praktijk zal ik de komende jaren tot een compleet pakket van maatregelen komen om de mensenrechten bij de inzet van algoritmen bij overheidsorganisaties te borgen. We doen dat samen met andere landen via Europese regelgevingstrajecten en zetten nu al stappen waar dat kan.

Een van deze maatregelen is het inrichten en wettelijk verplichten van het gebruik van een algoritmeregister voor in ieder geval hoog-risico algoritmen door overheidsorganisaties. Uitgangspunt is dat overheden zelf verantwoordelijk zijn voor het opstellen en beheer van een algoritmeregister. Het kabinet gaat in overleg met overheden om te komen tot een eenduidige registratie van algoritmen. Om het algoritmeregister zo in te richten dat het beheer daarvan haalbaar is voor de uitvoering, zal een uitvoeringstoets worden uitgevoerd. Ik heb de betrokken organisaties gevraagd om de algoritmen die de afgelopen tijd zijn doorgelicht zoveel mogelijk voor het eind van het jaar in het register te publiceren. Daarnaast zal mijn inzet zijn om het komend jaar de verschillende bestaande instrumenten samen te voegen en te stroomlijnen in één implementatiekader voor algoritmen op basis waarvan overheidsorganisaties aan de slag kunnen. Om ervoor te zorgen dat het implementatiekader zo uitvoerbaar mogelijk is, zal ten aanzien van het kader een uitvoeringstoets plaatsvinden.

Hoewel de huidige juridische kaders al de nodige waarborgen bieden voor een verantwoorde inzet van algoritmen2, zal bij het implementatiekader aandacht zijn voor non-discriminatie, menselijke tussenkomst, proportionaliteit3 en al bestaande verplichtingen rondom IT-beheer en gegevensverwerkingsbeheer. Ook is er geld beschikbaar gesteld voor een onafhankelijke algoritmetoezichthouder. Ik wil dit implementatiekader samen met overheden en experts gaan uitwerken. Ik neem dit onderwerp mee in de werkagenda Digitalisering, die uw Kamer in oktober ontvangt.

In het vervolg van deze brief ga ik in op de concrete aanbevelingen uit het onderzoek en geef ik aan hoe wij daar opvolging aan (gaan) geven.

Het onderzoek doet een zevental aanbevelingen:

  • 1. Zorg dat juridische vereisten en ethische beginselen beter hanteerbaar worden

  • 2. Stimuleer ethische expertise in de gehele organisatie

  • 3. Blijf investeren in privacy-toetsing

  • 4. Versterk de manier waarop biastoetsing plaatsvindt

  • 5. Investeer in actieve informatievoorziening

  • 6. Versterk de waarborgen voor procedurele rechten; en

  • 7. Voorkom verkokering bij de ontwikkeling en beoordeling van algoritmische toepassingen en verbeter dienstverlening.

Op deze aanbevelingen ga ik hieronder gebundeld in.

Aanbeveling 1, 6 en 7: Hanteerbaarheid richtlijnen, procedurele waarborgen en voorkomen van verkokering

Het Rathenau Instituut concludeert dat uitvoeringsorganisaties mensenrechtelijke risico’s bij de inzet van profilering onderkennen, met name als het gaat om risico’s op het gebied van privacy, gebrekkige transparantie, beperkte uitlegbaarheid en ontbrekende menselijke tussenkomst. Maar het komt ook tot de conclusie dat uitvoeringsorganisaties zoekende zijn hoe zij concreet invulling moeten geven aan juridische eisen. Daarom adviseert het Rathenau Instituut dat bestaande juridische vereisten en ethische beginselen beter hanteerbaar worden, dat waarborgen voor procedurele rechten versterkt worden en dat verkokering bij de ontwikkeling en beoordeling van algoritmische toepassingen wordt voorkomen.

Bestaande juridische eisen zijn – om goede redenen – vaak in algemene termen omschreven. Dat vraagt in de praktijk om een vertaalslag, bijvoorbeeld in de vorm van impact assessments, de ontwikkelde normenkaders of handreikingen die juridische eisen verhelderen. Het Ministerie van BZK heeft om die reden onder meer het Impact Assessment Mensenrechten Algoritmen (IAMA), Code Goed Digitaal Openbaar Bestuur (CODIO) en de handreiking non-discriminatie by design laten ontwikkelen. Het College van de Rechten van de Mens ontwikkelde het toetsingskader voor risicoprofielen. Het Rathenau Instituut geeft aan dat de totstandkoming van dit soort instrumenten een goede ontwikkeling is en uitvoeringsorganisaties kan helpen om beter aan de juridische eisen te voldoen, maar dat er ook onduidelijkheid is over de vraag hoe deze hulpmiddelen zich tot elkaar verhouden en welk instrument leidend moet zijn. Verschillende uitvoeringsorganisaties zijn nu zelf bezig om een normenkader op te stellen dat aangeeft hoe mensenrechtelijke aspecten belegd kunnen worden.

Ik neem deze kennis en inzichten mee om te komen tot het zojuist genoemde implementatiekader «inzet van algoritmen» voor het Rijk en andere overheden die ervoor moet zorgen dat er duidelijkheid bestaat in welke gevallen welk instrument wordt ingezet en welke vaste (verplichte) plek dit krijgt in de werkprocessen. Deze is uitdrukkelijk bedoeld om de bestaande instrumenten en hulpmiddelen meer in samenhang te brengen, en zaken als biastoetsing, menselijke controle, bezwaarmogelijkheden, uitlegbaarheid en proportionaliteit hierin een plek te geven. Ik ga dit implementatiekader samen met overheden uitwerken.

Daarnaast zal ik voor het inschatten van mensenrechtelijke risico’s een verzoek aan circa 20 overheden (Rijk, provincies en gemeenten) doen om een IAMA toe te passen om vast te stellen of alle aandachtspunten rondom de inzet van algoritmen voldoende meegenomen zijn. Op basis van de toepassing van het IAMA voor een bepaald algoritme zal het IAMA geëvalueerd en doorontwikkeld worden. Vanaf dit najaar zal ik een experttafel organiseren waar overheden en uitvoeringsorganisaties kennis kunnen delen en van elkaar kunnen leren, zodat we de komende jaren tot een compleet overzicht kunnen komen van hoe overheden mensenrechten borgen bij de inzet van algoritmen bij overheidsorganisaties. Op basis van de motie van Kamerleden Bouchallikh (GroenLinks) en Dekker-Abdulaziz (D66), om het gebruik van het IAMA te verplichten, zal het IAMA of een soortgelijk instrument op den duur een meer verplichtend karakter krijgen (Kamerstuk 26 643, nr. 835). Dit bezie ik wel in samenhang met bestaande verplichtingen, zoals een DPIA, en de nieuwe verplichtingen die uit de Europese AI-verordening4 volgen voor ontwikkelaars.

Aanbeveling 2, 3: Stimuleren van ethische expertise en blijven investeren in privacytoetsing

Het Rathenau Instituut adviseert ook om ethische expertise in de gehele organisatie te stimuleren. Ik stel vast dat uitvoeringsorganisaties hier goede stappen in zetten en zal de komende jaren naar een compleet overzicht toewerken hoe organisaties hiermee omgaan. Ethiek is wat mij betreft vooral ook onderdeel van goed gedrag waarbij zowel het navolgen van wet- en regelgeving als ruimte voor reflectie onontbeerlijk zijn. In het toetsingskader van de Algemene Rekenkamer is ethiek één van de vijf perspectieven. De Algemene Rekenkamer heeft ethiek verder geoperationaliseerd in verschillende principes. Ethiek als toetsingscriterium gebruiken, stimuleert organisaties om in het ontwerp en het gebruik meer ethische overwegingen te maken en te expliciteren. Naast ethiek als onderdeel van toetsing is het belangrijk om te investeren in kennis. In de opleiding van I-trainees, de nieuwe informatieprofessionals van de overheid, wordt specifiek bij de ethische aspecten van digitalisering stil gestaan. De Rijksacademie voor Digitalisering en Informatisering Overheid (RADIO) biedt ook trainingen aan op het snijvlak van ICT en ethiek, zoals over digitale grondrechten en data gedreven organisaties en ethiek.

Tevens worden op basis van de Interbestuurlijke Data Strategie regels ontwikkeld voor data-ethiek in de publieke sector. We gaan bij datagebruik vroegtijdig integrale afwegingen maken tussen wat ethisch wenselijk is, juridisch is toegestaan en technisch kan. Dit betekent niet dat we stoppen met data verzamelen en delen. Data kunnen enorm behulpzaam zijn voor overheden om burgers beter te ondersteunen en om maatschappelijke problemen aan te pakken, zoals de energietransitie, armoedebestrijding en het stikstofdossier.5Daarom is er een adviesfunctie «verantwoord datagebruik» gestart: een loket om afwegingen rondom concrete casussen te kunnen maken en hierover het gesprek te voeren met mensen vanuit verschillende disciplines. Vaak speelt privacy en de bescherming van persoonsgegevens daarin een belangrijke rol. Met de AVG is er al een kader voor de bescherming van persoonsgegevens, ook bij algoritmische toepassingen bij de overheid. Het kabinet heeft daarbovenop recent een onderzoek laten starten naar de naleving door de overheid van de AVG. Het onderzoek wordt door het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) uitgevoerd. Ook het budget van de Autoriteit Persoonsgegevens wordt in het coalitieakkoord (bijlage bij Kamerstuk 35 788, nr. 77) structureel verhoogd. In 2023 en 2024 is er respectievelijk 4 en 6 miljoen euro extra en vanaf 2025 komt er structureel 8 miljoen euro bij.

Aanbeveling 4: Versterken van de manier waarop biastoetsing plaatsvindt

Het Rathenau Instituut adviseert ook om de manier waarop biastoetsing plaatsvindt te versterken. Bij de inzet van algoritmen bestaat het risico dat op basis van trainingsdata er een bias ontstaat die kan leiden tot onrechtmatige en ongelijke behandeling. Non-discriminatie en gelijke behandeling moeten daarom basisbeginselen zijn bij het ontwerp, de ontwikkeling en de toepassing (en «training») van digitale systemen.

Ik stel vast dat de uitvoeringsorganisaties die onderzocht zijn investeren in een breed scala aan maatregelen om bias te toetsen, maar dat de biastoetsing effectiever kan worden vormgegeven en dat expertise over biastoetsing beter gedeeld kan worden. Daarom zal ik vanaf dit najaar een experttafel organiseren waar kennis over algoritmegebruik bij de overheid gedeeld kan worden en organisaties van elkaar kunnen leren.

De toetsing van bias kan al met behulp van de hierboven genoemde handreiking non-discriminatie by design die vorig jaar door het Ministerie van BZK is ontwikkeld. Omdat momenteel nog onvoldoende duidelijk is hoe deze handreiking in de praktijk gebruikt wordt en de impact daardoor lastig vast te stellen is, heb ik de Auditdienst Rijk gevraagd om een advies uit te brengen hoe de bekendheid van deze handreiking vergroot kan worden. Deze resultaten neem ik mee in het genoemde implementatiekader. Het is van belang om in beeld te hebben waar bias of verkeerd datagebruik binnen de overheid leidt tot discriminatie. Daarom breng ik n.a.v. de motie van het lid Marijnissen6 het gebruik van afkomstgerelateerde gegevens in rijksoverheidssystemen in kaart en zet ik deze stop op het moment dat het gebruik onrechtmatig of oneigenlijk is.

Aanbeveling 5: Investeren in een actieve informatievoorziening

Het Rathenau Instituut concludeert dat onderzochte uitvoeringsorganisaties zoeken naar de balans tussen actieve en passieve informatievoorziening, en het adviseert om te investeren in een actieve informatievoorziening. Gelet op de gevoeligheid van het onderwerp zoeken de organisaties naar de beste manier om over profilerende algoritmen te communiceren. Er gelden diverse transparantieverplichtingen die al eerder in een brief met uw Kamer zijn gedeeld.7

Maar het Rathenau Instituut komt ook tot de conclusie dat een algoritmeregister kan helpen bij het vergroten van transparantie omtrent algoritme-inzet door de overheid. Zoals ik in de inleiding al meldde, gaat het kabinet een algoritmeregister8 verplicht stellen voor overheidsorganisaties. Het algoritmeregister bevat in ieder geval hoog-risico algoritmen. Uitgangspunt is dat overheden zelf verantwoordelijk zijn voor het opstellen en beheer van een algoritmeregister. Het kabinet werkt aan het op een centrale plek toegankelijk maken van algoritmen, gevoed door informatie over algoritmen die overheidsorganisaties publiceren op hun eigen pagina. Het streven is om algoritmen die de afgelopen tijd zijn doorgelicht zoveel mogelijk voor het eind van het jaar in het register te publiceren. Het kabinet wil verder in overleg met overheden komen tot een eenduidige registratie van algoritmen. De voorlopige uitgangspunten van het algoritmeregister zijn geformuleerd. Dan gaat het onder andere om het doel van het algoritme, de (verwachte) consequenties en de proportionaliteit van de inzet van het algoritme.9 Om het algoritmeregister zo in te richten dat het beheer daarvan haalbaar is voor de uitvoering, zal een uitvoeringstoets worden uitgevoerd.

Aanbeveling 7: Verbeteren van de dienstverlening

Als laatste adviseert het Rathenau Instituut om samen met uitvoeringsorganisaties profilerende toepassingen te verkennen die de burger meer ondersteuning bieden. Het kabinet heeft in de hoofdlijnenbrief Digitalisering (Kamerstuk 26 643, nr. 842) aangegeven te werken aan het realiseren van concrete verbeteringen in het leven van mensen. Aan de hand van de werkagenda Werk aan Uitvoering10 worden data gebruikt om burgers te ondersteunen in het aanvragen van toeslagen of om te voorkomen dat burgers in de schuldsanering terechtkomen. BZK investeert in een persoonlijke regelingen assistent (PRA), een digitale innovatie die burgers proactief attendeert op voorzieningen waar zij mogelijk recht op hebben, maar ook attendeert op mogelijke risico’s.11 In 2022 werkt het project aan 4 use cases, onder andere met de Belastingdienst en de Kamer van Koophandel. Deze use cases zorgen voor een duidelijk beeld van het proces waar een burger mee te maken krijgt bij het aanvragen van een regeling. Het geeft inzicht in wat de te ontwikkelen applicaties moeten kunnen en waar de PRA rekening mee moet houden. Ook gaan we (niet-algoritmische) beslisregels opnemen in een openbaar register, zodat overheden decentraal nieuwe dienstverlenende applicaties kunnen ontwikkelen om burgers te ondersteunen.

In deze brief ben ik ingegaan op de onderzoeksresultaten en de 7 aanbevelingen. Ik ga aan de slag met alle aanbevelingen en zal deze meenemen bij het opstellen van de werkagenda die een uitwerking is van de hoofdlijnenbrief Digitalisering.

De Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties, A.C. van Huffelen

Naar boven