26 643 Informatie- en communicatietechnologie (ICT)

E VERSLAG VAN EEN SCHRIFTELIJK OVERLEG

Vastgesteld 12 april 2024

De leden van de vaste commissies voor Justitie en Veiligheid en Binnenlandse Zaken hebben op 14 november 2023 in een gecombineerde commissievergadering de rapportage algoritmerisico’s Nederland van de Autoriteit Persoonsgegevens behandeld.¹ De leden van de fracties van de BBB, GroenLinks-PvdA, D66, PVV en Volt hadden naar aanleiding hiervan diverse vragen en opmerkingen. De leden van de fractie van de PvdD sloten zich bij de vragen van alle fracties aan.

Naar aanleiding hiervan is op 6 december 2023 een brief gestuurd aan de Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties.

De correspondentie is overgedragen aan de op 16 januari 2024 ingestelde commissie Digitalisering².

De Staatssecretaris heeft op 11 april 2024 gereageerd.

De commissie Digitalisering brengt bijgaand verslag uit van het gevoerde schriftelijk overleg.

De griffier, Van Dooren

BRIEF VAN DE VOORZITTERS VAN VASTE COMMISSIES VOOR JUSTITIE EN VEILIGHEID EN BINNENLANDSE ZAKEN

Aan de Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties

Den Haag, 6 december 2024

De leden van de vaste commissies voor Justitie en Veiligheid en Binnenlandse Zaken hebben op 14 november 2023 in een gecombineerde commissievergadering de rapportage algoritmerisico’s Nederland van de Autoriteit Persoonsgegevens behandeld.³ De leden van de fracties van de BBB, GroenLinks-PvdA, D66, PVV en Volt hebben naar aanleiding hiervan diverse vragen en opmerkingen. De leden van de fractie van de PvdD sluiten zich bij de vragen van alle fracties aan.

Vragen van de leden van de fractie van de BBB

Naar aanleiding van de rapportage van de Autoriteit Persoonsgegevens (AP)/Directie Coördinatie Algoritmes (DCA) over risico’s van algoritmen en de beheersmatige taak daar weggelegd bij de AP/DCA hebben de leden van de fractie van de BBB diverse vragen en opmerkingen.

Eenvoudige systemen en toepassingen met beperkte algoritmische invloed kunnen significante gevolgen hebben voor individuen, groepen en de samenleving, zoals geïllustreerd door de Toeslagenaffaire en frauderisicosystemen van gemeenten. Deze systemen zijn vaak gebaseerd op historische data of impliciete aannames, waarbij risicofactoren worden afgeleid uit die data. Hierbij wordt niet daadwerkelijk frauduleus gedrag vastgesteld, maar wordt slechts het risico op dergelijk gedrag afgeleid uit gegevens over eerder vastgestelde gedragingen. Onopgemerkte gedragingen, schijnverbanden en ongegronde aannames dragen vaak bij aan een vertekend beeld van de realiteit. Het risico op discriminatie, gebrek aan transparantie en onbedoelde willekeur is in deze context aanzienlijk.⁴ Hierbij hebben de leden van de BBB-fractie de volgende vraag:

• 1. Hoe kan de regering waarborgen dat systemen gebaseerd op historische data of impliciete veronderstellingen, die risicofactoren afleiden uit het verleden, niet alleen het risico op ongewenst gedrag vaststellen maar daadwerkelijk onderscheid maken tussen relevante gedragingen en spurieuze verbanden en onterechte aannames, om zo discriminatie, gebrek aan transparantie en onbedoelde willekeur effectief te voorkomen?

Zonder transparantie verliezen individuen en groepen de controle, hebben ze beperkte mogelijkheden om beslissingen aan te vechten, en wordt het praktisch onmogelijk om uitkomsten en effecten te betwisten. Wanneer er gebrek is aan transparantie of uitleg over de toepassing van een algoritme, ontstaat de mogelijkheid van manipulatieve praktijken. De beïnvloeding van (online) gedrag door profilering en de besluiten die algoritmes nemen, klein of groot, kan aanzienlijke gevolgen hebben, bijvoorbeeld in kansspelen of zelfs in democratische processen, lezen de leden op pagina 8 van de rapportage.⁵

• 2. Hoe kan de regering garanderen dat de inzet van algoritmes in verschillende contexten wordt begeleid door transparantie en uitleg, zodat individuen en groepen de controle behouden, besluiten betwistbaar blijven en manipulatie van (online) gedrag wordt voorkomen, met name in cruciale processen zoals kansspelen en democratische procedures?

• 3. De rapportage handelt in abstracte termen over risicoclassificatie. Kunt u in praktische zin aangeven welke risicosoorten u in het beheerskader de belangrijkste vindt en op basis van welke criteria u tot die keuze komt?

• 4. Kunt u de criteria duiden die gebruikt worden voor de risicoclassificatie (laag-hoog) en welk normenkader u hier gaat hanteren?

De rapportage maakt duidelijk dat verantwoordelijkheden voor algoritmen, en daarmee ook voor daaraan verbonden risico’s, een sterk decentraal karakter kunnen hebben (bijvoorbeeld gemeenten), maar ook een centraal karakter (bijvoorbeeld de Belastingdienst). De leden van de BBB-fractie stellen hierbij de volgende vragen:

• 5. Heeft u een visie (buiten de registratie in een register) op de governance (verantwoordelijkheid, bevoegdheid en verantwoording) over algoritmen en hoe denkt u dat deze governance geïmplementeerd wordt binnen bestaande (overheids-)structuren?

• 6. Heeft u ook een voornemen om eisen te stellen aan de governance rond algoritmen van zelfstandige bestuursorganen (zbo’s) en/of private partijen?

• 7. De rapportage van de AP/DCA maakt duidelijk dat vanuit een risicoperspectief «onafhankelijke» monitoring gewenst is. Welk mandaat heeft de AP/DCA in het kader van monitoring en risicobeheersing?

Ook zonder algoritmen is de balans tussen de overheid en burger vanuit een macht en handelingsperspectief veelal in het nadeel van de burger. De menselijke maat is, in de relatie met of de beoordeling van veel uitvoeringsinstanties, reeds beperkt; de wet zegt «A» en er is geen ruimte om daarvan af te wijken, zelfs wanneer deze afwijking niet een materiële is en die afwijking uiteindelijk tot een betere, rechtvaardigere uitkomst leidt dan de uitvoering van de wet.

Wanneer de burger in verweer gaat tegen de beslissing van een uitvoeringsinstantie rest weinig anders dan de bestuursrechter, maar de praktische toegankelijkheid (geld, tijd, complexiteit) van dit kanaal is dan veelal in het nadeel van de burger. De leden van de BBB-fractie verwijzen hier bijvoorbeeld naar de rapportages van de Ombudsman. «The computer says no» en daar sta je dan!

• 8. Hoe denkt u de burgers in de toekomst bescherming te bieden tegen «misstanden en/of onrechtvaardigheid», veroorzaakt door de rigiditeit van algoritmen?

• 9. En hoe kan dat op een manier waarbij de burger ook op eenvoudige wijze, en tevens snel en zonder kosten, bezwaar kan maken tegen een besluit of een beoordeling die is opgelegd door een algoritme?

• 10. Welke eisen stelt de wetgever straks aan de eigenaar of de uitvoerder van dat algoritme waar het gaat om communicatie met de burgers over de uitkomst van het algoritme en/of de bescherming van de burgers tegen misstanden/onjuistheden/onrechtvaardigheden ten gevolge van het algoritme?

• 11. Heeft u ook een visie of ambitie om dergelijke bescherming in te richten voor algoritmen van zbo’s en/of private partijen?

Vragen van de leden van de fractie van GroenLinks-PvdA

De leden van de fractie van GroenLinks-PvdA hebben met veel belangstelling kennisgenomen van de rapportage van de AP. Zij hebben naar aanleiding hiervan een aantal vragen aan de regering.

De AP geeft in de Rapportage algoritmerisico’s Nederland aan dat het om grip te krijgen op de maatschappelijke effecten van de inzet van algoritmes vraagt om (i) snellere totstandkoming van wettelijke eisen aan transparantie, (ii) duidelijke regulering en (iii) versterking van intern en extern toezicht.⁶ De AP roept het demissionaire kabinet (en ook de Eerste en Tweede Kamer) op om voortgang te maken en te versnellen.⁷

• 1. Welke stappen en maatregelen is de regering voornemens te nemen op ieder van deze drie punten?

De AP waarschuwt voor de inzet van nieuwe toepassingen van Artificiële Intelligentie (AI) zo lang de mogelijke risico’s op schending van grondrechten en publieke waarden nog niet zijn geïnventariseerd. Hierbij wordt gedacht aan systemen en toepassingen zoals gezichtsherkenning en het opsporen van frauderisico’s.⁸

• 2. Wat is de reactie van de regering op deze waarschuwing? Neemt de regering deze ter harte? Zo nee, waarom niet? Zo ja, wat gaat de regering doen om ervoor zorg te dragen dat de inzet van AI niet plaatsvindt zolang een dergelijke risico-inventarisatie nog niet heeft plaatsgehad?

• 3. Welke maatregelen worden genomen, mogelijk in afwachting van nadere (Europese) regelgeving?

De AP wijst erop dat overheidsorganisaties algoritmes met een hoog risico in de eerste helft van 2024 in kaart moeten hebben gebracht om tijdig voorbereidingen te kunnen treffen voor verplichtingen onder de AI-verordening en om deze algoritmen in het algoritmeregister te registreren.⁹

• 4. Kunt u aangeven of en zo ja op welke wijze de regering ervoor zorgdraagt dat dit tijdig en zorgvuldig gebeurt?

• 5. Op welke wijze bevordert en bewaakt de regering voortgang op deze inventarisatie?

De AP wijst voorts op het feit dat de inzet van algoritmes voor veel mensen verborgen blijft door een gebrek aan transparantie.¹⁰ De leden van de GroenLinks-PvdA-fractie zijn het met de AP eens dat transparantie bij systemen en toepassingen die invloed hebben op publieke waarden en grondrechten een cruciaal onderdeel zijn. Zonder transparantie is het immers voor individuele burgers moeilijk zich tegen de uitkomsten van dat gebruik te verzetten.

De leden van de fractie van GroenLinks-PvdA kennen thans het algoritmeregister. De AP is positief over dit register, maar is voorstander van een verplichte registratie van hoog-risico-systemen waarbij aansluiting kan worden gezocht bij de classificering van de AI verordening.¹¹ De leden van de GroenLinks-PvdA-fractie hebben hierbij de volgende vragen:

• 6. Kunt u uiteenzetten of en zo ja op welke wijze de regering ervoor zorgdraagt dat het gebruik van algoritmes door lokale, regionale en nationale overheden en overheidsorganisaties in dit register te vinden zijn?

• 7. En is de regering voornemens in dit register een classificatie aan te brengen naar risico?

• 8. Kunt u voorts uiteenzetten in welke mate dit register op dit moment daadwerkelijk door individuele burgers of groepen wordt gebruikt?

• 9. Is met het in gebruik nemen van dit register de noodzakelijke transparantie die de AP zo onderstreept ook voldoende gewaarborgd? Zo ja, op grond waarvan meent de regering dat dat het geval is? Kunt u bij de beantwoording van deze vraag ook meenemen de mate waarin en de wijze waarop burgers dit register weten te vinden?

• 10. Wat doet de regering om de bekendheid van dit register onder burgers te vergroten?

• 11. Is de regering voornemens een publiekscampagne hierover in te stellen?

• 12. Wordt de burger bij overheidsbesluitvorming waarbij mogelijk sprake is geweest van het gebruik van algoritmes gewezen op het bestaan van het algoritmeregister?

• 13. Indien deze laatste vragen ontkennend worden beantwoord, wat is de regering nog voornemens te doen teneinde de bekendheid te vergroten en daarmee de noodzakelijke transparantie te bevorderen en te waarborgen?

Naar het oordeel van deze leden zou bij ieder overheidsbesluit waarbij sprake is geweest van (geheel of gedeeltelijke) algoritmische besluitvorming, in het besluit vermeld moeten worden dat dat het geval is, in welke mate en welke gegevens daarbij betrokken zijn. Hiermee is de transparantie van dit gebruik een gegeven. Dit is ook nu al het geval in een land als Frankrijk. Deze leden hebben deze vraag reeds eerder aan de regering gesteld, maar daarop nog geen inhoudelijk antwoord gekregen en herhaalt deze bij deze gelegenheid:

• 14. hoe staat de regering tegenover een dergelijke verplichting?

Vragen van de leden van de fractie van D66

De rapportage van de AP over algoritmerisico’s Nederland geven de leden van de D66-fractie inzicht in hoe de AP kijkt naar de risico’s en effecten van de inzet van algoritmes in Nederland. De leden hebben over deze rapportage een aantal vragen.

De AP gaat in principe over de verwerking van gegevens en heeft daartoe specifieke bevoegdheden. De AP betrekt grondrechten bij het beoordelen van de risico’s en effecten van de inzet van algoritmes. Dit is noodzakelijk, maar het is een breder kader dan waar de AP bevoegdheden voor heeft.

• 1. Bent u van mening dat de bevoegdheden van de AP daarmee ook verbreed moeten worden? Verandert hiermee de rol van de AP?

In de rapportage wordt meerdere malen verwezen naar Impact Assessment Mensenrechten (IAMA). Voor de leden van de D66-fractie is het hierbij onduidelijk wat precies de verhouding is tussen dit instrument en de wetgever.

• 2. Welke rol zou IAMA moeten spelen bij het wetgevingstraject bij beide Kamers als het gaat over AI-regelgeving?

In de rapportage staat dat geen wonderen verwacht moeten worden van de AI-verordening, maar vooral sprake is van afhankelijkheid van de inschatting van producenten.¹² Dit ziet dus vooral op zelfregulering en repressief toezicht. Door repressief toezicht kan er al schade zijn aangericht voordat er toezicht wordt uitgeoefend.

• 3. Hoe ziet u dit? Hoe kan dit worden voorkomen? Wat zijn de mogelijkheden om preventief toezicht te houden die de regering implementeert of voornemens is te implementeren?

• 4. Hoe bevordert de regering de samenwerking tussen de publieke en private sector om digitale innovatie op een veilige manier te stimuleren?

De ontwikkeling van algoritme en in bredere zin digitalisering gaat in een snel tempo. De leden van de D66-fractie vragen u:

• 5. Hoe houdt de regering deze ontwikkelingen bij?

• 6. Hoe monitort de regering de impact van digitalisering op de samenleving en past ze haar beleid en wetgeving aan om eventuele negatieve gevolgen te beperken?

Vragen van de leden van de fractie van de PVV

Op pagina 4 en 5 van de Rapportage algoritmerisico’s Nederland lezen de leden van de PVV het volgende: «Twijfelen organisaties aan de adequaatheid van hun risicobeheersing? Dan doen zij er verstandig aan terughoudend te zijn met de inzet van algoritmes en AI (artificiële intelligentie).»¹³ En: «De DCA verwacht dat de grootste uitdaging zit bij die sectoren, toepassingen of innovaties waar géén sectorale toezichthouder is die toeziet op het algehele functioneren van organisaties in die sector. (…) Ook deze eerste rapportage is daar in zekere zin een voorbeeld van. Het is pionieren om een totaalpakket aan beheersmaatregelen te ontwikkelen voor systemen die al in alle domeinen van de samenleving zijn doorgedrongen.»¹⁴

• 1. Kunt u toelichten hoe systemen in alle domeinen van de samenleving hebben kunnen doordringen, waardoor nu een totaalpakket aan beheersmaatregelen nodig zou zijn?

Op pagina 5 van de Rapportage algoritmerisico’s Nederland staat: «Het is daarom belangrijk dat beleidsmakers doorpakken om instrumenten en principes als registers, toetsingskaders en transparantie verplicht te maken bij de ontwikkeling en inzet van risicovolle algoritmes. «Het betere is daarbij de vijand van het goede»: met eenvoudige regels kan al veel worden bereikt. Organisaties moeten vervolgens zorgen voor voldoende financiële en personele capaciteit om snel aan dit soort regels te voldoen. Zij moeten daarin worden ondersteund als dat nodig is.»¹⁵ De leden van de PVV-fractie vragen hierover:

• 2. Wat gebeurt er in de tussentijd (voordat instrumenten en principes uitgekristalliseerd zijn) inzake het gebruik van al bestaande risicovolle algoritmes door bijvoorbeeld gemeenten en overheidsinstanties? Welke mogelijkheden zijn er nu om een tijdelijke stop af te dwingen?

• 3. Hoe realistisch is het dat onder andere gemeenten en overheidsorganisaties op korte termijn voldoende financiële en personele capaciteit kunnen vrijmaken om aan toekomstige nieuwe regels inzake risicovolle algoritmes te voldoen en kunt u misschien een eerste grove inschatting geven wat als samenleving in totaal geïnvesteerd zou moeten worden?

Op pagina 8 van de Rapportage lezen de leden: «In de afgelopen maanden waarschuwden verschillende organisaties en instanties voor diverse effecten van de inzet van generatieve AI. Prominente ontwikkelaars en AI-experts waarschuwden, mede gevoed door publieke en politieke druk, voor de snelle ontwikkeling. En stelden een ontwikkelpauze van een half jaar voor, om te focussen op de effecten voor de samenleving. Hoewel deze zorgen de moeite waard zijn om te bespreken, kunnen ze ook afleiden van de daadwerkelijke vraagstukken waarmee de samenleving nu geconfronteerd wordt. En van instrumenten om algoritmes verantwoord te ontwikkelen en in te zetten.»¹⁶

• 4. Zijn er volgens u discrepanties tussen het focussen op de effecten van de samenleving en de daadwerkelijke vraagstukken waarmee de samenleving nu geconfronteerd wordt?

• 5. Deelt u de mening dat de waarschuwingen van prominente ontwikkelaars en AI-experts juist uitgebreid in kaart moeten worden gebracht en moeten worden meegenomen bij het ontwikkelen van nieuw beleid?

Verder lezen de leden op pagina 8 van de Rapportage: «Simpele systemen en toepassingen waarin algoritmes maar een beperkte rol spelen, kunnen ook al tot ingrijpende gevolgen leiden voor individuen, groepen en de samenleving. Voorbeelden hiervan zijn de Toeslagenaffaire en frauderisicosystemen die door gemeenten worden ingezet. Vaak gaat het om systemen en toepassingen gebaseerd op historische data of impliciete veronderstellingen waarmee risicofactoren uit die data worden afgeleid. Hiermee wordt niet daadwerkelijk fraude of ander te signaleren gedrag vastgesteld, maar wordt enkel het risico op dat gedrag afgeleid uit data over vastgestelde gedragingen in het verleden. Niet eerder geconstateerde gedragingen, spurieuze verbanden (schijnverbanden) of onterechte aannames leiden vaak tot een vertekend beeld van de werkelijkheid. Het gevaar van discriminatie, gebrek aan transparantie of onbedoelde willekeur is hier sterk aanwezig.»¹⁷

• 6. Kunt u zo uitgebreid mogelijk toelichten wat op dit moment al is gedaan om een tweede Toeslagenaffaire te voorkomen?

Op pagina 9 van de Rapportage algoritmerisico’s Nederland lezen de leden het volgende: «Op basis van internationale AI-standaarden, zoals van UNESCO, moet ook worden stilgestaan bij vraagstukken als de impact van algoritmes op mensen met beperkingen en de klimaatimpact. (...)

Zonder op toekomstige wetgeving te anticiperen, kunnen organisaties niet op een verantwoorde wijze tegemoet komen aan de innovatiewens van de samenleving. Daarmee kan de samenleving maatschappelijk relevante innovatie mislopen. Bijvoorbeeld op belangrijke thema’s als gezondheid, klimaat en democratie.»¹⁸

• 7. Deelt u de mening, gezien het feit dat het huidige klimaatbeleid is gebaseerd op aantoonbare misvattingen, dat het zeer risicovol is om dat te koppelen aan AI-standaarden, aangezien dat de aantoonbare misvattingen nog meer gewicht kan geven met alle gevolgen van dien voor onze samenleving?

Tot slot vernamen de leden van de fractie van de PVV op pagina 10 van de Rapportage: «De Algemene Rekenkamer stelde in 2022 dat de politie het CAS (Criminaliteits Anticipatie Systeem) niet goed op bias en andere risico’s controleert.»¹⁹

• 8. Kunt u zo gedetailleerd mogelijk aangeven wat er in de tussentijd door de politie is ondernomen om dit probleem tegen te gaan?

De leden van de PVV-fractie ontvangen op bovenstaande vragen graag een gemotiveerd antwoord.

Vragen van de leden van de fractie Volt

De leden van de Volt-fractie stellen de Rapportage algoritmerisico’s Nederland van de Autoriteit Persoonsgegevens zeer op prijs en hebben hierbij een aantal vragen.

Risicobeheersing van in de omgang van wet- en regelgeving over algoritmes

Op pagina 5 zegt het rapport: «De DCA verwacht dat de grootste uitdaging zit bij die sectoren, toepassingen of innovaties waar géén sectorale toezichthouder is die toeziet op het algehele functioneren van organisaties in die sector.»²⁰ Ondanks dat dit genoemd wordt, worden geen dergelijke sectoren daadwerkelijk bij naam genoemd. Echter is het vanuit de Eerste Kamer belangrijk om toezicht te houden op de handhaafbaarheid van de wet- en regelgeving rondom algoritmes, zoals de Algemene Verordening Gegevensbescherming (AVG). Daarom stellen de leden de volgende vraag:

• 1. Bij welke sectoren ontbreekt het momenteel aan een dergelijke toezichthouder en hoe kan er in deze sectoren specifiek meer geïnvesteerd worden in het handhaven van de huidige wetgeving?

Biased datasets

De rapportage haalt meerdere keren aan dat algoritmes ook biased worden door de dataset waar ze mee werken en die ook zelf verder opbouwen. Zo worden op pagina 8 de Toeslagenaffaire en frauderisicosystemen aangehaald als voorbeelden waarin de rol van algoritmes beperkt lijkt, maar de dataset uiteindelijk groeit naar een bias uitkomst. Er wordt veel gesproken over toezichthouders met betrekking tot algoritmes in de gehele rapportage, maar niet tot de datasets. De leden van de Volt-fractie hebben een vraag over handhaafbaarheid die toegerekend wordt aan de toezichthouder:

• 2. In hoeverre hebben toezichthouders die checks voeren op de algoritmes in een wenselijk algoritmeregister ook toegang tot de datasets (die vaak ook in het bezit zijn van private partijen)?

Follow-up Staatssecretaris

Op pagina 10–12 van de rapportage worden de drie grootste praktijkrisico’s samengevat: predictive policing in het gebruik van politie, patroonherkenning in crimineel betalingsverkeer en de toewijzing van gemeentelijke sociale voorzieningen. In alle gevallen hebben toezichthouders, zoals de Algemene Rekenkamer en het Systeem Risico Identificatie (SyRI), aan de bel getrokken dat wat nu gebeurt leidt tot discriminatie. De leden van de fractie Volt stellen u in het kader van de handhaafbaarheid de volgende vraag:

• 3. Wanneer en hoe grijpt u precies in als toezichthouders aangeven dat de effecten van geïnstitutionaliseerde algoritmes onwenselijk, onethisch of zelf onconstitutioneel zijn?

EU-wetgeving

Het document bevat veel verwijzingen naar EU-wetgeving die in de maak is. De belangrijkste is de AI-verordening en de conceptversie van een AI-verdrag dat al gedeeld is door de Raad van Europa. Zo staat er op pagina 14: «Ook moeten deze landen [de EU-lidstaten] waarborgen dat individuele vrijheid, menselijke waardigheid en autonomie, democratische processen, volksgezondheid en het milieu worden beschermd als overheden, maar waarschijnlijk ook private partijen, algoritmes gebruiken.»²¹ Er staan hier veel implicaties in, maar het is wel interessant om te zien dat er een visie is op de uitvoering van EU-lidstaten. In het kader van de uitvoerbaarheid stellen de leden de volgende vraag:

• 4. Welke stappen heeft u gezet of gaat u zetten om het Europees AI-verdrag te operationaliseren in de Nederlandse context?

Proportionaliteit

De rapportage onderschrijft dat het belangrijk is om toetsingsmechanismen en kaders te hebben waarin algoritmes getoetst worden, met daarbij aandacht voor risicogeoriënteerde infasering door organisaties. Tegelijkertijd meldt het rapport op pagina 14: «Het moet voor organisaties proportioneel en behapbaar zijn.»²² Dit is volgens de leden van de Volt-fractie een lastige taak, zeker omdat we steeds meer algoritmen en data gaan krijgen. Tot slot hebben de leden van de fractie Volt in het kader van de uitvoerbaarheid de volgende vraag:

• 5. Gezien het belang van toetsing aan de Impact Assessment Mensenrechten en Algoritmes (IAMA), hoe voorziet u de uitvoering van deze toetsing op grote schaal voor organisaties waar deze toetsing momenteel het belangrijkst is, zoals in de rechtshandhaving?

De leden van de vaste commissies voor Justitie en Veiligheid en Binnenlandse Zaken zien uw reactie – bij voorkeur binnen vier weken – met belangstelling tegemoet.

De voorzitter van de vaste commissie voor Justitie en Veiligheid, B.O. Dittrich

De voorzitter van de vaste commissie voor Binnenlandse Zaken, I.M. Lagas MDR

BRIEF VAN De Staatssecretaris VAN BINNENLANDSE ZAKEN EN KONINKRIJKSRELATIES

Aan de Voorzitter van de Eerste Kamer der Staten-Generaal

Den Haag, 11 april 2024

Hierbij ontvangt u, mede namens de Minister van Economische Zaken en Klimaat en de Minister voor Rechtsbescherming, de beantwoording op de schriftelijke vragen die door leden van uw Kamer zijn gesteld op 6 december vorig jaar.

De Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties – Digitalisering en Koninkrijksrelaties, A.C. van Huffelen

Eerste Kamer der Staten-Generaal -Vragen n.a.v. rapportage algoritmerisico’s Nederland van de Autoriteit Persoonsgegevens

Antwoorden op vragen van de leden van de fractie BBB

1.

Hoe kan de regering waarborgen dat systemen gebaseerd op historische data of impliciete veronderstellingen, die risicofactoren afleiden uit het verleden, niet alleen het risico op ongewenst gedrag vaststellen maar daadwerkelijk onderscheid maken tussen relevante gedragingen en spurieuze verbanden en onterechte aannames, om zo discriminatie, gebrek aan transparantie en onbedoelde willekeur effectief te voorkomen?

De regering vindt het belangrijk dat overheidsinstanties transparant werken en de genomen besluiten uitlegbaar zijn. Een belangrijk deel van de waarborgen waar u op doelt is verankerd in wetten als de Algemene wet bestuursrecht (Awb), de Wet open overheid en ook de Algemene verordening gegevensbescherming (AVG). Deze gelden ook als er algoritmes worden ingezet. Op dit moment onderzoeken de ministeries van Justitie en Veiligheid (JenV) en Binnenlandse Zaken en Koninkrijksrelaties (BZK) mogelijkheden om de individuele transparantie van algoritmegebruik bij besluitvorming in de zin van de Awb te bevorderen. Op 1 februari j.l. is een internetconsultatie van start gegaan waar burgers kunnen reflecteren op verschillende voorgestelde oplossingsrichtingen.²³

Het kabinet werkt daarnaast aan verschillende acties om de grip op de effecten van de inzet van overheidsalgoritmes te versterken. Deze acties sorteren voor op, of zijn nationaal aanvullend op Europese wetgeving (zie ook de antwoorden op vragen 2, 3 en 4). Het algoritmekader (voorheen implementatiekader algoritmes) geeft aan welke (juridische) normen van toepassing zijn bij de inzet van algoritmes door de overheid, ook als het gaat om risico’s op vooringenomenheid of discriminatie, en hoe aan deze normen voldaan kan worden. Het kader bevat aanwijzingen die toelichten hoe risico’s beoordeeld kunnen worden – bv aan de hand van risicoanalyses – en hoe eventuele risico’s gemitigeerd kunnen worden. Ook schetst het algoritmekader hoe functies, taken en verantwoordelijkheden eruitzien gedurende de levenscyclus van AI/algoritmes. Met dit kader verduidelijkt het kabinet de bestaande verplichtingen.

2.

Hoe kan de regering garanderen dat de inzet van algoritmes in verschillende contexten wordt begeleid door transparantie en uitleg, zodat individuen en groepen de controle behouden, besluiten betwistbaar blijven en manipulatie van (online) gedrag wordt voorkomen, met name in cruciale processen zoals kansspelen en democratische procedures?

Aanvullend op al bestaande transparantie vereisten die voortvloeien uit Awb en AVG – zie ook antwoord op vraag 1 – zal de Europese AI-verordening eisen stellen aan de techniek, ook als het gaat om transparantie en uitlegbaarheid, bijvoorbeeld een notificatieplicht aan eindgebruikers (burgers en consumenten) dat een besluit met behulp van een AI-systeem is gemaakt. Ook verbiedt de verordening AI-systemen die doelbewust manipulerende technieken gebruiken om het gedrag van mensen te veranderen met schade als (mogelijk) gevolg. Sommige AI-systemen die kunnen worden gebruikt rond democratische processen zoals verkiezingen of referenda, moeten aan strenge eisen voldoen. Volgens de AI-verordening moeten aanbieders, en in sommige gevallen gebruikers, hoog-risico AI verplicht opnemen in een EU-database. In Nederland is er een algoritmeregister waarin overheden impactvolle algoritmes publiceren. Er is in januari dit jaar een start gemaakt met een traject om te bezien hoe het algoritmeregister verplicht kan worden. Dit traject moet in samenhang worden bezien met een soortgelijke registratieverplichting die is opgenomen in de AI-verordening.

3.

De rapportage handelt in abstracte termen over risicoclassificatie. Kunt u in praktische zin aangeven welke risicosoorten u in het beheerskader de belangrijkste vindt en op basis van welke criteria u tot die keuze komt?

4.

Kunt u de criteria duiden die gebruikt worden voor de risicoclassificatie (laag-hoog) en welk normenkader u hier gaat hanteren?

Gecombineerd antwoord op de vragen 3 en 4.

De Europese AI-verordening zal eisen stellen aan de ontwikkeling van bepaalde AI-systemen voordat ze op de markt worden gebracht of in gebruik worden genomen, onder andere t.a.v. mogelijke bevooroordeeldheid of discriminatie van systemen.

Een belangrijke leidraad bij de inventarisatie door overheidsorganisaties is de hoog-risico classificatie in artikel 6 en Annex II en III. De AI-verordening classificeert verschillende producten en toepassingsgebieden waarin het gebruik van AI risico’s voor gezondheid, veiligheid en fundamentele rechten kan opleveren. Deze producten en gebieden zijn aangewezen op basis van een lijst aan risicocriteria²⁴ en kunnen ook basis van deze criteria aangepast worden. Het voorkomen van deze risico’s is de rechtvaardiging voor de verhoogde eisen die er aan deze AI-systemen worden gesteld. Hier zit dus een logische systematiek in, waarbij systemen met een hoger risico aan meer vereisten moeten voldoen, of zelfs niet gebruikt mogen worden. Het kabinet vindt echter dat ook relatief simpelere algoritmische systemen die niet als AI worden geclassificeerd en niet binnen de scope van de AI-verordening vallen, risico’s met zich meebrengen voor fundamentele rechten. Denk aan impactvolle algoritmes met directe rechtsgevolgen voor betrokkenen, of algoritmes die direct of indirect bijdragen hoe de overheid een betrokkene of groep categoriseert of benadert. Overigens is het zo dat als het nu gaat om relatief simpele of meer complexe systemen, het altijd van belang is om altijd alert te blijven op risico’s op schending van fundamentele rechten.

Op dit moment beschikken overheidsorganisaties over verschillende instrumenten om risicobeoordelingen te maken zoals een Impact Assessment Mensenrechten Algoritme (IAMA), Data Protection Impact Assessments (DPIA’s), begeleidingsethiek en de handreiking non-discriminatie. Hieruit kunnen conclusies worden getrokken over de risico’s of de uitkomsten van assessments kunnen worden voorgelegd aan interne toezichthouders voor advies/oordeel.

Daarnaast zal het algoritmekader voor de inzet van algoritmes door de overheid (zie ook antwoord op vraag 1) aangeven hoe AI-systemen en algoritmes op risico’s beoordeeld kunnen worden en zullen aanbevelingen voor risicobeoordeling en de inrichting van de governance voor AI worden opgenomen.

5.

Heeft u een visie (buiten de registratie in een register) op de governance (verantwoordelijkheid, bevoegdheid en verantwoording) over algoritmen en hoe denkt u dat deze governance geïmplementeerd wordt binnen bestaande (overheids-)structuren?

In de definitieve versie van het algoritmekader (zie ook antwoord op vraag 1) dat einde van 2024 gereed zal zijn, zullen ook aanbevelingen worden opgenomen voor de governance van AI. Het is aan overheidsorganisaties zelf om dit te implementeren binnen hun organisatie op een manier die bij hun organisatie en taak past.

6.

Heeft u ook een voornemen om eisen te stellen aan de governance rond algoritmen van zelfstandige bestuursorganen (zbo’s) en/of private partijen?

Zbo’s vallen onder de beoogde reikwijdte van het algoritmeregister. Bij de ontwikkeling van het algoritmekader zijn de zbo’s betrokken.

De AI-verordening stelt eisen aan de ontwikkeling en het gebruik van AI-systemen. Die gelden ook voor private partijen.

7.

De rapportage van de AP/DCA maakt duidelijk dat vanuit een risicoperspectief «onafhankelijke» monitoring gewenst is. Welk mandaat heeft de AP/DCA in het kader van monitoring en risicobeheersing?

De Autoriteit Persoonsgegevens (AP) is, conform de Algemene verordening gegevensbescherming (AVG) en de Uitvoeringswet AVG (UAVG), de onafhankelijke toezichthouder die de bescherming van persoonsgegevens bevordert en bewaakt in Nederland. Hiermee heeft de AP het mandaat om te komen tot risicobeheersing met betrekking tot (de bescherming van) persoonsgegevens. Dat geldt dus ook voor algoritmes waarin persoonsgegevens worden verwerkt. Daarnaast heeft de Directie Coördinatie Algoritmes (DCA) bij de AP in haar rol als coördinerend toezichthouder op algoritmegebied risico-signalering als een van haar doelen. In dat kader houdt de AP zicht op de ontwikkelingen rondom de ontwikkeling en het gebruik van algoritmes. Daarbij is het aan de sectorale toezichthouders om tot (uniformere) risicobeheersing binnen de eigen sector of het eigen domein te komen.

8.

Hoe denkt u de burgers in de toekomst bescherming te bieden tegen «misstanden en/of onrechtvaardigheid», veroorzaakt door de rigiditeit van algoritmen?

Ik onderschrijf het belang van de menselijke maat en ik zoek naar aanvullende oplossingen om de rechtsbescherming van burgers te verbeteren. Het huidige juridische kader waartoe algoritmes zich moeten verhouden (waaronder de AVG en de Awb) biedt al de nodige bescherming, maar het is altijd van belang om te blijven zoeken naar verbeteringen. Het kabinet treft daarom aanvullende maatregelen die terugkomen in de Werkagenda Waardengedreven Digitalisering.²⁵

Een belangrijke stap is om inzichtelijk te maken of en in hoeverre algoritmes een rol spelen in individuele besluiten. Het is belangrijk dat burgers vervolgens in staat worden gesteld om te toetsen of het besluit op een correcte manier tot stand is gekomen. Zoals toegelicht bij het antwoord op vraag 1 is er een internetconsultatie van start gegaan in het kader van de versterking waarborgen Awb. Daarnaast wil ik dit jaar bekijken of we een verwijzing naar het algoritmeregister bij een aantal overheidsbesluiten kunnen worden opgenomen.

Een andere belangrijk stap is om in het algoritmekader een overzichtelijk geheel van normen en afspraken op te nemen als het gaat om fundamentele rechten, zoals mogelijke vooringenomenheid en discriminatie, maar ook het recht op (betekenisvolle) menselijke tussenkomst. Met het toepassen van dit kader is mijn verwachting, wordt de kans op onverantwoorde of rigide inzet van algoritmes verminderd.

Een derde stap is het versterken van het toezicht. Het algoritmeregister verschaft toezichthouders, zoals de Directie Coördinatie Algoritmes (DCA) bij de AP, al inzichten in verschillende aspecten die een rol spelen bij het algoritme-inzet van overheden. Zo kunnen organisatie in het algoritmeregister aangeven wat de mogelijke risico’s zijn en welke maatregelen zij nemen om die risico’s te verkleinen. De DCA gaat, zoals gemeld in haar rapportage, dit jaar aan de slag met overheidsorganisaties die een loketfunctie hebben om de samenwerking tussen deze loketten te versterken. Het doel is algoritmeproblematiek eerder te herkennen en burgers en organisaties zo optimaal te kunnen helpen.

9.

En hoe kan dat op een manier waarbij de burger ook op eenvoudige wijze, en tevens snel en zonder kosten, bezwaar kan maken tegen een besluit of een beoordeling die is opgelegd door een algoritme?

Tegen een besluit dat is genomen op basis van een algoritme of waar een algoritmische beoordeling aan ten grondslag ligt, staat bezwaar en (hoger) beroep open conform de regels van de Algemene wet bestuursrecht (Awb). Net als bij «analoge» besluitvorming kunnen belanghebbenden binnen zes weken bezwaar maken tegen een appellabel algoritmisch genomen besluit. Een bezwaar indienen kost niets.

10.

Welke eisen stelt de wetgever straks aan de eigenaar of de uitvoerder van dat algoritme waar het gaat om communicatie met de burgers over de uitkomst van het algoritme en/of de bescherming van de burgers tegen misstanden/onjuistheden/onrechtvaardigheden ten gevolge van het algoritme?

Er gelden verschillende wettelijke verplichtingen om burgers te informeren over de inzet van een algoritme en de uitkomst daarvan. Zie ook antwoord op vraag 8. Als persoonsgegevens worden verwerkt in het algoritme moet op grond van de AVG actief inzicht worden geboden of gebruik is gemaakt van (volledig) geautomatiseerde besluitvorming en/of profilering en nuttige informatie over de onderliggende logica en verwachte gevolgen voor de burger worden verstrekt. Daarnaast geldt dat een burger altijd kan vragen om inzicht te krijgen in de verwerkte persoonsgegevens (artikel 15 AVG), dat geldt ook als er een algoritme wordt ingezet. Op grond van de Awb moet een bestuursorgaan een deugdelijke en kenbare motivering geven over hoe een besluit tot stand is gekomen.

11.

Heeft u ook een visie of ambitie om dergelijke bescherming in te richten voor algoritmen van zbo’s en/of private partijen?

Zelfstandige bestuursorganen zijn bestuursorgaan in de zin van de Awb. Een apart beschermingsregime voor zbo’s is daarom niet nodig; de Awb is tenslotte ook op zbo’s van toepassing.

Private partijen zijn in beginsel geen bestuursorgaan en vallen daarom niet onder de Awb. Soms is dat anders, namelijk als zij «met enig openbaar gezag bekleed» zijn. Kort gezegd betekent dat, dat private partijen soms besluiten mogen nemen op grond van de wet. Voor zover private partijen dat mogen, zijn zij bestuursorgaan en is de Awb op hen van toepassing. Ook voor deze bestuursorganen is daarom geen apart beschermingsregime nodig.

Volgens de definitieve tekst van de AI-verordening zullen publieke en private gebruikers van hoog-risico AI-systemen verplicht zijn om natuurlijke personen te informeren als het AI-systeem is gebruikt in relatie tot het nemen van een besluit over die persoon. Dat betekent dat gebruikers duidelijk moeten zijn als een AI-systemen is gebruikt bij het nemen of ondersteunen van besluiten. Daarnaast bevat de definitieve tekst ook een recht op uitleg, dat burgers vervolgens in staat stelt te toetsen of het besluit op een correcte manier tot stand is gekomen.

Antwoorden op vragen van de leden van de fractie Groen Links-Pvda

1.

Welke stappen en maatregelen is de regering voornemens te nemen op ieder van deze drie punten? (*grip te krijgen op de maatschappelijke effecten van de inzet van algoritmes vraagt:

• a. om (i) snellere totstandkoming van wettelijke eisen aan transparantie,

• b. (ii) duidelijke regulering en

• c. (iii) versterking van intern en extern toezicht. De AP roept het demissionaire kabinet (en ook de Eerste en Tweede Kamer) op om voortgang te maken en te versnellen)

Een gecombineerd antwoord vragen op a en b.

Op Europees niveau zijn belangrijke mijlpalen behaald als het gaat om AI-verordening die na definitief akkoord in de Raad en na plenaire stemming in het Europees Parlement in april 2024 zal worden aangenomen. Daarnaast zijn in maart 2024 de onderhandelingen over het AI-verdrag van de Raad van Europa afgerond. Dit verdrag verplicht verdragspartijen regels te stellen om bij de ontwikkeling en het gebruik van AI de fundamentele rechten, democratie en rechtsstaat te beschermen. Verder relevante wetgeving is de inwerkintreding van de Digital Services Act (hierna: DSA) die grote digitale platformen moet reguleren en aanbieders dwingt om risico’s aan te pakken en transparantie te bieden.

De DSA is in werking getreden, de AI-verordening nog niet. Op dit moment bereidt het kabinet de uitvoering van de AI-verordening in Nederland voor, zodat Nederland goed en op tijd aan de nieuwe wet kan voldoen.

Het kabinet vindt dat voordat de regelgeving in werking treedt, de nodige acties en initiatieven ondernomen moeten worden. In de onlangs door het kabinet gelanceerde visie op Generatieve AI, wordt nadrukkelijk stilgestaan bij de effecten en (mogelijke) toepassing van Generatieve AI binnen verschillende domeinen en sectoren van onze samenleving. De visie benadrukt het belang om in actie te komen met het oog op de mogelijkheden en uitdagingen van deze disruptieve en tegelijk kansrijke technologie. Het gaat er om Generatieve AI te benutten die in lijn zijn met onze waarden. Als het gaat om generatieve AI heeft het kabinet een voorlopig standpunt ingenomen waarin het gebruik van generatieve AI wordt toegestaan, zolang deze voldoet aan geldende wet- en regelgeving.²⁶ Om dit te controleren moet er per geval een risicoanalyse worden uitgevoerd (b.v. een IAMA). Een IAMA zal worden toegepast op een experiment van de Open State Foundation die twee bestaande AI-modellen wil finetunen met Tweede Kamer data. Het doel om deze modellen te laten «debatteren» en in een open setting de risico’s van GAI te laten zien en welke maatregelen nodig zijn om deze risico’s tegen te gaan.²⁷ Anderzijds wil het kabinet investeren in AI-innovaties, omdat we dan de mogelijkheid hebben om mee te doen én richting te geven aan de juiste en kansrijke ontwikkeling van de technologie in zowel onze maatschappij als economie.

Ook als het gaat om het versterken van het interne en externe toezicht (deel c van de vraag), zet het kabinet proactief stappen. De Directie Coördinatie Algoritmes (DCA) bij de AP heeft extra budget gekregen om o.a. aan risicosignalering te doen en om audits op algoritmes uit te voeren. Op dit moment bereidt het kabinet de uitvoering van de AI-verordening in Nederland voor, zodat Nederland goed en op tijd aan de nieuwe wet kan voldoen. Een belangrijke keuze die in dat kader wordt gemaakt is het beleggen van de toezichthoudende bevoegdheden op nieuwe wettelijke verplichtingen uit de AI-verordening in de Nederlandse uitvoeringswet voor de AI-verordening. Het kabinet is hierover regelmatig in gesprek met toezichthouders. Daarnaast heeft het Ministerie van Economische Zaken en Klimaat financiële middelen gereserveerd voor toezichthouders om zich aankomend jaar te kunnen voorbereiden op het toezicht op de AI-verordening. Ook wordt voorlichting voorbereid voor organisaties in de publieke en private sector.

2.

Wat is de reactie van de regering op deze waarschuwing? Neemt de regering deze ter harte? Zo nee, waarom niet? Zo ja, wat gaat de regering doen om ervoor zorg te dragen dat de inzet van AI niet plaatsvindt zolang een dergelijke risico-inventarisatie nog niet heeft plaatsgehad? (*De AP waarschuwt voor de inzet van nieuwe toepassingen van Artificiële Intelligentie (AI) zo lang de mogelijke risico’s op schending van grondrechten en publieke waarden nog niet zijn geïnventariseerd. Hierbij wordt gedacht aan systemen en toepassingen zoals gezichtsherkenning en het opsporen van frauderisico’s.

Ja, het kabinet neemt de waarschuwing ter harte zoals ook blijkt uit het voorgaande antwoord.

3.

Welke maatregelen worden genomen, mogelijk in afwachting van nadere (Europese) regelgeving?

Graag verwijs ik naar mijn antwoord op vraag 1 van uw fractie.

4.

Kunt u aangeven (*algoritmes met hoog risico beoordelen en registeren) of en zo ja op welke wijze de regering ervoor zorgdraagt dat dit tijdig en zorgvuldig gebeurt?

Met de inventarisatie van algoritmes en AI-systemen die nodig is voor de AI-verordening, is al begonnen in het traject rondom het algoritmeregister. Momenteel realiseren overheden een algoritmeregister dat steeds meer gevuld wordt en inzicht biedt in gebruikte hoog-risico en impactvolle algoritmes.

Alle departementen zijn gevraagd om een planning op te stellen voor het publiceren van alle relevante algoritmes. Conform de motie Dekker-Abdulaziz zijn zij gevraagd prioriteit te geven aan hoog-risico algoritmes, waarvan de definitie aansluit bij die uit de AI-verordening.²⁸ Ook zal bij alle nieuw te ontwikkelen hoog risico AI en of algoritme toepassingen een mensenrechtentoets worden gedaan. Dezelfde motie roept ook op om jaarlijks over de voortgang gerapporteerd. Alle departementen hebben inmiddels hun planning gerapporteerd aan de Tweede Kamer. Het is daarbij belangrijk te benoemen dat het inventariseren, beoordelen en registreren tijd kost om zorgvuldig te doen. De verantwoordelijkheid ligt daarvoor primair bij de organisaties zelf en de departementen waaronder zij vallen. Over de voortgang kom ik graag terug in de kabinetsreactie op het rapport van de Parlementaire enquêtecommissie Fraudebeleid en Dienstverlening.

5.

Op welke wijze bevordert en bewaakt de regering voortgang op deze inventarisatie?

De verantwoordelijkheid voor de inventarisatie t.a.v. het algoritmeregister ligt, net als het voldoen aan de AI-verordening, primair bij de organisaties zelf en de departementen waaronder zij vallen. Rijksbreed is afgesproken dat het algoritmeregister up-to-date is in 2025 en dat dan ten minste de hoog-risico en de impactvolle algoritmes geregistreerd zijn in het algoritmeregister. Het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties biedt ondersteuning bij de registratie en benadert organisaties waar weinig voortgang zit.

6.

Kunt u uiteenzetten of en zo ja op welke wijze de regering ervoor zorgdraagt dat het gebruik van algoritmes door lokale, regionale en nationale overheden en overheidsorganisaties in dit register te vinden zijn?

Ja, het kabinet draagt daar zorg voor. Allereerst geeft het kabinet gehoor aan de motie Dekker-Abdulaziz van de Tweede Kamer die de Rijksoverheid verzoekt nieuwe hoog-risico AI-systemen direct te registreren.²⁹ Zoals toegelicht bij de vorige vraag zullen departementen de Tweede Kamer informeren over het registreren van bestaande en nieuwe algoritmes. Het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties benadert daarnaast actief overheidsorganisaties en in het bijzonder decentrale overheden die buiten de reikwijdte van genoemde motie vallen. De Tweede Kamer heeft met de motie Dassen gevraagd om een verplicht algoritmeregister.³⁰ Het kabinet verkent momenteel een wettelijke verplichting voor het algoritmeregister, in samenhang met de AI-verordening.

7.

En is de regering voornemens in dit register een classificatie aan te brengen naar risico?

Ja dat is zoals het kabinet het voor zich ziet. In de laatste versie van de «Publicatiestandaard van het Algoritmeregister van de Nederlandse Overheid» wordt beschreven welke algoritmes moeten worden geregistreerd, en wordt een voorlopig onderscheid gemaakt tussen drie classificaties.³¹ Omdat de publicatiestandaard pas in december 2023 gepubliceerd is, zal het even duren totdat deze informatie bij alle registraties is opgenomen. De eerste classificatie is hoog-risico AI zoals gedefinieerd in de AI-verordening. De tweede classificatie omvat impactvolle algoritmes. Kort gezegd zijn dit algoritmes met rechtsgevolgen voor betrokkene of algoritmes die beïnvloeden hoe de overheid een betrokkene of groep classificeert. Als derde de categorie «overige algoritmes». Dit zijn algoritmes waarover overheidsorganisaties transparant willen zijn ondanks het feit dat ze niet behoren tot de eerste twee categorieën. Zo kan een Woo-verzoek of media-aandacht daarvoor de aanleiding zijn. Dit is aan overheden zelf. Op de website wordt het in te toekomst voor gebruikers mogelijk om te filteren op deze drie categorieën. Er is een handreiking opgesteld om overheidsorganisaties te helpen bij de publicatie van algoritmes in het register.³²

8.

Kunt u voorts uiteenzetten in welke mate dit register op dit moment daadwerkelijk door individuele burgers of groepen wordt gebruikt?

Uit een onderzoek blijkt dat het algoritmeregister bekend is bij 9% van de Nederlands bevolking.³³ De website wordt wekelijks bezocht door ongeveer 400–500 unieke bezoekers.

9.

Is met het in gebruik nemen van dit register de noodzakelijke transparantie die de AP zo onderstreept ook voldoende gewaarborgd? Zo ja, op grond waarvan meent de regering dat dat het geval is? Kunt u bij de beantwoording van deze vraag ook meenemen de mate waarin en de wijze waarop burgers dit register weten te vinden?

In de rapportage schrijft de AP positief te zijn over het algoritmeregister. Het kabinet heeft de AP net als andere stakeholders betrokken bij gesprekken over het algoritmeregister en in het kader van het doelgroepenonderzoek. Naar het beeld van het kabinet biedt het register als maatregel op dit moment de noodzakelijke transparantie voor deze doelgroep. Om verdere ervaring op te doen, is het van belang dat het register gevuld wordt. In 2024 zullen wij op basis van gesprekken met stakeholders, een nieuw doelgroepenonderzoek doen en aan de hand van de ervaring met de vulling bezien of het register nog voldoet aan de noodzakelijke transparantie. Indien nodig zal het register naar aanleiding van deze inzichten worden aangepast.

10.

Wat doet de regering om de bekendheid van dit register onder burgers te vergroten?

In de huidige fase ligt de focus op het verder vullen van het register. Daarnaast is het belangrijk dat de toegankelijkheid van de teksten verder verbetert. Op dit moment missen er nog velden en zijn teksten niet altijd even toegankelijk geschreven. In 2024 gaan we daar nog meer gerichte aandacht aan besteden.

Wij verwachten dat er meer aandacht komt voor het register, doordat organisaties via hun eigen kanalen gaan verwijzen naar hun algoritmes in het register. Het verwijzen naar specifieke algoritmeregistraties willen we in 2024 verder aanmoedigen. Bijvoorbeeld door organisaties een verwijzing naar het algoritmeregister op te laten nemen in de besluiten die zij nemen waar een geregistreerd algoritme gebruikt werd, zoals toegelicht bij de volgende vraag.

Daarnaast gebruikt het Ministerie van Binnenlandse Zaken ook zijn mediakanalen om doelgroepen te wijzen op het algoritmeregister. Op dit moment is dat vooral gericht op professionals. Naar mate het register verder gevuld is, willen wij bekijken welke aanvullend maatregelen nodig zijn om de bekendheid verder te vergroten.

11.

Is de regering voornemens een publiekscampagne hierover in te stellen?

Nee, op dit moment nog niet. Mogelijk in een latere fase wel. Een te vroege publiekscampagne brengt als risico met zich mee dat burgers naar het algoritmeregister gaan en niet het algoritme kunnen vinden dat relevant is voor hen, omdat deze nog niet is opgenomen. Als het register verder gevuld is, wil het kabinet het register verder onder de aandacht brengen en onderzoeken of een publiekscampagne noodzakelijk of dat een andere vorm van voorlichting toepasselijker is.

12.

Wordt de burger bij overheidsbesluitvorming waarbij mogelijk sprake is geweest van het gebruik van algoritmes gewezen op het bestaan van het algoritmeregister?

De Awb vergt dat overheidsbesluiten deugdelijk en kenbaar worden gemotiveerd. Een verwijzing naar het algoritmeregister bij besluiten waarbij gebruik is gemaakt van een algoritme kan onderdeel zijn van een motivering. Het kabinet ziet daar de meerwaarde van. Daarom wil het kabinet bekijken of het mogelijk is om een verwijzing naar het algoritmeregister bij een aantal overheidsbesluiten op te nemen. Daarbij kijkt het kabinet ook naar de AI-verordening waarbij een notificatieplicht is opgenomen voor aanbieders en gebruikers van AI-systemen om eindgebruikers (burgers en consumenten) te attenderen dat een besluit met behulp van een AI-systeem is gemaakt.

13.

Indien deze laatste vragen ontkennend worden beantwoord, wat is de regering nog voornemens te doen teneinde de bekendheid te vergroten en daarmee de noodzakelijke transparantie te bevorderen en te waarborgen?

Zie antwoorden 9 t/m 11.

14.

Hoe staat de regering tegenover een dergelijke verplichting? (*verplichting vermelding algoritmische besluitvorming bij ieder overheidsbesluit naar voorbeeld van Frankrijk)

Het kabinet vindt het van groot belang dat er zoveel mogelijk transparantie is in het proces van ingebruikname en toepassing van algoritmes tot verantwoording over, op basis daarvan genomen besluiten of inzet bij handhaving en toezicht.

Zoals ook toegelicht in antwoord op vraag 1 van BBB, onderzoeken de ministeries van Justitie en Veiligheid en Binnenlandse Zaken en Koninkrijksrelaties de mogelijkheden om de individuele transparantie van algoritmegebruik bij besluitvorming in de zin van de Awb te bevorderen. In de preconsultatie van het voorstel voor de Wet versterking waarborgfunctie Awb heeft een expertsessie plaatsgevonden over dit onderwerp en zijn vragen aan uitvoeringsinstanties voorgelegd. De inbreng uit de preconsultatie heeft geleid tot verdere vragen en oplossingsrichtingen. Ter gelegenheid van de internetconsultatie van dit wetsvoorstel worden uitvoeringsinstanties, decentrale overheden, de rechtspraak, andere belanghebbenden en belangstellenden uitgenodigd deze vragen te beantwoorden en nader op het onderwerp algoritmische besluitvorming te reflecteren. Daarbij wordt expliciet gevraagd te reflecteren.

Antwoorden op vragen van de leden van de fractie D66

1.

Bent u van mening dat de bevoegdheden van de AP daarmee ook verbreed moeten worden? Verandert hiermee de rol van de AP? (*«De AP gaat in principe over de verwerking van gegevens en heeft daartoe specifieke bevoegdheden. De AP betrekt grondrechten bij het beoordelen van de risico’s en effecten van de inzet van algoritmes. Dit is noodzakelijk, maar het is een breder kader dan waar de AP bevoegdheden voor heeft.»)

Op dit moment is de AP voldoende uitgerust om effectief toezicht te kunnen houden op persoonsgegevens en algoritmes die persoonsgegevens verwerken. De AVG en UAVG voorzien de AP van een breed instrumentarium aan controle- en handhavingsbevoegdheden. Een groot deel van de impactvolle algoritmes, die mogelijk effecten hebben op individuen of organisaties en grondrechten, bevat daarbij persoonsgegevens. Momenteel zijn er in Nederland meer dan twintig toezichthouders bevoegd om toezicht te houden op uiteenlopende domeinen en sectoren waarin algoritmes en AI worden ingezet. Juist om deze reden is samenwerking en coördinatie binnen het toezichtsdomein zo van belang. Het bevorderen van samenwerking op het gebied toezicht op algoritmes is daarom ook een van de hoofddoelen van de Directie Coordinatie Algoritmes (DCA).

In het kader van de AI-verordening, waar in december 2023 een voorlopig politiek akkoord over is bereikt, zullen toezichtstaken worden belegd bij nationale toezichthouders. Vooralsnog wordt er – in gezamenlijkheid met de betrokken toezichthouders – verkend hoe de toezichtstructuur met betrekking tot de AI-verordening in Nederland het beste kan worden ingericht. De Rijksinspectie Digitale Infrastructuur (RDI) en de AP/DCA coördineren een gezamenlijk advies dat aan het kabinet zal worden voorgelegd over de inrichting van het toezicht op de AI-verordening.

Zie verder ook het antwoord op vraag 1c van de fractie GroenLinks-Pvda.

2.

Welke rol zou IAMA moeten spelen bij het wetgevingstraject bij beide Kamers als het gaat over AI-regelgeving?

Het komt steeds vaker voor dat digitale technologie wordt ingezet om wetgeving en beleid uit te voeren. Dat biedt voordelen: het is effectief, efficiënt en het kan willekeur voorkomen. Het is daarbij wel van belang dat deze uitvoering op een verantwoorde wijze gebeurt. De IAMA biedt overheidsorganisaties de mogelijkheid om de inzet van algoritmes en AI te toetsen aan o.a. de mensenrechten. Deze toets ziet niet toe op enkel persoonsgegevens, het onderwerp waar de AP zich mee bezig houdt. Zoals ook toegelicht bij vraag 4 van GL-PvdA en vraag 5 van Volt, zal het kabinet een mensenrechtentoets (zoals een IAMA) verplichten voor alle nieuw te ontwikkelen hoog risico AI/ en of algoritmes van de overheid. Dit in aanloop naar de AI-verordening die om de uitvoering van een mensenrechtentoets vraagt wanneer een AI-systeem als hoog-risico kan worden bestempeld. Daarnaast verplicht de AI-verordening tot de uitvoering van een risicoassessment van risico’s voor veiligheid, gezondheid en fundamentele rechten vraagt wanneer een AI-systeem als hoog-risico is geclassificeerd. In het algoritmekader voor de overheid zal het IAMA als belangrijk instrument worden opgenomen. Op basis van opgedane ervaringen met de IAMA zal deze verder doorontwikkeld en verbeterd worden.

Het kabinet vindt het daarnaast belangrijk om bij het opstellen van wet- en regelgeving al vroegtijdig aandacht te hebben voor de digitale uitvoering daarvan. Daarin is ook een rol weggelegd voor zo’n toets. Graag verwijs ik u naar mijn eerdere brief aan uw Kamer waar ik uitvoeriger in ben gegaan op deze en diverse andere toetsen en instrumenten.³⁴ Ook kom ik hier graag op terug in een verzamelbrief AI/algoritmes naar aanleiding van een toezegging die ik deed aan het lid Prins om in gesprek te gaan met de Minister voor Rechtsbescherming over de mogelijkheden om IT en algoritmes vroegtijdig mee te nemen bij het ontwikkelen van nieuwe wet- en regelgeving.

3.

Hoe ziet u dit (*In de rapportage staat dat geen wonderen verwacht moeten worden van de AI-verordening, maar vooral sprake is van afhankelijkheid van de inschatting van producenten.)? Hoe kan dit worden voorkomen? Wat zijn de mogelijkheden om preventief toezicht te houden die de regering implementeert of voornemens is te implementeren?

De AI-verordening stelt eisen aan hoog-risico AI-systemen en bevat verplichtingen voor aanbieders en gebruikers van die systemen. De aanbieder van een hoog-risico AI-systeem moet zorgen voor een conformiteitsbeoordeling die aantoont dat een hoog-risico AI-systeem aan de eisen van de AI-verordening voldoet. Onderdeel van de conformiteitsbeoordeling is het uitvoeren van een risicoanalyse, het nemen van maatregelen voor goed databeheer en het bijhouden van logs. Voor de meeste hoog-risico toepassingen moet de aanbieder (verkoper/ontwikkelaar) zelf die conformiteitsbeoordeling uitvoeren. In sommige gevallen moet de conformiteitsbeoordeling nog door een derde, onafhankelijke partij worden gecontroleerd. Het systeem van zelfbeoordelingen is gebruikelijk bij productregelgeving. Dit is geen zelfregulering. Het gaat hier om wettelijke eisen waarbij de aanbieders van deze producten zelf moeten zorgen dat aan de eisen is voldaan. Toezichthouders kunnen de conformiteitsbeoordelingen achteraf controleren en handhaven als blijkt dat risico’s onvoldoende zijn gemitigeerd met onder meer boetes.

Deze eisen zorgen er onder andere voor dat het systeem veilig en accuraat is, en door de gebruiker wordt vertrouwd om gebruik te nemen. Het is dus ook in het belang van de aanbieder om aan deze eisen te voldoen. Daarnaast is de gebruiker verplicht om het functioneren van het AI-systeem in de gaten te houden en incidenten te melden.

Bovendien moet een selecte groep gebruikers van hoog-risico AI-systemen (in ieder geval overheidsorganisaties en private diensten in opdracht van overheden) een aanvullende mensenrechten impact assessment uitvoeren. Daarbij borduren gebruikers voort op de risicoanalyse die door de aanbieder is gedaan.

4.

Hoe bevordert de regering de samenwerking tussen de publieke en private sector om digitale innovatie op een veilige manier te stimuleren?

Een van de manieren waarop het kabinet de samenwerking tussen de publieke en private sector stimuleert als het gaat om AI-ontwikkelingen, is de werkgroep Publieke Diensten van de Nederlandse AI Coalitie (NLAIC). Binnen deze werkgroep, en in de samenwerking met andere werkgroepen van de NLAIC, werken vertegenwoordigers van publieke organisaties samen met vertegenwoordigers uit de commerciële sector als het gaat om kennisuitwisseling, het verkennen van nieuwe mogelijkheden van AI en het werken aan concrete producten rondom AI en kennis over AI. Ook in verschillende AI-labs door heel Nederland werkt de overheid samen met de wetenschap en het bedrijfsleven om AI-toepassingen te onderzoeken.

5.

Hoe houdt de regering deze ontwikkelingen bij? (*«De ontwikkeling van algoritmes en in bredere zin digitalisering»)

6.

Hoe monitort de regering de impact van digitalisering op de samenleving?

Vragen 5 en 6 zijn gezamenlijk beantwoord.

Het kabinet volgt de ontwikkelingen op het gebied van algoritmes en digitalisering in de bredere zin nauwgezet. Op het gebied van algoritmes heeft het kabinet risico-signalering als een van de doelen van de Directie Coordinatie Algoritmes vastgesteld. Het opstellen van de Rapportage Algoritmerisico’s Nederland is een van de activiteiten om hier invulling aan te geven. Daarnaast vraagt het kabinet regelmatig aan onderzoeksinstituten of zij rapporten willen uitbrengen over recente ontwikkelingen op digitaliseringsgebied. Zo heeft het kabinet in 2023 het Rathenau Instituut gevraagd om techscans op te stellen over onderwerpen als generatieve AI en immersieve technologie. Als onderdeel van de Werkagenda Waardengedreven Digitaliseren zijn er daarbij tal van initiatieven die raken aan het monitoren van ontwikkelingen op het gebied van digitalisering. Deze onderwerpen variëren van open standaarden tot informatiehuishouding.³⁵ Vanuit de overheidsbrede visie op generatieve AI komt er daarnaast een jaarlijkse monitor op het gebied van de initiatieven, ontwikkeling en het gebruik van generatieve AI door overheden.

Antwoorden op vragen van de leden van de fractie PVV

1.

Kunt u toelichten hoe systemen in alle domeinen van de samenleving hebben kunnen doordringen, waardoor nu een totaalpakket aan beheersmaatregelen nodig zou zijn? (*verwijzing naar pagina 4–5 rapport AP)

De inzet van algoritmes in allerlei sectoren van de samenleving – zoals de zorg, het onderwijs en het mobiliteitsdomein – is niet nieuw. Door de opkomst van het internet en de verdere digitalisering van onze samenleving zijn deze systemen steeds meer onderdeel geworden van ons dagelijks leven. Dit gaat zowel om algoritmes van de overheid, als van private partijen.

De toegenomen inzet van algoritmische systemen biedt grote kansen maar ook uitdagingen. Dit is voor de Europese Commissie de aanleiding geweest om de AI-verordening voor te stellen op basis van een uitgebreid consultatietraject. In Nederland heeft het kabinet de afgelopen jaren het toezicht op algoritmes al versterkt. Ook stellen we duidelijke eisen aan overheidsorganisaties bij de inzet van algoritmes en maken we het gebruik van algoritmes – bijvoorbeeld via het algoritmeregister – transparanter. Het kabinet zet de komende jaren nog verdere stappen om grip te krijgen op algoritmegebruik, bijvoorbeeld via de Werkagenda Waardengedreven Digitaliseren.³⁶

2.

Wat gebeurt er in de tussentijd (*voordat instrumenten en principes uitgekristalliseerd zijn) inzake het gebruik van al bestaande risicovolle algoritmes door bijvoorbeeld gemeenten en overheidsinstanties? Welke mogelijkheden zijn er nu om een tijdelijke stop af te dwingen?

De mogelijke (negatieve) effecten van algoritme-inzet moeten we vanzelfsprekend zoveel mogelijk voorkomen. Om die reden heeft het kabinet de afgelopen jaren ingezet op de totstandkoming van de AI-verordening, de ontwikkeling van een algoritmekader, het inrichten van een algoritmeregister en het versterken van het algoritmetoezicht. In het geval zich toch (zeer) ongewenste effecten voordoen bij de inzet van (overheids)algoritmes, kan het algoritme – of onderdelen daarvan – worden stopgezet. Zo is het in 2023 onder meer gebeurd met het algoritme dat werd ingezet bij fraudebestrijding door de Dienst Uitvoering Onderwijs (DUO).³⁷

Graag verwijs ik ook naar het antwoord op vraag 3 van Volt.

3.

Hoe realistisch is het dat onder andere gemeenten en overheidsorganisaties op korte termijn voldoende financiële en personele capaciteit kunnen vrijmaken om aan toekomstige nieuwe regels inzake risicovolle algoritmes te voldoen en kunt u misschien een eerste grove inschatting geven wat als samenleving in totaal geïnvesteerd zou moeten worden?

Gemeenten zijn in de hoedanigheid van de Vereniging van Nederlandse Gemeenten (VNG) actief betrokken bij het vormgeven van het algoritmeregister en het algoritmekader. In het register worden momenteel al risicovolle algoritmes geregistreerd. De handreiking voor het register, die interbestuurlijk is samengesteld en afgesproken, helpt gemeenten om in kaart te krijgen welke algoritmes geregistreerd moeten worden.

Het algoritmekader, dat momenteel wordt doorontwikkeld n.a.v. de eerste versie uit juli 2023, zal gemeenten en andere overheidsorganisaties helpen om zicht te krijgen op de eisen en verplichtingen t.a.v. risicovolle AI-systemen. Een definitief door overheden gedragen versie wordt eind van dit jaar verwacht. Tot die tijd zal ik u informeren over de voortgang. Ook is de VNG onderdeel van de gesprekken over de implementatie van de AI-verordening binnen de overheid. Vanuit dat laatste project wordt geïnventariseerd wat er nodig is om gemeenten, maar ook andere overheidsorganisaties, verder te ondersteunen.

Op dit moment is het nog niet mogelijk om een inschatting te maken van de benodigde investeringen. Nadat de AI-verordening definitief is vastgesteld, zal hierover mogelijk meer duidelijkheid zijn. De VNG heeft een eerste voorlopige impactanalyse gemaakt van 13 nieuwe Europese wetten, waaronder ook de AI-verordening.³⁸ Het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties zal met decentrale overheden gezamenlijk een Uitvoeringstoets Decentrale Overheden (UDO) doorlopen. Het proces van de UDO helpt om beleid vorm te geven dat uitvoerbaar is en zijn doelen bereikt. Binnen het proces van de UDO zullen calculaties worden gemaakt welke middelen decentrale overheden nodig hebben om nieuwe wetgeving te kunnen uitvoeren.

4.

Zijn er volgens u discrepanties tussen het focussen op de effecten van de samenleving en de daadwerkelijke vraagstukken waarmee de samenleving nu geconfronteerd wordt?

Er is hier geen sprake van (mogelijke) discrepanties. De effecten van algoritmegebruik zijn een uitingsvorm van daadwerkelijke vraagstukken waarmee onze samenleving te maken heeft. De ongewenste effecten die de inzet van algoritmes kunnen hebben op grondrechten en publieke waarden kunnen bijvoorbeeld worden veroorzaakt door bestaande vooringenomenheden.

5.

Deelt u de mening dat de waarschuwingen van prominente ontwikkelaars en AI-experts juist uitgebreid in kaart moeten worden gebracht en moeten worden meegenomen bij het ontwikkelen van nieuw beleid?

Die opvatting deel ik. Het is van groot belang dat we ontwikkelaars en AI-experts betrekken bij de totstandkoming van AI-beleid. Hierbij dient aandacht te zijn vooral zowel de kansen als de risico’s op de kortere en langere termijn. Als onderdeel van het opstellen van de overheidsbrede visie op generatieve AI en de onderhandelingen van de AI-verordening is een breed scala aan experts en professionals gevraagd om mee te denken. Ook verkent het kabinet momenteel het oprichten van een AI-adviesorgaan (of Rapid Response Team). Een dergelijk orgaan met experts op het hoogste niveau kan het kabinet (mogelijk) adviseren over prangende kwesties rondom belangrijke ontwikkelingen op het gebied van (generatieve) AI.³⁹

6.

Kunt u zo uitgebreid mogelijk toelichten wat op dit moment al is gedaan om een tweede Toeslagenaffaire te voorkomen?

De afgelopen jaren zijn meerdere instrumenten en werkwijzen ontwikkeld om te komen tot een verantwoorde inzet van algoritmes en AI-systemen bij ons functioneren als overheid. Een opsomming daarvan is beschreven in de brief die ik u stuurde op 30 maart 2023 naar aanleiding van de motie die mevrouw Prins (CDA) indiende tijdens het debat met Uw Kamer op 21 maart 2023 inzake Grip op algoritmische besluitvorming bij de overheid.⁴⁰ Te denken valt aan instrumenten als de Impact Assessment Mensenrechten en Algoritmes (IAMA), waarmee het afgelopen jaar 18 pilots plaatsvonden bij overheidsorganisaties, maar ook het algoritmeregister, het algoritmekader en het toezicht die in meerdere antwoorden in deze brief genoemd zijn. De Werkagenda Waardengedreven Digitalisering gaat ook in op acties en maatregelen om een tweede Toeslagenaffaire te voorkomen.⁴¹ Denk bijvoorbeeld van het beter borgen van privacy, verantwoord datagebruik en het vergroten van transparantie over het datagebruik. Daarbij hoort ook meer inzicht geven in beweegredenen achter het handelen en de besluiten van de overheid. Recent heeft het stopzetten van het DUO algoritme (zie ook antwoord op uw vraag 2) aangetoond dat we voortdurend alert moeten blijven met algoritmes die er ogenschijnlijk onschuldig uitzien, maar dat niet blijken te zijn, of algoritmes die voor het gebruik weliswaar goed gecontroleerd zijn, maar tijdens het gebruik ongewenste effecten sorteren. Het voorkomen van nieuwe problemen heeft voortdurend aandacht nodig. De genoemde instrumenten en maatregelen zijn daar een belangrijk onderdeel van.

7.

Deelt u de mening, gezien het feit dat het huidige klimaatbeleid is gebaseerd op aantoonbare misvattingen, dat het zeer risicovol is om dat te koppelen aan AI-standaarden, aangezien dat de aantoonbare misvattingen nog meer gewicht kan geven met alle gevolgen van dien voor onze samenleving?

Ik sluit mij niet aan bij de opvatting dat het huidige klimaatbeleid is gebaseerd op aantoonbare misvattingen. Ik vind het van groot belang dat we aandacht hebben voor de ecologische voetafdruk van AI en inzetten op energie-efficiënte trainingsprocessen. De inzet van deze technologie mag geen schadelijke effecten hebben op ons klimaat. Daarom is het juist van grote meerwaarde dat verschillende duurzaamheidsaspecten worden meegenomen in het opstellen van AI-standaarden.

8.

Kunt u zo gedetailleerd mogelijk aangeven wat er in de tussentijd door de politie is ondernomen om dit probleem tegen te gaan? (*«De Algemene Rekenkamer stelde in 2022 dat de politie het CAS (Criminaliteits Anticipatie Systeem) niet goed op bias en andere risico’s controleert.)

Zoals aangegeven in mijn beantwoording van de feitelijke vragen over het rapport⁴², en in de beantwoording van Kamervragen van het Kamerlid Mutluer door de Minister van Justitie en Veiligheid, heeft het rapport de politie handvatten gegeven om het gebruik van het Criminaliteits Anticipatie Systeem (CAS) verder te verbeteren.⁴³ Het rapport van de Algemene Rekenkamer is meer dan een jaar geleden uitgekomen, inmiddels heeft de politie de controle op bias structureel ingericht en dit ook vastgelegd in de onderliggende documentatie.

Vanaf de zomer 2023 is een programma ingericht, dat specifiek gericht is op het verantwoorde gebruik van algoritmes. Hieronder valt bijvoorbeeld de toetsing aan (ethische) kaders en richtlijnen. De handvatten uit het rapport met betrekking tot CAS zijn verwerkt en over het gebruik van het CAS is een IAMA uitgevoerd. Het algoritme is begin december gepubliceerd in het algoritmeregister.⁴⁴

Antwoorden op vragen van de leden van de fractie Volt

1.

Bij welke sectoren ontbreekt het momenteel aan een dergelijke toezichthouder en hoe kan er in deze sectoren specifiek meer geïnvesteerd worden in het handhaven van de huidige wetgeving? (*zie verwijzing naar handhaving AVG en rapport)

Graag verwijs ik voor dit antwoord naar de bijlage van deze brief met daarin een reactie van de Autoriteit Persoonsgegevens (AP).

2.

In hoeverre hebben toezichthouders die checks voeren op de algoritmes in een wenselijk algoritmeregister ook toegang tot de datasets (die vaak ook in het bezit zijn van private partijen)?

Dit is afhankelijk van het specifieke mandaat en de wettelijke bevoegdheden van de desbetreffende toezichthouder. De AP heeft bijvoorbeeld op grond van artikel 58 van de AVG de bevoegdheid om informatie op te vragen bij publieke en private partijen, in het geval van een onderzoek naar een mogelijke inbreuk op de AVG. Ook de aankomende AI-verordening geeft aangewezen toezichthouders de bevoegdheid om tijdens een onderzoek toegang te krijgen tot de datasets die gebruikt zijn om het AI-systeem te trainen.

3.

Wanneer en hoe grijpt u precies in als toezichthouders aangeven dat de effecten van geïnstitutionaliseerde algoritmes onwenselijk, onethisch of zelf onconstitutioneel zijn?

Onafhankelijke toezichthouders, zoals de AP en de ACM, hebben op basis van bestaande regelgeving bevoegdheden om in dit soort situaties zelf handhavend op te treden. De AP heeft bijvoorbeeld op grond van art. 58 lid 2 de bevoegdheid om een verwerking te stoppen. Ook kunnen burgers en organisaties via rechterlijke instanties hun recht halen wanneer (overheids)algoritmes tot dergelijke ongewenste effecten leiden.

4.

Welke stappen heeft u gezet of gaat u zetten om het Europees AI-verdrag te operationaliseren in de Nederlandse context?

De onderhandelingen over het AI-verdrag van de Raad van Europa zijn in maart 2024 afgerond. Dit verdrag verplicht verdragspartijen regels te stellen om bij de ontwikkeling en het gebruik van AI de fundamentele rechten, democratie en rechtsstaat te beschermen. Indien Nederland partij wordt bij het verdrag, zal implementatie naar verwachting via de AI-verordening van de Europese Unie plaatsvinden. Daarnaast is aan de andere landen in het Koninkrijk de vraag gesteld of zij medegelding van het verdrag wenselijk achten.

5.

Gezien het belang van toetsing aan de Impact Assessment Mensenrechten en Algoritmes (IAMA), hoe voorziet u de uitvoering van deze toetsing op grote schaal voor organisaties waar deze toetsing momenteel het belangrijkst is, zoals in de rechtshandhaving?

Ik deel dit belang ook. En ik voorzie de uitvoering op grote schaal, althans in het geval er veel nieuwe risicovolle AI en/of algoritmes worden ontwikkeld door de overheid. Voor dit antwoord verwijs ik ook graag naar het antwoord op vraag 5 van Groen Links-Pvda.

Aanvullend geldt ten aanzien van het openbaar maken van een IAMA dat deze begrensd kan worden door wettelijke of gerechtvaardigde uitzonderingen bij bijvoorbeeld opsporing, (rechts)handhaving, defensie of inlichtingenverzameling. Dit kan betekenen dat deze algoritmes niet of slechts gedeeltelijk gepubliceerd kunnen worden. Het algoritmeregister is een mogelijkheid om de (gedeeltelijke) uitkomsten van de IAMA te publiceren.

Tot slot voeg ik eraan toe dat IAMA een van de instrumenten is om een mensenrechtentoets te doen. Het staat overheden vrij om ook andere instrumenten of methoden toe te passen. De IAMA is nog betrekkelijk nieuw en op basis van ervaringen die opgedaan zijn in 18 pilots maak ik een evaluatie die ook suggesties zal bevatten hoe de IAMA het beste een vervolg kan krijgen en doorontwikkeld kan worden. Ik verwacht deze evaluatie in mei gereed te hebben en deze zowel naar de Eerste als naar de Tweede Kamer te sturen.

---

1 Autoriteit Persoonsgegevens | Directie Coördinatie Algoritmes (DCA), Rapportage algoritmerisico’s Nederland; Periodiek inzicht in risico’s en effecten van de inzet van algoritmes in Nederland, juli 2023.

2 Samenstelling:

Oplaat (BBB), Van Gasteren (BBB) (ondervoorzitter), Panman (BBB), Goossen (BBB), Fiers (GroenLinks-PvdA), Roovers (GroenLinks-PvdA), Veldhoen (GroenLinks-PvdA) (voorzitter), Ramsodit (GroenLinks-PvdA), Recourt (GroenLinks-PvdA), Kaljouw (VVD), Prins (CDA), Belhirch (D66), Dittrich (D66), Van Hattem (PVV), Nicolaï (PvdD), Nanninga (JA21), Van Apeldoorn (SP), Talsma (CU), Van den Oetelaar (FVD), De Vries (SGP), Hartog (Volt), Van Rooijen (50PLUS).

3 Autoriteit Persoonsgegevens | Directie Coördinatie Algoritmes (DCA), Rapportage algoritmerisico’s Nederland; Periodiek inzicht in risico’s en effecten van de inzet van algoritmes in Nederland, juli 2023.

4 Autoriteit Persoonsgegevens | Directie Coördinatie Algoritmes (DCA), Rapportage algoritmerisico’s Nederland; Periodiek inzicht in risico’s en effecten van de inzet van algoritmes in Nederland, juli 2023, p. 8.

5 Autoriteit Persoonsgegevens | Directie Coördinatie Algoritmes (DCA), Rapportage algoritmerisico’s Nederland; Periodiek inzicht in risico’s en effecten van de inzet van algoritmes in Nederland, juli 2023, p. 8.

6 Autoriteit Persoonsgegevens | Directie Coördinatie Algoritmes (DCA), Rapportage algoritmerisico’s Nederland; Periodiek inzicht in risico’s en effecten van de inzet van algoritmes in Nederland, juli 2023, p. 4.

7 Ibid., p. 5.

8 Ibid., p. 5–6.

9 Ibid., p. 14.

10 Ibid., p. 8.

11 Ibid., p. 15.

12 Autoriteit Persoonsgegevens | Directie Coördinatie Algoritmes (DCA), Rapportage algoritmerisico’s Nederland; Periodiek inzicht in risico’s en effecten van de inzet van algoritmes in Nederland, juli 2023, p. 14.

13 Autoriteit Persoonsgegevens | Directie Coördinatie Algoritmes (DCA), Rapportage algoritmerisico’s Nederland; Periodiek inzicht in risico’s en effecten van de inzet van algoritmes in Nederland, juli 2023, p. 4.

14 Ibid., p. 5.

15 Ibid.

16 Autoriteit Persoonsgegevens | Directie Coördinatie Algoritmes (DCA), Rapportage algoritmerisico’s Nederland; Periodiek inzicht in risico’s en effecten van de inzet van algoritmes in Nederland, juli 2023, p. 8.

17 Ibid.

18 Ibid., p. 9.

19 Ibid., p. 10.

20 Autoriteit Persoonsgegevens | Directie Coördinatie Algoritmes (DCA), Rapportage algoritmerisico’s Nederland; Periodiek inzicht in risico’s en effecten van de inzet van algoritmes in Nederland, juli 2023, p. 5.

21 Ibid., p. 14.

22 Autoriteit Persoonsgegevens | Directie Coördinatie Algoritmes (DCA), Rapportage algoritmerisico’s Nederland; Periodiek inzicht in risico’s en effecten van de inzet van algoritmes in Nederland, juli 2023, p. 14.

23 https://www.internetconsultatie.nl/algoritmischebesluitvormingenawb/b1.

24 Artikel 7, paragraaf 2 AI-verordening.

25 https://www.rijksoverheid.nl/documenten/rapporten/2023/12/22/geactualiseerde-werkagenda-waardengedreven-digitaliseren-2024.

26 Kamerstukken II, 2023–24, 26 643, nr. 1125.

27 https://openstate.eu/nl/2023/12/open-opdracht-finetunen-van-llms/.

28 Kamerstukken 2022–23, 36 360 VI, nr. 14.

29 Idem.

30 Kamerstukken 2021–22, 35 925 VII, nr. 26.

31 https://www.digitaleoverheid.nl/document/handleiding-algoritmeregister-publicatiestandaard/.

32 https://www.digitaleoverheid.nl/wp-content/uploads/sites/8/2023/12/Handreiking-Algoritmeregister-versie-1.0.pdf.

33 https://kpmg.com/nl/nl/home/media/press-releases/2023/12/bekendheid-met-algoritmes-groeit-vertrouwen-daalt.html.

34 Kamerstukken I, 2022–23, CXLVII, nr. B.

35 Zie ook: De werkagenda: een jaar onderweg Werkagenda Waardengedreven Digitaliseren – Digitale Overheid.

36 Zie ook lijn 3.3 «AI en algoritmes» van de Werkagenda Waardengedreven Digitaliseren.

37 Zie ook: https://www.rijksoverheid.nl/documenten/kamerstukken/2023/07/06/antwoord-op-kamervragen-van-de-leden-kwint-en-leijten-sp-van-onderzoek-naar-mogelijk-discriminerende-algoritmen-door-duo.

38 https://vng.nl/sites/default/files/2023-03/eindrapport-analyse-samenhang-europese-digitale-wetgeving.pdf.

39 Het kabinet verkent dit mede op grond van de motie Dekker-Abdulaziz en Rajkowski (Kamerstuk 2023–2024, 26 643, nr. 1075).

40 Kamerstukken I 2022–23, CXLVII.

41 Kamerstukken II, 2022–23, 26 643, nr. 940.

42 Kamerstukken II, 2022–23, 26 643, nr. 923.

43 Kamerstukken II, 2021–22, Aanhangsel van de Handelingen, nr. 3322.

44 Criminaliteits Anticipatie Systeem (CAS) - Politie - Het Algoritmeregister van de Nederlandse overheid.