26 643 Informatie- en communicatietechnologie (ICT)

Nr. 1209 VERSLAG VAN EEN COMMISSIEDEBAT

Vastgesteld 11 juli 2024

De vaste commissie voor Digitale Zaken en de vaste commissie voor Financiën hebben op 17 april 2024 overleg gevoerd met mevrouw Van Huffelen, Staatssecretaris Koninkrijksrelaties en Digitalisering, en de heer Van Rij, Staatssecretaris Fiscaliteit en Belastingdienst, over:

  • de brief van de Staatssecretaris Koninkrijksrelaties en Digitalisering d.d. 24 mei 2023 inzake toezicht in het digitale domein (onder andere op AI en algoritmes) (Kamerstuk 26 643, nr. 1029);

  • de brief van de Staatssecretaris Koninkrijksrelaties en Digitalisering d.d. 9 juni 2023 inzake voortgang ROB-adviesrapport Sturen of gestuurd worden? Over de legitimiteit van sturen met data (Kamerstuk 26 643, nr. 1034);

  • de brief van de Staatssecretaris Koninkrijksrelaties en Digitalisering d.d. 7 juli 2023 inzake verzamelbrief algoritmen reguleren (Kamerstuk 26 643, nr. 1056);

  • de brief van de Staatssecretaris Koninkrijksrelaties en Digitalisering d.d. 21 december 2023 inzake opschaling algoritmetoezichthouder (directie Coördinatie Algoritmes bij de AP) (Kamerstuk 26 643, nr. 1110);

  • de brief van de Staatssecretaris Koninkrijksrelaties en Digitalisering d.d. 18 maart 2024 inzake kabinetsreactie op artikel Follow the Money inzake risicomodellen (Kamerstuk 26 643, nr. 1146);

  • de brief van de Staatssecretaris Koninkrijksrelaties en Digitalisering d.d. 9 april 2024 inzake uitstel toezending reactie op verzoek van het lid Idsinga, gedaan tijdens de regeling van werkzaamheden van 19 januari 2024, over een lijst van alle algoritmen die mogelijkerwijs illegaal zijn (Kamerstuk 26 643, nr. 1150).

Van dit overleg brengen de commissies bijgaand geredigeerd woordelijk verslag uit.

De fungerend voorzitter van de vaste commissie voor Digitale Zaken, Kathmann

De fungerend voorzitter van de vaste commissie voor Financiën, Tielen

De griffier van de vaste commissie voor Digitale Zaken, Boeve

Voorzitter: Kathmann

Griffier: Boeve

Aanwezig zijn acht leden der Kamer, te weten: Van Baarle, Kathmann, Krul, Meulenkamp, Six Dijkstra, Valize en Van der Werf,

en mevrouw Van Huffelen, Staatssecretaris Koninkrijksrelaties en Digitalisering, en de heer Van Rij, Staatssecretaris Fiscaliteit en Belastingdienst.

Aanvang 10.00 uur.

De voorzitter:

We gaan starten met het commissiedebat Inzet algoritmes en data-ethiek. Welkom aan al mijn collega’s van de Tweede Kamer en een bijzonder welkom aan de twee bewindspersonen: Staatssecretaris van Financiën Van Rij en Staatssecretaris Van Huffelen. Gezien de tijd die we hebben en het aantal Kamerleden denk ik dat we kunnen starten met denken dat vier interrupties in tweeën gaat lukken. En het zou mooi zijn als iedereen het een beetje kort wil houden.

Het woord is aan de heer Six Dijkstra van NSC.

De heer Six Dijkstra (NSC):

Dank u wel, voorzitter. Het Hof van Justitie van Europa heeft onlangs geoordeeld dat geautomatiseerde kredietscores strijdig zijn met artikel 22 van de AVG, het verbod op automatische besluitvorming. De landsadvocaat heeft naar aanleiding daarvan geadviseerd dat het gebruik van niet-transparante risicoprofielen via algoritmen zonder onderliggende wetgeving hoogstwaarschijnlijk illegaal is, omdat burgers daardoor rechtsbescherming missen. De gevolgen van deze uitspraak zijn dus behoorlijk verstrekkend. Geautomatiseerde risicoprofielen zijn, zonder wettelijke grondslag, verboden. Delen de staatssecretarissen die conclusie?

Ik zou graag van de Staatssecretaris Digitalisering willen weten hoeveel overheidsdepartementen er nog meer gebruik maken van algoritmen en selectiemethodes die op basis van dat advies mogelijk in strijd zijn met de AVG op dat punt. Mijn collega Idsinga heeft daarom ook het verzoek gedaan om een lijst met potentieel onrechtmatige algoritmen naar de Kamer te sturen. Daar is inmiddels een uitstelbrief op gekomen. Op welke termijn, vraag ik aan de Staatssecretaris, kunnen we die lijst verwachten?

De echte vraag is of wij als parlement de gevolgen van die uitspraak overzien. Want als we de conclusie kunnen trekken dat niet-transparante risicoprofielen zonder wettelijke grondslag in strijd zijn met de AVG, dan moeten er of een hoop algoritmen uit gebruik genomen worden of moet er een hoop nieuwe wetgeving komen. Laten we het dan ook grondig aanpakken. Een wettelijke versteviging van overheidsalgoritmen lijkt ons namelijk hard nodig. Is de Staatssecretaris dat met ons eens?

Het debat dat wij hier als Kamer doorgaans voeren over de wenselijkheid en wetmatigheid van algoritmen, is altijd achteraf, als er iets misgaat en er mensen in de verdrukking komen. Mijn fractie vindt er best wat voor te zeggen dat nieuwe, impactvolle algoritmen die persoonsgegevens verwerken bijvoorbeeld niet alleen in het Algoritmeregister vastgelegd worden, maar ook, bijvoorbeeld via een voorhangprocedure van wetgeving, langs de Staten-Generaal gaan. Dat zodat de Tweede Kamer ze aan de voorkant kan inzien en we er, indien nodig, een debat over kunnen voeren, want dan zijn algoritmen écht democratisch geborgd. Hoe kijkt de Staatssecretaris daartegen aan?

Dan wil ik het graag nog even hebben over het Implementatiekader voor de Inzet van Algoritmen, het IKA. De Staatssecretaris heeft de Kamer een flinke lijst gestuurd van de normen en maatregelen waaraan binnen de overheid voldaan moet worden om algoritmen met een grote impact in te zetten. Laat ik vooropstellen dat ik de inzet van de Staatssecretaris om grip te krijgen op algoritmen binnen de overheid waardeer. Dat willen we volgens mij allemaal, ook in deze Kamer. Zie ook alle moties die op dit vlak de afgelopen jaren zijn ingediend. Vorige maand is na het DUO-debat ook een motie aangenomen over een verplichte algoritme-apk. Ik sluit niet uit dat er bij het volgende algoritmeschandaal weer een stapeltje kaders bovenop komt. Het is allemaal sympathiek en natuurlijk goedbedoeld, maar ik ben wel een beetje bang dat we door de bureaucratische bomen het bos niet meer zien en dat we hier goed gedrag willen afdwingen met regeldruk.

Eerder zagen we bij de Belastingdienst, het UWV, de gemeente Rotterdam en DUO namelijk dat het volstrekt duidelijk was dat de algoritmen die ingezet werden om fraude mee op te sporen, niet rechtmatig waren of – laat ik het helder verwoorden – dat ze regelrecht discrimineerden. Vaak was het probleem ook niet dat dat niet tijdig gesignaleerd werd, maar dat de verantwoordelijke personen gewoon alle waarschuwingen in de wind sloegen en vrolijk doorgingen met de inzet. Het is in zo’n geval een kwestie van slecht bestuur. Mijn oprechte vraag aan de Staatssecretaris is of de huidige beleidskaders voor alle departementen werkbaar zijn. Kunnen alle grote problemen die binnen de overheid rondom algoritmen spelen, niet veel beter aangepakt worden door vast te houden aan een paar kernachtige principes en aan gewetensvol bestuur, in plaats van met een heel groot IKA met IAMA’s en alles wat daarbij komt kijken? Ik noem principes als «houd je aan de Grondwet en aan de AVG», «wees transparant richting burgers» en «zorg voor goed toezicht». Ik heb wat toezicht betreft overigens liever een sterke, goed geëquipeerde Autoriteit Persoonsgegevens met echte doorzettingsmacht, dan al die dure externe consultancybureaus die door de persoonlijke data van burgers moeten spitten.

Mijn laatste vraag stel ik mede namens de ChristenUnie. Hoe staat het met de uitvoering van de aangenomen motie-Leijten/Ceder over het uitwerken van meer samenhang tussen verschillende waardekaders?

Voorzitter. Ik rond af. Ik geloof in de schoonheid van eenvoud. Ik weet dat ik hier de strijd met de onverbiddelijke tijdsgeest aanga, maar misschien wordt het tijd om eens van het dogma af te stappen dat de overheid altijd en overal maar meer data driven moet zijn. Niet alles wat kan, moet ook. Want daar waar het de verwerking van persoonsgegevens betreft, delven meer dan eens de personen achter de gegevens het onderspit.

Dank u wel.

De voorzitter:

U heeft een interruptie van de heer Van Baarle van DENK.

De heer Van Baarle (DENK):

Dat klopt. Ik dank de heer Six Dijkstra voor zijn inbreng. Ik vraag me wel af hoe ik zijn inbreng exact moet wegen. Hij heeft het over het dilemma tussen, aan de ene kant, de noodzaak tot het scheppen van normen en, aan de andere kant, het niet doorslaan in een woud van regelgeving. Hoe moet ik dat nou zien? Bepleit de heer Six Dijkstra namens NSC dat we de zaken die we met elkaar in gang hebben gezet, namelijk het vastleggen van normen, in algemenere termen zouden moeten gaan uitvoeren? En bepleit hij dus dat je de goede praktijkstappen die je kan doorlopen om zaken non-discriminatoir te maken, niet moet vastleggen? Ziet hij liever dat algemene principes worden vastgelegd? Of begrijp ik het dan verkeerd?

De heer Six Dijkstra (NSC):

Ik dank de heer Van Baarle voor zijn vraag. Het punt dat ik wilde maken, is dat wanneer er een volgend algoritmeschandaal is, we soms als Kamer in de reflex kunnen schieten dat er een hele lijst moties komt met nieuwe maatregelen die moeten worden getroffen. Hierdoor gaat de samenhang soms nog weleens verloren.

Laat ik vooropstellen: non-discriminatoire eigenschappen van algoritmes lijkt mij een basisprincipe, een principe waar we ons altijd aan moeten houden. Mijn oprechte vraag aan de Staatssecretaris is: is die samenhang er nog wel, met alle moties die er zijn geweest, en alle extra kaders? Dat is mijn vraag. Is het niet makkelijker om het te versimpelen? Mijn punt is ook dat, wanneer er een nieuw overheidsschandaal rondom algoritmes is, ik me afvraag of dat wel wordt geconstateerd. Is er wel een functionaris gegevensbescherming of iemand anders die aangeeft dat er wordt gediscrimineerd? En is het probleem dat daar niet naar geluisterd wordt? Het lijkt mij dat daar de bottleneck zit en dat we ervoor moeten oppassen om niet meer kaders en meer regeldruk in te voeren daar waar eigenlijk een vereenvoudiging en goed toezicht het echte probleem zouden moeten oplossen?

De voorzitter:

En u heeft een interruptie van de heer Krul van het CDA.

De heer Krul (CDA):

Ik dank de heer Six Dijkstra voor zijn betoog en ik stel eerst een open vraag. Ik ben heel erg benieuwd hoe de heer Six Dijkstra naar het begrip «goed toezicht» kijkt. Hoe zou de heer Six Dijkstra bijvoorbeeld het belang van fraudeopsporing en de toezichthoudende functie die de overheid hoort te hebben wegen? Dit vraag ik ook in het licht van deze uitspraak van het Hof waar ik zelf ook uitgebreid op terug zal komen, omdat het ook gewoon kan betekenen dat we beslisregels die misschien helemaal niet zozeer algoritmisch zijn, straks ook niet meer kunnen gebruiken. Hoe weegt de heer Six Dijkstra dan de rol als het gaat om gewoon fraudeopsporing?

De heer Six Dijkstra (NSC):

Ik hoor twee vragen, een over toezicht en een over fraudeopsporing. Dat zijn natuurlijk wel twee andere dingen. Als het gaat om toezicht, vind ik het goed dat de Autoriteit Persoonsgegevens tegenwoordig een afdeling heeft die specifiek ziet op algoritmes. Tegelijkertijd zal fraudeopsporing in enige mate moeten plaatsvinden en dat kan niet altijd handmatig. Dus ik denk dat we er niet aan ontkomen dat we in sommige gevallen algoritmes gaan inzetten. Het Hof heeft geoordeeld dat dat zonder stevige wettelijke basis niet mag. Dus ik zou zeggen: laten we die wettelijke basis verstevigen. Laten we ervoor zorgen dat we met z’n allen de kaders afstellen voor de algoritmes die wel worden ingezet en die enige impact hebben op de rechtszekerheid of de rechtsbescherming van burgers en dat we daar ook goed op kunnen controleren via een toezichthouder en via transparantie richting de burgers. Mijn vraag zou ook zijn, kan dat misschien met een rol voor de Kamer via een voorhangprocedure?

De heer Krul (CDA):

Een vervolgvraag. Dus als ik het goed begrijp zegt de heer Six Dijkstra, bijvoorbeeld als het gaat om geautomatiseerde besluitvorming bij fiscale gegevens, die eigenlijk gewoon nodig zijn om op een goede manier fraude te kunnen opsporen: ja, dat is gewoon nodig. Dat is dan niet datgene waar het in zijn betoog om gaat. Dat is wel een grote zorg die ik heb. Als ik het SCHUFA-arrest goed lees, lijkt het namelijk dat ook dat binnen die geautomatiseerde besluitvorming valt. Dat lijkt mij een onwenselijke situatie.

De heer Six Dijkstra (NSC):

Hoe ik de uitspraak lees – ik ben dan ook wel benieuwd naar de duiding van de staatssecretarissen – is dat het voornamelijk ligt aan een gebrek aan additionele wetgeving boven op de AVG die dit zou moeten toestaan, omdat die automatische besluitvorming an sich in strijd is met de AVG. Ik denk niet dat we naar een situatie toe moeten waarin elk geval handmatig moet worden getoetst. Ik denk dat we af en toe wel wat kritischer mogen zijn op waar we wel of niet algoritmes voor inzetten. Maar daar kan ik in het geval van de Belastingdienst nu, op deze afstand, geen uitspraak over doen. Ik kan wel zeggen dat we een goede wettelijke borging moeten hebben voor datgene dat we wel doen.

De voorzitter:

Een interruptie van mevrouw Van der Werf.

Mevrouw Van der Werf (D66):

Ik hoorde dat collega Six Dijkstra het had over die procedure bij algoritmes bij de overheid via een voorhangprocedure. Ik snap die gedachtegang, maar er zitten natuurlijk ook risico’s aan, zeker als je bijvoorbeeld bij toeslagen kijkt, waarbij de druk natuurlijk ook vanuit de politiek heel erg is opgevoerd. Zou je dat dan niet opensource willen maken, zodat meerdere experts mee kunnen kijken en je minder gevoelig bent voor de politieke wind die er waait?

De heer Six Dijkstra (NSC):

Dat is een interessante vraag. Ik denk dat het en-en is. Als ik open source interpreteer als transparant vastleggen, dus een Algoritmeregister, is het antwoord ja. Maar tegelijkertijd zou ik denken: als er een nieuw algoritme in werking treedt dat grote impact heeft op burgers omdat het persoonsgegevens verwerkt of omdat het enige profilering van burgers teweegbrengt, moeten we daar ook een debat over kunnen voeren. Ik zeg niet dat we elke keer dat er een nieuw algoritme komt, een debat moeten aanvragen, maar in sommige gevallen zal het kunnen gebeuren dat we denken «dit is kritiek en dit is iets waarover je in elk geval het debat zou willen voeren» en dat we dat dan samen doen. Bij voorhang is het ook niet zo dat je noodzakelijkerwijs over alles een debat voert, maar dat dat debat er wel komt wanneer je dat aanvraagt.

De voorzitter:

Een vervolgvraag van mevrouw Van der Werf.

Mevrouw Van der Werf (D66):

Voorzitter, ik wil eigenlijk met mijn inbreng beginnen.

De voorzitter:

O, ik dacht dat u een vervolgvraag had. Dan is het woord aan u, mevrouw Van der Werf.

Mevrouw Van der Werf (D66):

Voorzitter. Ik vond het een antwoord waar ik mee kan leven, dus ik was de volgende in de rij.

When you invent the ship, you also invent the shipwreck, aldus de Franse filosoof Paul Virilio. Aan die uitspraak moest ik denken in het kader van generatieve AI. We hebben een schip uitgevonden waar we ontzettend veel nieuwe dingen mee kunnen. Dat biedt enorme mogelijkheden waar we de vruchten van moeten plukken. Maar het heeft ook slechte gevolgen. Daar moeten we als politiek maatregelen voor treffen, bijvoorbeeld voor het verhogen van het bewustzijn van mensen over wat mag en wat niet mag met het gebruik van AI. Terwijl de één via deepfake een leuk dansfilmpje maakt van een politicus, proberen criminelen moedwillig mensen op te lichten en af te persen met andere deepfakes. Gelukkig is dat strafbaar, net zoals niet iedereen misschien doorheeft dat Chat GPT artikelen met auteursrecht citeert. Er zijn natuurlijk regels verbonden aan het gebruik daarvan. Kan de Staatssecretaris daarop reflecteren? Wat is nodig om ervoor te zorgen dat particulieren deze kansen en gevaren goed gaan begrijpen? Want dit wordt niet alleen gebruikt in het bedrijfsleven; iedereen gaat hiermee aan de haal.

Onze wetten en regels lopen online mateloos achter in vergelijking met de fysieke wereld. Dat is ook al vaak voorgekomen in debatten over veiligheid. Daarom is het belangrijk om onze weerbaarheid te vergroten. Ik zag onlangs een onderzoek van Humo, waarin een journalist liet zien dat hij met een nieuw TikTokaccount binnen vier likes een fuik werd ingetrokken van extreem gewelddadige inhoud. Een ander onderzoek laat zien dat juist eenzame jongens vrouwonvriendelijke Andrew Tate-achtige content krijgen voorgeschoteld. Ondanks dat de AI Act in elk geval transparantie zal vereisen over dit soort algoritmes, is het vooral in ons belang dat we ons weerbaarder maken tegen de werking hiervan, zeker als het gaat om kwetsbare jongeren en kinderen.

Wat is de volgende stap na die AI Act? Hoe gaan we van transparantie naar ingrijpen tegen zaken als radicalisering en polarisering, vraag ik de Staatssecretaris. En in hoeverre wordt er bijvoorbeeld binnen de AI Act uitvoering gegeven aan de aangenomen motie van D66 en de VVD om ontwrichtende algoritmes te verbieden?

Voorzitter. Dat vraagt ook om wat meer hygiëne bij onze eigen algoritmes. Er is het Algoritmeregister dat inzichtelijk moet maken hoe de algoritmes van de overheid werken, maar dit heeft geen verplichtend karakter. Algoritmes over bijvoorbeeld opsporing en criminaliteitsbestrijding zijn uitgesloten. Dat is niet onlogisch, maar er zit natuurlijk wel een spanning achter. Deze algoritmes zorgen er bijvoorbeeld voor dat de flitspaal de foto van het kenteken koppelt. Dat zijn natuurlijk niet de meest risicovolle algoritmes, maar juist de algoritmes die bijvoorbeeld over impactvolle beslissingen gaan, zou je op een goede manier moeten en willen uitleggen. Kan de Staatssecretaris hierop ingaan?

Ten slotte, voorzitter. Ik begon mijn verhaal met de kansen die AI ons te bieden heeft. Daar zou ik ook mee willen eindigen. Het bedrijfsleven past AI al volop toe om het werk sneller, efficiënter en leuker te maken. Als AI ons saaie administratieve taken uit handen kan nemen, houden we meer uren over voor het uitdagende werk. Toch blijft de inzet ervan binnen de overheid, bijvoorbeeld zeker bij gemeenten, nog heel erg beperkt. Hoe mooi zou het zijn als een ambtenaar de tijd die hij of zij moet steken in het schrijven van standaardbrieven, kan steken in het helpen van een burger die klem is komen te zitten en die de gemeente om hulp vraagt? Ik hoor graag een reactie van de Staatssecretaris en ik ben benieuwd of zij met ons erover kan meedenken wat hier mogelijk is.

De voorzitter:

Ik zie geen interrupties. Dan is het woord aan de heer Valize van de PVV.

De heer Valize (PVV):

Voorzitter, dank voor het antwoord. Mijn inbreng is ditmaal niet zo groot. Ik heb slechts drie onderwerpen: het implementatiekader van het algoritme, de voortgang van het Algoritmeregister en de opschaling van de algoritmetoezichthouder. Het eerste onderwerp is dus het IKA. Dit is ontwikkeld op verzoek van de Kamer met als doel om overheden te ondersteunen bij de verantwoorde inzet van algoritmes. We lezen in de brieven dat het een levend document is dat verder doorontwikkeld zal worden. Het IKA is in lijn gebracht met belangrijke onderwerpen die mede de basis hebben gevormd voor de AI-verordening, de AI Act, die er inmiddels ook door is. Vandaar de volgende vragen aan de Staatssecretaris. In hoeverre is het IKA nu bekend? Weten de departementen ervan en hoe zijn de ervaringen in het veld? Ook wil de PVV graag weten of de AI Act, nu die een feit is, nog verder gaat dan het IKA en, zo ja, op welke punten? Maar dit geldt ook omgekeerd: gaat IKA ergens verder op in dan de AI Act?

Voorzitter. Dan de voortgang van het Algoritmeregister. De Kamer heeft gevraagd om de publicatie van algoritmes van de overheid te verplichten. De Staatssecretaris schreef in de verzamelbrief Algoritmen reguleren en in de brief Opschaling algoritmetoezicht dat ze er niet voor heeft gekozen om registratie te verplichten omdat zij dit in samenhang wil bezien met de definitieve tekst van de AI Act. De PVV wil duidelijk stellen dat wat in Europa speelt, geen beweegreden is of kan zijn om geen gehoor te geven aan een oproep van de Kamer. Dat gezegd hebbende wil de PVV nu graag van de Staatssecretaris vernemen hoe zij, nu de AI-verordening er is, gehoor zal geven aan deze oproep.

We hebben inmiddels vernomen dat er op dit ogenblik 340 algoritmes in dat register staan, voornamelijk aangeleverd vanuit de gemeenten. Waarom kan dit register niet gewoon al tjokvol zitten met gebruikte algoritmes? Is dat omdat er te pas en te onpas gewerkt wordt in de selectie van data? Wordt er bij departementen niet vooraf nagedacht over hoe algoritmes dienen te worden opgesteld? Ik vind dit immers schokkend. Het is belangrijk om hier goed over na te denken. Immers, als je in een sequentiële opvolging twee filters verwisselt, kan dat een heel andere uitkomst bieden. Ofwel: als je bij een legobouwpakket van een brandweerkazerne op pagina 12 begint met de instructie en dan op verschillende plekken in het boekje de instructies opvolgt, heb je uiteindelijk geen brandweerkazerne. Is er dan geen verslaglegging? Je verzint iets, je verantwoordt dat en je krijgt een akkoord vanuit de hogere hiërarchie. Indien dat niet het geval is, hoe is het dan mogelijk en wat gaat de Staatssecretaris eraan doen om dit onder controle te krijgen?

Voorzitter, tot slot de opschaling van de algoritmetoezichthouder. De Autoriteit Persoonsgegevens heeft de directie Coördinatie Algoritmes in het leven geroepen voor het toezicht houden. In het kader daarvan of van de aanscherping moet zij nu tweemaal per jaar een risicoanalyse algoritmes Nederland uitvoeren en in kaart brengen welke publieke loketten er zijn om algoritmegerelateerde problematiek te melden en in hoeverre burgers deze loketten weten te vinden. Er staat niet bij of dit tot extra regeldruk leidt, maar de PVV zou graag van de Staatssecretaris vernemen of de capaciteit er wel is om deze doelen te realiseren en wat de impact van de Europese wet- en regelgeving, zoals de AI-verordening, de Dataverordening en de Digitaledienstenverordening, op de beschikbare capaciteit gaat zijn. Ik las reeds over de toename van de financiële middelen in de komende jaren: een verdubbeling in 2024 ten opzichte van 2023 en 3,6 miljoen in de opvolgende jaren. Maar ik bedoel dus qua personeel en in relatie tot wat er nog aankomt, dus niet in de financiële middelen, want ik neem aan dat die toereikend zijn.

Voorzitter, daarmee ben ik aan het einde van mijn betoog gekomen. Dank u.

De voorzitter:

U heeft een interruptie van de heer Van Baarle en daarna een interruptie van mevrouw Van der Werf.

De heer Van Baarle (DENK):

We hebben uiteraard al heel erg lang een discussie in dit huis over de toepassing van algoritmen en ook over in hoeverre de overheid maatregelen zou moeten nemen om ervoor te zorgen dat die algoritmen geen discriminerende werking hebben. Er zijn veel voorstellen in de Kamer gedaan om waarborgen in te bouwen om algoritmen niet een discriminerende werking te laten hebben. Die heeft de PVV altijd – laat ik zeggen: in de meeste gevallen – niet gesteund, vaak met de argumentatie dat de PVV principieel eigenlijk niet zo veel moeite heeft met het gebruiken van nationaliteit en etniciteit als risicoclassificatie. De PVV vond dat eigenlijk best een goede indicator om fraude te achterhalen en mensen te profileren. Ik vraag me af wat de positie van de PVV nu is.

De heer Valize (PVV):

Ik vind dat dat thuishoort bij de departementen waar die algoritmen bepaald worden. Door verschillende commissies, zoals ze er zijn, wordt dus beoordeeld of iets is toegestaan of niet en of het verantwoord is of niet. Dat moet dus per onderdeel bekeken worden. Het doel heiligt de middelen.

De voorzitter:

Een vervolgvraag van de heer Van Baarle.

De heer Van Baarle (DENK):

«Per geval bekijken per ministerie», maar ik vraag de PVV om een visie te geven op het gebruik van nationaliteit en afkomstgerelateerde gegevens. We hebben daar verschrikkelijke dingen over meegemaakt, bijvoorbeeld bij DUO en ook de toeslagenmisdaad was daar een voorbeeld van. Als Kamer willen we daarvoor kaders stellen. U zegt dat het doel de middelen heiligt. Betekent dit dat de PVV vindt dat je nationaliteit en etniciteit als indicatoren zou mogen inzetten als dat in de optiek van de PVV een effectief instrument zou moeten zijn, terwijl we hier als Kamer meerdere malen met elkaar hebben uitgesproken dat het gewoon onwenselijke indicatoren zijn omdat zij mensen wegzetten op basis van uitkomst, huidskleur en dat soort verwerpelijke zaken?

De heer Valize (PVV):

Wanneer je alles gaat verbieden, kun je geen trends onderzoeken en kun je ook helemaal niets analyseren. Ik zie er dus geen probleem in om per departement te bekijken welke algoritmen zijn toegestaan en waarom ze moeten worden toegestaan als er maar een maatschappelijke verantwoording wordt afgelegd over waarom een bepaald onderzoek wordt ingezet.

De voorzitter:

Dan de interruptie van mevrouw Van der Werf.

Mevrouw Van der Werf (D66):

Hoe staat de PVV nou zelf tegenover het wel of niet verplicht in het register opnemen van algoritmes?

De heer Valize (PVV):

Het verplicht opnemen van algoritmes in een register is een goede zaak. Je moet inzichtelijkheid bieden als overheid.

Mevrouw Van der Werf (D66):

Ik vraag het omdat de overheid natuurlijk heel breed is. Geldt dit dan ook voor hele kleine gemeenten die maar een beperkte capaciteit hebben?

De heer Valize (PVV):

Het vergt niet heel veel capaciteit om een algoritme uit te schrijven en aan het register toe te voegen. Ik snap dus niet waarom een kleine gemeente zou worden uitgesloten van het deponeren van het algoritme in het register.

De voorzitter:

Dan is het woord aan de heer Krul van het CDA voor zijn inbreng.

De heer Krul (CDA):

Voorzitter, dank u wel. Wat dit soort debatten altijd kenmerkt, is dat je moet kiezen uit heel erg veel interessante onderwerpen in een hele korte tijd. Ik heb gekozen voor één onderwerp, waarmee ik niet zeg dat mijn inbreng minder groot is dan die van de heer Valize, maar het is wel hetzelfde onderwerp als waar de heer Six Dijkstra over gesproken heeft, namelijk het SCHUFA-arrest.

Dat arrest ging over het Duitse kredietbureau SCHUFA, dat kredietverleners informatie verstrekte over personen. Deze informatie werd vervolgens door die kredietverleners gebruikt om te bepalen of een lening wel of niet verstrekt werd. Het Hof heeft geoordeeld dat het toekennen van automatisch berekende kredietscores niet in overeenstemming is met de AVG. Dit betekent een ruime uitleg van het begrip «geautomatiseerde besluitvorming», waardoor strengere AVG-regels van toepassing zijn. Volgens de AVG mag je namelijk niet profileren op basis van geautomatiseerde besluitvorming. Deze uitspraak heeft potentieel grote gevolgen voor bijvoorbeeld de handhaving door de overheid bij belastingfraude en witwasonderzoek, want ook de landsadvocaat heeft in een recent advies deze brede uitleg van de rechter bevestigd. Om een voorbeeld te geven: bij de Belastingdienst worden op basis van signalen automatisch belastingaangiftes uit de bak getrokken. Als iemand hele hoge aftrekposten heeft maar een laag inkomen, zegt de computer «ping». Dat is een algoritme, maar is eigenlijk gewoon een beslisregel. Als straks zelfs deze «ping» van de computer zonder tussenkomst van menselijk handelen in strijd is met de AVG, zien wij grote problemen.

Hier heb ik een trits concrete vragen over aan de Staatssecretaris. Hoe beoordeelt de Staatssecretaris de ruime interpretatie van het begrip «geautomatiseerde besluitvorming» door de rechter en het advies van de landsadvocaat? In hoeverre is deze uitspraak over een private kredietverlener een-op-een van toepassing op de overheid? Gelden er wel of geen andere regels voor organisaties met een wettelijk verankerde taak? Is er een verschil als het toezicht alleen plaatsvindt op basis van indicatoren die geen persoonsgegevens zijn, zoals fiscale indicatoren? Wat zijn de gevolgen van deze uitspraak voor het fraudebeleid van de overheid, bijvoorbeeld van de Belastingdienst?

Mag de Belastingdienst nog op basis van geautomatiseerde signalen onderzoek doen? Wat zou het in de praktijk betekenen als dit niet meer mag? Kan dan nog alleen handmatig toezicht plaatsvinden en hoe ziet de Staatssecretaris dat voor zich als het gaat om miljoenen belastingaangiftes en de nu al nijpende situatie ten aanzien van de personele bezetting van de Belastingdienst? Welke gevolgen heeft deze uitspraak voor het witwastoezicht, waarin banken óók op basis van geautomatiseerde signalen onderzoek doen? Tot slot: kan de Staatssecretaris toezeggen dat deze uitspraak er niet toe leidt dat het complete toezicht- en handhavingsbeleid van bijvoorbeeld de Belastingdienst maar ook van andere uitvoeringsorganisaties stil komt te liggen? Zien we inderdaad het scheepswrak aankomen waar net al aan gerefereerd is?

Voorzitter. Kortom, we hebben grote zorgen over de uitspraak van de rechter en ook over het advies van de landsadvocaat. Wij maken ons er zorgen over dat deze strenge uitleg van de AVG ervoor gaat zorgen dat fraudeopsporing stil komt te liggen.

Voorzitter. Omdat ik dan toch nog één ander onderwerp wil aansnijden – anders is het wel héél eenzijdig – wil ik ook nog een vraag stellen over ...

De voorzitter:

Voordat u dat doet, heeft u een interruptie van de heer Six Dijkstra.

De heer Six Dijkstra (NSC):

Dit raakt ook even aan het korte debat dat de heer Krul en ik net hadden. Ik ben eigenlijk wel benieuwd naar zijn visie, want in het verleden is door middel van fraudebestrijding met gebruik van algoritmes veel fout gegaan en zijn schandalen ontstaan. Ziet de heer Krul met deze uitspraak niet ook een kans dat we echt kunnen zorgen voor een goede wettelijke versteviging van de manier waarop we fraude aanpakken op een manier dat er wel oog is voor mens en recht?

De heer Krul (CDA):

Dit is een hele terechte vraag. Ja, die kansen zien wij. Die zien wij zeker, met name als het gaat om de verwerking van persoonsgegevens, want daar zijn inderdaad hele hoge risico’s dat mensen vermorzeld worden. Maar wij zien ook het risico dat nu in een reflex simpele beslisregels, die al heel lang van toepassing zijn en die technisch gezien algoritmisch zijn, maar eigenlijk de simpelste functionaliteit hebben, als het ware ook in het verbod terechtkomen. Hierdoor wordt ook aan de andere kant de taak die je gewoon als overheid hebt, namelijk handhaven en voorkomen dat er veel fraude plaatsvindt, helemaal onmogelijk gemaakt. Het is dus een ontzettend precaire balans die we moeten zoeken. En het CDA maakt echt een onderscheid als het gaat om het gebruik van persoonsgegevens zonder tussenkomst van menselijk handelen. Daar zitten veel te veel risico’s in. Maar zonder geautomatiseerde besluitvorming op basis van fiscale gegevens, de «ping» als het ware, vrezen wij dat het als overheid wel heel ingewikkeld wordt om nog te kunnen handhaven.

De voorzitter:

Dan kunt u verdergaan met uw inbreng meneer Krul.

De heer Krul (CDA):

Voorzitter. Ik heb nog een vraag over toezicht. Binnen het Samenwerkingsplatform Digitale Toezichthouders, de SDT, zijn vier toezichthouders actief, namelijk: de ACM, de AFM, de AP en het CvdM. En het kabinet overlegt verder met zeven toezichthouders. Daar zitten dus nog de DNB, het CRM en de RDI bij. En dan is er ook nog een werkgroep AI onder de vlag van de Inspectieraad, waarin meer dan rijksinspecties, colleges en markttoezichthouders zitting hebben. Toen ik dit las, dacht ik: oei, dit is wel héél versnipperd en gefragmenteerd; zien we dan, als het om toezicht gaat, door de bomen het bos nog wel? De toezichthouders zelf geven ook aan dat het heel versnipperd en gefragmenteerd is. Ik vraag aan de Staatssecretaris of zij plannen heeft voor hoe dit kan worden versimpeld.

Dank u wel.

De voorzitter:

Dank u wel. Dan is het woord de heer Van Baarle van DENK.

De heer Van Baarle (DENK):

Voorzitter, dank u wel. Ik val vandaag in voor mijn collega Ergin. Mijn fractie heeft mij het woord ontnomen op het onderwerp Digitale Zaken, maar in de afgelopen jaren heb ik daarover met veel plezier het woord gevoerd, dus ik val vandaag in. De discussie over de risico’s van de toepassing van algoritmes wordt al lang gevoerd. We hebben de misstanden waar collega Six Dijkstra op wees inderdaad gezien. De discussie die ik altijd met deze Staatssecretaris heb gevoerd, ging over de oproep: ga nou eens aan de slag met zo’n bindend kader! De Staatssecretaris wilde in eerste instantie alleen een handreiking samenstellen, de handreiking non-discriminatie by design, en wachten op EU-regelgeving; die EU-regelgeving is er nu.

Voorzitter. Als het gaat om die handreiking non-discriminatie by design, heb ik wel al een eerste vraag. Ik heb in een motie gevraagd om die handreiking ook met private partijen te delen en om te onderzoeken in hoeverre private partijen bekend zijn met die handreiking. Wordt dat blijvend gedaan en kan de Staatssecretaris er al iets over zeggen of dat ook in de praktijk wordt toegepast op een manier waarop wij dat wensen?

Dan het algoritmekader, waarvan we de regels in de AI-verordening gaan vastleggen. Het is mij nu niet helder of dat algoritmekader een soort overzicht is, dus eigenlijk weer een nieuwe handreiking, of dat het ook bindend is. Ik maak dat zelf niet op uit de laatste brief die gestuurd is. Moet dit verplicht worden toegepast? Geldt dat algoritmekader nu alleen voor de overheid of geldt het ook voor bedrijven? De voorbeelden die we zien, zoals de toepassing van het algoritme in het anti-witwastoezicht, laten zien dat ook private toepassing van algoritmes een enorme impact heeft op of mensen bijvoorbeeld wel toegang hebben tot geldelijk verkeer, een basisrecht. De fractie van DENK heeft een motie ingediend, die is aangenomen, om voorschriften ten aanzien van non-discriminatie van algoritmes in de wet te zetten. Ik ben niet tevreden met de afdoening als die motie vervolgens met een niet-bindend kader wordt uitgevoerd.

Voorzitter. Hebben we als land eigenlijk de ruimte om dat algoritmekader op een scherpere manier in te zetten dan de bepalingen in de AI-verordening? Ik maak me daar zorgen over. In de AI-verordening staat bijvoorbeeld een omschrijving van een hoogrisicoalgoritme. Maar wat is eigenlijk een hoogrisicoalgoritme en een impactvol algoritme? Hoe passen we die toe op een manier waarbij we voldoende waarborgen treffen?

Tot slot op dit onderwerp: de handhaving. Wie wordt eigenlijk primair verantwoordelijk voor de handhaving als dat algoritmekader bindend is? Is dat inderdaad de AP, die de waakhond is? Is die voldoende toegerust om dat straks ook daadwerkelijk te gaan handhaven?

Voorzitter. Dan het Algoritmeregister. Er was een lange discussie over de verplichting daarvan. Ik kan uit de brief niet opmaken of dat, ondanks de aangenomen moties, daadwerkelijk gaat gebeuren. Dit register geldt alleen voor publieke instellingen, dus voor de overheid. Moet dat niet ook gewoon gelden voor private instellingen, dus voor bedrijven? Ook privaat worden er immers impactvolle besluiten over de levens van mensen genomen.

Hoe gaan we om met de uitzonderingsgronden? Want de overheid heeft er soms nogal een handje van om op basis van het belang van de Staat of de handhaving niet transparant te zijn. Komt daar snel een kader voor?

Voor de uitvoering van de befaamde motie op stuk nr. 21 (35 510), over de doorlichting van algoritmen, doen we een externe toets. Loopt die externe toets op schema en krijgen we die dus voor de zomer? Kan de Staatssecretaris aangeven of we op basis van die doorlichting ook een structureel instrument gaan maken om die algoritmen periodiek door te lichten?

Ik heb dan nog twee korte punten. We hebben een motie ingediend waarin wordt verzocht om burgers altijd in te lichten als overheidsbesluiten zijn genomen op basis van een algoritme of risicoprofilering. Die motie is aangenomen. Wordt dit nou gewoon vastgelegd in de Algemene wet bestuursrecht?

Tot slot, voorzitter. Er is een motie van mij aangenomen over een protocol bij geconstateerde discriminatie door algoritmen. Wanneer kunnen wij dat protocol tegemoetzien? Ik zou daar graag met de Staatssecretaris over debatteren, voordat het in dat kader komt.

Dank u wel, voorzitter.

De voorzitter:

U heeft een interruptie van de heer Krul van het CDA.

De heer Krul (CDA):

Als ik het betoog van de heer Van Baarle hoor, krijg ik de indruk dat het indienen van moties bij deze commissie niet zo veel nut heeft. Ik hoop dat het anders werkt. Ik ben benieuwd of de heer Van Baarle ook een onderscheid maakt tussen persoonsgegevens en bijvoorbeeld fiscale indicatoren. Is de heer Van Baarle van mening dat er nog steeds menselijk handelen moet plaatsvinden als iemands belastingaangifte ergens oppopt op basis van fiscale indicatoren, dus dat burgers daarover geïnformeerd worden? Ziet de heer Van Baarle niet dat de situatie dan praktisch onuitvoerbaar wordt?

De heer Van Baarle (DENK):

Volgens mij is de vraag eigenlijk of we kunnen blijven werken met een handhavingssysteem, mits dat is gebaseerd op objectieve en non-discriminatoire criteria en er bij impactvolle besluiten altijd menselijk handelen tussen zit. Dat is eigenlijk altijd precies de inbreng van de DENK-fractie geweest. Je moet het gebruik van een geautomatiseerd systeem niet per definitie uitsluiten, want dan kunnen we als overheid niet meer functioneren. We moeten er alleen wel voor zorgen dat het niet discrimineert en dat er bij impact op mensen altijd een menselijke check tussen zit.

De voorzitter:

Het woord is aan de heer Meulenkamp.

De heer Meulenkamp (VVD):

Dank u wel, voorzitter. De verschillende overheden in Nederland nemen jaarlijks vele miljoenen beslissingen. In toenemende mate wordt daarbij gebruikgemaakt van algoritmes. Plat gezegd wordt er data ingevoerd en rolt er aan de achterkant een beslissing uit. Er zitten kansen in, maar er zijn ook risico’s aan het gebruik van algoritmes.

Zojuist werd al gezegd dat de overheid niet meer zonder het gebruik van algoritmes kan, zeker met de huidige zeer krappe arbeidsmarkt. Met algoritmes kunnen er gewoon snel heel veel beslissingen worden genomen. Hierdoor blijft de overheid effectief voor haar inwoners. We hebben algoritmes gewoon nodig, zeker ook op het gebied van defensie en criminaliteitsbestrijding. Echter, er zijn wel zorgen over de inzet van deze algoritmes. Mensen willen graag niet als dataset, maar als mens gezien worden. De affaires die er zijn geweest, zijn net al genoemd.

De VVD wil graag inzetten op een goed functionerende overheid, met oog voor de individuele mens. Algoritmes worden wat ons betreft nog te vaak gezien als een technische oplossing voor een technisch probleem, terwijl in onze ogen altijd de mens centraal moet staan bij de overheid, ongeacht of die zich nou meldt bij een ambtenaar of dat er een algoritme wordt ingezet. Dit is een belangrijk onderwerp voor de komende jaren, zeker in een tijd waarin het vertrouwen in de overheid historisch laag is. Dat geldt niet alleen voor de rijksoverheid, maar ook voor alle andere overheden. We willen dat mensen zich gehoord voelen en daardoor meer vertrouwen krijgen in de overheid. Dit vraagt in onze ogen om een totaal andere manier van werken. Het is daarbij cruciaal om weer meer te luisteren naar en te praten met inwoners. Hoe denkt het kabinet dit te kunnen bewerkstelligen? Kunnen we juist door het inzetten van algoritmen – daar werd net ook al aan gerefereerd door mijn collega van D66 – weer meer tijd vrijmaken voor de gesprekken met onze inwoners? Kunnen we daar vanuit de overheid actief op sturen? Dat is cruciaal in onze ogen.

We leven in een tijdperk dat voor prachtige kansen zorgt, maar zoals we afgelopen weekend weer hebben gezien, leven we ook in een geopolitiek uiterst instabiele tijd. Dat zorgt voor allerlei gevaren. Mijn eigen gemeente is een aantal jaar geleden ook gehackt door een buitenlandse partij. Ik heb van dichtbij mogen zien voor hoeveel paniek op de werkvloer dat zorgt. Je weet dan niet meer hoe je de inwoners van je gemeente een uitkering kunt verstrekken, en mensen bellen met het bericht dat ze gewoon geen eten kunnen kopen. De lokale overheid weet niet hoe daarmee om te gaan.

De VVD heeft in het verleden daarom ook het belang van analoge terugvalopties aangegeven, en diende in dat kader een motie in met het verzoek om die terugvalopties mee te nemen in de weerbaarheidsanalyses. De VVD is blij dat die motie wordt uitgevoerd en dat er nog voor eind 2024 een update komt van die aanpak. Neemt de Staatssecretaris hier ook gemeenten en andere medeoverheden in mee? Dit is voor de VVD echt cruciaal. Zeker ook op basis van mijn ervaring bij een gemeente die gehackt werd, zeg ik: neem andere gemeenten en provincies alsjeblieft mee bij die terugvalopties. Graag hoor ik uw mening hierover en hoe u dit gaat doen.

De voorzitter:

Ik vraag de heer Six Dijkstra van NSC om de voorzittershamer even over te nemen en mij het woord te geven.

Voorzitter: Six Dijkstra

De voorzitter:

Dank u wel. Het woord is aan mevrouw Kathmann namens de fractie van GroenLinks-PvdA.

Mevrouw Kathmann (GroenLinks-PvdA):

Dank u wel, voorzitter. Technologiegebruik is nooit een doel op zich. Net zoals het hebben van een volle boekenkast niks zegt over hoe slim je bent, zegt het modewoord «AI-powered innovatie» niks over maatschappelijke waarden. Toch slopen algoritmes en AI overal naar binnen. Soms doen ze goed, soms doen ze kwaad. Alles in mij schreeuwt dan dat we zorgvuldig moeten zijn. We moeten echt af van de technocratische reflex heilig te vertrouwen in wat een app of algoritme ons zegt, en het stuur in eigen handen nemen. We laten vraagstukken over digitalisering te vaak aan ons voorbijgaan. Het is dus echt tijd om duidelijk te zijn over hoe Nederland zich tot technologie gaat verhouden.

We hebben nu heel mooie kabinetsvisies, zoals over generatieve AI, en de veelgeprezen werkagenda liggen. Tegelijkertijd gebruiken gemeenten nog altijd ondoorgrondelijke algoritmen in de fraudeopsporing, experimenteren tabakswinkels tegen de wet in met leeftijdsverificatie door gezichtsscans, doen huisartsen triages met AI, bepalen systemen in het onderwijs het leesniveau van mijn kinderen en neemt surveillance op de werkvloer toe, meestal op plekken waar werknemers al een zwakke positie hebben. We moeten van visie naar actie. De Autoriteit Persoonsgegevens en de WRR strijden al lang voor een nationaal deltaplan voor de omgang met algoritmen en AI bij overheden, de publieke sector en de private sector. Wanneer komt dat plan er? En als dat er niet komt, waarom niet?

Onze kritiek op algoritme- en AI-gebruik eindigt vaak bij de overheid. Toch zijn er, zeker in de publieke sector, heel veel commerciële partijen waar je van afhankelijk kunt zijn, zoals de schuldenindustrie. Bij zorgverzekeraars en in het onderwijs zien we allerlei gadgets, pilots en experimentjes die voordat je het weet gewoonterecht zijn geworden. Ik vind dat je algoritme en AI daar even scherp mag reguleren als bij de overheid. Vindt het kabinet dat algoritmegebruik en AI-toepassing in de private sector goed genoeg in beeld zijn? Hoe monitoren we dit beter? Hebben we alle verschillende soorten algoritmen en AI-modellen nu goed gedefinieerd? Zijn er geen blinde vlekken in definities uit Europese verordeningen en Nederlandse wetgeving? Waar staan deze begrippen vastgelegd? Ik wil dat de rolverdeling tussen toezichthouders concreet wordt. Het is moeilijk om die afspraken aan de waakhonden over te laten. Kan de Staatssecretaris echt op papier zetten wie eigenlijk wat doet? De Tweede Kamer kan daar dan ook met veel meer inzicht op sturen.

De reflex om over te stappen naar algoritmen en AI is goed te begrijpen. We komen handjes tekort, dus schakelen we digitale handjes in. Ik zie daarbij toch risico’s. Werknemers verliezen grip op hun werk, waardoor mensen ontschoold worden. Er is steeds minder kennis van de systemen waarmee we werken. Wie is er verantwoordelijk als een algoritme of AI-toepassing foutief te werk gaat, ook als deze met een positief advies van bijvoorbeeld een ondernemingsraad is geïmplementeerd? Wat kan de overheid doen om het terugdraaien van zo’n implementatie te vergemakkelijken?

Sommige bedrijven moeten een functionaris gegevensbescherming aanstellen. Dat is natuurlijk een topidee, want zo maak je iemand verantwoordelijk op te komen voor de privacyrechten van werknemers. Kan het kabinet in aanloop naar de actualisatie van de UAVG verkennen of de verplichting voor een functionaris gegevensbescherming kan worden uitgebreid, bijvoorbeeld naar sectoren met een hoog risico op surveillance of waar veel bijzondere persoonsgegevens worden verwerkt?

Tot slot. Over dingen die je niet ziet, kun je moeilijk oordelen. Brieven en beleid kun je fileren, maar een algoritme is zowel voor burgers als politici ondoorgrondelijk. Daar moeten we iets aan doen. De heer Van Baarle had het hier ook al over. Kunnen we ervoor zorgen dat er bij elke brief die op de deurmat belandt bij iemand die door een algoritme is geselecteerd als risicogeval, een extra paragraaf wordt toegevoegd met de kenmerken op basis waarvan «de ping is afgegaan», zoals de heer Krul het zei. Het moet inzichtelijk zijn op welke kenmerken diegene geselecteerd is. Is dat niet een broodnodig stukje uitleg, dat mensen inzicht geeft in de keuzes die over hun hoofden worden gemaakt? Data-ethiek is altijd politiek. Daarom ben ik ook heel blij met dit debat; dit hoort thuis in het hart van onze politieke besluitvorming. Dit gesprek is daarom zeker ook niet voorbij. Ik kijk uit naar een politiek waarin, wat digitalisering betreft, wij aan het stuur zitten in plaats van algoritmen.

De voorzitter:

Dank u wel. Ik zie geen interrupties. Bij dezen geef ik de voorzittershamer dus weer aan u terug.

Voorzitter: Kathmann

De voorzitter:

Dank u wel. Dan kijk ik even naar rechts, naar de staatssecretarissen. Die hebben twintig minuten nodig. Dan kijk ik ook nog even naar links om te zien of twintig minuten akkoord is. Zijn er mensen die bijvoorbeeld zeggen: ik heb zelf iets meer tijd nodig voor de lunch? Of houden we het bij twintig minuten? Anders wordt het misschien weer laat. Er is geen behoefte aan een langere schorsing. We schorsen dus voor twintig minuten.

De vergadering wordt van 10.42 uur tot 11.05 uur geschorst.

De voorzitter:

We gaan starten met de beantwoording van de staatssecretarissen. Ik denk dat we starten met Staatssecretaris Van Huffelen.

Staatssecretaris Van Huffelen:

Dat klopt, voorzitter. Ik zal ingaan op de vragen die aan mij zijn gesteld. De Staatssecretaris naast mij, de heer Van Rij, gaat vooral in op het SCHUFA-arrest. Mijn idee zou zijn om te beginnen met een korte inleiding en dan de vragen te beantwoorden.

Voorzitter. Het is ontzettend belangrijk – dat hebben de leden van uw commissie ook aangegeven – om over dit onderwerp, algoritmes en data-ethiek, met elkaar van gedachten te wisselen. De inzet van algoritmes en AI is namelijk steeds vaker onderwerp van gesprek. Het leeft in onze samenleving. Zeker ook door de recente technologische ontwikkelingen en door wat er fout is gegaan in het verleden, is dit een onderwerp dat ons bezighoudt. Dat is ook heel hard nodig.

Wat fijn is, is dat we inmiddels op Europees niveau een AI-verordening tot stand hebben gebracht om technologie te reguleren. We zijn natuurlijk ook heel hard aan het werk om allerlei handreikingen te ontwikkelen en ervoor te zorgen dat we als overheid verantwoord omgaan met AI en algoritmes. In de afgelopen tijd hebben we ons ingezet om ervoor te zorgen dat het gebruik van algoritmes door overheden aangepakt en gereguleerd wordt. Dat hebben we gedaan via het Algoritmeregister, de algoritmetoezichthouder en het implementatiekader voor algoritmes. Zo willen wij er daadwerkelijk voor zorgen dat de toepassing van AI op een verantwoorde manier kan plaatsvinden.

In deze introductie wil ik graag iets meer zeggen over een viertal onderwerpen. Als eerste wil ik iets meer zeggen over de AI-verordening, die Europese wet. Ook wil ik iets meer zeggen over het Algoritmeregister, dat we voor de overheid hebben. Verder wil ik iets zeggen over de toezichthouder. Tot slot wil ik iets zeggen over het algoritmekader. Ik zal daarbij, als het enigszins kan, ook ingaan op de gestelde vragen.

In de AI-verordening, die recent is aangenomen in Europa, komen met name specifieke eisen voor AI-toepassingen tot stand. Nederland heeft zich heel actief bemoeid met de onderhandelingen voor deze verordening, om ervoor te zorgen dat de bescherming van mensenrechten op een goede manier wordt afgewogen tegen het belang van innovatie en rechtshandhaving. De bescherming van mensenrechten is namelijk een belangrijk onderwerp. Daarom hebben we ons er ook voor ingezet dat aanbieders van AI-systemen expliciet de risico’s voor mensenrechten, zoals discriminatie, moeten beoordelen en tegengaan bij de ontwikkeling van hun systemen, zodat problemen in een vroeg stadium worden erkend, herkend en aangepakt. Niet alleen de aanbieder van dit soort AI-systemen, maar ook de gebruikers met een hoog risico moeten extra controles doen. Ze moeten risico’s beoordelen vanuit de context waarin die systemen worden ingezet en de impact die het gebruik heeft voor specifieke groepen in de samenleving.

Nederland heeft zich ingezet voor verbeterde transparantie, om ervoor te zorgen dat overheden zichzelf ook moeten registreren als gebruiker van hoogrisico-AI-systemen, en dus niet alleen als aanbieder. Zo is het zichtbaar wanneer een AI-systeem door de overheid wordt gebruikt. In de AI-verordening is ook een notificatieplicht opgenomen. Dus organisaties die systemen met een hoog risico gebruiken in hun besluitvorming moeten dat melden bij degenen over wie dat besluit gaat, wie dat betreft. Dat geldt niet alleen voor overheden, maar ook voor private partijen. Nederland heeft zich ook ingezet om de positie van burgers te versterken. Zo is er een klachtrecht in de AI-verordening opgenomen om ervoor te zorgen dat als je klachten hebt, je dan ook daadwerkelijk terechtkunt bij een organisatie die daarmee aan de slag gaat.

Als het goed is, treedt de AI-verordening in het tweede kwartaal van dit jaar, dus in de komende weken, maanden, in werking. Vervolgens zal die gefaseerd van kracht worden. Zo worden een halfjaar na de inwerkingtreding de bepalingen over de verboden praktijken van kracht. Een jaar daarna worden de bepalingen over de zogenaamde general purpose AI-modellen, dus algemene AI-modellen, van kracht. Uiteindelijk wordt twee jaar na inwerkingtreding de rest van de verordening van kracht. Het is van belang dat ook AI-systemen die al in werking zijn getreden, die er nu al zijn, uiteindelijk ook aan de AI-verordening voldoen. Om de overheidsorganisaties te ondersteunen bij het proces zullen we de AI-verordeningsvereisten opnemen in het algoritmekader. Daarmee zorgen we ervoor dat dit ook zo snel mogelijk voor overheden duidelijk wordt en dat zij dit ook kunnen invoeren.

Dit even over die AI-verordening. Ik kan niet genoeg onderstrepen hoe belangrijk die verordening is, want die zorgt ervoor dat zowel publieke als private organisaties in de EU die al werken met AI of ermee willen werken, voldoen aan eisen die gelden op het gebied van mensenrechten, transparantie en klachtenafhandeling. Dat is natuurlijk ontzettend belangrijk. We zullen in de komende tijd natuurlijk zien dat die technologie zich verder gaat ontwikkelen. Gelukkig biedt de AI-verordening de ruimte om daarin mee te gaan. Tijdens de totstandkoming van de verordening hebben wij gezien dat generatieve AI ontstond. Die was er nog niet toen we eraan begonnen. Inmiddels is generatieve AI opgenomen in en onderdeel van de verordening.

Dan iets over het Algoritmeregister dat wij als overheid zelf hebben gemaakt. Het is bedoeld om meer transparantie te bieden. Het idee is ook dat alle overheidspartijen ervoor zorgen dat zij hun algoritmes en hun risicomodellen hierin registreren. Zowel ministeries als provincies en gemeenten staan er al in.

De voorzitter:

U heeft een interruptie van de heer Van Baarle van DENK.

De heer Van Baarle (DENK):

Ik dank de Staatssecretaris voor de beantwoording en ik heb een vraag over de AI-verordening. De AI-verordening wordt verwerkt in het implementatiekader. Is dat implementatiekader bindend? Uit de beantwoording constateer ik eigenlijk dat dat niet zo is. Is het meer een opvatting als: zo vinden wij dat de AI-verordening geïmplementeerd zou moeten worden? Wordt het dan op die manier verspreid in de richting van de overheid? Maar gaat het ook naar private partijen? In de AI-verordening staat een aantal zaken. De scope ervan en de gevolgen voor overheid en bedrijven zijn mij niet helemaal helder. Kunnen we geen rechten ontlenen aan het implementatiekader omdat het niet bindend is? Klopt dat?

Staatssecretaris Van Huffelen:

Nee, dat klopt niet. De AI-verordening heeft directe werking. Het is een wet die ook hier in Nederland geldt, zowel voor de overheid als voor private partijen. De verordening wordt in stapjes ingevoerd, maar zij geldt voor alle partijen. Het implementatiekader dat wij hebben gemaakt en dat wij gaan aanscherpen is erop gericht om het voor overheidspartijen zo makkelijk mogelijk te maken om ook echt te voldoen aan die AI Act. Wat moet je nou precies doen als je een algoritme wil gebruiken? Welke toetsen moet je dan doen? Hoe moet je die uitvoeren? Die toetsen en die elementen zijn verplichtend, want ze staan in die AI-verordening. Wat moet je doen volgens de AI-verordening? Je moet bijvoorbeeld een mensenrechtentoets uitvoeren of een data protection impact assessment, DPIA. Dat is verplichtend voor de partijen die ermee moeten werken.

De voorzitter:

Een vervolgvraag van de heer Van Baarle. Wat wilde de Staatssecretaris nog zeggen?

Staatssecretaris Van Huffelen:

Ik wilde zeggen dat ik op de specifieke beantwoording van de vraag straks nog kom, maar ik heb wel de algemene regel geschetst.

De heer Van Baarle (DENK):

Dan wacht ik het even af.

De voorzitter:

Oké. Dan kunt u verdergaan. U was inmiddels bij het Algoritmeregister. De specifieke beantwoording van de vragen volgt dus nog.

Staatssecretaris Van Huffelen:

Ja. In het register staan inmiddels 345 algoritmes van 117 organisaties. Het is er om inzicht te bieden in de algoritmes die door de overheid worden gebruikt. Er is een grote toename in de afgelopen tijd, zowel van organisaties vanuit de rijksoverheid, dus de departementen en de uitvoeringsorganisaties, als vanuit gemeenten en provincies. Het idee is natuurlijk dat het Algoritmeregister voor 100% gevuld moet worden. Met de rijksoverheidspartijen is afgesproken dat eind volgend jaar alle algoritmes in het register zijn opgenomen. Het is natuurlijk wenselijk dat dat zo snel mogelijk gebeurt. Met de heer Krul roep ik alle partijen op om daar zo snel mogelijk mee te starten en door te gaan. Een gevuld register geeft aan burgers en journalisten, maar ook aan toezichthouders inzicht in de algoritmes die bij de overheid worden gebruikt.

Dan iets over de toezichthouder. Uiteraard is goed toezicht nodig. Het is ontzettend belangrijk dat wij de wetgeving handhaven. De AI Act vergt natuurlijk ook dat er goed gehandhaafd wordt. Dat gebeurt in het systeem van de verordening op verschillende manieren. Binnen Nederland hebben wij de algoritmetoezichthouder binnen de Autoriteit Persoonsgegevens ingericht. Maar we weten ook dat algoritmes op allerlei plekken in onze samenleving worden ingezet. De reden waarom we een coördinerende rol bij de Autoriteit Persoonsgegevens hebben neergelegd, is omdat het van belang is dat het op een gecoördineerde manier gebeurt door de verschillende toezichthouders vanuit hun specifieke functionaliteit. Bij algoritmes in de landbouw is het goed dat de toezichthouders op de landbouw kennis hebben van dit soort systemen en weten hoe zij toezicht zouden moeten houden op dit soort algoritmes.

Ik had het al over het algoritmekader in het debat met de heer Van Baarle. Wij vinden het belangrijk dat het voor overheidsorganisaties ontzettend helder is op welke wijze zij moeten voldoen aan die AI Act. Daar willen we hen ook mee helpen en daarvoor hebben wij dat kader gemaakt. Een eerste versie was er al vorig jaar. Dat kunnen we nu aanscherpen omdat er meer helderheid is over de AI-verordening en de regels die daarin gelden. Het is heel erg belangrijk dat in dat kader staat hoe de rollen en verantwoordelijkheden bij de inzet van AI zijn. Wat ook belangrijk is, is dat we ervoor zorgen dat dat kader in de komende tijd verder wordt ingevuld. We doen dat overigens op een hele open manier, zodat iedereen kan meekijken. We zetten al die informatie ook op GitHub en zorgen ervoor dat iedereen kan meewerken en meedenken over de implementatie van dit kader.

Met andere woorden, we hebben dus op een drietal fronten al werk gedaan. De AI Act gaat ons helpen om dat werk in de komende tijd verder aan te scherpen om daarmee zowel in de publieke sector, dus bij de overheid, als in de private sector, bij bedrijven, te kunnen komen tot een verantwoorde inzet van algoritmes. Dat is, zo is in de afgelopen tijd gebleken, ook heel erg nodig.

Voorzitter. Ik wil nu ingaan op de specifieke vragen die zijn gesteld. Ik heb een blokje over wet- en regelgeving, over het Algoritmeregister, over toezicht en over het advies van de landsadvocaat. Zoals ik al aangaf, wordt het grootste deel van dat laatste onderdeel door mijn collega beantwoord.

Ik begin met de wet- en regelgeving. De heer Six Dijkstra vroeg: zijn er voldoende wettelijke kaders en kunnen we daarmee voorkomen dat op een onverantwoorde manier gebruik wordt gemaakt van algoritmes? Wij zien dat er op dit moment voldoende kaders zijn, niet in de laatste plaats door de komst van die AI-verordening. Natuurlijk is het zo dat we nog verder moeten werken aan bewustwording en kennis over de implementatie. We moeten de AI-verordening natuurlijk ook nog implementeren in Nederland. We moeten nog helderheid krijgen over wat nou precies de rol van welke toezichthouder wordt onder de coördinatie van de AP. Bovendien moet voor iedereen die aan het werk gaat of al is met algoritmes, helder worden aan welke eisen moet worden voldaan.

Dat laatste vind ik ontzettend belangrijk. In vergelijking met de komst van de AVG was het voor sommige partijen in het begin heel onduidelijk hoe je nou precies kon zorgen dat je compliant was, hoe je kon voldoen aan de wet. Wij vinden het ontzettend belangrijk om hieraan in de komende tijd veel tijd en aandacht te besteden. Wij denken dat het kader van de AI-verordening samen met het implementatiekader dat we voor de overheid maken, voldoende moet zijn om in ieder geval de regels te hebben die nodig zijn om het op een verantwoorde manier te doen. Uiteraard blijven we altijd goed nadenken en kijken of het ook zo is en of er nieuwe technologie is waar wij nog extra stappen voor moeten zetten. Als op dit moment gevraagd wordt of er voldoende kaders zijn, dan is het antwoord ja.

De voorzitter:

U heeft een interruptie van de heer Six Dijkstra.

De heer Six Dijkstra (NSC):

Dank aan de Staatssecretaris voor de beantwoording. Ik stelde die vraag ook in relatie tot het SCHUFA-arrest. Daarin wordt gesteld dat de wijze waarop wij als land omgaan met algoritmes, mogelijk strijdig is met de AVG en dat er extra wettelijke versterking nodig is. Deelt de Staatssecretaris die conclusie of kijkt zij daar anders tegenaan?

Staatssecretaris Van Huffelen:

Ik vind het van belang dat we vooral nog wat tijd nemen om dat goed uit te zoeken. We weten dat er nog een adviesaanvraag ligt bij de Autoriteit Persoonsgegevens om hierop een helder antwoord te krijgen. Het principe van het gebruik van algoritmes moet zo zijn dat alle algoritmes die wij inzetten, voldoen aan de bestaande regelgeving, de AVG, maar ook aan de AI Act. In principe moeten beide een paraplu vormen voor alle inzet van algoritmes.

De heer Six Dijkstra vroeg ook of de problemen die bij de overheid rondom algoritmes zijn opgetreden, niet makkelijker kunnen worden aangepakt met een paar kernachtige principes. Ik vind het altijd fijn als je iets met heel kernachtige principes kan doen. Die hadden wij ook al lang voordat de AVG er was: discriminatie mag niet en transparantie is belangrijk. Daar hebben we ook wet- en regelgeving voor. Het is wel van belang dat we met de aanvullende regels die nu gesteld zijn, zorgen dat er een goede samenhang is. Die samenhang wil ik heel erg graag tot uitdrukking laten komen als het over de overheid gaat in dat implementatiekader. Uiteindelijk zijn de principes die in de AI Act zitten, voor een groot deel gebaseerd op principes die we eerder met elkaar hebben vastgesteld: non-discriminatie, transparantie, de mogelijkheid om te klagen. Al dit soort elementen zijn in die AI Act opgenomen en heel helder gedefinieerd op basis van een heel heldere definitie van wat AI is. Die combinatie maakt dat we nu veel duidelijker voor de private en publieke partijen in heel Europa kaders hebben. Daarmee kunnen we zorgen dat er wordt voldaan aan de inzet op het gebied van mensenrechten.

Namens NSC is ook gevraagd naar de wettelijke grondslag voor het gebruik van automatische besluitvorming voor fraudeopsporing. Welke verwerking je ook doet, je moet ervoor zorgen dat er een basis voor is in wetgeving. Mijn collega zal verder ingaan op de uitspraak van de landsadvocaat. Dat geldt ook voor het advies dat wij in dit kader nog verwachten van de Autoriteit Persoonsgegevens.

Mevrouw Van der Werf vroeg zich af hoe uitvoering is gegeven aan de motie om ervoor te zorgen dat ontwrichtende algoritmes in de AI-verordening worden verboden. Het Europees Parlement heeft in de AI-verordening opgenomen dat ontwrichtende algoritmes als hoog risico worden gedefinieerd. We moeten er dus voor zorgen dat dit soort hoogrisicoalgoritmes worden getest en getoetst en voorzien van een keurmerk voordat ze kunnen worden ingezet. Het is dus ook wenselijk dat dit soort algoritmes niet worden toegepast.

De voorzitter:

U heeft een interruptie van de heer Valize van de PVV en daarna van mevrouw Van der Werf.

De heer Valize (PVV):

Ik hoor de Staatssecretaris praten over een keurmerk. In de brieven zag ik het ook vluchtig voorbijkomen. Daar wordt het een CE-keurmerk genoemd. Hoe is voor mensen zichtbaar dat dat keurmerk er is? Wordt dat op de website gepubliceerd of staat het ergens in de broncode? Ik zou daar graag een beeld bij krijgen. Hoe kan achterhaald worden dat iets voorzien is van een keurmerk?

Staatssecretaris Van Huffelen:

Het gaat inderdaad over die CE-keurmerken. Daarbij geldt sowieso een verplichting om het kenbaar te maken. Hoe gaan we dat specifiek doen? Het gebeurt sowieso in het kader van de registratie van het Algoritmeregister. Daar moet je aangeven of je aan zo’n keurmerk voldoet, maar er is meer nodig. Mevrouw Van der Werf heeft ook gevraagd om burgers te informeren. Ik denk dat het goed is dat wij er met elkaar over nadenken hoe we dat precies kenbaar maken, zodat het voor mensen duidelijk is of een algoritme voldoet aan de regels. Sommige algoritmes worden niet altijd duidelijk een-op-een gebruikt in relatie tot een consument. Maar goed, wanneer een besluit van de overheid gebaseerd is op een algoritme, dan is het onze bedoeling om ervoor te zorgen dat het duidelijk is dat het besluit mede is genomen op basis van een algoritme. Als dat een hoogrisicoalgoritme is, dan behoort het natuurlijk conform de AI-verordening voorzien te zijn van zo’n keurmerk.

Mevrouw Van der Werf (D66):

Nog even voor de helderheid. De Staatssecretaris ging zojuist in op de vraag over de motie over ontwrichtende algoritmes. Ziet u die ook als onderdeel van modellen met een systemisch risico? Kunnen we het zien als dat ze zo geïnterpreteerd worden in de AI-verordening?

Staatssecretaris Van Huffelen:

Voor een deel zit dit ook al in de DSA, dus in de Digitaledienstenverordening. U had het in dit geval specifiek over ontwrichtende algoritmes, althans, over informatie die via socialmediaplatforms bij mensen terechtkomt. De DSA stelt eisen aan grote platformbedrijven om in te grijpen wanneer er sprake is van illegale content of van dit soort ontwrichtende algoritmes. Dat kan bijvoorbeeld door die algoritmes ook daadwerkelijk aan te passen.

De voorzitter:

Een interruptie van de heer Van Baarle van DENK.

De heer Van Baarle (DENK):

Ik wil ingaan op de gevolgen van de AI-verordening en het keurmerk. Ik wil het gewoon goed begrijpen. Volgens mij staan in de AI-verordening een aantal principes, namelijk dat er in het geval van een hoogrisicoalgoritme sprake moet zijn van een mensenrechtentoets die onder andere ziet op non-discriminatie. Nu hoor ik dat er een keurmerk is. Hoe zorgen we ervoor dat niet bedrijven ervoor verantwoordelijk worden om maar gewoon het vinkje te zetten dat ze de toets hebben uitgevoerd op de manier die ze willen, maar dat het daadwerkelijk een goede toetsing is? Volgens mij moet hoe je dat doet vervat worden in praktische regels. En wie gaat er uiteindelijk over dat keurmerk? Wie geeft dat keurmerk, wie toetst dat, wie stelt dat vast? Anders geven bedrijven dadelijk aan dat ze een keurmerk-approved methode hebben en dat ze echt niet zullen discrimineren, maar weten we niet wat dat keurmerk dan is.

Staatssecretaris Van Huffelen:

Inderdaad, hoogrisicoalgoritmes moeten voldoen aan een aantal vereisten, waaronder een mensenrechtentoets enzovoorts. Bedrijven moeten die toets zelf doen, maar daar wordt wel op gecontroleerd, want anders krijg je zo’n CE-markering niet. Bovendien moeten de toezichthouders hier natuurlijk ook op toezien. Het is dus inderdaad van belang dat je niet alleen moet aangeven wat je algoritme doet. Je moet een toets uitvoeren. Voordat je dat keurmerk kunt krijgen, moet je natuurlijk voldoen aan de vereisten, en moet ook duidelijk zijn dat je daaraan voldoet. Ook is van belang dat de toezichthouders gaan kijken of bedrijven het assessment op een goede manier uitvoeren. Ook moet er bekeken worden of het klopt als een bedrijf denkt dat zijn algoritme geen hoog risico heeft en dat aangeeft.

De voorzitter:

Een vervolgvraag van de heer Van Baarle.

De heer Van Baarle (DENK):

Begrijp ik het nu goed dat dit keurmerk er is voor bedrijven die een dienst aanbieden en dat keurmerk graag willen krijgen? Wordt dat dan getoetst? Voor alle overige bedrijven, die geen keurmerk willen, geldt dus dat de toezichthouder op de specifieke sector zal moeten bekijken of het assessment goed is toegepast. Het is dan de verantwoordelijkheid van de bedrijven. Als er in de AI-verordening een aantal generieke principes staan, moeten we met elkaar toch een kader hebben op grond waarvan alle toezichthouders gaan toetsen hoe die algemene principes toegepast worden? Ik vraag dus naar de mate waarin dat algoritmekader bindend is. Dat algoritmekader geldt blijkbaar alleen voor de overheid, en niet voor bedrijven. Waar is dan het kader voor bedrijven?

Staatssecretaris Van Huffelen:

Misschien allereerst even een paar dingen. De heer Van Baarle trekt nu een aantal conclusies die wat mij betreft niet getrokken kunnen worden. Nummer een. In de AI-verordening zijn nu classificaties van algoritmes afgesproken, die goed en scherp moeten worden ingevuld. Natuurlijk zal de praktijk leren dat er altijd weer discussies over zijn, maar de kern is dat hoogrisicoalgoritmes nu goed gedefinieerd zijn als algoritmes die je alleen maar kunt toepassen wanneer je ook een keurmerk hebt. Twee. Voor het toepassen van algoritmes bij de overheid maken we een implementatiekader. Dan wordt voor overheidspartijen duidelijk op welke wijze zij algoritmes kunnen inzetten, welke toetsen er moeten worden gedaan enzovoorts. Die toetsen zijn ook verplicht. Zo’n IAMA, een mensenrechtentoets, moet bijvoorbeeld worden uitgevoerd. Van belang is dat ik aan de toezichthouders, onder coördinatie van de Autoriteit Persoonsgegevens, heb gevraagd om de normuitleg van de wet voor alle sectoren en alle bedrijven die daaraan moeten voldoen – dat geldt natuurlijk ook voor de overheid – zo goed mogelijk uit te voeren. Zo’n wet geldt voor heel veel grote partijen. Je kunt natuurlijk altijd vragen stellen als: hoe zit het precies? Dat moet voor alle partijen zo duidelijk mogelijk worden. Zij hebben ook aangegeven dat ze de normuitleg met elkaar gaan vaststellen. Zo wordt inderdaad ook helder wat deze wet betekent voor jouw bedrijf, of je nou in de landbouw, in verzekeringen, bij een bank of elders werkt. Als je algoritmen wilt inzetten, aan welke eisen moeten die dan voldoen en hoe kun je dat doen? Dat is een belangrijke stap, die in de komende tijd gezet moet worden. Vanaf het moment dat de AI-verordening gepubliceerd is, gaat de implementatie in stapjes. Daar lichtte ik net al iets over toe. In het kader daarvan is die normuitleg dus ook heel erg belangrijk. Maar het is geen vrijblijvende verordening, helemaal niet zelfs; noch voor de overheid, noch voor bedrijven.

De voorzitter:

Een vervolgvraag van de heer Van Baarle.

De heer Van Baarle (DENK):

Dan heb ik nog wel een vraag. De Staatssecretaris zegt dat een hoogrisicoalgoritme alleen kan worden ingezet met een keurmerk. Mij is nog niet helder wie dan gaat over dat keurmerk en op basis waarvan een keurmerk dan wordt afgegeven of niet.

Staatssecretaris Van Huffelen:

Wie het keurmerk gaat uitgeven, moet nog worden bepaald. Dat is nog onderdeel van de implementatie van de wet. Daar komen wij in de komende tijd zo snel mogelijk op terug.

Ik wilde nog voorstellen – dat is een van de dingen die wellicht interessant is voor de heer Van Baarle – dat we in de vorm van een technische briefing natuurlijk altijd in meer detail uitleg en toelichting kunnen geven aan de Kamer over hoe de AI-verordening werkt: wat is er al, wat is er nog niet, waar moeten we nog aan werken enzovoorts?

Ik ga door met een aantal vragen van de heer Van Baarle, die hij net in een interruptie ook opnieuw heeft gesteld. Eén vraag ging nog over de Algemene wet bestuursrecht en de vraag of overheidsbesluiten op basis van algoritmes worden opgenomen in de Awb. Dat is op dit moment nog niet zo. De Algemene wet bestuursrecht kent wel een algemene motiveringsplicht. Op dit moment is er een internetconsultatie gaande over deze specifieke vraag. Wij vinden het natuurlijk ontzettend belangrijk dat helder is voor burgers hoe een besluit is genomen. Dat is niet alleen belangrijk zodat je weet op basis van welke gegevens dat gebeurd is of op welke manier de wet wordt toegepast, maar natuurlijk ook om inzicht te krijgen in of er inderdaad sprake is van gebruik van een algoritme. De AI-verordening geeft een verplichting om burgers te informeren als een high-risk AI-systeem is gebruikt. Over hoe we dat precies in de Awb willen opnemen hebben we nu een internetconsultatie lopen. We hopen die zo snel mogelijk, nog dit voorjaar, te kunnen afronden, zodat we ook duidelijkheid kunnen geven over hoe we dit in de Awb gaan opnemen. We zijn nu ook in bredere zin die wet aan het aanpassen.

De heer Van Baarle vroeg ook nog of we als land de ruimte hebben om het algoritmekader scherper in te zetten dan de bepalingen van de AI-verordening. We hebben gezegd dat we dat kader willen gebruiken als een hulpmiddel om te zorgen dat we de verordening op een goeie manier gaan implementeren. Dat kader gebruiken we bij de overheid om overheidspartijen te helpen om er invulling aan te geven. We kunnen onszelf altijd, als we dat zouden willen, nog scherpere regels opleggen, maar we vinden dat op dit moment niet nodig, omdat we alle elementen erin zien zitten.

Dan was er nog de vraag van de VVD over hoe je ervoor kunt zorgen dat de mens centraal staat bij het gebruik van algoritmes door de overheid. Natuurlijk moeten we transparant zijn over de inzet van algoritmes, bijvoorbeeld via het Algoritmeregister en de uitleg die we geven over hoe een besluit tot stand is gekomen. Helder is dat er altijd sprake moet zijn van menselijke tussenkomst, en dat het mogelijk is om ook in beroep te gaan bij een mens tegen een besluit dat door een algoritme is genomen.

We zijn nog steeds bij het blokje wet- en regelgeving. Mevrouw Kathmann vroeg of wij in aanloop naar de actualisatie van de UAVG, de uitvoeringswet voor de AVG, kunnen verkennen of de verplichting van een functionaris gegevensbescherming kan worden uitgebreid. Op dit moment is zo’n functionaris gegevensbescherming al verplicht voor alle organisaties die vanwege hun aard, omvang of doeleinden op grote schaal regelmatig en stelselmatig observaties van betrokkenen vereisen, en voor organisaties die belast zijn met het verwerken van persoonsgegevens. Met andere woorden, die is al verplicht in organisaties waar dit aan de orde is. Los daarvan moeten organisaties die zo’n functionaris niet hebben de AVG natuurlijk ook naleven. Wij denken dus eigenlijk dat dit niet nodig is, want het is al voldoende duidelijk wanneer een organisatie zo’n functionaris ook daadwerkelijk moet inzetten.

Mevrouw Kathmann vroeg of algoritmes en AI-modellen voldoende zijn gedefinieerd: zijn er geen blinde vlekken? Dat is eigenlijk in lijn met de vraag van de heer Six Dijkstra. Wij denken dat we op dit moment echt goed uit de voeten kunnen met de definities voor AI-systemen, modellen enzovoorts in de verordening, niet in de laatste plaats omdat er, ook bij de AI-verordening, veel discussie is geweest over welke definitie we nou gebruiken. Uiteindelijk is een werkgroep van de OESO daar met allerlei wetenschappelijke inzichten en praktijkinzichten mee aan de slag gegaan. We zien wel dat AI zich ontwikkelt. De technologie ontwikkelt zich. Er komen wellicht ook weer nieuwe toepassingen. Het is dus altijd nodig om te bekijken of die definities voldoende blijven, ook in de komende tijd. Voor nu kunnen we goed uit de voeten met de huidige definities.

Mevrouw Kathmann vroeg ook nog of we ervoor kunnen zorgen dat het duidelijk is wanneer iemand als risicopersoon is geselecteerd, bijvoorbeeld in het kader van een overheidsbesluit of als iemand al dan niet een bepaalde subsidie heeft gekregen. We vinden het belangrijk om als overheid super transparant te zijn over hoe we besluiten nemen. Wij vinden het ook goed dat dit bijvoorbeeld in een brief komt te staan. We bekijken hoe we dat kunnen doen, bijvoorbeeld door te verwijzen naar het Algoritmeregister. We kunnen dat ook doen door te verwijzen naar het register op gegevensbijbesluiten.overheid.nl, dat we inmiddels verder aanvullen. We zijn daar behoorlijk mee aan de slag. Dat register geeft inzicht in hoe een besluit bij de overheid wordt gemaakt.

Vanuit de AI-verordening is er straks dus ook een notificatieplicht. Met andere woorden, je moet ervoor zorgen dat het helder wordt wanneer hoogrisico-AI is toegepast. De kern van wat we willen bereiken, is: wanneer de burger een brief van de overheid ontvangt met een besluit, zoals het wel of niet ontvangen van subsidie, het starten van verder onderzoek of het verzoek om extra gegevens, is het altijd belangrijk dat die weet waarom de brief wordt gestuurd. Mevrouw Kathmann en ik hebben daar eerder met elkaar een discussie over gehad. Het is belangrijk om te begrijpen waarom je bijvoorbeeld wel of niet in aanmerking komt voor een studielening, subsidie, of iets van die orde, en dat je dit ook kunt nagaan. Niet alleen de AI-verordening is een hulpmiddel om dat inzicht te bieden. We kunnen dat verder doen door überhaupt inzichtelijk te maken hoe en op basis waarvan we besluiten maken bij de overheid. We zijn daar dus heel hard mee aan de slag.

De heer Valize van de PVV had een vraag over het implementatiekader: weten departementen daarvan en wat zijn de ervaringen daarmee? Inderdaad, de departementen kennen dit implementatiekader. We zijn het verder aan het ontwikkelen. We vertelden dat we dit kader aan het eind van dit jaar verder willen aanvullen met inzichten vanuit de AI-verordening. Zo zorgen we ervoor dat het overheden ook helpt om te voldoen aan de regels die worden gesteld, zoals in de AI-verordening.

Dan was er nog de vraag, ook van de heer Valize, hoe ik ervoor ga zorgen dat algoritmes verantwoord kunnen worden ingezet. Daar hebben we natuurlijk een hele serie van activiteiten voor: niet in de laatste plaats het algoritmekader, ervoor zorgen dat er een register is, en natuurlijk ook zorgen dat we die verordening in de komende tijd zo goed mogelijk gaan toepassen.

Dan was er ook nog een vraag van de heer Van Baarle van DENK. Die ging over het algoritmekader, maar volgens mij heb ik die al beantwoord. Hij vroeg: is dat nou een verplichtend kader? De elementen daarin zijn natuurlijk gewoon verplichtend, want je moet voldoen aan mensenrechtentoetsen, DPIA’s enzovoort, enzovoort als je algoritmes wil gaan invoeren.

Dan is er nog de vraag van de VVD of medeoverheden worden meegenomen als het gaat om analoge terugvalopties. Dat ging overigens over cyberaanvallen. Dat was een vraag van de heer Meulenkamp. Wij vinden ook dat je daar bij het inrichten van algoritmes heel goed naar zal moeten kijken. Ik denk dat we wel meer werk nodig hebben om dat goed te kunnen beantwoorden, maar we willen daar graag mee verder. Als het gaat over cyberaanvallen in de brede zin van het woord, is het namelijk altijd belangrijk dat de basisprocessen van een overheid doorgang kunnen blijven vinden. Dat is bijvoorbeeld het kunnen uitgeven van een paspoort, een uitkering of iets anders. Dat geldt natuurlijk net zo goed voor heel veel andere taken. Daarvoor hebben we in het kader van de implementatie van de zogenaamde NIS2-regels, dus de implementatie van Europese wetten die we hebben gemaakt op het gebied van cyberveiligheid, ook nog werk met elkaar te doen, zeker ook met andere overheden. Dat doen we graag met hen samen.

De heer Meulenkamp (VVD):

Geeft u daarmee ook aan dat het echt prioriteit moet hebben? U zegt dat u het belangrijk vindt, maar gaat u daar de komende maanden ook echt prioriteit aan geven, zeker gezien de onstabiele situatie in de wereld op dit moment?

Staatssecretaris Van Huffelen:

Cyberveiligheid heeft een grote prioriteit. Overigens is de eerstverantwoordelijke hiervoor de Minister van JenV. Maar dat laat onverlet dat we daar echt heel goed op samenwerken, zeker ook als het gaat over de implementatie van nieuwe regels daarvoor. Maar er zijn veel aspecten die daarmee samenhangen. Er is echt grote aandacht voor. Het is natuurlijk heel belangrijk dat alle partijen zich heel erg wapenen tegen dit fenomeen, en dus ook inderdaad gemeenten, provincies, waterschappen en grote, cruciale bedrijven, zoals in die in de energiesector en banken. Dit vindt in allerlei vormen en maten plaats en heeft inderdaad zeker in de huidige geopolitieke situatie in de wereld ongelofelijk veel aandacht nodig. Dat heeft dus veel prioriteit. Het is van belang – daar gaat het in dit debat natuurlijk ook vooral om – dat als je algoritmes gebruikt voor het uitvoeren van beleid, of dat nou gaat over uitkeringen of subsidies, je ook goed zorgt dat dat niet stopt wanneer je daar op de een of andere manier problemen mee krijgt, bijvoorbeeld wanneer die worden gehackt.

Dan de vraag van mevrouw Kathmann over het in kaart brengen van hoogrisicoalgoritmes. Uiterlijk eind volgend jaar moeten dus al die hoogrisicoalgoritmes in het register staan. Het is van belang dat iedereen daar zo snel mogelijk mee aan het werk gaat, maar het is niet onbelangrijk om te weten dat er voor hoogrisicoalgoritmes ook een Europese databank komt. Er is dus niet alleen het Nederlandse register; ook in Europa moeten die in een databank worden opgenomen.

Dan was er nog een vraag over effecten van het inzetten van algoritmes op de werkvloer. Daar had mevrouw Kathmann het over. Het gaat om de effecten op het dagelijks werk van mensen. Hoe zorg je er dan voor dat er de mogelijkheid is om in te grijpen? Natuurlijk moeten we goed gaan kijken naar de inzet van AI en algoritmes en hoe dat gaat werken, niet alleen binnen de overheid, maar ook bij bedrijven. Die implementatie gaan we in de komende tijd verder uitwerken. Maar het is natuurlijk echt heel belangrijk dat als er situaties ontstaan waarbij algoritmes de verkeerde kant op gaan, er voor overheden en bedrijven daadwerkelijk de mogelijkheid is om daarbij in te grijpen en te zorgen dat er bijvoorbeeld de mogelijkheid is om je daartegen te verzetten. Daarvoor is dat klachtenrecht bijvoorbeeld ontzettend belangrijk.

Er was nog een vraag vanuit NSC over de motie Leijten-Ceder, namelijk: hoe staat het met dat waardenkader? Die vraag is ook gesteld namens de ChristenUnie. In de afgelopen tijd heb ik over dit onderwerp gesproken met veel experts, die aangeven dat de code voor goed digitaal openbaar bestuur, CODIO, een heel goed overkoepelend kader is om publieke waarden bij de inzet van technologie te waarborgen. Die gebruiken we dus ook. Die is al ontwikkeld in 2021. De praktische toepasbaarheid daarvan verdient wel meer werk. Daaraan werken we op dit moment hard. In december, dus aan het eind van dit jaar, zal ik uw Kamer verder informeren over dat werk. Op dit moment werken we dus op basis van dat overkoepelende CODIO-kader.

Dan is er nog de vraag van DENK over de AI-verordening: wat is een hoogrisicoalgoritme? Daar hebben we volgens mij al iets over gezegd. Dat zijn bijvoorbeeld algoritmes waarmee je controleert of een uitkering rechtmatig wordt verleend of algoritmes voor het scannen van cv’s en sollicitatiebrieven. Bij al dit soort elementen worden algoritmes heel duidelijk als hoogrisicoalgoritmes aangeduid. Die zullen dus moeten voldoen aan wat er in de verordening over systemen is aangegeven.

Dan heb ik volgens mij alle vragen op het gebied van wet- en regelgeving beantwoord.

De voorzitter:

Er is een vraag voor u van mevrouw Van der Werf.

Mevrouw Van der Werf (D66):

Volgens mij zijn er nog een paar dingen blijven liggen, al is er natuurlijk het risico dat dit in een volgend blokje voorbijkomt. Ik had gevraagd wat nou de volgende stap is na de AI-verordening. Hoe ga je van transparantie naar ingrijpen? Ik was benieuwd welke instrumenten je hebt voor de naleving. Dus waar wordt die handhaving dan belegd? Hoe kan je een scenario zoals we dat nu bij de DSA hebben gezien, waarbij het nog niet rond was, voorkomen?

Staatssecretaris Van Huffelen:

Op deze AI-verordening wordt toezicht gehouden. De toezichthouders kunnen boetes uitdelen. Dat kunnen flinke boetes zijn; ik geloof dat die kunnen oplopen tot 6% van de totale wereldwijde omzet van een bedrijf. De kern van het verhaal is dus dat het inrichten van toezicht iets is waar we in de komende tijd mee aan de slag gaan: welke toezichthouder gaat wat doen? We gaan zorgen dat er goede normuitleg is voor bedrijven, zodat mensen ook weten hoe ze moeten voldoen aan deze regels. Vervolgens kan er inderdaad toezicht worden gehouden. Nogmaals, daarbij is een heel instrumentarium aan de orde, inclusief het instrumentarium van het daadwerkelijk uitdelen van boetes.

De voorzitter:

Er is nog een interruptie, van de heer Meulenkamp van de VVD.

De heer Meulenkamp (VVD):

Ik had de volgende vraag gesteld. Als we algoritmes meer gaan gebruiken, is er misschien wel meer tijd om weer te luisteren naar onze inwoners, zodat mensen buiten ook het voordeel gaan inzien van het gebruik van algoritmes. Dan zeggen ze misschien: ik word sneller geholpen door de overheid, ik word beter gehoord. Heeft u er een beeld bij hoe u daarop zou willen sturen? In mijn ogen is dat cruciaal voor het herstellen van vertrouwen in de overheid. Volgens mij heeft u die vraag nog even laten liggen.

Staatssecretaris Van Huffelen:

Die zit in een blokje verderop, maar ik zal ’m alvast even oppakken. De kern is inderdaad het volgende. Als we het hebben over de AI-verordening, dan hebben we het natuurlijk heel sterk over het beperken van de risico’s en over zorgen dat je algoritmes op een goede manier reguleert. Dat is om ongelukken, zoals we die ook hebben gekend in Nederland, te voorkomen. Dat is superbelangrijk, maar laten we helder zijn: algoritmes kun je inderdaad ook heel goed inzetten in het voordeel van burgers, bijvoorbeeld om meer aan proactieve dienstverlening te doen. Het is nu vaak zo dat als mensen in aanmerking komen voor een subsidie of een toeslag – dat is zelfs in bijna 100% van de gevallen zo – ze zich daar zelf voor moeten aanmelden. Maar we zouden algoritmes ook kunnen gebruiken om meer proactief aan te geven waar je recht op hebt, of het geld zelfs al over te maken. Je kunt bijvoorbeeld ook generatieve AI inzetten om de dienstverlening aan de telefoon te verbeteren.

Op allerlei manieren kun je AI dus inzetten in positieve zin. In onze visie op generatieve AI hebben we daarover een aantal elementen opgenomen. We willen daar in de komende tijd verdere uitwerking aan geven: hoe kunnen we dit op een goede manier doen, zodat het inderdaad makkelijker is om burgers te helpen en zodat het werk voor mensen die direct contact hebben met burgers, bij bijvoorbeeld gemeenten of uitvoeringsorganisaties, makkelijker wordt? Zo ken ik een voorbeeld in Frankrijk waarbij mensen die achter het loket zitten bij de gemeente, gebruik kunnen maken van generatieve AI om vragen van bewoners sneller te kunnen beantwoorden. Dat wordt nu geïmplementeerd en dat gaat dus om een breed terrein, over allerlei aspecten van de overheid. Dus we zijn echt wel heel goed aan het kijken naar hoe we het op een positieve manier kunnen inzetten. Maar we zijn daarbij natuurlijk ook voorzichtig en zorgvuldig, want we willen voorkomen dat daar waar je het positief bedoelt, het leidt tot nieuwe problemen. Hoewel we al heel fantastische technische ontwikkelingen zien, ook met generatieve AI, zien we ook nog large language models die hallucineren, zoals dat dan heet. Je zou ook kunnen zeggen dat ze gewoon foute informatie geven. Het is ontzettend belangrijk dat je dat voorkomt als je het ten gunste inzet. Maar die twee kanten zijn allebei onderdeel van het beleid van deze regering.

De voorzitter:

U had nog een vervolgvraag van mevrouw Van der Werf. Meneer Meulenkamp, heeft u een vervolgvraag? Mevrouw Van der Werf komt zo aan bod, hoor ik. De heer Meulenkamp, daarna de heer Van Baarle.

De heer Meulenkamp (VVD):

Ik zou hier graag een link willen leggen met het aantal Woo-verzoeken dat we jaarlijks moeten behandelen. Dat klotst echt tegen de plinten. Gaan we in de gaten houden hoe het gaat met ontwikkeling van de Woo-verzoeken en wat de relatie is met het meer spreken met mensen, omdat we algoritmes gaan inzetten? Dat geef ik als tip mee.

Staatssecretaris Van Huffelen:

Dank u wel. We doen alles wat we kunnen om onze dienstverlening te versterken. We hebben ook afspraken gemaakt over het idee «no wrong door», wat betekent dat je bij alle loketten terecht moet kunnen. Dat kun je alleen maar inrichten als je ook ervoor zorgt dat mensen die achter zo’n loket zitten, voldoende geïnformeerd zijn. Daar kan generatieve AI of AI echt een belangrijke rol spelen. Maar nogmaals, we moeten dan wel ervoor zorgen dat het goed is ingericht en getest voordat we dat gaan doen. Uiteraard moet het voldoen aan onze eigen regels die in de AI-verordening staan.

De voorzitter:

De heer Van Baarle en dan de heer Valize.

De heer Van Baarle (DENK):

Ik had nog een verhelderende vraag over wat «hoog risico» is in de AI-verordening. Als ik het even bekijk, dan zie ik dat er acht gebieden onderscheiden worden, waaronder bijvoorbeeld toegang tot essentiële particuliere diensten en openbare diensten en uitkeringen. Neem bijvoorbeeld die essentiële particuliere diensten. Is nou goed omschreven in die verordening en helder voor ons in de implementatie wat een essentiële particuliere dienst is en wat niet? Neem bijvoorbeeld het krijgen van een bankrekening of een verzekering. Is dat limitatief opgeschreven of is het aan ons om te interpreteren wat die acht omschrijvingen van categorieën in de praktijk zijn?

Staatssecretaris Van Huffelen:

Het gaat in dit geval dus echt over banken en verzekeraars of hypotheekverstrekkers. Ik denk dat we daar voldoende informatie over hebben. Nogmaals, ik denk dat het goed is dat we daar nog een keer met elkaar in een technische briefing wat meer en dieper op ingaan. Dit soort dienstverlening hoort daar dus bij, net als energiebedrijven, enzovoorts, enzovoorts.

De heer Valize (PVV):

Ik had ook nog een vraag gesteld. Ik moet trouwens wel zeggen dat ik het fijn vind om te horen dat de Staatssecretaris ook denkt in kansen en mogelijkheden van generatieve AI. Dat is altijd mooi om te horen. Maar ik had ook nog een vraag gesteld over het IKA-register. Wat is er in de IA Act opgenomen dat afwijkt ten opzichte van het IKA-register en andersom? Dus gaan wij met het IKA-register verder dan de AI Act, of gaat de AI Act verder dan het IKA-register?

Staatssecretaris Van Huffelen:

Bij het Algoritmeregister dat we nu hebben, hebben we afgesproken dat de overheden hun hoogrisicoalgoritmes registeren. Dat is in principe hetzelfde als wat bedoeld is met dat «hoog risico» in de AI Act. We willen dezelfde definitie van «hoog risico» gebruiken als in de AI Act, zodat daar een-op-een hetzelfde in staat. Dat gaat over het register.

Dan het implementatiekader. Misschien loopt het een beetje door elkaar. We hebben een register. Alle algoritmes die door de overheid worden gebruikt, staan daarin of moeten daarin komen te staan; het is nog niet helemaal gevuld. Dan gaat het over de rijksoverheid, maar ook over gemeenten, provincies, waterschappen enzovoorts. Dan is er de AI-verordening, de regelgeving waar algoritmes aan moeten voldoen. Hoe we dat gaan toepassen bij de overheid, stoppen we in zo’n implementatiekader. Dat klinkt misschien een beetje complex, maar het is eigenlijk de normuitleg die we als overheid willen gebruiken om te zorgen dat wij met z’n allen kunnen voldoen aan de regels van de AI-verordening.

De voorzitter:

Een vervolgvraag van de heer Valize.

De heer Valize (PVV):

Dank voor de heldere toelichting. Dan had ik ook nog een vraag over datzelfde implementatiekader. Er werd al eerder door de heer Van Baarle een vraag gesteld over de verplichtingen die eruit voortvloeien: is het een vereiste? Toen werd gezegd: ja, dat klopt; het is een eis. Vervolgens lees ik in de verzamelbrief met betrekking tot het reguleren van de algoritmes op pagina 4 dat het geen checklist is, dat het nemen van maatregelen in dit kader niet rechtstreeks leidt tot het voldoen aan de verplichting en dat niet alle maatregelen in dit kader verplicht zijn. Dan is toch even de vraag: wordt nu alles wat in dat IKA staat verplicht of niet? Of komt er gewoon een registertje in dat IKA-stuk waarbij staat: deze onderdelen zijn verplicht en hieraan moet u voor honderd procent voldoen, en dit zijn zeer dringende adviezen?

Staatssecretaris Van Huffelen:

Het is eigenlijk allebei zo. De overkoepelende wetgeving is de AI-verordening in samenhang met een aantal andere wetten die we met elkaar kennen. Als het gaat over het toepassen van algoritmes door de overheid, dan is het uiteraard van belang dat je voldoet aan die AI-verordening. Daarin staat bijvoorbeeld dat je die mensenrechtentoets moet doen en dat je een DPIA moet doen en al dat soort elementen. Het kan zijn dat we in het implementatiekader ook nog wel aanvullingen doen in de zin van: dit zijn handreikingen; dit is iets wat je zou kunnen doen om het voor jezelf makkelijker te maken en te voldoen aan de wet. Dat kan. Maar de kernelementen van het implementatiekader zijn die elementen die ook wettelijk verplicht zijn. Daarmee zijn ze ook verplicht.

De voorzitter:

U kunt door, hoor, nu.

Staatssecretaris Van Huffelen:

Ik denk dat dat ook goed is. Het is altijd een beetje lastig, want u denkt soms dat een vraag misschien niet meer aan bod komt, maar ik heb in mijn mapjes nog wat antwoorden op vragen zitten. Misschien is het goed om die eerst door te lopen en dan te kijken of ik nog iets vergeten ben.

Er was nog een vraag van mevrouw Kathmann over de toezichthouders. In dit verband en bij de implementatie van die AI-verordening ben ik ontzettend blij met de afspraak met de toezichthouders om samen te werken in dat samenwerkingsplatform voor digitale toezichthouders. Het was volgens mij de heer Krul – hij is er nu even niet – die zei: wordt het dan niet een ontzettend warrige toestand? Ik denk juist van niet. Algoritmes worden toegepast in heel veel sectoren, bij de overheid, in de private sector. Het is ongelofelijk belangrijk dat we op dezelfde manier kijken naar het uitvoeren van die algoritmewetgeving voor die verschillende sectoren. Natuurlijk is het ook ontzettend belangrijk dat we dat doen in een gecoördineerd stelsel. Dat gecoördineerde stelsel is dat samenwerkingsverband waar ik het net over had.

Volgens mij ben ik dan door het mapje toezicht heen. O nee, ik heb nog één vraag. Wie is er verantwoordelijk voor de handhaving als het algoritmekader bindend is? Daarbij hebben we de afspraak dat het stelsel van toezichthouders aan het werk gaat en dat de AP hier de rol speelt van coördinerende toezichthouder.

Dan ga ik naar de vragen over het Algoritmeregister, voor zover die inmiddels nog niet beantwoord zijn. Er was een vraag van mevrouw Van der Werf over dat hoogrisicoalgoritmes in het kader van opsporing niet in het register staan. Dat is niet zo. Dit soort algoritmes moeten ook worden opgenomen als onderdeel van het algoritmekader. Het is wel zo dat niet alle informatie over dit soort algoritmes kan worden aangegeven. Ik kom terug op een onderwerp dat ook in de afgelopen jaren wel heeft gespeeld. Als je bijvoorbeeld bij een bepaalde controle bij de Belastingdienst een drempelbedrag invoert, dan zal je waarschijnlijk dat drempelbedrag niet willen openbaren, maar wil je wel helder maken dat er sprake is van algoritmische besluitvorming. Nogmaals, met alle departementen is afgesproken dat zij hun hoogrisicosystemen in het kader opnemen. Maar het is dus wel van belang dat de algoritmes worden opgenomen. Je kan er in het kader van bijvoorbeeld opsporing voor kiezen om niet alle elementen daarvan op te nemen.

Mevrouw Van der Werf (D66):

Dit is al een deels bevredigend antwoord. Ik stelde de vraag vooral omdat ik wil weten hoe je er als je iets niet opneemt, voor zorgt dat dat stukje wel kan worden doorgelicht. Daar gaat het me om. Ik kan me dus helemaal voorstellen dat je niet honderd procent transparant kan zijn, maar hoe zorg je er dan voor dat er ergens die toets is?

Staatssecretaris Van Huffelen:

De toezichthouders op deze organisaties zullen dat natuurlijk altijd wel krijgen. Die hebben altijd toegang en kunnen inzicht krijgen in die algoritmes.

Dan was er ook nog een vraag van de PVV over de verplichting van het Algoritmeregister volgens de AI-verordening. De AI-verordening geeft aan welke algoritmes verplicht moeten worden geregistreerd in een Europese database. Het nationale register dat we hebben, moet natuurlijk op z’n minst die algoritmes bevatten. Als wij nog meer in dat register willen zetten, dan kunnen we dat natuurlijk doen, maar op z’n minst moeten de hoogrisicoalgoritmes erin zitten die er volgens de verordening in moeten staan.

Dan was er nog de vraag van de PVV waarom het Algoritmeregister nog niet helemaal vol is. Dat is een oproep naar mijn hart. Ik nodig iedereen natuurlijk heel graag uit om die algoritmes ook daadwerkelijk in het register op te nemen. Mijn collega’s van de andere departementen hebben ook aangegeven dat ze dit gaan doen. Het is niet altijd heel erg makkelijk om dat snel te doen, maar ze zullen dat doen. Ze hebben aangegeven dat ze daar tot uiterlijk eind volgend jaar voor nodig hebben.

Dan zijn er nog vragen over het advies van de landsadvocaat. Nogmaals, daar gaat mijn collega verder op in.

Er was de vraag hoeveel departementen gebruikmaken van automatische besluitvorming en op welke termijn een reactie kan worden gegeven op het verzoek van de heer Idsinga daarover. Als coördinerende bewindspersoon ben ik aan het kijken hoe we uitvoering kunnen geven aan dat verzoek, namelijk hoe we inzicht krijgen in alle automatische besluitvorming waarvan sprake is. Op dit moment heb ik dat inzicht nog niet, maar ik ben wel aan het kijken hoe we dat kunnen doen. Mijn voorstel is om voor de zomer een brief naar de Kamer te sturen om aan te geven hoe we hieraan kunnen voldoen. Daarbij kijken we natuurlijk ook naar het advies dat we in dit kader zullen krijgen vanuit de Autoriteit Persoonsgegevens.

Dan kom ik bij het blokje overig.

Daarin begin ik met een vraag die mevrouw Van der Werf heeft gesteld: hoe kunnen we zorgen dat mensen beter begrijpen hoe AI werkt en hoe kunnen we hen informeren over de gevaren die daarmee samenhangen? Eigenlijk zijn we daarvoor een aantal dingen tegelijkertijd aan het doen, want dit heeft alles te maken met een belangrijk onderdeel van onze werkagenda, namelijk: zorgen dat mensen digitaal mee kunnen doen. Dat betekent dat er nu bijvoorbeeld als vast onderdeel in het curriculum op scholen niet alleen aandacht wordt besteed aan digitale vaardigheden, maar ook aan mediawijsheid. Dat onderwerp wordt nu verder uitgewerkt. Dat gebeurt natuurlijk onder leiding van de Minister van Onderwijs. We kijken ook of we aandacht kunnen besteden aan het onderwerp beter inzicht krijgen in bijvoorbeeld desinformatie en deepfakes. We hebben daar al websites voor met informatie daarover. Twee belangrijke bronnen daarvoor zijn mediawijsheid.nl en isdatechtzo.nl. Maar niet in de laatste plaats is het natuurlijk zo dat, als onderdeel van de DSA, deepfakes straks moeten worden gemarkeerd, voor zover die überhaupt mogen worden gebruikt; er zijn namelijk ook deepfakes die niet mogen worden ingezet. Daarmee hopen we ook veel meer inzicht te bieden in welke informatie te herkennen is als een deepfake, gemaakt of niet echt, en welke informatie wel echt is.

We zetten daarop in met educatie, te beginnen op scholen, en op allerlei manieren met lesprogramma’s en we komen binnenkort met een nieuwe brief over onze inzet op desinformatie, maar ik denk dat het desondanks echt een onderwerp is waar we in de komende jaren nog veel meer aandacht aan moeten besteden. Ondanks het feit dat iets gemarkeerd moet worden volgens de Digitaledienstenverordening, de SDA, en dat we meer aan mensen gaan aangeven hoe je deepfakes of andere dingen kunt herkennen, zullen we dit fenomeen namelijk zeker nog tegenkomen. Mensen daartegen wapenen is een belangrijke factor. Niet voor niks heeft bijvoorbeeld de oprichter van Bellingcat duidelijk gezegd dat dat een van de belangrijkste dingen is. Los daarvan moeten we ook techniek inzetten om te zorgen dat we dit fenomeen verder bestrijden.

Dan was er nog de vraag van DENK over de uitvoering van het ADR-onderzoek naar de uitvoering van de motie op stuk nr. 21. Dat onderzoek voert de ADR uit om te kijken of de departementen op een goede manier invulling hebben gegeven aan datgene wat er met de motie beoogd werd. De rapportages worden inderdaad in de zomer verwacht. Daar gaan we ook een zogenaamde rodedradenanalyse en een bestuurlijke reactie bij geven. Daarmee hopen we dus ook wat meer te laten zien over de manier waarop dit assessment is gedaan. U vroeg ook nog: gaat u dit nou structureel doen? Dat willen we eigenlijk niet doen, want we willen vooral zorgen dat we met de regelgeving die er is voor de inzet van algoritmes op een goede manier kunnen zorgen dat er een structureel element is waarmee we steeds de toetsen kunnen doen. Met het toezicht op de in- en uitvoering van de AI Act beogen we natuurlijk hetzelfde als de motie op stuk nr. 21.

Dan was er van DENK ook nog de vraag of de handreiking non-discriminatie gedeeld is met de private partijen. Dat hebben we gedaan. Die is namelijk openbaar beschikbaar. We zien ook dat veel van de aanbevelingen van toepassing zijn op en gebruikt worden door private partijen.

Dan was er nog de vraag – die was ook van DENK – over het protocol bij geconstateerde discriminatie. Zoals we hebben toegezegd, komt dat voor de zomer. Daarin ga ik in op de manier waarop overheidsorganisaties moeten omgaan met discriminatie op het moment dat die geconstateerd wordt. Dat gaat bijvoorbeeld om hoe je burgers moet informeren als er een probleem is en om hoe je op basis van de ontstane problematiek een klacht kunt indienen. We gaan verder kijken hoe de AI-verordening hier invulling aan geeft, maar het protocol is in ieder geval een belangrijke stap. Dat komt dus voor de zomer.

Dan ben ik als het goed is door de vragen heen.

De voorzitter:

Dan kijk ik even naar links, naar de Kamerleden. Ik zie al een vinger van de heer Valize. Zijn verder alle vragen aan de Staatssecretaris Koninkrijksrelaties en Digitalisering beantwoord? Oké.

De heer Valize (PVV):

Ik had ook nog een vraag gesteld met betrekking tot de Autoriteit Persoonsgegevens en de directie Coördinatie Algoritmes, die dus wat opgeschaald wordt. Ik had gevraagd of de capaciteit voldoende is.

Staatssecretaris Van Huffelen:

Op dit moment zien we dat er voldoende capaciteit is. In de verdere uitwerking en bij de implementatie van de verordening, en dus ook bij het beter definiëren van wie welke rol moet spelen en hoe dat er precies uit komt te zien, zullen we dat natuurlijk altijd in de gaten moeten houden. Het is natuurlijk belangrijk dat het toezicht bij zo’n verordening goed kan worden ingericht, maar op dit moment kan de AP met de huidige groep van mensen uit de voeten. Dat is in ieder geval de informatie die ik daarover heb. Mocht dat niet zo zijn, dan kom ik daar in een later stadium zeker graag op terug.

De voorzitter:

Dan dank ik de Staatssecretaris voor de beantwoording en gaan we naar de Staatssecretaris van Financiën, de heer Van Rij.

Staatssecretaris Van Rij:

Ja, dank u wel, voorzitter. Ik zal specifiek ingaan op de vragen die gesteld zijn naar aanleiding van het advies van de landsadvocaat. Dat wilde ik als volgt doen: eerst even het proces, dan het advies van de landsadvocaat en dan de vervolgstappen.

Collega Aukje de Vries en ondergetekende zijn al langere tijd bezig met het maken van een wetsontwerp, namelijk het wetsvoorstel Wet waarborgen gegevensverwerking Belastingdienst, Toeslagen en Douane, ook wel afgekort als WGBTD. Ik moet zelf altijd weer even nalezen waar het voor staat, vandaar dat ik het ook voluit heb gezegd. Daarover hebben we de Kamer in verschillende voorgangsrapportages ingelicht. Dat gaat over de AVG, de Algemene verordening gegevensbescherming, maar ook over de Baseline Informatiebeveiliging Overheid en over de Archiefwet. In het kader van het voorbereiden van die wetgeving hebben wij natuurlijk ambtelijk ook de uitspraak van het Hof van Justitie van 7 december jongstleden geconstateerd. Dat is het zogenaamde SCHUFA-arrest, en er was natuurlijk al een conclusie gewezen in maart vorig jaar.

Dat heeft er bij ons direct aanleiding toe gegeven advies te vragen aan de landsadvocaat. Dat advies hebben wij in eerste instantie gekregen op 31 januari en zo heb ik dat ook beantwoord op schriftelijke vragen van NSC. Wij hebben daar gesprekken over gehad. We hebben ook wat verduidelijkende en aanvullende vragen gesteld. We hebben ook de ambtelijke commissie publieke dienstverleners of uitvoeringsorganisaties hiervan op de hoogte gesteld. We hebben het ook aan de orde gesteld in februari in de ministeriële commissie uitvoeringsorganisaties publieke dienstverlening. Wij beseften natuurlijk dat we al met een wetgevingstraject bezig zijn, maar niet de collega-beleidsdepartementen daarmee wilden verrassen. Met name de Ministeries van SZW, OCW en VWS hebben aangegeven in die vergaderingen niet alleen in de inhoud van het advies van de landsadvocaat geïnteresseerd te zijn, maar daar ook opvattingen over te hebben. Dat is allemaal terechtgekomen in aanvullende vragen. Dat heeft geleid tot het advies van 12 maart.

Dan het advies zelf. De landsadvocaat geeft in dat advies aan en bouwt zeer zorgvuldig op dat het profileringsbegrip in de AVG ruim moet worden uitgelegd. Dat is wel een uitleg die een stuk ruimer is dan voor die tijd. Daar heeft de landsadvocaat ook argumenten voor.

Een van de vragen ging over selectiecriteria. We hebben aan de landsadvocaat de selectiecriteria voorgelegd die de Belastingdienst altijd hanteert. Ik heb nog meegemaakt dat er geen automatisering was, toen ik in 1983 begon. Ik ben nog van dat tijdperk. Toen waren er ook selectiecriteria. Ik geloof dat de heer Van Baarle het op een bepaald moment samenvatte. Nu zijn we natuurlijk met automatisering bezig. We ontkomen daar niet aan. Als we de automatisering moeten stopzetten bij alleen al 10 miljoen aangiftes inkomstenbelasting, die geautomatiseerd verwerkt worden op basis van vooraf ingevulde aangiftes, dan komen de belastingcentjes niet binnen. Het gaat natuurlijk om die selectiecriteria. Bij die selectiecriteria heeft de landsadvocaat over profilering gezegd dat van de tien er twee niet voldoen. Dat had te maken met leeftijd. Dat heeft er gewoon mee te maken dat je bijvoorbeeld bij een jonggehandicaptenkorting naar de leeftijd moet kijken of naar een bepaalde reserveringsruimte. Maar de overige voldoen wel. Dat is een behoorlijk ruime uitleg.

De volgende vraag waar de landsadvocaat op is ingegaan, is de volgende. Je hebt in eerste instantie de eerste fase: de aangiftes worden geautomatiseerd ingediend. Vervolgens worden er een aantal «uitgeworpen»; dat is de terminologie. Ik geloof dat de heer Krul het over een «ping» had, maar dit is de terminologie binnen de Belastingdienst. Dat is dan op basis van die selectiecriteria. Dat wil niet per definitie zeggen – helemaal niet, zelfs – dat de gedachte is: o, er is een fout gemaakt in de aangifte; dit kan de eerste stap zijn voor een fraudeonderzoek. Heel veel mensen maken fouten. In een van die selectiecriteria staat bijvoorbeeld iets over de situatie dat iemand voor de eerste keer zijn aangifte inkomstenbelasting invult omdat diegene een eigen huis gekocht heeft en recht op renteaftrek heeft. De ervaring leert dat heel veel mensen daarbij fouten maken, omdat dat de eerste keer is. Dan krijg je een vragenbrief. Dat gebeurde ook in de tijd dat er nog geen automatisering was. Heel vaak is dat juist in het belang van de belastingplichtige, want als je een niet goed ingevulde aangifte hebt, dan hoor je liever van de Belastingdienst waar het dan niet goed is, in plaats van dat je een heel hoge aanslag, een navorderingstraject of nog erger krijgt.

Zo is er ook het voorbeeld van een oudere dame. Die had bij het invullen van haar aangiftebiljet het knopje voor de buitengewone lastenaftrek zorgkosten te lang ingedrukt. In plaats van 4.000 kwam er 4 miljoen uit. Zij was ontzettend blij dat ze een telefoontje kreeg van de Belastingdienst met de vraag: klopt dit wel? Natuurlijk zijn er ook situaties waarin er niet zomaar «foutjes» door belastingplichtigen worden gemaakt, maar waarin er bewúst fouten worden gemaakt. Dat kan dan wel degelijk aanleiding geven tot niet alleen een vragenbrief, maar ook een vervolgonderzoek.

Ik kom op wat de landsadvocaat heeft gezegd. Wat betreft artikel 22 van de AVG gaat het om de vraag: wanneer is er nou sprake van een besluit met rechtsgevolgen? Wat betreft automatisering worden de twee stappen die ik net beschreef, als één gezien. Als er dan ook nog eens een keer sprake kan zijn van het «anderszins in aanmerkelijke mate treffen», doet zich de vraag voor of de werkwijze die wij thans hanteren, met die open norm, in strijd zou zijn met het huidige artikel 22 van de AVG en met artikel 40 van de Uitvoeringswet AVG.

Waar baseert de landsadvocaat zich op? Dit is trouwens ook echt een beetje onontgonnen terrein. De jurisprudentie ontwikkelt zich dus ook. Die jurisprudentie ontwikkelt zich heel vaak in private situaties. Je hebt te maken met het aspect dat je ook nog een publieke dienstverlener bent, die ook nog naar andere zaken moet kijken dan alleen die mogelijke fraudesituaties. Denk aan dat SCHUFA-arrest. Dat is allemaal nog onduidelijk qua jurisprudentie. We nemen het advies van de landsadvocaat natuurlijk ongelofelijk serieus. Maar zij baseren zich met name op het volgende. Er is, op basis van artikel 29 van de AVG, een Europees Comité voor gegevensbescherming. Dat brengt richtsnoeren uit, die door de rechter worden gebruikt bij de interpretatie van deze wetgeving. Dat zijn richtsnoeren. De landsadvocaat kan natuurlijk ook niet anders doen. Een deel van die wetgeving heeft ook te maken met die richtsnoeren.

Wij hebben het volgende gemeend. De consequenties van dit advies kunnen verregaand zijn. Hier werd ook al naar gevraagd. Wij dachten: «We gaan niet over één nacht ijs. Dan vragen we aan de Autoriteit Persoonsgegevens zélf om hier het licht over te laten schijnen.» Uiteindelijk is die namelijk de autoriteit met de onafhankelijke en objectieve deskundigheid wat betreft de interpretatie van deze wetgeving. Die vraag hebben we neergelegd bij de Autoriteit Persoonsgegevens. Wij verwachten daar eind mei een antwoord op.

Wij hadden in het antwoord op de schriftelijke vraag van NSC ook nog gezegd dat het onze bedoeling is om twee onafhankelijke wetenschappers daarover om advies te vragen. Die zijn niet eerder beschikbaar dan augustus of september. Dat vinden wij te laat. In nauwe samenspraak met de Staatssecretaris van BZK – ze heeft daar zojuist zelf ook al wat over gezegd – hebben wij nu het idee om, nadat we het advies van de AP hebben, in ieder geval als Ministerie van Financiën, met name collega De Vries en ikzelf, de vervolgstap te zetten. Die vervolgstap is dan toch: wetgeving voorbereiden, die niet alleen op de AVG betrekking heeft. Dat heb ik ook al eerder gezegd. We willen de Wet waarborgen gegevensverwerking Belastingdienst, Toeslagen en Douane rapido in gang zetten. Dan komen we uiteraard ook bij uw Kamer terug. Het is namelijk wel van cruciaal belang dat hiervoor een goede wettelijke grondslag komt. Dat loopt natuurlijk parallel aan wat de andere departementen wel of niet zullen doen. Want nogmaals, het gaat bij ons niet alleen om de AVG, maar ook om die andere onderwerpen.

Voorzitter. Volgens mij heb ik nu behoorlijk wat vragen beantwoord. Er was nog één vraag, van de heer Krul. Tenzij je met nieuwe wetgeving zou komen, zou de consequentie van het advies in extremis kunnen zijn dat je ten aanzien van de handhaving geen gerichte controle meer kan doen. Dan zou je het met aselecte steekproeven moeten doen. Dat doet iets met de voorbeelden die ik net noemde: aftrekbaarheid van de hypotheekrente in de situatie dat je voor de eerste keer een huis koopt, zorgkosten of die directeur-grootaandeelhouder in box 2. Ik heb ook al gezegd wat dit eventueel betekent voor andere departementen en dat we in goed overleg zijn.

Voorzitter. Dan is er alleen nog de vraag van de heer Krul over welke gevolgen deze uitspraak heeft voor het witwastoezicht, waarbij banken op basis van geautomatiseerde signalen onderzoek doen. Daarbij moet ik even tekstvast zijn. Dat zit namelijk in de portefeuille van de Minister van Financiën. Daar ben ik dus niet dagelijks mee bezig.

Poortwachters wat betreft de Wet ter voorkoming van witwassen en financieren van terrorisme, de Wwft, dienen altijd aan cliëntonderzoek en transactiemonitoring te doen. Er is een breed scala aan poortwachters, van banken tot advocaten. Een deel van dat proces is geautomatiseerd. Dat is efficiënter voor banken en klanten. De Nederlandsche Bank houdt Wwft-toezicht op banken. Dat is bekend. Deze wet verplicht alle poortwachters om een risicogebaseerd onderzoek te doen en voor elke cliënt een zelfstandige afweging te maken.

De Minister van Financiën heeft aangegeven met DNB in gesprek te zullen gaan over de processen van banken. Daar waar de Belastingdienst taken uitvoert in het kader van het toezicht op de Wwft, wordt geïnventariseerd in hoeverre daarvoor gebruik wordt gemaakt van geautomatiseerde selectietechnieken. Hierover wordt u schriftelijk nog nader geïnformeerd; dat gebeurt ook omdat er een verzoek ligt van het lid Idsinga om hiervan een overzicht op te leveren.

Voorzitter. Ik heb nog één laatste opmerking. Als er echt sprake is van fraude of als er aanwijzingen van fraude zijn, hebben we natuurlijk altijd nog de Wet politiegegevens. Op basis van die wet, die de FIOD veel ruimere bevoegdheden geeft, kan er natuurlijk altijd een onderzoek worden ingesteld. Daar was ook een vraag over gesteld, dacht ik.

De voorzitter:

Dan kijk ik als eerste naar de heer Krul van het CDA.

De heer Krul (CDA):

Dank aan de Staatssecretaris voor deze heldere en uitgebreide uitleg. Ik begrijp dat de situatie die geschetst wordt, waarin we alleen maar aselecte steekproeven zouden kunnen doen, een «in extremis»-situatie is. Dat zou natuurlijk ook grote gevolgen kunnen hebben voor de belastingplichtige die wel een fout heeft gemaakt, maar dat niet bewust heeft gedaan. In die zin zijn wij er niet geruster op. Ik zou willen vragen of de Staatssecretaris overwogen heeft om, naast de Autoriteit Persoonsgegevens – die is wat dat betreft natuurlijk de autoriteit – bijvoorbeeld ook de Raad van State om advies te vragen. Misschien is het juist verstandig om te kijken of we in bredere zin wat meer advies kunnen krijgen over het wetsvoorstel dat in ontwerp gaat. De gevolgen zouden in extremis immers erg impactvol kunnen zijn.

Staatssecretaris Van Rij:

Dank voor deze vraag. Dat hebben we wel overwogen. Dan zal de heer Krul waarschijnlijk bedoelen dat we de Raad van State om een voorlichting vragen. Daar hebben we toch van afgezien, omdat wij de Autoriteit Persoonsgegevens op dit moment eigenlijk de meest aangewezen instantie vinden, vanwege de korte termijn waarin we antwoorden willen hebben. Wij dienen het wetsontwerp ook niet in vóórdat we dat advies van de Autoriteit Persoonsgegevens hebben gehad. Anders kan de Autoriteit Persoonsgegevens natuurlijk geen advies geven. Bij de Raad van State zit je eigenlijk een beetje in een vergelijkbare situatie. Als wij namelijk met dat wetsontwerp komen, komt de Raad van State in het reguliere traject ook nog gewoon aan bod. In het reguliere traject geeft de Raad van State ook nog advies over het wetsontwerp. Die combinatie van argumenten heeft er dus bij ons toe geleid om te zeggen: we vragen het nu aan de Autoriteit Persoonsgegevens. We komen uiteraard direct bij uw Kamer terug als we dat ontvangen hebben.

De voorzitter:

Dan kijk ik even verder. Zijn alle vragen beantwoord? Dat is zo. Ik denk dat we dan kunnen starten met de tweede termijn en dan is het woord aan de heer Six Dijkstra van NSC.

De heer Six Dijkstra (NSC):

Dank u wel, voorzitter. Ook dank aan beide staatssecretarissen voor de beantwoording. Ik had nog een aantal punten. Allereerst zie ik natuurlijk erg uit naar het advies van de Autoriteit Persoonsgegevens, dat we dan eind mei verwachten, omdat dit, zoals ook eerder in het debat aan de orde is gekomen, een behoorlijk grote impact kan hebben. Het is natuurlijk goed dat het Ministerie van Financiën reeds bezig is met nieuwe wetgeving als het gaat om toeslagen, maar – ik kijk ook even naar de andere Staatssecretaris – als dit zo veel departementen treft, zal er misschien een hele hoop extra wetgeving moeten komen in potentie. Dat moeten we natuurlijk ondervinden en dat moet dan mogelijk in een volgend debat aan de orde komen. Daarom nogmaals mijn vraag aan de Staatssecretaris van BZK om te reflecteren op de vraag of een eventuele voorhangprocedure voor algoritmes niet een uitweg zou zijn om dit soort wetgeving te versterken. Ik besef daarbij wel dat ik vooruitloop op een eventueel advies in de toekomst van de AP.

Dan nog één laatste vraag, wederom mede namens de ChristenUnie. Kunnen wij het naar ons toe komen van het CODIO-kader en de status daarvan eind december als concrete toezegging noteren?

Dat was ’m van mijn kant. Dank u wel.

De voorzitter:

Dan is het woord aan mevrouw Van der Werf.

Mevrouw Van der Werf (D66):

Dank u wel, voorzitter. Ook dank aan beide bewindspersonen voor hun beantwoording, en ook aan hun ondersteuning. Ik wil graag nog op één punt terugkomen. Er is natuurlijk een hoop kommer en kwel voorbijgekomen over wat het schip en het schipwrak ons gaan brengen. Ik was mijn inbreng geëindigd met de vraag hoe we er nou voor kunnen zorgen dat AI onze overheden ook kan ondersteunen, met name op het gebied van de dienstverlening richting burgers. Nu lopen we natuurlijk traditioneel gezien wat achter als het gaat om ICT bij de overheid, maar je zou op dit punt zeker kunnen zeggen dat we daar ook de vruchten van kunnen plukken. Ik overweeg een motie op dit punt, dus als u het mij toestaat zou ik ook graag vast een tweeminutendebat aanvragen.

Ik heb nog één losse vraag, om het zo maar even te noemen. De Staatssecretaris voor Digitale Zaken gaf aan dat ook bij die complexe algoritmen toezichthouders wel 100% inzicht krijgen op het moment dat ze niet worden opgenomen in een register. Ik wou even ter check vragen: ik ga er dan vanuit dat u bedoelt vooraf en niet pas op het moment dat het is misgegaan.

Dank.

De voorzitter:

Dan de heer Valize van de PVV.

De heer Valize (PVV):

Voorzitter, dank voor het woord. Dank voor de beantwoordingen van de staatssecretarissen en hun ondersteuning. Dank ook aan de collega’s voor het goede debat. Dan de tweede termijn. We kijken ernaar uit om de terugkoppeling te krijgen over ervaringen in het veld. Die brief komt aan het eind van het jaar, heb ik begrepen uit de beantwoording. Over het vullen van het register voor de algoritmes zou ik nog de vraag willen stellen aan de Staatssecretaris of er een mogelijkheid is om er iets meer op aan te dringen bij de departementen om dat toch zo vroeg mogelijk te doen, zodat we niet tot eind 2025 moeten wachten totdat het register een keer gevuld is.

En dan heb ik nog één klein dingetje. Dat kwam toevallig voorbij. Dat is dat keurmerk. We hebben toevallig vorige week een debat over onlineveiligheid en cybersecurity gehad. Daar heb ik dit onderwerp ook al aangehaald, bij de Minister van EZK. Dat betreft het CE-logo. Er zijn twee verschillende CE-logos. Je hebt er eentje voor China Export en je hebt er eentje voor het Europese keurmerk en het verschil is minimaal. Ik vraag om er toch, in samenspraak met uw collega’s in Europa, op aan te dringen dat er iets gedaan wordt om dat logo toch meer te laten differentiëren van dat China Exportlogo, want dat kan tot heel veel verwarring leiden.

En dan ben ik aan het einde van mijn tweede termijn. Dank u.

De voorzitter:

Dan het CDA, de heer Krul.

De heer Krul (CDA):

Ja, voorzitter. Heel kort. Nogmaals dank aan de bewindspersonen voor hun duidelijke uitleg. We zijn er niet per se geruster op geworden. Ik denk dat de Autoriteit Persoonsgegevens een heel nuttig inzicht kan bieden. Tegelijkertijd denk ik aan aspecten als het belang van toezicht, een belastingmoraal en de uitvoerbaarheid, aspecten waar je niet per se kan verlangen dat een AP die goed kan overzien, omdat het simpelweg niet haar expertise is. Ik zou willen vragen, maar gewoon ins Blauwe hinein, aan de griffier om met het tweeminutendebat dat is aangevraagd even te wachten tot eind mei dat advies er is. Ik denk dat de Kamer dat wel tot zich moet kunnen nemen voordat we hier verder over praten.

Voor zover, voorzitter.

De voorzitter:

Dank u wel. Ik moet dan wel als bijsluiter meegeven dat de aanvrager van het tweeminutendebat D66 is. Volgens mij gaan zij ook over het inplannen van het tweeminutendebat. Toch? Er is een suggestie gedaan. Die hoeft niet per se gehonoreerd te worden.

Mevrouw Van der Werf (D66):

We zullen het in overleg oppakken.

De voorzitter:

Het is goed dat we dat nog even ergens anders parkeren, dat we daar als u dat echt wilt nog even verder over in overleg gaan. Dan de heer Van Baarle.

De heer Van Baarle (DENK):

Ik dank de Staatssecretaris voor de beantwoording. Beide staatssecretarissen, maar mijn vragen waren vooral aan Staatssecretaris Van Huffelen gericht. Een aantal dingen zijn helder geworden, maar een hoop blijft voor mij toch nog onduidelijk. Dat zal aan mij en de Staatssecretaris liggen, want ik ben ook zelfkritisch. We hebben met elkaar een algemeen normenkader. Hoogrisicoalgoritmen kunnen alleen toegepast worden met een keurmerk, maar we weten niet wie dat keurmerk gaat geven. We stellen iets op wat niet bindend is, want alleen die AI-verordening is bindend voor waar de zaken aan zouden moeten voldoen. Wij hebben toch wat zorgen over de richting waarin het gaat, dus wij zijn blij dat mevrouw Van der Werf een tweeminutendebat heeft aangevraagd.

De voorzitter:

De heer Meulenkamp heeft geen behoefte aan een tweede termijn. Dan vraag ik even aan de heer Six Dijkstra of hij de voorzittershamer kan overnemen, zodat hij mij het woord kan geven.

Voorzitter: Six Dijkstra

De voorzitter:

Zeker. Het woord is aan mevrouw Kathmann van de fractie van GroenLinks-PvdA.

Mevrouw Kathmann (GroenLinks-PvdA):

Dank u wel, voorzitter. Nog even drie dingen. Ik wil ieder geval nog iets meegeven. Ik hoop eigenlijk ook wel op een antwoord van de Staatssecretaris, maar ik denk dat dat niet meer vandaag kan. Er is – een advies mag ik het niet noemen – een scenariostudie gedaan door de Toekomstkamer. Die is onderdeel van de Stichting Toekomstbeeld der Techniek. Het is een scenariostudie over het Algoritmeregister. Wat het heel interessant maakt, is dat zij kijken naar het instrument van het Algoritmeregister in het kader van de verdere inrichting van het digitale toezicht, wat dat instrument nog doet en wat we eigenlijk misschien wel voor andere instrumenten kunnen gebruiken.

Wat mooi is, is dat zij in hun schrijven over doel van het Algoritmeregister zeggen: meer vertrouwen in de overheid, want we zijn transparant. Als we dan de cijfers er nog eventjes bij pakken, dan zie je dat maar 9% van de Nederlanders weet dat er een Algoritmeregister bestaat en dat drie op de vier Nederlanders als je vraagt of ze dat belangrijk vinden zeggen dat ze het eigenlijk wel belangrijk vinden, maar dat maar 12% van de Nederlanders denkt dat een register kan bijdragen aan het vertrouwen in algoritmes. Dat maakt dit stuk van deze denktank, die bestaat uit allerlei experts uit allerlei gelederen, dus van commerciële partijen tot ook zelfs overheidsexperts en kennisinstellingen, wel heel interessant. Ik hoop dus dat de Staatssecretaris daarop zou willen reageren.

Dan nog een vraag over die digitalisering op de werkvloer. Dank in ieder geval voor de beantwoording door de Staatssecretaris, maar het is me iets te kort door de bocht. Het gaat me echt om dingen die je nu bijvoorbeeld ziet. Ik las laatst een artikel – volgens mij was het in de Volkskrant – over een dame die bij een bedrijf werkt waar ze ongeveer door een Fitbit wordt aangestuurd en die van hot naar her moet rennen omdat haar werkgever bepaalt hoe hard ze moet lopen om haar werk goed te kunnen doen. Ik moest eigenlijk denken aan de stakingen van 40 jaar geleden, toen alle lopende banden gewoon zo hard stonden dat mensen het niet meer konden bijbenen. Uiteindelijk is het voor lopende banden een soort van wettelijk vastgelegd, is gezegd hoe het zat met de arbeidsproductiviteit en dat het technologisch dan misschien wel kon, maar menselijk gewoon niet gezond was. Uiteindelijk is dat dus wel vastgelegd, maar zijn die lopende banden ook steeds weer een klein beetje harder gezet. En nu zei de Staatssecretaris eigenlijk: deze mensen kunnen straks met die AI-verordening hun recht halen. Maar hoe gaat dat dan? Die mensen op de werkvloer zijn al vaak in kwetsbare posities. Gaat uit dit Europese beleid nou echt voortkomen dat die mensen precies weten waar ze dan kunnen zijn en welke rechten ze hebben? En hoe voelen ze zich dan comfortabel genoeg om hun recht te gaan halen? Mijn vraag is eigenlijk wat Nederland er nou aan gaat doen om dat voor iedere werknemer in Nederland te kunnen borgen.

Dan de vraag over wat er eigenlijk in een brief komt na de «ping». Ik begrijp de beantwoording van de Staatssecretaris heel goed. Zij gaf aan dat, wanneer iemand wel of geen toeslag heeft gekregen, ze in een brief uit kunnen leggen waarom diegene dat wel of niet heeft gehad. Maar dat is natuurlijk veel relevanter als je in het kader van bijvoorbeeld fraudeopsporing eruit bent gepikt. Ik heb het zelf een keer gehad. Toen kreeg ik een schatting met «u moet dit terugbetalen». Het kwam uit allemaal posten. Uiteindelijk ga je dan naar een kantoor, maar die producten praten niet met elkaar. En eigenlijk was mijn grote vraag bij heel veel balies: van welke proces bent u eigenlijk onderdeel? Als dan in een brief zou staan: «In het kader van fraudeonderzoek bent u er uitgelicht. Dit is het algoritme; u kunt het terugvinden in het register. Als u daar nog vragen over heeft, kunt u contact opnemen met persoon X». Dat is natuurlijk eigenlijk de informatie die dan op de brief zou moeten staan. Is dat dan ook de informatie die op de brief komt te staan? Dat zou ik dan graag willen weten.

De voorzitter:

Dank u wel. Dan geef ik de voorzittershamer weer over aan mevrouw Kathmann.

Voorzitter: Kathmann

De voorzitter:

Dank u wel. Dan kijk ik even naar de staatssecretarissen rechts van mij. We schorsen voor twee minuten en dan kunnen we overgaan tot de beantwoording.

De vergadering wordt enkele ogenblikken geschorst.

De voorzitter:

We gaan verder met de beantwoording in tweede termijn. Het woord is aan de Staatssecretaris.

Staatssecretaris Van Huffelen:

Dank u wel, voorzitter. Ik zal de vragen die gesteld zijn, beantwoorden. Ik begin met de heer Six Dijkstra, die vroeg of wij het een goed idee vinden dat algoritmes altijd worden voorgehangen bij de Tweede Kamer voordat ze worden ingesteld. Wat mij betreft is dat geen wenselijke route. We willen dat algoritmes alleen worden ingezet wanneer ze voldoen aan de criteria die daarvoor gesteld zijn in de AI-verordening. Dat betekent dat ze aan allerlei criteria moeten doen op het gebied van non-discriminatie enzovoort en dat ze goed getoetst zijn voordat ze worden ingezet door de overheid. Er zullen toezichthouders zijn die daarop toezicht kunnen houden. Ze worden opgenomen in een register. Het lijkt mij dan dubbel als je die ook vooraf bij de Tweede Kamer gaat voorhangen.

Er werd ook nog gevraagd of wat er gezegd werd over het waardenkader als toezegging genoteerd kan worden. Dat kan. Ons idee is dat het voor het eind van het jaar aan uw Kamer wordt toegestuurd.

Mevrouw Van der Werf gaf een paar dingen aan. Ten eerste zei ze: we kunnen ook de vruchten plukken van de inzet van AI. Dat is ook zo. Dat kunnen we op verschillende manieren, in de private en de publieke sector. Dat zijn we van plan te gaan doen. Dat doen we onder andere via de inzet van onze visie op het gebruik van generatieve AI.

Verder vroeg u of inzage van de toezichthouders in complexe algoritmes altijd kan en of dat ook vooraf kan. Dat kan. Toezichthouders mogen altijd inzage vragen in het gebruik van algoritmes, niet alleen bij de ontwikkeling maar ook bij de toepassing daarvan, of verderop in de tijd. Het is aan de toezichthouders zelf om dat moment te kiezen.

De heer Valize deed de oproep aan al mijn collega-departementen en aan andere overheden om zo snel mogelijk te komen tot het invullen van het Algoritmeregister. Ik ondersteun die oproep zeer en zal dat doorgeven aan mijn collega’s. Verder begrijp ik dat u al de toezegging van de Minister van EZK heeft gekregen over het CE-logo, om ervoor te zorgen dat helder wordt wat het een is en wat het ander is, zodat het niet tot verwarring kan leiden bij burgers. Hij gaat daarmee aan de slag in Brussel.

Dan is er toch nog iets wat mij van het hart moet naar aanleiding van de opmerkingen die door de heer Van Baarle zijn gemaakt. Allereerst moet helder zijn dat de AI-verordening ons natuurlijk enorm gaat helpen bij het inzicht in AI en het reguleren van AI. Dat is een thema waarbij de heer Van Baarle en ik elkaar voortdurend de hand kunnen schudden, denk ik. Ik heb het dan over vragen als wanneer het überhaupt mag en kan, hoe je het op een verantwoorde manier doet, hoe je ervoor zorgt dat het transparant is, hoe je ervoor zorgt dat er goed toezicht op is en hoe je ervoor zorgt dat het voor burgers helder is waar zij terechtkunnen wanneer zij het idee hebben dat zij niet op een goede manier worden behandeld.

De AI-verordening is mede door de inzet die wij als Nederland hebben gepleegd, echt een verordening geworden waarvan wij zien dat die ons gaat helpen op dit gebied. Zij is wel complex; dat gaf u ook aan. Ik denk niet dat die verordening complex is door u of door mij. Dat komt omdat het een ingewikkeld onderwerp is. Ik zou u echt aanraden om de technische briefing daarover te houden, omdat die veel meer inzicht gaat bieden in wat er precies in de verordening staat over hoe het gaat werken.

In uw woorden proefde ik een beetje de suggestie dat dit allemaal nog niet voldoende is. Ik denk dat we met deze verordening een heel breed terrein afdekken en dat we daarmee ervoor zorgen dat we op een verantwoorde manier kunnen werken. Het is helder dat we dat moeten vertalen naar wat het direct betekent voor de Nederlandse overheid, het goed moeten inrichten en er ook voor moeten zorgen dat onze toezichthouders goed geëquipeerd zijn om hun werk te doen. Maar het is niet zo dat we op basis van de verordening of van wat we bij de Nederlandse overheid aan het doen zijn – denk aan het register of ons implementatiekader – onduidelijkheid aan het creëren zijn. Het is ook niet zo dat het vage normen zijn of dat het niet helder is. Met deze verordening en met alles wat wij doen, wordt juist heel veel scherpte gecreëerd. Op basis daarvan kunnen we op een verantwoorde manier werken met algoritmes. Daarmee wordt ook duidelijk wanneer het niet kan.

Het is, nogmaals, goed om u daar verder over te laten voorlichten. U kunt mijn woorden geloven of niet – ik hoop natuurlijk van wel – maar het is belangrijk om met elkaar vast te stellen dat dit voldoet aan de vereisten die we willen. Dus nogmaals, we hebben een heel mooi kader gemaakt om op een verantwoorde manier te werken, maar het is goed als we dat met elkaar delen.

Dan was er nog een vraag van mevrouw Kathmann naar aanleiding van de scenariostudie. Dat is interessant. De Toekomst Kamer heeft ernaar gekeken en heeft aangegeven dat het belangrijk is dat burgers meer worden meegenomen in de digitale ontwikkelingen. Of ze dit instrument nou wel of niet precies kennen, is één deel daarvan, maar veel belangrijker is dat we weten dat mensen zich zorgen maken over de inzet van algoritmes, dat ze zich daar druk over maken. Kan ik nog wel vertrouwen wat ik zie op het internet? Kan ik de informatie die ik krijg van welke instantie dan ook, nog wel vertrouwen? Komt die ook echt van die instantie? Wij vinden het heel erg belangrijk om daar meer inzicht in te bieden. We kijken dus ook heel graag nog verder naar het werk dat is gedaan, om te zien of ons dat verder kan helpen in het geven van voorlichting aan burgers, vooral om ervoor te zorgen dat we meer vertrouwen creëren in het werk van de overheid.

Dan nog iets over de toepassing van AI in het werk en op de werkvloer. Wij hebben de SER, de Sociaal-Economische Raad, ons adviesorgaan, gevraagd om met name daarnaar te kijken. Zij zijn aan de slag gegaan met een uitgebreide studie om te zien wat de effecten zijn van generatieve AI, ook wel AI, op werken in Nederland. Wat betekent het voor banen, voor de manier waarop die worden ingericht? Wat betekent het überhaupt voor werk? Hoe kunnen we AI op een positieve manier inzetten? En wat voor risico’s zijn er? Voor ons is dat een heel belangrijk gegeven, omdat banen en werk zo veranderen door AI. Dat geldt niet voor alle banen. Het geldt ook niet voor alle banen in even grote mate. Maar er zal verandering op kunnen treden – ik denk dat er verandering op zál treden – wat betreft banen voor hoogopgeleiden. Denk aan de advocatuur of aan het maken van wetten bij de overheid. Maar het kan net zo goed voor mensen die nu in feite – dat is eigenlijk het voorbeeld dat u noemde – worden aangestuurd door AI. Dat is iets wat we in mijn perspectief overigens niet zouden moeten willen.

Het is heel belangrijk dat we daar meer inzicht in krijgen, dat we ons daarvan bewust zijn en dat we ervoor gaan zorgen dat het voor mensen die dit meemaken, veel duidelijker wordt waar zij terechtkunnen wanneer dit soort situaties zich voordoen. Daar zijn natuurlijk al allerlei regels voor gesteld in de Arbeidsomstandighedenwet, maar ik denk dat het belangrijk is dat we daar nog een keer scherp naar kijken, ook op basis van het voorbeeld dat u noemt, in het kader van de komst van AI. Zoals we ook al in de visie op generatieve AI hebben gezegd, willen we niet dat iemands baas straks AI is in plaats van een normaal mens van vlees en bloed.

Mevrouw Kathmann vroeg ook: hoe zit het met informatie over wanneer je eruit bent gepikt? Stel dat je wilt begrijpen waarom je geselecteerd bent om extra vragen te stellen. Hoe gaan we dat dan aan iemand duidelijk maken? Ik vertelde al dat wij bezig zijn met het aanpassen van de Algemene wet bestuursrecht en met name naar dit aspect, de toepassing van AI, willen kijken. Dat geldt zowel voor de vraag «kom ik wel of niet in aanmerking?» als voor dit soort vragen. Daar komen we dus ook nog bij u op terug. Ik begrijp namelijk heel goed dat u zegt: ik vind het ook belangrijk dat duidelijk wordt wanneer dat aan de orde is. Denk aan vragen als «waarom ben ik geselecteerd voor extra vragen?» of «wat is er aan de hand?» Ik vind dat een gerechtvaardigde vraag. Wij gaan goed kijken hoe we hier bij de aanpassing van de Algemene wet bestuursrecht meer inzicht in kunnen bieden. Ik kan nu nog niet helemaal antwoord geven op de vraag op welke manier we dat kunnen doen, maar ik vind het wel belangrijk dat we dit als onderdeel hierin verwerken.

Dat waren de antwoorden op de vragen die aan mij gesteld zijn.

De voorzitter:

Dan is het woord aan Staatssecretaris Van Rij.

Staatssecretaris Van Rij:

Dank u wel, voorzitter. Ik begin met het punt van de heer Krul. Ik wil er toch op wijzen dat de landsadvocaat voorzichtig geformuleerd heeft in de conclusies. Hij spreekt tot twee keer toe over «waarschijnlijk». De eerste keer is dat bij de vraag: is er bij een eerste selectie van een aangifte via een geautomatiseerd selectiesysteem sprake van een besluit? Een besluit in de zin van de AVG is strikter dan een besluit in de zin van de Algemene wet bestuursrecht. Dan gaat het erom of anderszins in aanmerkelijke mate de burger getroffen kan worden.

Het tweede is natuurlijk dat de landsadvocaat zegt dat ook wanneer er sprake is van menselijke tussenkomst, in die tweetrapsraket die ik beschreven heb, waarschijnlijk toch sprake kan zijn van een besluit waarmee de burger anderszins in aanmerkelijke mate getroffen kan worden. Dat zegt de landsadvocaat. Juristen formuleren altijd zorgvuldig. Dat is een. Twee is dat het een advies is. Dat geldt ook voor de AP, die we om advies hebben gevraagd. Dat is dus iets anders dan een boetebesluit. Wij, beide staatssecretarissen, zullen dan uiteraard onze eigen afwegingen moeten maken en dan komen we bij u terug. Overigens niet meteen eind mei. Eind mei komt de AP met haar advies. Dat moeten wij dat natuurlijk wel even goed verwerken, maar we komen uiteraard voor het zomerreces dan naar de Kamer toe en het liefst zo snel mogelijk.

Wij moeten dan namelijk ook precies het punt wegen dat terecht door de heer Six Dijkstra en de heer Krul op tafel is gelegd. We hebben aan de ene kant natuurlijk privacy, ongelofelijk belangrijk, maar Belastingdienst, Toeslagen en Douane zullen ook moeten handhaven en toezicht moeten houden. Daar de balans in vinden, dat is de grote uitdaging. Vandaar ook dat we bezig zijn met het voorbereiden van nieuwe wetgeving om met nog betere grondslagen te komen, maar dat is natuurlijk iets waar we nu ook voortdurend mee worden geconfronteerd. Ook in Kamerdebatten wordt daar natuurlijk steeds op gewezen. Aan de ene kant horen we in de commissie Financiën natuurlijk voortdurend, en terecht, als het over de Belastingdienst gaat: handhaaft u nog wel, houdt u toezicht en pakt u fraudeurs aan? Aan de andere kant is privacy een heel groot goed. Dat is de balans die we moeten zien te vinden.

De voorzitter:

Dan kijk ik even naar links, naar de zijde van de Kamer. Zijn alle vragen beantwoord, ook in de tweede termijn? Ja, dat is zo. Dan gaan we even naar de toezeggingen.

  • In december wordt de Kamer nader geïnformeerd over de toepassing van het CODIO-kader.

  • De Kamer ontvangt voor de zomer een brief waarin wordt aangegeven hoe uitvoering wordt gegeven aan het verzoek van het lid Idsinga.

  • Het protocol geconstateerde discriminatie komt voor de zomer naar de Kamer. Dit was naar aanleiding van een vraag van de heer Van Baarle.

Dan nog even aangaande het tweeminutendebat. De eerste spreker is mevrouw Van der Werf van D66 en de vraag is dus of de Griffie bij het inplannen van het debat rekening dient te houden met het advies van de AP, of daar bij het inplannen op gewacht moet worden.

Mevrouw Van der Werf (D66):

Wat mij betreft niet.

De voorzitter:

Oké, dan weten we dat. Dan kan de Griffie daar rekening mee houden.

Dan kijk ik nog even naar rechts, naar de staatssecretarissen. Er was nog een mogelijke toezegging aangaande het stuk van de Toekomstkamer. De Staatssecretaris gaf aan: we gaan hier rekening mee houden in ons beleid. De vraag was volgens mij of er een schriftelijke reactie kon komen. Ik kijk even naar rechts: hoe denkt de Staatssecretaris daar invulling aan te kunnen geven?

Staatssecretaris Van Huffelen:

We brengen ieder kwartaal een verzamelbrief uit. Dan nemen we daarin dat stuk mee. Dan geven we ook een reactie op dit punt. En nog even ten aanzien van de toezeggingen: de eerste en de derde toezegging zijn al eerder gedane toezeggingen. De heer Van Baarle vroeg: gaat u het ook echt doen? Dat is waar. Ik weet niet of we ze nou dubbel moeten noteren. Het zijn toezeggingen die we eerder hebben gedaan.

De voorzitter:

Dat is dan nog even genoteerd. Die laatste toezegging is ook genoteerd. Dan dank ik de staatssecretarissen voor hun beantwoording en de bode voor de goede zorgen, ook voor onze gasten, en dan sluit ik de vergadering.

Sluiting 12.59 uur.

Naar boven