9 Grip op algoritmische besluitvorming bij de overheid

Aan de orde is het debat over grip op algoritmische besluitvorming bij de overheid.

De voorzitter:

Aan de orde is het debat over grip op algoritmische besluitvorming bij de overheid. Ik geef het woord aan mevrouw Veldhoen namens GroenLinks. Zij spreekt mede namens de Partij voor de Dieren.

Mevrouw Veldhoen (GroenLinks):

Dank u wel, voorzitter. Digitalisering raakt aan alle aspecten van het leven: hoe we met elkaar praten, hoe we ons verplaatsen, hoe we een partner vinden en hoe onze overheid met haar burgers omgaat. We zitten nog maar aan het begin van een technologische revolutie. Die zal ook onze democratie en rechtsstaat blijvend veranderen. Sterker nog, die heeft onze democratie en rechtsstaat eigenlijk al blijvend veranderd. Het is onze plicht in Nederland en in Europa om een digitale wereld te creëren ten dienste van haar burgers, waarin de publieke waarden en grondrechten centraal staan en waarin technologie dienstbaar is aan de mens. Dat is dus heel anders dan in China. We zien dat het staatssysteem van China bijna volledige macht heeft vergaard over haar burgers, door het alleenrecht op technologie en big data. Het moet echter ook anders dan in Amerika. Daar heeft een kleine groep marktpartijen namelijk het gros van alle data en technologie in handen.

Voorzitter. In Nederland en Europa moet het publieke belang centraal staan. In Nederland en Europa moet het dienstbaar zijn aan de mens. Daarom zijn begrippen als "privacy by design", "open source" en "dataminimalisatie" geen holle begrippen, maar fundamenten van een human-centric approach van technologie. Dat begint met het AI-proof maken van de democratische rechtsstaat. Daarom staan we hier vandaag. We staan hier vandaag om van gedachten te wisselen over de toekomst van wetgeving en de manier waarop we in het digitale tijdperk politiek bedrijven en besturen.

De rol van AI in de uitvoering van regelgeving zal namelijk alleen maar groeien. AI heeft bijgedragen aan het toeslagenschandaal. AI stond centraal bij het Systeem Risico Indicatie, gefocust op bijstandsgerechtigden. Dat raakt aan fundamentele rechten, met soms vernietigende gevolgen voor de persoon in kwestie. Deze niet te onderschatten rol van AI in wetgeving gaf Jeroen Recourt en mij aanleiding om initiatief te nemen tot het instellen van de werkgroep AI.

Natuurlijk zijn er heel veel positieve elementen van AI te benoemen. Het biedt grote kansen en heeft ons leven enorm verrijkt. Dat staat buiten kijf. Maar vanuit onze rol en verantwoordelijkheid zal ik vandaag vooral stilstaan bij de risico's van AI als het gaat om mensenrechten, privacy- en databescherming en wetgevingskwaliteit. Uit vergelijkend landenonderzoek blijkt dat AI-inzet door overheden vooral lagere sociaal-economische klassen treft en ongelijke verhoudingen in de samenleving bestendigt. Om de voordelen van AI te kunnen benutten en het gebruik te kunnen legitimeren, is tegenwicht nodig.

Allereerst dank aan de griffie en aan het Rathenau Instituut voor hun waardevolle ondersteuning. Dank ook aan de staatssecretaris voor haar reflectie op de twee door het Rathenau Instituut opgestelde notities en de daarin genoemde handelingsopties. Mijn fractie en die van de Partij van de Dieren, voor wie ik inderdaad vandaag ook spreek, kiezen ervoor niet puntsgewijs te reageren op de brief van de staatssecretaris, maar om daar een aantal nieuwe perspectieven aan toe te voegen. Ik begin met de reflectie op de gevolgen van digitalisering voor de trias. Dan sta ik stil bij het huidige recht en de vraag of het kader aanscherping behoeft. Tot slot sta ik stil bij het wetgevingsproces en de uitvoering.

Ik begin bij de rechtsstaat. AI heeft grote impact op het functioneren van de rechtsstaat, en ook op het evenwicht der machten binnen de trias politica. Herman Tjeenk Willink wees ons er al op dat bestuur en wetgeving steeds meer verknoopt zijn geraakt, en dat er daarmee de facto sprake is van een duas politica. Ik deel zijn visie. Technologie dreigt deze verdeling verder onder druk te zetten. We lijken steeds meer in de richting van een unitas politica te gaan. Het AI-gebruik door de overheid vergroot de al bestaande dominantie van het bestuur, dat er het meeste in is geslaagd om digitale technologie op te nemen in haar processen. Deskundige Passchier wees hier ook al op. Het UWV en de Belastingdienst maken in hun beschikking al jaren gebruik van AI. Het parlement en de rechtspraak blijven ver achter met de kennis over en het gebruik van AI, waardoor het evenwicht in de trias verder verstoord raakt.

Het is hoog tijd om een been bij te trekken, zeker nu de mate van digitalisering steeds verder toeneemt. Dat moet allereerst gebeuren door het instellen van een vaste Kamercommissie Digitale Zaken, net als in de Tweede Kamer. Bovendien hebben we een staatssecretaris van Digitale Zaken. Deskundigen wijzen op de noodzaak daarvan, de staatssecretaris vindt het een goed idee en het gebeurt al in tal van landen. We moeten niet alleen de staf versterken, maar juist ook de kennis bij de leden zelf; vandaar ook een vaste Kamercommissie Digitale Zaken.

De heer Dittrich (D66):

Daar heb ik toch een vraag over aan mevrouw Veldhoen. Ik snap de gedachte heel goed en in beginsel steunen wij het idee van een vaste Kamercommissie voor Digitale Zaken waarin ook over AI wordt gesproken. Ziet mevrouw Veldhoen echter niet het risico dat andere commissies dan toch alles wat met AI en digitalisering te maken heeft over het hekje van die commissie heen gaan kieperen, zodat de leden in die commissie misschien wel heel erg goed op de hoogte zijn, maar de kennis als het ware weglekt bij de andere commissies? Als zij dat gevaar ziet, zou ik haar willen vragen of ze daar een remedie voor ziet.

Mevrouw Veldhoen (GroenLinks):

Dank voor de vraag. Ik zie dat gevaar zelf niet. We hebben een overleg gehad met de vaste Kamercommissie van de Tweede Kamer en dat gevaar werd daar niet aan de orde gesteld. Dat gevaar ervaren zij niet in die mate. Belangrijker nog is dat wij in deze Kamer natuurlijk gewend zijn om gecombineerde commissievergaderingen te plannen of in het leven te roepen. Dat doen we vaker. Daarbij zou je gezamenlijk kunnen kijken naar de wetgeving. Dat heeft twee voordelen. Ten eerste worden de kennis en ervaring van de commissie voor Digitale Zaken benut. Ten twee worden de kennis en ervaring van de aansluitende commissie vergroot, doordat je samenwerkt en de kennis gaat delen. Ik denk dat er juist in deze Kamer een heel mooie combinatie zou kunnen worden gemaakt tussen de vaste Kamercommissie voor Digitale Zaken en een andere commissie. Er is wetgeving die puur ziet op digitalisering of digitale elementen. We hebben net zo'n wet aangenomen. Het is natuurlijk evident dat die in die vaste Kamercommissie terecht zou komen. Er is veel wetgeving die op verschillende gedachten hinkt en waar elementen daarvan in kunnen zitten. Juist die gecombineerde commissie zou daarvoor een oplossing kunnen bieden.

De heer Dittrich (D66):

Twee dingen nog. Over de gecombineerde vergaderingen wordt in ander verband wel gezegd dat we die zo min mogelijk moeten houden, ook vanwege het werk van de griffie en zo. Maar goed, dat is één ding. Het andere is dat ik nog wel de volgende vraag heb. Als een wetsvoorstel waar digitalisering of AI in voorkomt, bij een heel andere commissie wordt ingediend, hoe gaan we er dan voor zorgen dat daar bewustwording is dat de commissie voor Digitalisering en AI daar een rol in heeft te spelen? Hoe organiseren we dat? Gaat dat misschien via de fracties of via de commissies en het systeem dat we al hebben?

Mevrouw Veldhoen (GroenLinks):

Ik kan me voorstellen dat de griffie daar ook een belangrijke rol in kan spelen. Die ziet welke wetgeving er aankomt en kan daarvoor een goede verdeling maken. Ik zal later in mijn bijdrage terugkomen op het feit dat ik vind dat in de wetgeving zelf veel duidelijker moet worden dat er sprake is van algoritmische besluitvorming bij de uitvoering. Dat maakt veel transparanter dat er digitale elementen in een wet zitten, waardoor je een wetsvoorstel ook eerder kunt labelen en zeggen dat het bij de commissie voor Digitale Zaken terecht zou moeten komen. Op die manier wordt het voor de griffie ook makkelijker om het te plannen.

Misschien kan ik hier wat aan toevoegen: uiteindelijk moet natuurlijk iedereen kennis van zaken over digitale elementen hebben, want dat wordt in de toekomst alleen maar erger. Dat zou betekenen dat we eigenlijk allemaal kennis van zaken moeten hebben. Ik zie het misschien wel als een tussenoplossing om nu een commissie voor Digitale Zaken in te stellen, zodat wij allemaal op vlieghoogte komen en het niveau met elkaar verhogen. We moeten daar gewoon een stap in zetten als leden. Dat geldt niet alleen voor de griffie, maar ook voor onszelf. Ik kan me voorstellen dat zo'n commissie overbodig wordt als we over tien jaar allemaal voldoende kennis van zaken hebben. Op dit moment vind ik het echt nodig dat wij als Kamerleden zelf een been bijtrekken om ervoor te zorgen dat we meer kennis van zaken krijgen.

Mevrouw Gerkens (SP):

Dat laatste is eigenlijk bijna een ondersteuning met argumenten van de doelstelling die mijn fractie zou willen voorstellen, namelijk: versterk inderdaad de staf. Want als je het alleen bij een commissie voor Digitale Zaken laat en daar het niveau opplust, om het maar even zo te zeggen, dan laat je het bij een klein groepje. Mevrouw Veldhoen stelt voor om gecombineerde vergaderingen te hebben, maar we zien in de praktijk dat de woordvoerders gaan van de commissie die het voortouw heeft. Ik vrees dat we dan geen kennisvermeerdering zullen krijgen. Waar ik naartoe wil, is een voorbeeld uit de Tweede Kamer, waar de commissie Digitale Zaken inderdaad over heel interessante dingen spreekt. Maar terwijl zij over die interessante dingen sprak, werd er in de Tweede Kamer door andere fractieleden een motie aangenomen om coûte que coûte de Omgevingswet erdoorheen te drukken, een wet waar hier ook uw fractie tegen heeft gestemd, mede omdat de digitale kant nog niet helemaal klaar was. Is het nou niet veel belangrijker dat we ervoor zorgen dat ál die Kamerleden weten waar ze het over hebben? En kunnen we dat niet veel beter doen via de staf die dat dan ook in de wetsvoorstellen kan inbrengen?

Mevrouw Veldhoen (GroenLinks):

Ik denk dat het een het ander niet uitsluit. Ik zal er zo meteen zelfs nog een element aan toevoegen. Ik denk dat wij zodanig een achterstand hebben, ook als het gaat om de verhoudingen binnen de trias waarbij je én een staf zou moeten versterken én die commissie Digitale Zaken zou moeten instellen. Ik pleit ook nog — daar zal ik zo op terugkomen — voor een adviescommissie digitale zaken die onafhankelijk Kamerleden, zowel van de Eerste als van de Tweede Kamer, kan adviseren over digitale elementen in wetgeving. Maar ik noem ook de rechtspraak, want ook de rechtspraak blijft achter. Dus ik zou eigenlijk een drietrapsraket willen voorstellen: én versterking van de staf én een vaste Kamercommissie én een adviescommissie die daarover gaat adviseren. Want we lopen echt zodanig achter dat het op verschillende punten versterking behoeft. Ik ben het met u eens wat betreft het voorbeeld van de Omgevingswet. Daarbij is er een ongelukkige gang van zaken. Ik kan me voorstellen dat je juist door de staf beter op te lijnen en door de planning zodanig te laten zijn dat een commissie digitale zaken wel aan de voorkant is aangesloten, dit soort ongelukken kunt voorkomen.

Mevrouw Gerkens (SP):

Ik hoor mevrouw Veldhoen zeggen "we lopen zodanig achter". Maar dan vraag ik aan haar om het te specifiëren. Wie zijn "we", waarin lopen we achter en wat lopen we dan achter? Want volgens mij hebben we hier de laatste paar keren een aantal heel goede debatten gehad bij dit thema, met een fors aantal meer Kamerleden dan ik ooit heb gezien in mijn politieke loopbaan. Dus volgens mij lopen we helemaal niet zo achter.

Mevrouw Veldhoen (GroenLinks):

Dat is wat ook deskundigen zeggen: juist bij de wetgeving, bij de parlementen en de rechtspraak, is er nog veel minder kennis van zaken rondom algoritmische besluitvorming dan bij bijvoorbeeld het bestuur. Ik heb onderzoeken gelezen waaruit dat blijkt. Het is waar dat we bezig zijn met onszelf daarover onderwijzen. Ook met alle voorbereidende bijeenkomsten voor dit debat proberen we natuurlijk een been bij te trekken. Maar ik neem aan dat u het met mij eens bent dat daar nog heel wat moet gebeuren en dat dat versterking behoeft.

De voorzitter:

Tot slot, mevrouw Gerkens.

Mevrouw Gerkens (SP):

Dat klopt. Er moet nog heel veel gebeuren. Maar ik zie ook dat er heel veel gebeurt. Dan is het de vraag of het wel gerechtvaardigd is om, zoals ik nu hoor, zelfs met een drietrapsraket de boel te verzwaren. Schieten we dan niet een beetje door?

Mevrouw Veldhoen (GroenLinks):

Ik denk daar anders over, maar dat mag duidelijk zijn.

De voorzitter:

Vervolgt u uw betoog.

Mevrouw Veldhoen (GroenLinks):

Ik vervolg mijn betoog. Ik heb gezegd dat ik een motie zal indienen samen met de Partij van de Arbeid voor het instellen van die vaste Kamercommissie Digitale Zaken, of in ieder geval om de wens daarvoor uit te spreken.

Daarnaast zal de ondersteuning van het parlement verder moeten worden versterkt. Gedacht kan worden aan het instellen van een adviesorgaan digitale zaken voor beide Kamers, zoals bijvoorbeeld in de Verenigde Staten en in het Verenigd Koninkrijk is gebeurd. Bij dit bureau kunnen individuele leden terecht met vragen over technologie. Hetzelfde zal moeten gelden voor de rechtspraak. Ook de rechter zou vanuit het oogpunt van de equality of arms in de trias zich veel meer moeten kunnen laten bijstaan door deskundigen op het gebied van AI. Dit zou de rechtspraak helpen om minder afhankelijk te worden van informatie die bestuursorganen aanreiken en om zelf meer zicht te krijgen op structurele vraagstukken die zich achter individuele zaken schuilhouden. Is de staatssecretaris bereid zich hiervoor in te spannen en in overleg te treden met minister Weerwind en de uitkomsten van dit overleg met de Kamer te delen?

Dan de wettelijke verankering.

Mevrouw Gerkens (SP):

Toch een vraag. Hoe verhoudt deze commissie zich dan tot het Adviescollege ICT?

Mevrouw Veldhoen (GroenLinks):

Het Adviescollege ICT gaat echt over de techniek van de ICT. Die gaat over ICT-projecten en niet zozeer — als ik het goed heb begrepen; ik hoor het graag als het anders is — over algoritmische besluitvorming die het gevolg is van de uitvoering van wetgeving. Ik heb begrepen dat het Adviescollege ICT veel meer gaat over de uitvoering van ICT-projecten, zoals bij de Omgevingswet, maar niet zozeer over de uitvoering van algoritmische besluitvorming.

Mevrouw Gerkens (SP):

Dan begrijp ik dat u specifiek en alleen over algoritmische besluitvorming nog een aparte commissie wil?

Mevrouw Veldhoen (GroenLinks):

Nou, specifiek over de digitale uitvoering van wetgeving, onder meer middels algoritmes.

Mevrouw Gerkens (SP):

Maar zou u zich dan kunnen voorstellen dat we dan vragen aan de Adviescollege ICT om haar taken met deze taak uit te breiden?

Mevrouw Veldhoen (GroenLinks):

Dat zou kunnen, maar zoals het ICT-adviescollege nu is ingericht, heeft die een ander doel.

De heer Dittrich (D66):

Ik hoorde mevrouw Veldhoen net iets zeggen over de uitvoering van wetgeving, maar zou het niet een beter of een ander idee zijn om in evaluatiebepalingen van wetsvoorstellen die we aannemen altijd op te nemen, als het relevant is uiteraard, qua digitalisering en AI, dat er meetmomenten worden geïntroduceerd? Dan kunnen we zien welke impact de AI heeft op de mensen in de samenleving en dan kunnen we zelf de vinger aan de pols houden. Ik hoor mevrouw Veldhoen nu zeggen dat er een apart adviesorgaan moet komen waar we vragen aan kunnen stellen, maar zijn we dan niet ons eigen werk een beetje aan het outsourcen? Als dat zo is, zou ik daar mijn bedenkingen bij hebben.

Mevrouw Veldhoen (GroenLinks):

Dank voor de vraag. Het gaat zeker niet om het outsourcen van ons eigen werk. Het gaat erom dat we ons werk inhoudelijk goed en onderbouwd met de juiste informatie kunnen doen. Daar gaat het om. Dat is wat mij betreft geen outsourcen, maar juist het niveau van ons werk verhogen. Ik kom zo dadelijk terug op de wetgeving zelf, op de vraag hoe we zouden kunnen borgen dat in de wetgeving duidelijker wordt op welke wijze de algoritmische besluitvorming zal plaatsvinden. Dan kom ik ook terug op uw vraag over de evaluatie.

De heer Dittrich (D66):

Ik ga toch nog even op dit punt door. Als in de praktijk blijkt dat algoritmes een grote impact hebben op het dagelijks leven van mensen en dat grondrechten in gevaar komen, zullen we toch zelf aan de bel moeten trekken? Dat kan door ergens advies in te winnen, maar dat doen we nu toch ook al? We kunnen nu toch ook deskundigen naar de Kamer halen en hun vragen hoe zij ertegen aankijken? Mijn vraag aan mevrouw Veldhoen is dan ook: wat is de meerwaarde van een geïnstitutionaliseerde adviescommissie boven een actie van onszelf? Want we kunnen zelf aan de bel trekken en ad hoc als het ware deskundigheid naar binnen trekken.

Mevrouw Veldhoen (GroenLinks):

Ik denk dat de meerwaarde alleen al blijkt uit het feit dat onder meer het ministerie van Financiën en de Belastingdienst nu zo'n adviescommissie gaan inregelen — dat las ik vanochtend — om te adviseren over algoritmische besluitvorming. Er zijn ook gemeenten die al zo'n commissie hebben. De gemeente Eindhoven bijvoorbeeld doet het met een ethische commissie op het gebied van digitalisering. Dat is allemaal omdat we er niet zijn met het versterken van onze eigen kennis; realistisch gezien denk ik dat we niet de kennis hebben die noodzakelijk is om de finesses van die algoritmische besluitvorming echt te kunnen beoordelen. Er moeten deskundigen worden geraadpleegd om die precies te kunnen uitleggen. Maar nogmaals, ik kom straks terug op de vraag hoe dat in de wetgeving beter geborgd kan worden. Maar er zijn op dit moment dus al bestuursorganen of gemeenten die zo'n commissie instellen, omdat ze tot hetzelfde oordeel zijn gekomen als ik.

De voorzitter:

Tot slot, meneer Dittrich.

De heer Dittrich (D66):

Tot slot. Soms worden er door algoritmes ook keuzes gemaakt die een politieke impact hebben. Dan zullen we daar als politiek een antwoord op moeten vinden. Ik ben een beetje bevreesd voor het volgende — daarom vraag ik ernaar; ik sta er open in. Als er een adviesorgaan is dat gaat kijken naar de algoritmes en de impact daarvan op de samenleving, worden daarbij misschien ook politieke afwegingen gemaakt, terwijl dat echt aan ons als gekozen volksvertegenwoordigers is. Ik zie daar dus, voorlopig althans, een spanningsveld. Ik vraag mevrouw Veldhoen hoe zij dat ziet.

Mevrouw Veldhoen (GroenLinks):

Ik zie dat eigenlijk net als in de niet-digitale wereld. In de gewone wereld hebben wij ook allerlei adviesorganen die ons advies geven over tal van onderwerpen. Vervolgens maken wij daarin politieke keuzes. Bij een digitale adviescommissie zal dat precies hetzelfde zijn: we krijgen informatie aangereikt; die wegen wij, al naar gelang onze politieke voorkeur en overtuigingen; vervolgens trekken we daar onze conclusie uit. Maar het is niet zo dat met een adviescommissie ook gezegd is wat je politiek zou moeten doen.

De voorzitter:

Vervolgt u uw betoog.

Mevrouw Veldhoen (GroenLinks):

Dank u wel. Ik was bij de wettelijke verankering. De staatssecretaris wijst in haar brief van 16 februari op een aantal maatregelen die zij reeds heeft genomen. Dat zijn in beginsel goede wegingen, die wij ondersteunen. Daarnaast wijst zij op reeds bestaande waarborgen uit onder andere de AVG en de algemene beginselen van behoorlijk bestuur van de Algemene wet bestuursrecht. Het gaat dan om het motiveringsbeginsel, het evenredigheidsbeginsel en het verbod op discriminatie. Hiermee meent de staatssecretaris dat er "in feite al een regulerend kader voor de inzet van algoritmische besluitvorming" is. Dat zien wij anders. Een belangrijke rol in de algoritmische besluitvorming is weggelegd voor de algemene beginselen van behoorlijk bestuur. We hoeven alleen maar het toeslagenschandaal, SyRI of de fraudeopsporingslijst van de Belastingdienst in herinnering te brengen om te kunnen concluderen dat die algemene beginselen niet altijd worden gerespecteerd. Ik heb mij persoonlijk afgevraagd hoe het toch mogelijk is geweest dat die fraudelijst door honderden medewerkers van de Belastingdienst is bewerkt en gebruikt, zonder dat daarbij een rode vlag van de algemene beginselen omhoogging. Deze beginselen worden in een normale wereld al te gemakkelijk in de wind geslagen, laat staan in de meer ondoorgrondelijke digitale wereld. Is de staatssecretaris dat met me eens?

Er zou meer zou moeten gebeuren. Het regulerend kader verdient versterking. De staatsecretaris geeft in haar brief aan dat een wijziging van de Awb in voorbereiding is met als doel het waarborgkarakter van die wet te versterken. Wat ons betreft moet de Awb worden aangepast op het gebruik van algoritmes in besluitvorming. Wij kennen artikel 22 van de AVG, op grond waarvan uitsluitend geautomatiseerde besluitvorming verboden is als het besluit rechtsgevolg voor betrokkene heeft, of het de betrokkene anderszins in aanmerkelijke mate treft.

Maar we zouden een stap verder moeten gaan. Er zijn landen die al het goede voorbeeld geven met specifieke wetgeving zoals Frankrijk en België. Een wezenlijk element in de wetgeving is het volgende. Als de overheid een besluit neemt op basis van algoritmische besluitvorming, moet dat in de beschikking vermeld worden. En de belanghebbende heeft dan recht op begrijpelijke informatie over het doel, de mate van algoritmegebruik, het type gegevens en de bronnen. Daarbij is zeer belangrijk dat als hier niet aan wordt voldaan, het besluit zijn geldigheid verliest. Dat is nog eens een heldere en rechtvaardige sanctie, vergelijkbaar met het onrechtmatig verkregen bewijsmateriaal in een strafzaak. Dat heeft een enorm zelfreinigend effect, weet ik uit de praktijk. Ook als het besluit weliswaar door een ambtenaar is genomen, maar dat alleen gebeurde omdat een algoritme deze persoon als een risicovolle burger heeft aangemerkt, moet dat worden meegedeeld. Hadden we deze wetgeving gehad, dan was veel eerder duidelijk geweest dat er sprake was van een discriminerend algoritme in de toeslagenaffaire en bij SyRI.

De verplichting dat het bestuur moet kunnen uitleggen hoe een algoritme werkt, vormt ook een garantie tegen het gebruik van zelflerende algoritmes en tegen het gebruik door de overheid van systemen van particuliere bedrijven die ambtenaren zelf helemaal niet meer begrijpen. Ook dat komt voor. De Autoriteit Persoonsgegevens, die ik erover heb geraadpleegd, gaf aan hier een groot voorstander van te zijn, en gaf aan dat hoe meer je aan de voorkant regelt, hoe minder je aan de achterkant hoeft te controleren. Dit zou een zeer welkome aanvulling zijn.

Met een algoritmeregister zoals door de staatssecretaris wordt voorgesteld, wordt het initiatief helemaal bij de burger gelegd. Maar bij dit voorstel moeten bestuursorganen zelf actief burgers gaan informeren, en dat is precies waar de Autoriteit Persoonsgegevens naartoe wil. Ondersteunt de staatssecretaris dit, en kan de staatssecretaris met haar collegae van JenV dit onderwerp oppakken en hier schriftelijk op terugkomen?

AI-systemen kunnen bedoeld of onbedoeld discriminatoire effecten hebben. De staatssecretaris zegt dat zij zal inzetten op het stimuleren en zoveel mogelijk inbedden van mensenrechtentoetsen in werkprocessen en cultuur. Wij pleiten voor een extra stap. Een impactassesment mensenrechten en algoritmes voor het gebruik van algoritmes zullen steeds onderdeel moeten zijn van het implementatiekader en de uitkomsten van deze onderzoeken moeten ook steeds gepubliceerd worden, dus niet alleen bij digitale diensten met grote impact op burgers. In de Tweede Kamer is dit met een motie aangenomen, en Amnesty International pleit hier ook voor. Wil de staatssecretaris zich hiervoor inspannen en aangeven hoe zij dit gaat doen?

Dan een vraag naar aanleiding van de recente onthullingen rondom het frauderisico-algoritme van de gemeente Rotterdam. Kan de staatssecretaris toezeggen een overzicht te verstrekken van al het gebruik door lokale of nationale overheden van risicoprofileren om potentieel strafbare feiten of fraude te voorspellen? Criminaliteitsvoorspellingen staan als hoog risicosysteem in het huidige compromis van de AI-verordening. Maar daaraan zou wat ons betreft naast de "criminal offences" ook "other offences" moeten worden toegevoegd. Dan zouden risicoprofielen of het voorspellen van het overtreden van andere regelgeving dan het Wetboek van Strafrecht, zoals bijvoorbeeld bij bijstandsfraude, ook door dat verbod gedekt worden.

Dan een ander punt waar we het allemaal over eens zullen zijn. Dat is een wettelijk verbod op bepaalde AI-besluiten zonder menselijke tussenkomst. Van belang is dat die menselijke tussenkomst betekenisvol is. Dat betekent dat de mens die tussenkomt moet weten hoe het algoritme werkt. Als het algoritme een bepaalde selectie maakt die ondoorgrondelijk is en de mens daarop voortborduurt, dan is de menselijke tussenkomst van geen betekenis. Betekenisvolle menselijke tussenkomst dient te worden geborgd door wettelijk te verankeren dat dit toezicht plaatsvindt voorafgaand aan het nemen van een formeel besluit. Hoe gaat de staatssecretaris dat borgen?

De heer Recourt (PvdA):

Ik was nog even aan het nadenken over het vorige puntje: de uitbreiding van risicoprofielen, niet alleen voor strafrechtelijke verdenkingen, maar ook voor andere. Toen noemde u bijstand. Ik dacht: dan bedoelt u waarschijnlijk bestuursrechtelijke sancties. Of bedoelt u het nog breder?

Mevrouw Veldhoen (GroenLinks):

Ik bedoel bestuursrechtelijke sancties. Dat klopt.

Wij spraken in het verband van onze werkgroep vooral over het binden van publieke autoriteiten aan fundamentele waarden.

De heer Verkerk (ChristenUnie):

Ik had nog een vraag over die menselijke tussenkomst van een ambtenaar. Dat voelt erg goed en ik begrijp wat u bedoelt, maar er zijn ook vrij eenvoudige algoritmes, bijvoorbeeld als je door rood rijdt of te hard rijdt en je wordt geflitst. Betekent dit dat voor elk algoritme dat de overheid toepast een betekenisvolle menselijke tussenkomst nodig is of bijvoorbeeld alleen voor kansalgoritmes?

Mevrouw Veldhoen (GroenLinks):

Ik zou in eerste instantie zeggen voor kansalgoritmes, want daar zijn de gevolgen voor mensen vaak natuurlijk ook veel groter. Of er bij het rijden door rood überhaupt sprake is van algoritmische besluitvorming durf ik niet te zeggen. Ik vraag me dat af. In dat soort gevallen wordt het inderdaad niet doenlijk om daar menselijke tussenkomst bij te hebben. Het gaat mij erom dat een mens moet kunnen tussenkomen als iets daadwerkelijk rechtsgevolgen van enig belang heeft voor de burger. Dan kunnen we er niet mee volstaan dat die ambtenaar aan het eind nog ergens een vinkje zet. De ambtenaar moet echt betekenisvol kunnen tussenkomen. Die moet dus weten wat eraan voorafgegaan is wanneer die beschikking op zijn bureau belandt.

De heer Verkerk (ChristenUnie):

Ik ben blij met het antwoord, want als het over kansmodellen en kansalgoritmes gaat, is het absoluut noodzakelijk en u onderstreept dat het een betekenisvolle interactie moet zijn. Dank u wel.

Mevrouw Veldhoen (GroenLinks):

We spraken in het verband van onze werkgroep vooral over het binden van publieke autoriteiten aan fundamentele waarden. Ik zei het al. Maar we moeten niet alleen het gebruik van AI door de overheid beter reguleren, maar ook het gebruik door het bedrijfsleven, waaronder ook zorgverzekeraars en banken. Denk aan het gebruik van AI bij sollicitatieprocedures of door bigtechbedrijven zoals Google, Meta en TikTok. Dit soort grote spelers lijken in steeds meer domeinen statelike powers te verwerven. Zij zijn net als overheden de facto in staat om het maatschappelijk leven en het individuele gedrag van burgers eenzijdig en dwingend te sturen. Big tech vormt daarmee steeds meer een risico voor de rechtsstaat dat we niet volledig kunnen bijsturen met onze bestaande rechtsmiddelen. Big tech kan burgers zijn regels opleggen terwijl die regels op dit moment niet gecorrigeerd kunnen worden middels democratisch gelegitimeerde wetgeving. Dat is een groot gevaar. Er moet wat ons betreft een verbod komen op gepersonaliseerde aanbevelingsalgoritmen gebaseerd op interactie. Hoe gaat Nederland zich opstellen in dit debat in Europa, is mijn vraag aan de staatssecretaris. Niets doen is geen optie als je kijkt naar hoe bijvoorbeeld de brexit bewezen door AI is gemanipuleerd. Als je daarvan uitgaat, is dit een reële dreiging voor onze democratie. Ik hoor graag wat de staatssecretaris in Europa gaat doen.

Er valt meer te zeggen over AI-gebruik door private partijen. Stel dat in een sollicitatieprocedure AI wordt gebruikt. Dat gebeurt intussen veel. Wat ons betreft zou transparant moeten zijn dat AI een rol in die selectie heeft gespeeld en welke selectiecriteria zijn gehanteerd. Burgers zouden actief moeten worden geïnformeerd, net zoals ik zojuist zei over de beschikkingen door de overheid. Volgens mij hoeven we daarvoor niet naar Europa, maar kunnen we dat regelen in de Uitvoeringswet AVG. Die wet zou op dit punt moeten worden aangepast. De Autoriteit Persoonsgegevens pleit ook hiervoor. Is de staatssecretaris bereid ook dit met de collega's van JenV op te nemen en hier schriftelijk op terug te komen?

Dan het wetgevingsproces. Door de digitalisering verschuift de discretionaire macht steeds meer van ambtenaren naar systeembeheerders en computerprogrammeurs. Zij vertalen formele wetgeving naar concrete beslisregels. Formeel zijn die beslisregels geen rechtsregels, maar de facto komen ze er wel dicht in de buurt, omdat ze gevolgen kunnen hebben voor rechten en plichten van burgers en hen in aanmerkelijke mate kunnen treffen. Op dit moment bestaat er een kloof tussen de taal van de wetgeving en de algoritmische code waarmee die wetgeving moet worden uitgevoerd. Er moeten bij de uitvoering vertaalslagen worden gemaakt, zeker als het gaat om open normen. Ambtenaren weten, als het goed is, op rechtstatelijke wijze en met de Awb en de algemene beginselen van behoorlijk bestuur in de hand, goed om te gaan met deze open normen. Computers kunnen dat niet.

In de praktijk maken programmeurs die de algoritmen van de overheid ontwerpen belangrijke rechtsvormende keuzes om het uitvoeringssysteem te laten werken. Welke definitie moet het systeem hanteren als een duidelijke definitie in de wet op verschillende manieren kan worden uitgelegd? Of als een duidelijke definitie ontbreekt? Hoe worden vage wettelijke termen uitgelegd? Bij het antwoorden van deze vragen oefenen programmeurs die voor de overheid werken dwingende regelgevende macht uit over de burgers. Deze macht is niet goed gelegitimeerd of omschreven. Tot nu toe had ik het over simpele als-danalgoritmen. Maar wat gebeurt er als we het hebben over zelflerende algoritmen, of dit nou machine learning of deep learning is? Dan vertalen de systemen de wet- en regelgeving zelf naar digitale beslisregels. Zo ontstaat er een buitenwettelijke wetgever. Wat onze fracties betreft moeten we toe naar een alternatieve manier van wetten maken. Niet zoals nu, want nu wordt de vertaling van een wettekst door programmeurs gedaan. We moeten wendbaar wetgeven, zoals wetgevingsjurist Mariëtte Lokin dat noemt.

Wendbaar wetgeven heeft twee dimensies. Eén. De wetgeving is helder wat betreft structuur en betekenis, dus geen of zo min mogelijk open normen hanteren. Twee. De digitale uitvoering moet onderdeel zijn van het proces van wetgeving. Lokin pleit er dus voor om de werelden van de wetgevingsjurist en de systeembeheerder dichter bij elkaar te brengen. Dit zou er uiteindelijk toe moeten leiden dat de kaders voor de code van klassieke algoritmen die wetgeving uitvoeren, door de wetgever zelf worden uitgeschreven. De programmeurs van de algoritmen die de wetgeving vervolgens gaan uitvoeren, moeten dan binnen deze kaders programmeren en daarover in voortdurend contact staan met de wetgevingsjuristen. Dit kan leiden tot het herstel van een democratisch deficit, omdat de wetgever dan kan toezien op de vormgeving van de code. Hier kan ook het genoemde adviesorgaan digitale zaken behulpzaam zijn. Door al in het wetgevingsproces vooruit te lopen op de algoritmische uitvoering wordt de grip van de wetgever op de algoritmische uitvoering vergroot. Ik vraag de staatssecretaris om een reflectie op dit punt en overweeg hierover een motie in te dienen.

Tot slot nog een enkel woord over controle achteraf. De Autoriteit Persoonsgegevens is belast met toezicht op het gebruik van algoritmen door overheden en bedrijven. De AP heeft zelf aangegeven dat het toezicht op algoritmen onvoldoende van de grond komt omdat zij zwaar onderbemenst is. De AP heeft erop gewezen dat daardoor risico's ontstaan op het gebied van discriminatie, uitsluiting en de schending van de rechten van burgers. De AP heeft aangegeven volstrekt onvoldoende middelen te hebben. Het budget is de laatste jaren substantieel verhoogd en dit loopt nog tot 2027 door naar ruim 41 miljoen. De AP geeft aan dat, gelet op alle nieuwe taken en de snelheid waarmee Nederland digitaliseert, een structurele verhoging van het budget naar 60 tot 100 miljoen nodig is. De AP is van een klassieke toezichthouder op gegevensverwerking een toezichthouder op alle digitale verwerking geworden, en daarmee ook een AI-toezichthouder. Mijn vraag aan de staatssecretaris is: hoe gaat zij borgen dat de AP al deze extra zaken daadwerkelijk kan uitvoeren? En dient de taakstelling van de AP niet te worden verbreed?

Voorzitter, ik rond af. Wij zijn een van de meest gedigitaliseerde landen van de wereld. Wij hebben de laatste jaren gezien aan welke verwoestende effecten algoritmische besluitvorming kan bijdragen. Wat betreft onze fracties moeten de fundamentele rechten in de digitale wereld beter worden gewaarborgd. Ik heb daartoe een aantal suggesties gedaan. We moeten het evenwicht in de trias herstellen en meer aan de voorkant borgen. De Awb en de UAVG dienen te worden aangepast, want burgers moeten beter worden geïnformeerd door zowel bestuursorganen als bedrijven over de toepassing van algoritmische besluitvorming.

In wetgeving zelf moet meer transparant worden op welke wijze de algoritmische uitvoering plaatsvindt. De wetgever moet beter in stelling worden gebracht om zijn controlerende functie aan de voorkant uit te voeren, onder meer door het instellen van de vaste Kamercommissie Digitale Zaken. De rechtspraak en de Autoriteit Persoonsgegevens moeten beter worden gefaciliteerd aan de achterkant.

Het verder oprukken van AI kunnen we niet tegenhouden. Dat moeten we ook niet willen. We moeten alleen wel zorgen voor de juiste checks-and-balances. Wij zijn benieuwd naar de antwoorden van de staatssecretaris.

De voorzitter:

Dank u wel, mevrouw Veldhoen. Staatssecretaris, wilt u graag een schorsing? Dan schors ik op verzoek van de staatssecretaris voor twee minuten.

De vergadering wordt enkele ogenblikken geschorst.

De voorzitter:

Ik geef het woord aan de heer Recourt namens de Partij van de Arbeid.

De heer Recourt (PvdA):

Voorzitter. Als gevolg van artificiële intelligentie, AI, zijn ons leven en onze samenleving radicaal veranderd. Die ontwikkeling is nog lang niet klaar. De consequenties van deze ontwikkeling, die van zichzelf niet goed of slecht is, kunnen niet makkelijk worden overschat. Na de industriële revolutie leven we nu in de digitale revolutie. De machine is inmiddels zover ontwikkeld dat deze terreinen heeft betreden die tot voor kort alleen waren voorbehouden aan levende wezens: zelfstandig denken, leren, een vorm van intelligentie.

Dit debat vormt de voorlopige afsluiting van een meerjarig traject in dit deel van het parlement over de werking van AI. De inzet en de urgentie van dit debat zijn wat mijn fractie betreft groot. Wij willen meer normatieve, democratisch gelegitimeerde sturing en begrenzing van de inzet van AI. Dit geldt voor het gebruik van AI door de overheid zelf en voor de begrenzing door de overheid van de AI-markt. Onze ambitie reikt eigenlijk verder. We willen doorzien wat AI doet met onze democratische rechtsstaat. Je voorvoelt dat de gevolgen groter zijn dan we nu beseffen, maar je krijgt er niet goed de vinger achter. Toch is dit inzicht nodig. Ik wil niet in 2030 terugkijken om dan te moeten constateren dat we het zo nooit hadden gewild, dat we stapje voor stapje grenzen zijn overschreden die we niet over wilden, dat we met AI de vrijheid en de bescherming van burgers hebben ingeperkt ten gunste van de bezitters van data en dat we de Staat en een paar bedrijven ongekende macht hebben gegeven zonder tegenmacht goed te organiseren.

Voorzitter. Ik vond het een zoektocht naar de goede invalshoeken voor dit debat. Waar spreek ik de staatssecretaris van Digitale Zaken op aan en in welke hoedanigheid? Veel op dit gebied gebeurt bijvoorbeeld op het niveau van de EU. Op welke onderdelen moeten we als Eerste Kamer naar onszelf kijken? Op welk abstractieniveau kunnen we het beste debatteren?

Ik dank de minister voor haar reactie op de vragen van deze Kamer naar aanleiding van het rapport van het Rathenau Instituut van 17 februari jongstleden. Dat hielp. Toch blijft er ongemak. We gaan met de ons bekende middelen van nationale en internationale regulering een ontwikkeling sturen die zich niet aan grenzen houdt en die inmiddels diep geworteld is in de overheid zelf, die haar wil reguleren, in alle huishoudens en in het leven van onze kinderen. "En in dat van onszelf", zeg ik er nog maar bij, maar als ik naar mijn dochter kijk, zie ik dat het nog veel meer geldt voor het leven van onze kinderen.

Op dit niveau van probleemstelling wil ik concreet beginnen met drie voorbeelden. Allereerst is de uitslag van verkiezingen en daarmee de samenstelling van deze Kamer voor een deel te wijten aan AI. Algoritmes bepalen in steeds grotere mate welke informatie we tot ons nemen. Het zijn echokamers. Voorkeuren worden versterkt, verschillen uitvergroot. Sociale media zijn in de praktijk vaak asociale media.

Twee. AI toont zich in de huidige stand van ontwikkeling een perfecte en slimme kopiist. Het verschil tussen origineel en digitale lookalike vervaagt en kan steeds moeilijker of zelf niet worden onderscheiden. Denk aan ChatGPT en digitale make-overs als Teenage Look. Ontwikkelingen op dit gebied gaan razendsnel. Tot nu toe is een beroep op de feiten nog de laatste strohalm tegen nepnieuws, complottheorieën en propaganda. Maar wat als de feiten niet meer vastgesteld kunnen worden? Of binnen het juridische domein: wat als we digitaal bewerkte stukken niet meer tot bewijs kunnen laten dienen?

Voorbeeld drie. Met behulp van naar we nu weten discriminerende algoritmes bepaalde de Belastingdienst waar fraudeonderzoeken moesten plaatsvinden. Algoritmes kunnen bewust en onbewust leiden tot ernstige schendingen van grondrechten.

Met alle drie de voorbeelden wordt het cement weggespoeld tussen de stenen die onze samenleving vormen. Het destabiliseert Nederland economisch, sociaal, juridisch en psychologisch. Het ondermijnt gezag van autoriteiten en instituties. Dat hebben we juist zo nodig om tegenwicht te geven aan al die feiteloze onzin die bewust of onbewust als waarheid wordt gepresenteerd. Wat moeten we doen om dit tegen te gaan, zonder het kind met het badwater weg te gooien? AI brengt immers ook veel goeds. Mevrouw Veldhoen zei dat ook al en daar zal niemand het mee oneens zijn. Bovendien is de techniek tot dit alles al in staat, dus ís het er. Het gaat niet om verbieden, maar om reguleren en normeren. Niet de mens tegen de machine, maar de mens samen met de denkende machine, waarbij de mens altijd het laatste woord heeft. Dit betekent dat de mens moet snappen wat de computer doet en dat hij of zij moet kunnen ingrijpen.

Dat brengt ons bij een eerste, heel concrete, wens van mijn fractie. Alle AI gebruikt voor besluitvorming waarbij de computer zelf leert, machine learning, en het voor de mensen niet inzichtelijk is wat de relatie is tussen input en uitkomst, mag niet door de overheid worden ingezet. Ik lees in de reactie van de minister op de notitie van het Rathenau Instituut dat deze norm binnen de Nederlandse context wordt gehandhaafd met de in de Awb neergelegde eis van uitlegbaarheid, in de vorm van het motiveringsbeginsel, van het proportionaliteitbeginsel en van het evenredigheidsbeginsel. Daarnaast zijn grondrechten vastgelegd in de Grondwet en in verdragen, aldus de minister. Dit zijn echter algemene normen achteraf. Kan de staatssecretaris uitleggen hoe die moeten worden gematerialiseerd door een rechtzoekende? Het gebruik van AI bij een beslissing, zoals bedoeld in de Awb is immers niet automatisch bij die rechtzoekende belanghebbende bekend. Stel, een bepaald verzoek is afgewezen met de motivatie dat niet aan de criteria is voldaan en pas later blijkt dat die wettelijke criteria vaag waren en pas met de toepassing van AI zo zijn ingevuld dat de aanvrager buiten de boot viel. Hoe kun je hiertegen rechtsbescherming vragen? Je weet immers niet dat het AI was dat het laatste zetje heeft gegeven. Kortom, bestaande normen helpen, maar is het niet evenzeer noodzaak om op het niveau van AI concrete, nationale regelgeving te maken?

De stas spreekt in dit kader nog over het implementatiekader en een algoritmeregister, maar dit blijft vraag. Kan de stas aangeven … De "staatssecretaris" moet ik natuurlijk zeggen.

De voorzitter:

Inderdaad.

De heer Recourt (PvdA):

Ja, dat is het nadeel van uitschrijven. Voor het woord "staatssecretaris" moet je veel typen, dus dan maak je daar "stas" van. Maar het is natuurlijk niet de bedoeling om die afkorting ook uit te spreken.

Kan de staatssecretaris aangeven hoe dit kader en dit register helpen om betekenisvolle menselijke tussenkomst tot absolute voorwaarde te verheffen?

Mevrouw Gerkens (SP):

Ik ga een socratische vraag stellen, die misschien niet eens zo socratisch is. Ik begrijp de stellingname van de heer Recourt als het gaat over systemen die al dan niet jou eruit filteren op basis van kenmerken die ingevoerd zijn. Hij zegt: dat zijn systemen die rechteloosheid kunnen veroorzaken. Ik zal een voorbeeld nemen uit mijn eigen praktijk. Er zijn systemen die door middel van machine learning worden getraind. Input wordt gegeven door mensen. Vervolgens komt daar een systeem uit en dat systeem kan afbeeldingen van seksueel misbruik detecteren. Die worden dan door een machine gedetecteerd. Daar wordt nog een keer door een mens naar gekeken. Zegt de heer Recourt nu: die training voldoet niet aan de eisen die je wilt stellen, maar de uitkomst voldoet wellicht wel aan wat u wilt dat eruit komt, namelijk dat degene die dat soort materiaal verspreidt, wordt gedetecteerd? Hoe duidt hij dan zo'n toepassing?

De heer Recourt (PvdA):

Dat vind ik uitstekend. Dat is iets anders dan waaraan ik refereerde. De toepassing waar u het over heeft, is een gedigitaliseerde toepassing met menselijke controle. Dat lijkt me een mooi voorbeeld van hoe het zou moeten. Wat ik bedoelde, is het volgende. Je formuleert een regel. Met de uitkomst van die regel kan je als burger naar de bestuursrechter als je vindt dat die regel niet goed is toegepast. Maar wat nu als een deel van de toepassing van die regel gebeurt in de vorm van een gedigitaliseerd programma? Dan wordt dus de concretisering van die regel gedigitaliseerd, waar niemand goed inzicht in heeft, ook de burger niet. Hoe moet de burger dan naar de rechter stappen als hij denkt dat de regel niet goed is toegepast, bijvoorbeeld als hij vindt dat hij wel een vergunning zou moeten krijgen, of als hij iets anders van de overheid wil?

Mevrouw Gerkens (SP):

Dat begrijp ik. Als het om iets simpels als een vergunning gaat, is het een heel simpel verhaal. Maar we kennen ook vonnissen die worden geseponeerd vanwege vormfouten. Je zou je kunnen voorstellen dat het in zo'n geval, als de AI niet goed is toegepast of als we er geen inzicht in krijgen hoe die systemen worden getraind, leidt tot vormfouten. Misschien wordt er wel onevenredig op bepaalde mensen getarget of krijg je steeds bepaalde hits. Hoe zorgen we ervoor dat dit niet leidt tot vormfouten? Zou dat dan, als uw vraag tot regel wordt, geen grond geven om dat soort processen ook te dwarsbomen?

De heer Recourt (PvdA):

Ik ben op zichzelf niet tegen het trainen van AI-processen. Zoals u al zei, kan dat heel mooie uitkomsten geven. Het gevaar is alleen dat de input vervuilt. Een ander gevaar is de samenwerking met andere AI. Ik las ergens een voorbeeld waarin het ging om advertenties voor technische opleidingen voor meisjes. De AI was zo getraind dat meisjes die advertentie even vaak zouden krijgen als jongens. Maar in de concurrentie met andere AI kwam die toch minder bij meisjes terecht. Het is dus niet op te lossen door te kijken naar de gedigitaliseerde besluitvorming voor alleen dat onderdeel. Het is een veel breder genetwerkt proces. Dat kun je volgens mij alleen maar oplossen door menselijke controle vooraf en achteraf — wat stop je erin en wat haal je eruit — maar ook door er goed over na te denken: waar willen we dat de AI in ieder geval niet komt? Wat willen we dat echt menselijk blijft? Ik kom daar later op terug.

Waar het gaat om een bindend normkader wijst de staatssecretaris in haar notitie naar de AI-verordening die op dit moment in Brussel in de maak is. De AI-verordening introduceert geen verbod om bepaalde AI-besluiten te nemen zonder menselijke tussenkomst, maar stelt daarvoor in de plaats dat een hoogrisico-AI-systeem wel onderworpen moet zijn aan de eis dat er menselijk toezicht moet zijn op het gebruik hiervan. Dit klinkt, moet ik eerlijk zeggen, als een zwakke second-bestoplossing. Ik vraag de staatssecretaris: waarom geen verbod? Wat is hiervan de achtergrond? Waarom geen nationaal verbod als het binnen de EU niet lukt om de juiste standaard te introduceren? We hebben het immers over mensenrechten. Dat is geen onderwerp waarbij je een beetje water bij de wijn doet.

Een bekend, maar door AI versterkt probleem is het versterkende effect van fouten in data. Hoe wordt verbeterd dat fouten hersteld kunnen worden? Foute input kan immers leiden tot grote gevolgen voor individuen. Denk aan het eindeloos aanhouden door de politie van de bestuurder van een voertuig als gevolg van een foutief ingevoerd kenteken of het weigeren van een vergunning als gevolg van een foutieve correlatie tussen door AI geanalyseerde data. Om dit probleem aan te pakken, zou de Awb worden gewijzigd, zo las ik. Kan de staatssecretaris kort aangeven op welke manier de Awb wordt aangepast en wanneer deze wetswijziging aan de Tweede Kamer wordt aangeboden? Hoe doe je dit in de praktijk in de wetenschap dat AI niet geïsoleerd werkt, maar interfereert met andere algoritmes? We hadden het daar net met mevrouw Gerkens al over.

Ik heb nog een concrete vraag. Hoe staat het met de structurele input van informaticadeskundigen bij het formuleren van wetgeving? Om te voorkomen dat ICT-deskundigen na afloop wetgeving moeten interpreteren om deze te kunnen omzetten in gedigitaliseerde processen, en zij zo de facto medewetgever worden, is het verstandig om bij het opstellen van wetgeving deze kennis al te betrekken en hier rekenschap over af te leggen. Voorziet het beleidsplan I in het hart van beleid hierin en, zo ja, wat is de stand van zaken rond de uitvoering? Op welke wijze wordt het ATR, het Adviescollege toetsing regeldruk, al aan het begin van het wetgevingsproces waarin AI een rol speelt, betrokken?

Voorzitter. Met voorgaande hebben we gesproken over het gebruik van AI door de overheid zelf. Daar is gelukkig aandacht voor, zo blijkt ook uit de Werkagenda Waardengedreven Digitaliseren. Ik wil in dit debat ook de rol van de overheid aanstippen bij de regulering van AI op de vrije markt. Twee van mijn eerdergenoemde voorbeelden zagen hierop. AI in het private domein wordt in belangrijke mate bepaald door commerciële, sterker nog, reusachtige commerciële partijen en belangen en, gelukkig en enigszins, gereguleerd door de AVG. Daarnaast zijn er nog vijandige staten die AI aangrijpen voor het verzwakken van onze staat. Naar het oordeel van mijn fractie is het vanwege de enorme maatschappelijke impact evident dat de overheid in Nederland en binnen de EU het normatieve kader waarbinnen die commerciële partijen mogen opereren, steviger moet inzetten dan nu het geval is. Er is helaas geen panklare oplossing voor, maar toch verwacht ik op zijn minst een stevige stellingname. Het primaat van de consument is immers niet zaligmakend. De consument weet niet wat hij niet weet. Eén keer een filmpje aanklikken op TikTok van iemand met eetproblemen en je komt in een stream met een eindeloze reeks van dit soort posts. De overheid is er niet om te bepalen wat we wel of niet mogen zien. De overheid is er wel om te voorkomen dat we, zonder het te weten, worden gemanipuleerd. We zien het allemaal gebeuren.

Naast selectie komt in toenemende mate ook niet van echt te onderscheiden valse informatie over ons heen. In Rusland zien we een extreme variant hiervan. Ik snap het dilemma voor de overheid, maar ik verwacht meer, al was het maar een actieve bewustwordingscampagne over hoe algoritmes onder sociale media werken en hoe we echt van vals kunnen onderscheiden. Ik heb hier geschreven: wanneer wordt TikTok verwijderd van door de Nederlandse overheid aan haar ambtenaren verstrekte mobieltjes? Ik zag zojuist nos.nl. Via het algoritme van de NOS heeft de staatssecretaris die vraag al beantwoord. Dank daarvoor, want mijn fractie is het eens met het verbod.

Dan het steeds moeilijker te onderscheiden verschil tussen echt en namaak in het domein van het recht. Ik vraag de staatssecretaris wederom of de validatie van bewijs dat op een of andere manier digitaal bewerkt is — en dat is zo'n beetje al het bewijs — op orde is. Kunnen rechtbanken naar een instituut om bewijsmiddelen te controleren? Dat kan bewijs zijn in een civiele zaak of in een strafzaak. En op welke wijze zorgen notarissen dat ze niet worden bedrogen? Hoe blijven registers die tot bewijs moeten dienen, verschoond van digitale vervalsingen? Hoe weten we dat foto's of videomateriaal niet is gemanipuleerd? Ik voorzie in de toekomst, met de snelle voortgang van de techniek op dit punt, een groot probleem waarop we ons moeten voorbereiden. Daarom niet in de laatste plaats ook de vraag: kan worden gestimuleerd dat er een digitaal instrument beschikbaar komt dat iedereen in staat stelt om de authenticiteit van informatie en informatiebronnen te checken? Is de staatssecretaris bereid dit te stimuleren? En is de staatssecretaris bereid om te stimuleren dat de bewustwording en kennis over dit onderwerp worden vergroot?

Tot slot. Het onderwerp AI zal in omvang en tijd de komende decennia zeker actueel blijven en zich uitstrekken tot alle beleidsterreinen. Het borgen van de democratische legitimatie van AI-toepassingen en de toetsing van rechtmatigheid, uitvoerbaarheid en handhaafbaarheid vragen specifieke kennis. Een aparte commissie in dit huis die dit, al dan niet als volgcommissie, in de gaten houdt, lijkt daarom zinvol. Dat debat is al gevoerd met mevrouw Veldhoen. Ook de staatssecretaris is voorstander van zo'n commissie, zo las ik. Ik stel daarom voor een dergelijke commissie in te stellen met ingang van de Kamer in nieuwe samenstelling. Tegen het einde van de termijn van vier jaar kunnen we dan evalueren of deze commissie haar nut heeft bewezen of dat we op zoek moeten naar een andere wijze van borging van de bij dit onderwerp betrokken waarden. Het benoemen van een vaste rapporteur op dit onderwerp is bijvoorbeeld tegen die tijd mogelijk ook een optie.

Aan het einde kom ik toch weer even terug op vragen die ik aan het begin van mijn betoog stelde. Is het voldoende om AI te reguleren? Dreigen we dan niet tekort te schieten in de bescherming van onze democratische rechtsstaat? Wat willen we dat binnen het domein van mensen moet blijven? Immers, voor we het weten, lossen we alles met data-analyse op. Hoe houden we het cement van de samenleving vast? De essentie is wat mij betreft menselijke interactie, debat, betrokkenheid. Die essentie moeten we beschrijven en van daaruit nagaan wat we nodig hebben aan regulering van AI. Alleen zo voorkomen we dat we in 2030 zijn beland op een punt waar we niet wilden zijn. Ik overweeg een motie op dit punt.

Voorzitter. AI doet haar werk vaak onzichtbaar voor ons burgers en toch heeft die enorme gevolgen voor ons en onze samenleving. Ik beschouw dit debat als een eerste aanzet voor voortdurende parlementaire aandacht voor dit soms te onzichtbare onderwerp. Ik kijk uit naar de antwoorden van de staatssecretaris en hoop dat een ruime meerderheid van dit huis ook kan instemmen met een aparte commissie voor Digitale Zaken, zodat we de aandacht daarvoor ook in de toekomst goed hebben geborgd.

Dank u wel.

De voorzitter:

Dank u wel, meneer Recourt. Dan geef ik het woord aan mevrouw Prins namens het CDA.

Mevrouw Prins (CDA):

Meneer de voorzitter. Ik vermoed dat velen van ons die met de auto naar de Eerste Kamer zijn gekomen, vanmorgen vrijwel automatisch hun routeplanner hebben aangezet en dat de parkeerhandhavers in de stad Rotterdam eerst even hun computers hebben gecheckt, alvorens ze een boete uitschrijven. En zo kan ik vele voorbeelden noemen waarin artificiële intelligentie een onderdeel van ons leven is geworden. Zo las ik het afgelopen weekend in het AD niet alleen dat Ajax algoritmen inzet om te bezien hoe je het beste elke voetballer kunt inzetten — dat is ze niet helemaal gelukt, maar dat terzijde — maar ook dat een Indiase ondernemer in Amstelveen een AI-technologie heeft ontwikkeld waarmee men jonge spelers op talent op het gebied van cricket kan selecteren. Men filmde 9.000 jongens in India. Elke deelnemer moest zes keer een bal gooien. Dat werd gefilmd en vervolgens geanalyseerd met AI. Zo kon precies de jongen met het grootste talent, het echte talent, gespot worden.

AI biedt ruimte om onder andere ons leven makkelijker, meer voorspelbaar en efficiënter te maken, dankzij het gebruik van ongelofelijk veel meer kennis, feiten en dwarsverbanden, om deze ingewikkelde technologie maar even simpel neer te zetten.

De heer Recourt (PvdA):

Ik dank mevrouw Prins, want zij heeft meteen in haar inleiding al iets bij mij getriggerd, namelijk het volgende. Ik ga meestal met de trein, maar als ik met de auto ga, hoef ik mijn telefoon niet eens aan te zetten en zegt ie: het is zoveel minuten rijden naar Den Haag. Dat betekent dat mijn telefoon, de AI in mijn telefoon, weet dat ik op dinsdag naar Den Haag ga en precies waar naartoe ook nog. Dat betekent dat het bedrijf achter die AI die informatie kan verkopen aan derden. In het kader van het debat vandaag is mijn vraag de volgende. Hoever gaan al die voordelen? Die kunnen soms heel makkelijk zijn, want ik heb daar wat aan, maar aan de achterkant zitten allerlei onvermoede gevolgen, die misschien minder prettig zijn.

Mevrouw Prins (CDA):

Ik heb ook niet betoogd dat ik het hier volledig mee eens zou zijn. Ik heb wel aangegeven, en dat is wat ik wilde zeggen, dat we zonder dat we het weten of merken, elke dag en bijna elk moment al gebruikmaken van AI. Ik kom straks ook op de nadelen, maar ik wilde even laten zien dat we eigenlijk, zonder dat je het beseft, al leven in een wereld met AI.

De voorzitter:

Vervolgt u uw betoog.

Mevrouw Prins (CDA):

Ik had gezegd "om het maar even simpel neer te zetten", maar zoals meestal in het leven, kent AI ook nadelen en er kleven vele risico's aan. Denk aan het bijna niet te vinden onderscheid tussen nieuws en nepnieuws, het razendsnel verspreiden van nepnieuws, et cetera. Op basis van je gebruik van sociale media bepalen anderen wat je te zien krijgt en nemen zij dus voor jou beslissingen zonder dat je daar zicht op hebt.

Voorzitter. Dat de wetgever en de diverse overheidsorganisaties ook gebruikmaken van AI bij de voorbereiding, de uitwerking en de uitvoering van wet- en regelgeving, is dan ook in deze tijd niet meer dan logisch. Maar juist als overheid is het van belang alert te zijn op de risico's en deze te signaleren en te ondervangen. Daarom ben ik blij met het initiatief van de collega's Veldhoen en Recourt, die de werkgroep AI in deze Kamer hebben opgestart, en met het werk dat de griffie heeft gedaan, samen met het Rathenau Instituut om zo onze kennis op een hoger niveau te brengen, onder andere via de diverse deskundigenbijeenkomsten. Het heeft mij weer extra en nieuw inzicht gegeven. Dank daarvoor en eveneens dank voor de reactie van de staatssecretaris.

Voorzitter. De CDA-fractie heeft met belangstelling de reactie van het kabinet gelezen. Daarin vielen toch een aantal zaken op. Zo geeft de staatssecretaris aan dat de huidige wetgeving en met name de AVG en de Awb al duidelijke richtlijnen en kaders geven die ook van kracht zijn bij de inzet van AI bij geautomatiseerde besluitvorming. Als je dat zo leest, dan vraag je je wel af hoe ooit de toeslagaffaire heeft kunnen plaatsvinden. Graag een reactie van de staatssecretaris.

Er zijn reeds verschillende instrumenten ontwikkeld, zoals het Impact Assessment voor Mensenrechten bij de inzet van Algoritmes, het zogenaamde IAMA, en een AI-impactassessment dat naast mensenrechten ook de nadruk legt op de technische robuustheid. De EU werkt op dit moment aan een Europese AI-verordening die onder andere een risicoanalyse verplicht bij hoogrisico-AI-systemen. In de tussentijd werkt het kabinet aan mogelijke inbedding van mensenrechtentoetsen in werkprocessen en -cultuur en komt er een implementatiekader algoritmen, dat dus ook een mensenrechtentoets bevat. Onze vraag is: geldt dit implementatiekader ook voor de diverse uitvoeringsorganisaties?

Het Rathenau Instituut heeft een praktisch overzicht gemaakt van de inzet van algoritmen, met zeven vragen met toelichting; zie hun rapport Algoritmes afwegen van 17 mei van het afgelopen jaar. Worden deze vragen meegenomen in het implementatiekader? Hoe zorgt het kabinet ervoor dat het implementatiekader verplicht wordt? En welke bezwaren zouden er zijn om in de basis deze gegevens openbaar te maken, tenzij bijvoorbeeld de veiligheid en privacy van personen in het geding zijn? Graag een reactie.

Voorzitter. Er wordt dus gewerkt aan het beter beheersen van de inzet van algoritmen bij de ontwikkeling en uitvoering van wet- en regelgeving. Het kabinet geeft daarbij aan dat daartoe ook de werkmethodes wetsanalyse en de Calculemus-FLINT-initiatieven worden ingezet. Zo komt er een handzaam instrument voor het zogenaamde uitvoeringsgericht wetgeven, dit ter ondersteuning van beleidsmakers, wetgevingsjuristen en uitvoerders. Onze fractie ondersteunt deze aanpak en heeft nog wel een paar vragen en opmerkingen.

Bij het genoemde team dienen uitdrukkelijk ICT'ers betrokken te zijn, maar dan wel mensen die de technologie en de consequenties van de inzet ervan kunnen overzien, die dus kunnen schakelen tussen inhoud en techniek en die beseffen dat techniek toepassen betekent dat je ook ethiek toepast. Graag een toezegging in dezen.

Tijdens de behandeling van wet- en regelgeving in het parlement worden er vaak nog wijzigingen aangebracht. Hoe zorgt het kabinet ervoor dat ook bij het verwerken van deze wijzigingen opnieuw de opbouw en de ingebrachte gegevens worden onderworpen aan het implementatiekader en zo nodig opnieuw de mogelijke risico's onder de aandacht worden gebracht van het parlement? Graag een toezegging.

Eenduidigheid en helderheid van de data, dus van de begrippen en de definities bij het opbouwen van geautomatiseerde besluitvorming, is van essentieel belang. De staatssecretaris geeft aan dat per ministerie een chief data officer is benoemd, een terechte stap. Echter, hoe gaat de staatssecretaris in haar verantwoordelijkheid voor digitale zaken ervoor zorgen dat de overheid, zowel de ministeries als de uitvoeringsorganisaties, dezelfde vertaling van een begrip hanteert? Graag een toezegging.

Voorzitter. De staatssecretaris geeft aan welke stappen er worden genomen om de fundamentele rechten bij algoritmische besluitvorming te borgen bij de ontwikkeling van nieuwe wet- en regelgeving. Echter, de ervaring leert dat juist onder reeds bestaande wetgeving algoritmische systemen zijn ingezet, zoals het CAS, het Criminaliteits Anticipatie Systeem, en de SyRI, de Systeem Risico Indicatie. De vraag van onze fractie is: hoe houdt het kabinet er zicht op dat onder bestaande wetgeving dergelijke verstrekkende systemen worden ingezet zonder enige democratische legitimatie en zonder enige toetsing van proportionaliteit? Wat gaat het kabinet doen om dit in de toekomst te voorkomen? De CDA-fractie overweegt een motie hiertoe.

Voorzitter. Een van de kenmerken van algoritmische systemen is dat zij zich voortdurend doorontwikkelen. Zo kan een systeem zorgvuldig zijn gebouwd, met respect voor de fundamentele rechten van mensen. Echter, in de loop van de tijd kan het systeem door zogenaamde proxywerking toch discriminerend uitwerken. Mijn fractie verzoekt de staatssecretaris de toezegging te doen dat bestaande algoritmische besluitvorming met hoog risico voor de burger regelmatig wordt getoetst op deze ongewenste effecten.

Voorzitter. Een ander belangrijk aandachtspunt is dat besluitvorming voor de burger uitlegbaar is. Een besluitvorming in de vorm van "computer says no" is onacceptabel. Menselijke betrokkenheid is en blijft een voorwaarde. Dit geeft de staatssecretaris ook duidelijk aan. Daarbij wordt er, tot waardering van de CDA-fractie, ook gewerkt aan de versterking van het waarborgkarakter van de Awb, waarbij onder andere persoonlijk contact met de overheid wordt versterkt en de motiveringsplicht wordt aangepast.

De heer Otten (Fractie-Otten):

Dank voor dit interessante betoog. Ik hoor mevrouw Prins van het CDA zeggen dat er goede ICT'ers moeten worden gerekruteerd. Dat vind ik een goed punt. We waren gisteren met de commissie voor Financiën op werkbezoek bij de Belastingdienst. Het was een heel interessant bezoek. Daarbij werd er heel veel over de ICT-problemen gepraat. De conclusie is dat alle redelijk opgeleide ICT'ers na een paar jaar vertrekken, omdat ze de overheid dan niet meer als aantrekkelijke werkgever zien. Bij de Belastingdienst is dit dus al een megagroot probleem. Waar denkt mevrouw Prins die ICT'ers dan vandaan te kunnen halen? Moeten die dan veel meer betaald krijgen? Hoe wilt u dat doen? In de praktijk zien we namelijk dat dit bij de Belastingdienst al een heel lastig probleem is.

Mevrouw Prins (CDA):

Laat het helder zijn: sowieso is de arbeidsmarkt voor ICT'ers een ingewikkelde markt. Ik moet daarbij zeggen dat er niet overal tekorten zijn. Ik ben voorzitter van de KVK. Wij hebben nog steeds behoorlijk wat ICT'ers. Het heeft er dus ook mee te maken wat het imago van de werkgever is en welke ruimte ICT'ers krijgen. Ik pleit er hier met name voor dat we ICT'ers inzetten die beseffen dat ze niet alleen met ICT werken, maar ook met ethiek. Werkgevers moeten dat beseffen, of het nou de Belastingdienst, een ministerie of iemand anders is. We moeten dat toetsen. We moeten daar ook opleidingen voor geven. Men moet beseffen dat elk stapje dat gezet wordt, impact kan hebben op de ethische besluitvorming.

De voorzitter:

Vervolgt u uw betoog.

Mevrouw Prins (CDA):

Ik had het zonet over de motiveringsplicht.

Graag vraag ik aandacht voor de praktijk van alledag. Net zoals algoritmische systemen niet altijd objectief zijn, geldt dit ook voor de menselijke betrokkenheid. Door strakke sturing en de zware inzet op rechtmatigheid, die ook ten koste kan gaan van rechtvaardigheid, vindt ook nu discriminatie plaats: het gevoel niet gehoord te worden. De CDA-fractie vraagt hier uitdrukkelijk aandacht voor. Hoe stuurt het kabinet de uitvoeringsorganisaties aan? Welke eisen stelt zij aan de uitvoering? Welke eisen stelt zij aan de bejegening van burgers? Welke eisen stelt zij aan ondersteuning en duidelijk toegankelijke taal? Ook die vorm van uitlegbaarheid achten wij van grote waarde. Graag een reflectie hierop van de staatssecretaris.

Voorzitter, tot slot. Ik kan u verzekeren dat deze tekst door mijzelf is gemaakt, en niet door ChatGPT-4. Zoals de Amerikaanse Googleconsultant Bruce Sterling zegt: een computer kan niet denken, mensen wel. Echter, we worden geconfronteerd met een steeds verdere en razendsnelle ontwikkeling van AI. De output van ChatGPT-4, die besluiten en teksten baseert op extreem veel informatie en onderlinge dwarsverbanden, lijkt verraderlijk authentiek en gewoon door mensen gemaakt. De CDA-fractie vraagt het kabinet hoe het hiermee wenst om te gaan. Mag een rechtbank, een student of een journalist hier gebruik van maken? Hoe weet een burger straks nog het onderscheid? De technologie-ethicus Olya Kudina zei in dezen: "Het is alsof OpenAI de maatschappij gebruikt als een groot laboratorium." Welke stappen neemt de staatssecretaris van Digitale Zaken om ook hier kaders te stellen?

Voorzitter, wij zijn benieuwd naar de antwoorden.

De voorzitter:

Dank u wel, mevrouw Prins. Dan is het woord aan mevrouw De Blécourt-Wouterse namens de VVD.

Mevrouw De Blécourt-Wouterse (VVD):

Voorzitter. "AI" staat voor "artificial intelligence", artificiële intelligentie. Het zou ook kunnen staan voor "ai, een veelkoppig en moeilijk af te bakenen vraagstuk". De VVD-fractie ziet veel kansen, maar de regulering en het toetsen van AI zijn een belangrijke uitdaging die wij moeten aangaan en die nodig is om belangrijke stappen vooruit te zetten. De commissie voor Justitie en Veiligheid heeft een AI-werkgroep opgezet die zich vanaf september 2020 met specialisten en ondersteund door het Rathenau Instituut heeft verdiept in het AI-onderwerp. Alle betrokkenen zijn daar al uitdrukkelijk voor bedankt, dus ik ga dat niet ook nog een keer doen.

Voorzitter. Het gebruik van AI is snel aan het groeien en de verwachting is dat deze technologie in de komende jaren een steeds belangrijkere rol gaat spelen. De snel evaluerende verzameling van technologieën zal een belangrijke rol kunnen spelen om economische en maatschappelijke activiteiten te bevorderen. Denk bijvoorbeeld aan gezondheidszorg, landbouw, onderwijs, justitie of openbare diensten. De VVD-fractie is van mening dat AI enorme kansen biedt om maatschappelijke problemen, zoals het grote arbeidsmarkttekort en de toenemende zorgvraag, aan te pakken. Uiteraard dienen wij onze ogen niet te sluiten voor de risico's, zoals privacybescherming, gelijke behandeling, ongehinderde toegang tot informatie- en dienstverlening, veiligheid en aansprakelijkheid. Daarom dient het gebruik van AI omgeven te worden door waarborgen als transparantie en is de menselijke maat belangrijk. Daarbij moet goed nagedacht zijn over het ethische aspect van dit vraagstuk, zoals alle voorgangers ook al hebben gezegd.

Voorzitter. AI-systemen dragen dagelijks bij aan bijvoorbeeld betere dienstverlening of het stellen van diagnoses in de gezondheidszorg. De ontwikkeling van innovatieve toepassingen van AI-systemen die in lijn zijn met onze regels, normen en waarden, is daarom essentieel. Hierop moet dan wel vooraf, tijdens en na het gebruik een helder toezicht worden ingericht.

Voorzitter. De scope van het debat van vandaag laat niet toe dat wij alle aspecten, haken en ogen op AI-technisch, -maatschappelijk, -juridisch en -ethisch vlak met elkaar bediscussiëren. Een gebrek aan focus in de discussie over AI kent als risico dat we in een zee van overwegingen verdrinken en niet verder komen. Daarom beperk ik mij in mijn inbreng namens de VVD-fractie tot het beoordelen van wetgeving waarbij AI een rol speelt. Hoe toets je wetten met een AI-component op rechtmatigheid, uitvoerbaarheid en handhaafbaarheid? De werkgroep is daar door het Rathenau Instituut bij geholpen.

Voorzitter. Op Europees niveau hebben we de AI-verordening die zaken als een representatieve, foutloze, relevante en volledige dataset vereist met als doel het voorkomen van het gebruik van onjuiste data. Ook stelt deze verordening dat de gebruiker van een AI-systeem in staat moet zijn om het causale verband tussen input en output naar behoren te interpreteren en te gebruiken. De Europese Unie wil nog dit jaar een omvangrijk AI-pakket voor wetgeving aannemen. Alleen een zeer beperkt aantal toepassingen met een hoog risico voor de samenleving wordt verboden, zoals gezichtsherkenningssoftware in straatcamera's die burgers op grote schaal classificeren in risicogroepen. Voor lagere risicotoepassingen als zelfrijdende auto's geldt de verplichte menselijke beoordeling van AI, transparantie over de werking en productaansprakelijkheid. Voor de laatste categorie risicotoepassingen geldt alleen transparantie over de werking. Tekst- en beeldgenerators vallen in de laatste risicocategorie. De wetgeving gaat gepaard met strenge straffen bij niet-naleving.

Voorzitter. Het Rathenau Instituut heeft naar aanleiding van alle presentaties door deskundigen handvatten opgesteld voor de Eerste Kamer die de Eerste Kamer zou kunnen gebruiken om wetten te toetsen. Juist omdat AI niet statisch is, maar de toepassingen zich in een rap tempo ontwikkelen, dient dat in de visie van de VVD-fractie een doorlopend proces te zijn. Eerste Kamerleden zullen zich moeten blijven bijscholen. De VVD-fractie is van mening dat de snelle ontwikkeling van het AI-onderwerp vraagt om een evaluatie op regelmatige basis. De staatssecretaris geeft dat zelf in haar brief ook aan. De VVD-fractie stelt voor om dat te doen via een jaarlijks gesprek tussen de staatssecretaris en de leden van de Eerste Kamer op basis van een beknopte rapportage van de staatssecretaris over de laatste ontwikkelingen en inzichten van dat jaar.

Verder vindt de VVD-fractie het belangrijk dat, gezien de impact die AI kan hebben of in sommige gevallen al heeft op grote delen van de samenleving, iedereen in die samenleving betrokken en op de hoogte blijft. De VVD-fractie ziet toegevoegde waarde in een AI-cursus, zowel in het lager als in het hoger onderwijs. Een nationale AI-cursus via de site van de overheid kan daar ook toe bijdragen. Graag een reflectie van de staatssecretaris.

Voorzitter. De brief van 16 februari roept nog een aantal vragen op bij de VVD-fractie. Ik zal me daarbij tot twee beperken. De mensenrechtentoets. In de brief noemt de staatssecretaris de mensenrechtentoets. Ze geeft aan dat ze geen exact beeld heeft van het gebruik daarvan. Wel werkt zij aan een implementatiekader voor de inzet van algoritmen. De VVD-fractie is van mening dat bij de implementatie van een wet waar AI een rol speelt een toets op het al dan niet schenden van mensenrechten essentieel is. De VVD-fractie is van mening dat een algoritme dat deze toets niet doorstaat, ook niet ingevoerd mag worden. Het zou in dat verband behulpzaam zijn als de resultaten van deze toetsen geregistreerd en bijvoorbeeld door Kamerleden geraadpleegd kunnen worden. Dat draagt bij aan het lerend vermogen. Graag een reactie van de staatssecretaris.

De tweede en laatste vraag over de brief gaat over het federatief datastelsel. De staatssecretaris geeft in haar brief aan dat dit stelsel het delen van data tussen overheden en semipublieke organisaties gaat verbeteren. Kan de staatssecretaris uitleggen waar wij aan moeten denken bij een federatief datastelsel?

Voorzitter. De VVD-fractie vraagt de staatssecretaris of Nederland op AI-gebied een voortrekkersrol speelt. De VVD-fractie is benieuwd of de staatssecretaris ook voornemens is om naast de EU samen te gaan werken met gelijkgestemden op dit gebied, zoals Singapore en Canada, nu de WRR adviseert om in te zetten op AI-diplomacy. Ook is de VVD in het licht van deze AI-wetgeving benieuwd waar de controle en de verantwoordelijkheid van de overheid begint en eindigt. Wordt er een onderscheid gemaakt tussen systemen die de overheid zelf heeft ontwikkeld of heeft laten ontwikkelen en de systemen die ingekocht zijn? Zouden er dan voor verschillende systemen andere wetten gaan gelden?

Voorzitter. De VVD-fractie staat ten slotte niet te springen om een nieuwe, aparte vaste Kamercommissie AI in de Eerste Kamer. De VVD-fractie is er nogal verbaasd over dat de staatssecretaris zich daar positief over uitspreekt, omdat het niet zozeer de regering, maar de Kamer aangaat. De werkzaamheden van de commissies in de Eerste Kamer verschillen van die in de Tweede Kamer. In de commissies in dit huis wordt immers gepraat over procedures van wetten. De VVD ziet niet in dat er veel wetten ter beoordeling naar de Eerste Kamer zullen komen die louter op AI zien en geen overlap hebben met onderwerpen die thans in bestaande commissies van de Eerste Kamer worden ondergebracht. Daarom heeft de VVD-fractie een alternatief. Hoewel het niet gebruikelijk is om in de eerste termijn een motie in te dienen, zou ik dat nu toch willen doen, omdat het een oproep aan de Eerste Kamer en met name aan de Voorzitter is voor een alternatief.

De voorzitter:

Door de leden De Blécourt-Wouterse, Otten, Gerkens, Prins, Dittrich en Veldhoen wordt de volgende motie voorgesteld:

Motie

De Kamer,

gehoord de beraadslaging,

constaterende het toenemende belang van AI in wetten;

overwegende dat AI-kennis voor alle commissies van de Eerste Kamer van belang is;

verzoekt de Voorzitter van de Eerste Kamer om te bewerkstelligen dat er op het terrein van digitalisering in het algemeen en artificiële intelligentie in het bijzonder ondersteuning en expertise binnen de griffie is (conform de juridische ondersteuning) ten behoeve van alle commissies van de Eerste Kamer,

en gaat over tot de orde van de dag.

Zij krijgt letter C (CXLVII).

Mevrouw De Blécourt-Wouterse (VVD):

De motie is ondertekend door meerdere fracties.

De heer Recourt (PvdA):

Ik heb twee iets meer procedurele punten, waarvan een in de vorm van een vraag en een in de vorm van een opmerking. Ik begin met de opmerking. In de brief van de staatssecretaris heb ik gelezen dat zij schrijft: een commissie digitale zaken oprichten is aan de Kamer zelf; daar ga ik niet over, maar het lijkt me een goed idee.

Dan mijn vraag. Waarom dient de fractie van de VVD in eerste termijn een motie in? Het is toch de bedoeling dat we debatteren en de antwoorden afwachten? In dit geval gaat het om een debat tussen de leden van de Kamer zelf, maar desalniettemin: waarom heeft de VVD niet gewacht tot de tweede termijn, zodat de gedachte-uitwisseling heeft kunnen plaatsvinden?

Mevrouw De Blécourt-Wouterse (VVD):

Ja, dat had ik ook kunnen doen. Ik heb het net ook uitgelegd. Ik heb gezegd dat het niet gebruikelijk is om dit in eerste termijn te doen. In dit geval heb ik er wel voor gekozen, omdat het een alternatief is voor een aparte Kamercommissie.

De heer Recourt (PvdA):

Maar dat is dan toch een inhoudelijk argument als reactie op een procedureel punt? Ik snap het nog niet helemaal. U zegt: vanwege de inhoud van de motie doe ik het vooraf. Maar ook de inhoud van de motie vraagt toch gewoon om een debat van de Kamer? Een motie is een mening, en die mening formuleer je toch pas wanneer het debat is geweest?

Mevrouw De Blécourt-Wouterse (VVD):

Ik heb ervoor gekozen om die nu al te formuleren.

Mevrouw Veldhoen (GroenLinks):

Ik begrijp dat de VVD vraagt om versterking van de griffie op het gebied van AI en digitalisering. Dat is natuurlijk een goed idee — laat ik dat vooropstellen — maar dat sluit een vaste Kamercommissie niet uit, want dan gaat het over ons eigen kennisniveau en ons eigen handelen als Kamerleden. De vraag aan de VVD is dus: een vaste Kamercommissie kan prima naast een versterkte griffie bestaan, toch?

Mevrouw De Blécourt-Wouterse (VVD):

De VVD ziet nut en noodzaak van een vaste Kamercommissie niet, omdat wij in de commissies procedures bespreken en het daar niet zozeer gaat om ondersteuning op inhoudelijk vlak. Bovendien hebben we juristen bij wie we onze vragen kunnen neerleggen en moeten we als Kamer zelf ook de wetten bestuderen. Wij denken dat het van belang is hierbij ondersteuning van de griffie te krijgen.

Mevrouw Veldhoen (GroenLinks):

Maar dat argument gaat toch op voor eigenlijk alles? U zegt: we moeten zelf wetten bestuderen en in de commissies worden alleen procedures besproken. Maar dat geldt voor ieder wetgevingstraject, dus …

Mevrouw De Blécourt-Wouterse (VVD):

Dat klopt ook.

Mevrouw Veldhoen (GroenLinks):

… dan zouden we eigenlijk iedere commissie kunnen opheffen. In de commissies treffen we ook voorbereidingen. Zo horen we bijvoorbeeld deskundigen en gaan we in op hoe we een wet behandelen. Er gebeurt dus wel meer dan alleen het bespreken van een procedure. Kunt u daar nog op reageren?

Mevrouw De Blécourt-Wouterse (VVD):

Dat ben ik met mevrouw Veldhoen eens. Bij wetten met een AI-component zal echter in 99% van de gevallen sprake zijn van overlap met bijvoorbeeld de commissies OCW of J&V, dus dan kan het toch in de desbetreffende commissie besproken worden? Dan kun je toch in die commissie deskundigen horen of een werkgroep opzetten? Daar heeft u nu ook het voortouw voor genomen.

De voorzitter:

Mevrouw Veldhoen, tot slot.

Mevrouw Veldhoen (GroenLinks):

Er is natuurlijk allerlei wetgeving met AI-componenten, maar de commissie zou zien op meer dan dat. De commissie zou zien op digitalisering in het algemeen. Zoals ik al zei in antwoord op een interruptie op mijn bijdrage: je kunt ook combinaties van commissies maken, waardoor je die kennis borgt en bijvoorbeeld bij zowel de commissie J&V als de commissie Digitale Zaken houdt. Ik zou het echt een ongelofelijk gemiste kans vinden als wij achterblijven, nu we een staatssecretaris Digitale Zaken en een Tweede Kamer met een vaste Kamercommissie voor Digitale Zaken hebben. Dat zou echt een gemiste kans zijn, wat mij betreft. Dat was geen vraag, maar een opmerking.

Mevrouw De Blécourt-Wouterse (VVD):

Mag ik daar nog op reageren, voorzitter?

De voorzitter:

Gaat uw gang.

Mevrouw De Blécourt-Wouterse (VVD):

De VVD-fractie ziet dat toch anders, omdat de Tweede Kamer een heel andere rol heeft. Die maakt wetten; wij maken geen wetten. De Tweede Kamer heeft gewoon een andere rol dan wij. Wij gaan over de procedures. Zij hebben ook "zoveelminutendebatten". Die hebben wij niet.

De heer Dittrich (D66):

Even terug naar de motie die zojuist is ingediend. Die heb ik ook meeondertekend, omdat ik de gedachte onderschrijf dat de Kamer veel beter ondersteund moet worden als het gaat over digitalisering en AI. Ik vraag mevrouw De Blécourt of ik de motie zo kan lezen dat … Er staat nu dat de Voorzitter, hoe machtig die ook is, een bepaalde rol heeft, maar ik neem aan dat het uiteindelijk de Kamer is die over de financiële toedeling voor de versterking van de ondersteuning gaat, en niet alleen de Voorzitter.

Mevrouw De Blécourt-Wouterse (VVD):

Dat zegt de heer Dittrich helemaal correct. Zo mag u het lezen.

De voorzitter:

Vervolgt u uw betoog. Of bent u aan het eind van uw betoog?

Mevrouw De Blécourt-Wouterse (VVD):

Ja, ik ben klaar.

De voorzitter:

Dank u wel. Dan geef ik het woord aan de heer Verkerk namens de ChristenUnie.

De heer Verkerk (ChristenUnie):

Voorzitter. Als eerste: ik spreek ook namens de SGP. Lord of the Rings, het meesterwerk van Tolkien, gaat over de strijd tegen het kwaad. Het kwaad komt naar voren in de persoon van Sauron, een duistere heer die probeert om de hele werkelijkheid in zijn macht te krijgen. Hij heeft die macht samengebald in een aantal magische ringen, waarvan er één beslissend is. En Frodo, een hobbit, heeft de meest beslissende ring in zijn bezit. Het bijzondere is dat alleen Frodo, of alleen hobbits, die ring kunnen dragen zonder zelf in de macht van het kwaad te komen. Daarom moet Frodo die ring naar de Doemberg brengen, zodat die vernietigd kan worden. Dan is ook de macht van Sauron gebroken. Gedurende zijn tocht bezoekt Frodo de machtige elfenkoningin Galadriel. Zij nodigt Frodo uit om in haar spiegel te kijken, een spiegel die kan terugkijken in het verleden, die in het heden kan kijken, en die ook de toekomst kan openbaren. Frodo kijkt en ziet dat hem en zijn makkers de meest vreselijke dingen overkomen. Hij is er kapot van. Galadriel legt uit dat die dingen gaan gebeuren als Frodo faalt in zijn taak om de ring te vernietigen. Frodo voelt zich niet in staat tot die taak, en biedt de ring aan Galadriel aan. De almachtige elfenkoningin voelt de verleiding om met die ring nog veel meer macht te krijgen, zo veel macht dat zij Sauron zou kunnen overwinnen. En ze staat op een existentiële tweesprong: pakt ze de ring om de macht van het kwaad met diezelfde macht te bestrijden, of beseft zij dat als zij die ring aanneemt, zij uiteindelijk zelf onder de macht van Sauron komt, en alles zal vernietigen?

Voorzitter. Tolkien snijdt in deze scene twee belangrijke dingen aan. De eerste vraag is: welke middelen zijn geoorloofd in de strijd tegen het kwaad? En de tweede vraag is: wat doet de macht om het kwaad te bestrijden met degene die het kwaad bestrijdt? Kan het gebeuren dat die in de macht van het kwaad komt? Het debat gaat vandaag over algoritmische besluitvorming bij de overheid. Uiteindelijk gaat het om de vraag of het gebruik van dit soort technologieën door overheden leidt tot bloei van de samenleving en ook tot bloei van de individuele burger. En of deze technologieën ook leiden tot een versterking van de rechtsstaat. Dit zijn twee elementen die steeds zullen terugkomen in mijn bijdrage.

Voorzitter. Bij het voorbereiden van dit debat werd ik geconfronteerd met de complexiteit van het onderwerp. Ik vroeg me af, als je denkt in Wpg-termen, zou dit debat niet de eerste tranche moeten zijn? Ik dacht ook aan de opmerking van Arjan Widlak van de Kafkabrigade, die stelde dat het lastig is om een beknopt beeld te geven van de digitale overheid als geheel. In ieder geval vormen de twee vragen van Tolkien in mijn bijdrage, mede namens de SGP, een rode draad.

Voorzitter. Ik begin met enkele fundamentele vragen die ten grondslag liggen aan algoritmes. De eerste fundamentele vraag is: wat voor soort model ligt daaraan ten grondslag? Er zijn namelijk meerdere modellen. Het kunnen beschrijvende modellen zijn, het kunnen verklarende modellen zijn, maar het kunnen ook kansenmodellen zijn. Bij fraudebestrijding — ik denk bijvoorbeeld aan het systeem SyRI en vergelijkbare programma's — wordt gebruik gemaakt van een kansenmodel. Dit soort modellen hebben een fundamenteel probleem. Ze kunnen namelijk geen uitspraak doen over individuele burgers, maar alleen over een groot cohort burgers. Een tweede fundamentele vraag is welke databronnen er gebruikt worden. Leiden deze bronnen misschien tot ongewenste profilering? Een derde fundamentele vraag is hoe we omgaan met het gegeven, of gewoon met het feit dat ontwikkelaars modellen ontwikkelen die hun eigen vooroordelen, ethiek en wereldbeeld weerspiegelen. Een vierde fundamentele vraag is hoe de wetsteksten vertaald worden naar concrete beslisregels. Meestal zullen data-analisten en computerprogrammeurs dat doen, maar kunnen zij omgaan met open normen, met brede kaders, met ambiguïteiten en met tegenstrijdigheden. Ten slotte, ook heel fundamenteel: overvragen we AI niet? Begrijpt AI wat de rechtsstaat is? Begrijpt AI wat de bloei van de samenleving is? En begrijpt AI de pijn van slachtoffers van AI-systemen? De vraag stellen is hem beantwoorden. Liggen hier dan ook niet geweldige beperkingen?

Ik wil aan de staatssecretaris vragen of zij op elk van deze fundamentele vragen apart kan antwoorden en wel vanuit het perspectief van de bloei van de samenleving en het perspectief van de versterking van de rechtsstaat.

Voorzitter. De bovengenoemde vragen leiden ook tot allerlei rechtsstatelijke overwegingen met betrekking tot de trias politica, het legaliteitsbeginsel en het handelingsvermogen van de overheid. Ik begin met de trias politica. Het behoeft geen betoog dat AI de uitvoerende kracht van het bestuur versterkt. Dat is positief. Een ongewenst neveneffect is dat de controlerende macht en de rechtspraak niet zo snel en niet zo gemakkelijk kunnen meekomen. De reden daarvoor is dat AI-systemen ondoorzichtig zijn. Ze zijn complex en niet gemakkelijk te doorgronden, zeker als je systemen en data uit meerdere overheidsorganisaties bijeenbrengt. Dan is een eerlijke vraag: hoe kan in zo'n situatie de controlerende macht haar functie adequaat uitoefenen? Hoe kan de rechtsstaat de burger beschermen tegen een machtige overheid? Graag ook hier een reactie van de staatssecretaris.

Het tweede punt is het legaliteitsbeginsel. Het doel van dit beginsel is onder andere om onderdrukking en willekeurige machtsuitoefening van de overheid tegen te gaan. Een fundamentele vraag is daarom wie formele wetgeving vertaalt naar concrete procesregels. In de praktijk zullen dat, zoals ik al zei, de data-analisten en computerprogrammeurs zijn. Weten zij om te gaan met open normen, brede kaders, ambiguïteiten en tegenstrijdigheden? Hoe garanderen we dat de wet naar letter en geest goed vertaald is naar het algoritme? Hoe is dat democratisch te controleren? Al deze vragen worden nog prangender bij deep learning. Wie kan überhaupt nog garanderen dat de aanpassing van beslisregels gedurende het leerproces nog steeds in overeenstemming met de letter en de geest van de wet is? En wie kan dat controleren?

Voorzitter. De overheid wordt bij de ontwikkeling van AI-systemen steeds meer afhankelijk van grote en machtige bedrijven. Daarmee krijgen deze bedrijven invloed op de manier waarop wetten worden geïnterpreteerd en in de praktijk worden uitgevoerd. Dit leidt tot ondergraving van het primaat van de wetgever. Ook graag hier een reactie van de staatssecretaris.

Ten slotte enkele opmerkingen vanuit het handelingsvermogen van de overheid. Vanuit rechtsstatelijk perspectief gezien is een sterke overheid cruciaal. Het behoeft geen betoog dat AI het handelingsvermogen van de overheid versterkt en in de toekomst verder kan versterken. Tegelijkertijd moeten we erkennen dat AI een bedreiging is voor het handelingsvermogen, met name gezien de macht van de bigtechbedrijven, het falen van zelfregulatie en alle problemen rond handhaving van allerlei wetten met betrekking tot deze bedrijven. En ook graag een reactie van de staatssecretaris op alle drie de punten vanuit het perspectief van versterking van de rechtsstaat.

Voorzitter. De Afdeling bestuursrechtspraak van de Raad van State heeft in 2017 bepaald dat ter voorkoming van een gepercipieerde black box bij geautomatiseerde besluitvorming het bestuursorgaan de gemaakte keuzes en de gebruikte gegevens en aannames volledig, tijdig en uit eigen beweging op een passende wijze openbaar moet maken, zodat deze keuzes, gegevens en aannames voor derden toegankelijk zijn. Met andere woorden: het systeem van geautomatiseerde besluitvorming moet worden uitgelegd. Inmiddels is deze jurisprudentielijn overgenomen door de Hoge Raad in belastingzaken waarbij geautomatiseerde besluitvorming aan de orde was.

Een eerlijke vraag is of deze twee uitspraken voldoende bescherming bieden. Of is hier sprake van slechts een second-bestoplossing bij gebrek aan specifieke wetgeving? Is het niet aan de wetgever om concrete en mogelijk zwaardere eisen te formuleren, bijvoorbeeld op het gebied van de uitgangspunten van de modellen en algoritmen, de uitlegbaarheid van de besluiten en het uitsluiten van bepaalde toepassingen? Wat is de visie van de staatssecretaris? Wil zij met wetgeving komen?

Mevrouw Veldhoen (GroenLinks):

Ik heb zelf in mijn bijdrage gewezen op de Franse wetgeving, waarin is vastgelegd dat een bestuursorgaan altijd in de beschikking moet aangeven of er sprake is geweest van het gebruik van algoritmen, wat de bronnen zijn geweest en hoe die zijn toegepast. Daaraan verbonden is de sanctie dat als dit niet wordt vermeld, de beschikking haar geldigheid verliest. Hoe staat de ChristenUniefractie daartegenover?

De heer Verkerk (ChristenUnie):

Ik vond dat een bijzonder mooi voorbeeld in uw bijdrage. Wat ik hier namens de fractie bepleit, is in goede overeenstemming met wat u heeft gezegd. We zullen die gedachte graag nader doordenken. Ook wij kijken uit naar de reactie van de staatssecretaris op uw bijdrage. Onze eerste indruk is positief.

Mevrouw Veldhoen (GroenLinks):

Dank u wel.

De voorzitter:

Vervolgt u uw betoog.

De heer Verkerk (ChristenUnie):

Ik wil nog zeggen dat onze fractie en de SGP overwegen om een motie op dit gebied in te dienen.

Ten slotte. Zouden de genoemde modellen en algoritmen onder redelijke condities niet beschikbaar moeten zijn voor kritisch wetenschappelijk onderzoek? Zeker gezien alle fundamentele problemen die ik in het begin van mijn bijdrage heb genoemd. Graag een reactie van de staatssecretaris.

Voorzitter. Op een specifieke technologie wil ik nog nader ingaan, namelijk die van deepfake. Van der Sloot en anderen van de universiteit van Tilburg hebben een studie gedaan naar de regulering van deepfakes. Ze laten zien dat de technologie die hieraan ten grondslag ligt grote schade oplevert voor de samenleving en dat wetgeving en regulering noodzakelijk zijn. Meer dan 95% van de deepfakes zijn pornografisch van aard, meestal met een vrouw als slachtoffer. Denk daarbij ook aan de documentaire Welmoed en de seksfakes. Van der Sloot pleit voor een verbod op toegang tot of gebruik van deepfaketechnologie voor burgers. Graag een reactie van de staatssecretaris. Ook hierop overwegen wij een motie.

Voorzitter. Ik kom nu tot de tweede vraag van Tolkien. Wat doet de macht om het kwaad te bestrijden met degene die het kwaad bestrijdt? Die vraag zou ik expliciet aan de orde willen stellen. Lodewijk Asscher zei bij zijn afscheid als partijleider — hij moest aftreden vanwege de toeslagenaffaire — "Ik vind dat we de democratie meer dienen door zelfreflectie dan door brute verontwaardiging." Ik vind dit een intrigerende uitspraak die echt oproept tot denken. Ik beperk me tot de SyRI-affaire. Hoe was het mogelijk dat dit systeem werd ontwikkeld? Was er voldoende aandacht voor fundamentele vragen, voor grondrechten en voor mogelijke ondergraving van de rechtsstaat? Waarom hebben de verantwoordelijke ambtenaren uiteindelijk dit project doorgezet? Waarom hebben zij die de wet dienen te kennen uiteindelijk de wet overtreden? Waarom zijn zij tegen hun burgers gaan procederen? Waarom hebben zij geweigerd om de rechter precies uit te leggen hoe het systeem werkt? Als Rutger Bregman gelijk heeft, namelijk dat de meeste mensen deugen, waarom is het met SyRI dan zo verkeerd gegaan? Waarom is het zo verkeerd gegaan dat het kwaad uiteindelijk geïnstitutionaliseerd werd? Het gaat mij niet om een beschrijving van hoe het is gebeurd, maar om een fundamentele doordenking van de mechanismes. Ik zie wat dat betreft ook uit naar de reflecties van de staatssecretaris.

Voorzitter. Ik kom tot een afronding. In alle stukken ben ik al veel technologische oplossingen tegengekomen. Ik denk bijvoorbeeld aan begrippen als MIA, Mensenrechten Impact Assesment, wetsanalyse, CSAE en FLINT.

De heer Dittrich (D66):

Ik wil nog even terug naar het vorige punt, waarbij de heer Verkerk het had over ambtenaren en mensen die niet deugen. Als je zo luistert, klonk het een beetje alsof u ambtenaren een beetje wegzet, alsof zij bezig zijn met allerlei algoritmes en beslissingen tegen de belangen van mensen in. Ik zou het willen terugbrengen naar het vorige punt dat u noemde, over zelfreflectie. Als we wetten maken en beoordelen, moeten we volgens mij met z'n allen, niet alleen ambtenaren, maar ook politici, kijken hoe we kunnen leren van het feit dat er door sommige algoritmes uiteindelijk beslissingen zijn genomen die rechtstreeks ingaan tegen de belangen van burgers. Maar ik zou willen waarschuwen dat de indruk gaat ontstaan dat nu ambtenaren de schuld krijgen van bepaalde wetgeving en de toepassing daarvan. Misschien was dat helemaal niet de bedoeling van de heer Verkerk, maar dan hoor ik dat graag.

De heer Verkerk (ChristenUnie):

Ik wil collega Dittrich danken voor zijn commentaar. Dat was expliciet niet mijn bedoeling. Ik heb juist dat citaat van Rutger Bregman gegeven om dat te voorkomen. Ik heb wel vragen gesteld over de ambtenaren en hun leidinggevenden. Daarna kwam ik tot de vraag: wat is er allemaal verkeerd gegaan? Dan onderstreep ik ook graag wat u zegt, want ook de wetgevers hebben daar het nodige aan bijgedragen. Ik dank u.

Voorzitter. Ik zei net dat al die technologische oplossingen belangrijk zijn. Laten we echter niet in de valkuil vallen dat we kiezen voor technologische oplossingen zonder zicht over het veld te hebben. Dan gaat het echt om een visie over het geheel. Het gaat ook over een visie op grondwaarden en ethiek van de technologie.

Voorzitter. De mogelijkheden van AI zijn groot. Opvallend is dat er bij kunstenaars in de vorm van sciencefictionschrijvers en sciencefictionfilmmakers zelden sprake is van utopische beelden. Meestal overheersen de dystopische beelden. Dat is niet voor niets; denkt u maar aan de meest recente goede film Ex Machina. Dat moet ons te denken geven. De fracties van de ChristenUnie en de SGP pleiten ervoor om in het debat over algoritmische besluitvorming twee overwegingen centraal te stellen. De eerste is: leidt algoritmische besluitvorming mede tot versterking van de rechtsstaat? De tweede is: leidt algoritmische besluitvorming tot een bloei van de samenleving? In onze visie moet ook het openbaar bestuur daarop inzetten.

Onze fracties zien uit naar een reactie van de staatssecretaris.

De voorzitter:

Dank u wel, meneer Verkerk. Dan geef ik het woord aan mevrouw Gerkens namens de SP.

Mevrouw Gerkens (SP):

Dank u wel, voorzitter. Het is jammer dat de heer Verkerk nog iets meer tekst had, want toen hij het over de ethiek had, maakte hij een heel mooi bruggetje naar mijn verhaal. Ik moet ook zeggen dat ik erg blij ben met het debat vandaag en dat we met zovelen in de Kamer zo intensief kunnen praten over dit thema. Ik weet zeker dat we zo'n acht jaar geleden met onze oren stonden te klapperen over dit onderwerp, althans, een deel van u. Voor mij is digitalisering een thema dat als een rode draad door mijn politieke loopbaan loopt. Als ik even terug mag kijken, voorzitter: tien jaar geleden kwam ik de Kamer in en mijn eerste motie ging over de ethische kant van digitalisering. Die motie werd unaniem aangenomen. Dat heeft geleid tot het rapport Opwaarderen van het Rathenau Instituut. Dat rapport — ik weet niet of u het nog gelezen heeft toen u zich voorbereidde — was een treffend rapport. Het bespreekt een aantal van de thema's die we in de voorbereiding op dit debat zijn tegengekomen. In de tien jaar erna is AI, zoals algoritmes gemakshalve worden genoemd, een onaangename rol in ons leven gaan spelen. Bij big tech, bij bedrijven, bij de overheid en zelfs bij de wetenschap. Die rol is fundamenteel anders dan de rol die de digitale technieken speelden, voordat de AI zo'n vlucht nam.

Artificiële intelligentie heeft het vermogen om zelfstandig enorm ingewikkelde berekeningen te maken en op basis daarvan te beslissen. Ik zou tegen de heer Recourt zeggen: het denkt wel. Dat is het enge ervan. Wij creëren systemen die zelfdenkend gaan zijn en dus ook op basis van hun denken beslissingen nemen. Die berekeningen zijn zo ingewikkeld dat de mens het niet zou kunnen of in ieder geval niet met die snelheid zou kunnen. Mooi hè, techniek? Dat is waar we voor vallen, want het is toch prachtig dat we dit soort techniek hebben die op heel belangrijke momenten dingen voor ons kan berekenen die wij als mensen niet snel of überhaupt niet kunnen.

We kunnen daarmee heel belangrijke data en inzichten ontsluiten. In de zorg is het bijvoorbeeld heel belangrijk om heel snel beslissingen te nemen en dat AI dat voor ons doet. Dat is heel mooi. Dat is ook iets, zeg ik tegen de heer Verkerk, wat door techbedrijven goed wordt verkocht. Zij verkopen dat: kijk, dit kan het systeem doen. Helaas vergeten ze daarbij te vertellen dat die algoritmes ook fouten kunnen maken. Daarvoor zijn drie belangrijke redenen aan te wijzen, die ik grofweg ga benoemen.

Allereerst gaan algoritmes altijd uit van kansberekening. Daar zit altijd een foutmarge in. Hoe groot die is, hangt onder andere af van de input en de kwaliteit van de AI. Gezien het punt dat de data van algoritmes altijd veel zijn — anders zouden we het zelf kunnen doen — is het effect ook altijd groot. Stel dat je 4 miljoen mensen scant met een foutmarge van 3%, dan worden 120.000 mensen onterecht aangemerkt door het systeem. Vaak horen we in de politiek: ach, het is maar 3%. Nee, het is een hele grote groep mensen. We moeten dat goed beseffen.

Ten tweede hangen de omstandigheden waarin de AI getraind is af van wat de output is. Ik noem nog een voorbeeld. We hebben een systeem van de zelfrijdende auto. Deze auto is altijd getraind in stralend weer. We gaan ermee de weg op tijdens een onweersbui. Wat doet het apparaat dan? De auto slaat wellicht ineens op drift.

Het laatste is de complexiteit van de input. Dat is waar we hiermee worstelen. Die complexiteit zorgt ervoor dat er bij de output niet meer kan worden nagegaan waar de mogelijke fout zit; de black box.

Dit zijn allemaal technische complicaties. Men zou zeggen dat die ondervangen kunnen worden. Toch is dat niet gebeurd. We hebben te maken gehad met de toeslagenaffaire en vorig jaar concludeerde de Algemene Rekenkamer dat zes van de negen algoritmes bij de overheid niet op orde waren en grote kans op discriminatie hadden.

Nog veel verontrustender is dat er via Europa wetgeving voorligt die platforms oplegt om met algoritmes in al onze privécommunicatie te gaan snuffelen. Ondanks het feit dat wij in Nederland hebben gezien wat voor dramatische gevolgen dat kan hebben voor de samenleving en ondanks het feit dat we dat nu achter ons hebben, moeten we straks veel data verzamelen van mogelijk verdachte mensen, waarin we dan weer met algoritmes gaan kijken wie daarvan naar boven moeten komen, wetende wat daar de risico's van zijn. En dan nog hoor ik Tweede Kamerleden zeggen dat het een goede ontwikkeling is en dat we die kant op moeten gaan. In de politiek lopen we vaak blind achter een oplossing voor onze problemen aan, zonder te toetsen of die oplossing ook een goede oplossing is.

Maar hoe dan wel? Misschien geen artificiële intelligentie, geen algoritmes. Als ik een stukje van de wereld over mocht doen, dan zou ik zeker bij AI beginnen. En bij de big tech. En vooral bij de combinatie van die twee. Dan vraag ik mij af waarom wij dit debat voeren en waarom dit debat maar mondjesmaat in de digitale wereld zelf wordt gevoerd. Van de week sprak ik een professor artificiële intelligentie. Hij is verbonden aan de universiteit in Parijs. Hij vertelde mij dat hij twee jaar geleden opeens dacht "Wie let er nou op de ethische kant van de digitale ontwikkeling die wij hebben? Wij hebben helemaal geen poortwachter op dit punt." Dit is interessant. Tien jaar geleden hebben wij een motie aangenomen, en nu wordt de wetenschap wakker en denkt: moeten wij geen poortwachter hebben? Dat debat wordt dus niet gevoerd in de digitale wereld zelf.

Techniek is een heel belangrijk onderdeel van innovatie. Techniek kan de wereld een stukje beter maken, maar ook slechter. Zo hebben we allerlei toezichthouders op kernenergie en kernwapens. We geven kaders, we trekken grenzen. In de medische wereld kennen we deze ethische kanten ook: we klonen geen mensen, we waken voor genetische manipulatie. Daar hebben we eerst lange intentiedebatten over. Maar dat doen we dus niet over het gebruik van AI. We laten dat ethisch kader over aan ontwikkelaars. Zo wordt in het eerdergenoemde Europese voorstel de ontwikkeling en de implementatie van de scantechnieken overgelaten aan de markt. Die markt is vaak big tech. Deze platforms beslissen straks dus met hun technieken wat er geïdentificeerd wordt tijdens het scannen van privécommunicatie en zij beslissen ook wat daarmee gedaan wordt. Weg trias politica.

De markt denkt niet zo heel erg veel na over ethiek. De markt is namelijk per definitie innovatiegedreven. Die kijkt naar toepasbaarheid. Die vindt een foutmarge van 3% laag; wij zien 120.000 slachtoffers. Alhoewel, zoals ik al zei, sommige politici verschuilen zich ook weer achter die 3%. Mevrouw Prins zei: we moeten zorgen dat we softwareontwikkelaars in dienst hebben die ook naar die ethische kant kijken. Maar daar zijn zij helemaal niet toe opgeleid. Daar zijn zij helemaal niet voor getraind.

Ik geef u een simpel voorbeeld: toen de AVG-wetgeving net werd ingevoerd, werkte ik bij HCC, zeg maar een vereniging voor computergebruikers. Ons viel op dat door websites veel persoonlijke data onnodig werden gevraagd of niet beveiligd werden opgevraagd en verstuurd. We vroegen onze leden om ons dit te melden, zodat we de desbetreffende organisaties daarop konden attenderen. En als zij dan niet reageerden: een zwartboek - ik blijf een SP'er!

Een van de organisaties was een kinderdagverblijf dat inschrijfformulieren online had staan waarop veel persoonlijke data moesten worden ingevuld: vader, moeder, BSN-nummers, inkomens et cetera. Die formulieren waren niet beveiligd met een slotje. Toen ik het kinderdagverblijf daarop attendeerde, zei men daar: ja, maar dit is gemaakt door heel goede websitebouwer. Zij gingen er dus van uit dat deze websitebouwer, die inderdaad heel goed was, ook de beveiliging zou meenemen en ook zou kijken of de website voldeed aan de AVG. Maar die websitebouwer had dat helemaal niet geleerd. Die had alleen geleerd om websites te bouwen.

Mevrouw Prins (CDA):

Ik kan het natuurlijk niet laten om daar even op te reageren. Ik had het over de ICT-mensen van de uitvoeringsinstanties die bezig zijn met wet- en regelgeving. Ik had het dus niet over commerciële bedrijven, waarvan ik hoop dat daar ook wet- en regelgeving voor komt. Ik denk dat we in de laatste jaren met de AVG al vele malen verder zijn, gelukkig overigens, dan in het verleden. Het ging mij erom dat we bij de voorbereiding en de uitwerking van wet- en regelgeving ICT'ers hebben die we toetsen op techniek en op ethiek.

Mevrouw Gerkens (SP):

Maar mevrouw Prins, ik zou tegen u willen zeggen — via de voorzitter — dat ik dat niet alleen zou willen voor uitvoeringsinstanties, maar voor iedere programmeur die werkt in de IT.

Mevrouw Prins (CDA):

Dat klopt, maar ik ging even in op wat u zei. Ik zei daarnaast dat ik het van belang vind dat ook websitebouwers bij commerciële bedrijven zich houden aan de AVG. Dat is echt iets van de laatste jaren en niet van tien jaar geleden. Wat dat betreft hebben we gelukkig een heleboel stappen gezet, maar misschien nog niet genoeg.

Mevrouw Gerkens (SP):

Ik wou dat dat waar was, want ik zie in het dagelijks leven heel veel andere dingen. Ik zie nog steeds dat veel softwarebouwers kijken naar de kansen die software biedt en niet naar de downsides. Ik noem een voorbeeld, ook weer uit de praktijk. Ik bouw een website in mijn eigen organisatie. Ik zou daar niet graag trackers op willen hebben van Facebook, want dan weet Facebook dat mijn bezoekers eventueel seksueel misbruikt zijn. Die informatie wil je niet geven. Toch zegt de websitebouwer: joh, je moet er zo'n icoontje op zetten, dat is lekker makkelijk en dan heb je veel data van de mensen. Dat kader, dat ethisch denken, wat eigenlijk al die softwareontwikkelaars zouden moeten hebben, wordt niet gegeven en niet in de opleiding meegenomen. Volgens mij zit daar echt wel een hiaat.

De voorzitter:

Tot slot, mevrouw Prins.

Mevrouw Prins (CDA):

Ik zou bijna zeggen: misschien zou je je websitebouwer moeten selecteren. Maar dat is een iets te makkelijk antwoord. Ik deel met u dat we daar extra aandacht voor moeten hebben. Dat heb ik ook in mijn betoog aangegeven.

Mevrouw Gerkens (SP):

Precies. En daarom haalde ik u ook aan, want dat vond ik inderdaad een heel goed punt.

De heer Verkerk (ChristenUnie):

Het pleidooi van mevrouw Gerkens over ethiek, en dus ook over ethiek van de techniek, is mij uit het hart gegrepen. Mijn vraag: is het enige probleem misschien dat er te weinig opleiding wordt gegeven? Ik vraag dat omdat, voor zover ik ermee bekend ben, aan vrijwel alle technische universiteiten in de eerste jaren het vak ethiek wordt gegeven. Is dat het echte probleem? Of zou het echte probleem ergens anders liggen?

Mevrouw Gerkens (SP):

Als de softwarebouwers alleen zouden worden opgeleid op universiteiten waar ook nog eens het vak ethiek wordt gegeven, dan waren we al een stuk verder. Maar dat is natuurlijk niet zo. De opleiding van mensen in de digitale wereld is heel breed: van mbo tot inderdaad de universitaire opleiding. Veel van die opleidingen zijn heel hands-on. Terecht, dat moeten ze ook zijn. Maar iedere softwarebouwer heeft een ethische verantwoordelijkheid. Een softwarebouwer moet beseffen dat wat en hoe hij of zij bouwt, consequenties kan hebben. Dat wordt niet meegenomen in de opleiding.

De heer Verkerk (ChristenUnie):

Ik ben het in ieder geval eens met uw morele norm. Ik hoop er in tweede termijn nog op terug te komen.

De voorzitter:

Vervolgt u uw betoog.

Mevrouw Gerkens (SP):

Voorzitter. Ik zei net al: programmeurs leren niet de ethische kanten, maar ze leren programmeren. Er is maar mondjesmaat aandacht voor ethiek in de digitale wereld. Dat wij als afnemers denken dat dat anders is, is de kern van het probleem. Dat betekent ook dat wij de kaders moeten meegeven. Zoals ook al in de gesprekken die wij ter voorbereiding hadden naar voren kwam, hebben we al veel wetgeving die ook kaders aangeven. Maar welke rol speelt die dan in de ontwikkeling van AI-systemen voor de uitvoering van overheidstaken? Dat is ook precies de vraag die mevrouw Prins heeft gesteld. Wie houdt toezicht op de input en de output? Ik zou graag willen weten hoe de staatssecretaris dat ziet. Volgt zij de regelgeving die er vanuit Europa komt? Op welke wijze is zij hierbij betrokken? Vanuit de Europese Unie is gezegd dat AI ethisch moet zijn. Maar dan verwijs ik opnieuw naar het rapport Opwaarderen, dat door het kabinet helaas in een la is gelegd. Hoe gaat de staatssecretaris dat ethisch kader terugbrengen in de digitalisering en in de AI?

Voorzitter. Zo kom ik bij de rol van de Kamer. Of liever: de rol van de gehele Staten-Generaal, want niet alleen hier worstelen wij met grip krijgen op de ICT-ontwikkelingen. Ik leidde de commissie ICT-verspilling bij de overheid, de eerste commissie in de Tweede Kamer die het falen van grip op de uitgaven agendeerde. Onze conclusies waren helder, maar ze werden niet overgenomen. Dus kwam er de commissie-Elias, die grofweg herhaalde wat wij al eerder zeiden. Iets met "gezond verstand", is wat ik me zo ongeveer herinner. Later is de commissie Digitale Zaken gekomen, die niet kon voorkomen dat de digitale ramp van de Omgevingswet is afgewend.

Grip op algoritmische besluitvorming bij de overheid; een bijzondere stelling. Want wie krijgt er grip? Wie zou er grip moeten hebben? Wat is die grip? In de gesprekken die wij hadden ter voorbereiding, zei een van de sprekers dat de Kamer niet eens zozeer technische kennis nodig heeft. Daar ben ik het mee eens, al moet ik zeggen: het helpt soms wel. Het gaat vooral weer om het gezonde verstand en stabiliteit in de kennis. In de eerstgenoemde Kamercommissie ICT-verspilling bij de overheid spraken we ook over dit dilemma. Al sinds de opkomst van de digitalisering is er de vraag om grip te krijgen op dit ingewikkelde terrein. Angst voor gebrek aan kennis speelt hierbij een rol. Ik vind dat bijzonder. ICT-projecten zijn niet wezenlijk anders dan infrastructurele projecten en daar vragen wij ons toch ook niet af hoe zoab precies gemaakt wordt? We geven kaders voor milieu en geluid en we controleren het resultaat.

Wat de algoritmes betreft is het echt zo: garbage in, garbage out. Het is de input die het resultaat bepaalt en die input wordt gedaan door mensen. Mijn fractie is het daarom ook volledig eens met de conclusie dat de kennis van de Kamer vergroot moet worden. Daar heeft de commissie-Gerkens destijds aan de overkant ook voor gepleit. Die commissie pleitte niet voor een aparte commissie of een aparte minister of staatssecretaris, omdat IT in alle projecten voorkomt. Je kunt bijna geen wetgeving meer bedenken die geen digitale component heeft. Wanneer we die kennis in een commissie brengen, wie is er dan verantwoordelijk voor het eindproduct? Wie brengt die kennis in bij andere commissies?

De commissie-Gerkens pleitte ook voor versterking bij de staf, door een medewerker op dit thema aan te trekken. Verder was het advies om in alle wetgeving een digitale paragraaf op te nemen, die de risico's kon aangeven van de wetgeving. Vervolgens is het aan de Kamer om het debat aan te gaan. Wat laten we wel bij de programmeur? Welke kaders geven we mee? Alleen wanneer de hele Kamer wordt meegenomen, kunnen we collectieve beslissingen nemen gestoeld op de juiste aannames. Daarom vindt mijn fractie een digitale commissie geen goede oplossing. Aan de staatssecretaris de vraag hoe zij hierover denkt. Zij is immers de portefeuillehouder digitale zaken. Hoe ziet zij de ontwikkelingen en het debat rondom de Omgevingswet, maar ook de Wegiz, wetgeving die bij haar collega's ligt? Hoe verhoudt zich dat tot het huis van Thorbecke? Wat kan zij doen als zij met haar kennis en kunde ziet dat het bij haar collega's misgaat? Het is belangrijk om daar inzicht in te hebben, want alleen op die manier krijgen we grip op algoritmes niet alleen bij de overheid, maar bij de gehele overheid.

De heer Dittrich (D66):

Ik snap het niet helemaal. Ik had eigenlijk begrepen dat mevrouw Gerkens de staatssecretaris wilde vragen hoe zij het ziet als de Kamer besluit om een aparte commissie voor Digitale Zaken in te voeren. Dat is toch eigenlijk iets wat wij zelf moeten beslissen en niet zozeer iets waar de regering over gaat? Of zie ik dat verkeerd?

Mevrouw Gerkens (SP):

Ik zei het niet goed. Ik wilde de staatssecretaris eigenlijk vragen — en dat deed ik later in mijn betoog ook — hoe zij het ervaart, zij die wel portefeuillehouder is voor digitale zaken en tegelijkertijd te maken heeft met het huis van Thorbecke. Hoe gaat zij daarmee om met haar collega's? Ik hoor graag van haar wat haar ervaringen daarmee zijn.

De heer Dittrich (D66):

Dat snap ik. Dat vind ik ook een goede vraag. Maar daarvoor zei u iets over die aparte commissie voor Digitale Zaken die mevrouw Veldhoen heeft voorgesteld en waar voordelen aan zitten, maar misschien ook wel nadelen. Maar ik begreep dat u aan de staatssecretaris vroeg hoe zij daartegen aankijkt, en dat vind ik een beetje een vreemde variant.

Mevrouw Gerkens (SP):

Dat klopt. Daarvan zei ik ook: u hoorde het goed, maar dat zei ik dus verkeerd. Dat was niet wat ik probeerde te vragen.

Mevrouw Veldhoen (GroenLinks):

Ik kom even terug op de commissie-Gerkens. Ik constateer dat er in de Tweede Kamer inmiddels sprake is van voortschrijdend inzicht, want daar is er inmiddels wel een vaste Kamercommissie voor Digitale Zaken. Misschien kunt u daarop reflecteren.

Een tweede vraag. U zegt "het zou overal geborgd moeten zijn en niet bij een vaste Kamercommissie". Nu heb ik al gewezen op het feit dat je in deze Kamer ook gecombineerde vergaderingen kunt houden, wat we ook vaker doen. We hebben in deze Kamer ook bijvoorbeeld de commissie voor Europese Zaken. Je zou ook kunnen zeggen "Europese wetgeving komt overal voor". Dat is waar, maar met de commissie voor EUZA wordt dat nog eens extra geborgd. Zo zou je de commissie voor Digitale Zaken ook kunnen zien. Zou die op die manier niet een meerwaarde hebben, is mijn vraag aan mevrouw Gerkens.

Mevrouw Gerkens (SP):

Daarop is het antwoord op dit moment wat mijn fractie betreft: nee, dat heeft die niet. Ik zei het in een interruptie al: als je gecombineerde commissievergaderingen houdt, dan levert toch vaak de commissie die het voortouw heeft, de woordvoerder. Zeker in wat kleinere fracties, waarvan we straks hier wat meer hebben dan nu, zul je zien dat daarin keuzes gemaakt worden. Dan nog mis je dat spreiden van die kennis. U zegt dat er voortschrijdend inzicht is geweest in de Tweede Kamer. Ik ben dat niet met u eens. Ik moet eerlijk zeggen dat ik had gehoopt dat de Tweede Kamer juist de eerdere aanbevelingen had ingevoerd, veel eerder dan over te gaan naar een commissie Digitale Zaken. We zien ook daar het spanningsveld, zoals ik al eerder zei in een interruptie. De commissie Digitale Zaken praat over hele verstandige dingen, maar ondertussen komt er wel een Kamerlid met een motie die echt iets doordrukt op de Omgevingswet waarvan je vanuit het digitale aspect zegt dat je dat absoluut niet moet doen. Daar zit volgens mij veel meer risico. Dan kunnen we straks een commissie Digitale Zaken hebben die hele verstandige dingen zegt, maar linksom of rechtsom komen er andere Kamerleden met moties, want die hebben die kennis niet. We moeten echt zorgen dat dat overal geborgd is.

Mevrouw Veldhoen (GroenLinks):

Ik ben het helemaal met u eens dat dat overal geborgd moet zijn, maar de praktijk leert dat dat niet het geval is. Dan zou je een tussenfase moeten inlassen waarin je wel die vaste Kamercommissie hebt, zoals Jeroen Recourt ook aangaf. Dan kun je evalueren aan het einde van een termijn of die dan inderdaad nog noodzakelijk is. Wat mijn fractie betreft is het zeker op dit moment, nu de kennisachterstand zo groot is, noodzakelijk om die vaste Kamercommissie in te stellen. Dat geeft ook het signaal naar buiten toe af dat wij digitale zaken in het hart van onze organisatie plaatsen, net zoals het kabinet heeft gedaan met het aanstellen van een staatssecretaris Digitalisering en de Tweede Kamer heeft gedaan. In dat opzicht straal je ook naar buiten toe uit dat je dit zwaar aanzet en van belang vindt. Misschien wilt u er nog eens met die blik naar kijken. Je zou het moeten zien als een tussenfase waarin je probeert op vlieghoogte te komen. We moeten er inderdaad uiteindelijk naartoe dat ieder Kamerlid volledig digitaal onderlegd is, maar dit zou een tussenstap zijn.

Mevrouw Gerkens (SP):

Ik heb er met die blik naar gekeken en ik kom tot een totaal andere conclusie. Ik denk dat als je een commissie Digitale Zaken hebt, je daarmee de verantwoordelijkheid bij die commissie neerlegt. Je zou juist moeten zeggen: laten we vanuit de staf heel helder maken dat er een digitale paragraaf is bij alle wetgeving die nu naar ons toekomt en dat we daar in alle commissies ook gedegen over moeten praten. Pas dan kan iedereen zich gemeenschappelijk verantwoordelijk voelen voor een thema. Ik denk dat als je een commissie Digitale Zaken hebt, men zegt: dat zal de commissie wel oppakken. Mijn oordeel op die analyse is anders dan het uwe.

Voorzitter, ik rond af. Waar we geen grip op kunnen krijgen, is de AI bij het bedrijfsleven. In toenemende mate leggen we de taken die bij de trias politica horen neer bij big tech. Deze werkt met AI waarvan de algoritmes niet openbaar zijn. Ik noem opnieuw het scannen van misbruikbeelden. Daarmee hebben we geen zicht op de totstandkoming van het bewijs. Dat is een zorgwekkende ontwikkeling, waar we wat mij betreft een volgend debat over mogen houden.

Dank u wel.

De voorzitter:

Dank u wel, mevrouw Gerkens. Dan is het woord aan de heer Dittrich namens D66.

De heer Dittrich (D66):

Dank u wel, voorzitter. De samenleving verandert snel. Dat kunnen we al meteen zien aan de lessenaars. We hebben daar inktpotjes op staan, terwijl het debat gaat over zelflerende algoritmes. Die digitale transitie is zo belangrijk, eigenlijk net zo fundamenteel als de introductie van de boekdrukkunst of de elektriciteit. AI wordt steeds geavanceerder qua technologie en raakt ook steeds meer verweven in de instituties die onze samenleving schragen.

Dan kom ik meteen op het punt van de programmering, want dat is nog steeds een mannending, nog altijd. Hoogleraar computerwetenschappen Felienne Hermans waarschuwt in de Volkskrant van eergisteren voor de gevolgen daarvan. Een voorbeeld vond ik heel pregnant, daar ik er zelf mee te maken heb gehad. Er wordt met algoritmes een nieuw systeem gebouwd, een app waarin je kunt volgen waar iemand is. De heer Recourt gaf daar al een voorbeeld van. Hij stapt in zijn auto en opeens krijgt hij te horen hoeveel minuten hij nog moet rijden. Maar voor een heleboel vrouwen is dat helemaal niet zo'n prettig idee. Die zijn bijvoorbeeld het slachtoffer van stalking en opeens weet men waar zij zich bevinden. Ik wil daar maar mee zeggen dat er bij de bouw van die systemen al een soort genderbalans zou moeten zijn, want veel groepen mensen in de samenleving en hun grondrechten krijgen met de gevolgen van AI te maken. Wij als wetgever uiteraard ook, dus we moeten goed voorbereid zijn, maar wij staan op grote achterstand als het daarom gaat. Dat ben ik met iedereen eens. Ik wil een citaat naar voren brengen van Marc Schuilenburg, hoogleraar digital surveillance aan de Erasmus Universiteit. Hij zegt: "De technologie is er. Het is heel makkelijk voor de politie om steeds sneller en eerder mensen op te zoeken. Maar omdat het hier gaat om grondrechten, moet de politie daarbij terughoudend zijn. Maar als ze bij iedereen zelfs al familieleden gaan opzoeken en nader onderwerpen, blijkt dat ze dat niet zijn." Dat was uit een rapport van Investico.

Wat ik daarmee wil zeggen, is: er gebeurt van alles en we hebben daar geen grip meer op. Digitalisering is een van de twee topprioriteiten van de huidige Europese Commissie. Ik begrijp dat er nog wordt onderhandeld over onder andere de Artificial Intelligence Act, de Data Act en de eIDAS-verordening. Er komt dus nog veel meer wetgeving via Europa op ons af als medewetgever.

De ontwikkelingen gaan steeds sneller. Dat brengt ook een versnelling van sociale veranderingen in de samenleving met zich mee. Digitalisering is nooit waardevrij en zet daarom druk op publieke waarden zoals veiligheid, democratie, zelfbeschikking, werkgelegenheid, de verhouding tussen burgers onderling en de verhouding tussen burgers en de overheid, maar ook op belangrijke beginselen zoals non-discriminatie, participatie, privacy en inclusiviteit.

Het is al door voorgaande sprekers gezegd: machtsevenwichten verschuiven van publiek naar privaat. De macht wordt geconcentreerd bij een beperkt aantal grote technologiebedrijven. Het vertrouwen in de democratie en de publieke instituties neemt echter ook af. Dat komt onder meer door het verkeerd inzetten van data en algoritmes door de overheid en grote uitvoeringsorganisaties, die niet meer in staat zijn hun publieke taken goed uit te voeren. Soms verliezen zij ook de menselijke maat uit het oog. Daarnaast gaan verbeteringen moeizaam. Dat komt met name door verouderde ICT.

Er vinden echter ook machtsverschuivingen plaats binnen de Staat, binnen de trias politica. Die raken ook onze positie als Eerste Kamer. Bij de deskundigenbijeenkomst die wij georganiseerd hebben, zei professor Reijer Passchier het volgende. De uitvoerende macht wordt steeds dominanter. Er gaat een risico op willekeur ontstaan. Er vindt machtsmisbruik plaats. Denk aan het toeslagenschandaal. De regering, de ministeries en de uitvoeringsorganisaties hebben duizenden ambtenaren ter beschikking die fulltime kunnen werken met AI, maar de Staten-Generaal is in deze ontwikkeling hopeloos achtergebleven. Door AI wordt de uitvoerende macht als het ware een black box. Toegepaste algoritmes zijn vaak niet openbaar, vanwege opsporingsbelang of auteursrechtelijke kwesties. De digitale consequenties zijn niet inzichtelijk.

Willen we de regering goed kunnen controleren qua wetgevingskwaliteit en uitvoerbaarheid van tot stand gekomen wetten, dan zal de Eerste Kamer zich absoluut moeten versterken. We hebben als senatoren deskundige ondersteuning nodig aan wie we vragen kunnen stellen over de inzet van AI en de effecten daarvan. Ik heb hier in mijn spreektekst het volgende staan. Over het algemeen zijn Eerste Kamerleden wat ouder in leeftijd dan de gemiddelde Nederlander. Onze generaties zijn niet opgevoed met digitale technieken of een smartphone, zoals bij jonge mensen tegenwoordig het geval is, maar toch moeten wij de toekomstige generaties bekijken. We moeten oordelen vellen die hen met name raken, over 20 jaar, over 30 jaar en over 40 jaar. Daarom is een versterking van de digitale kennis en de impact daarvan op het dagelijks leven een must.

Echter, hoe moeten we dat dan doen? Er is een voorstel gedaan om een Kamercommissie Digitale Zaken op te richten. In interrupties heb ik gezegd dat ik daar voordelen aan zie, maar ook nadelen. Wij zullen daar dus nog een afweging over moeten maken. Het moet niet zo zijn — dat zei mevrouw Gerkens heel pregnant — dat alles wordt geparkeerd in een bepaalde commissie en dat er generiek geen meerwaarde ontstaat. Andere Kamerleden moeten ook beseffen hoe belangrijk AI is. Ik denk dat het heel belangrijk is dat wij als Eerste Kamerleden bij relevante wetgeving aan de voorkant de juiste vragen stellen. Hoe hebben de systeembouwers die aspecten ingebouwd in AI, zodat er geen foute ontwikkelingen plaatsvinden voor wat betreft bijvoorbeeld discriminatie, negatieve etnische profilering enzovoorts?

Deze maand is de Commission on the Status of Women van de Verenigde Naties, de CSW, bij elkaar geweest. Die commissie heeft conclusies getrokken. Die zegt dat regeringen, met het oog op gendergelijkheid bij de bouw van AI, acties zullen moeten ondernemen. Mijn eerste vraag aan de staatssecretaris is hoe de regering omgaat met die conclusies van de CSW. Het gaat natuurlijk niet alleen over de bouw, maar het is ook niet helder wat er gebeurt met de data die worden verzameld. Dat is eerder al door andere sprekers gezegd. Wie krijgt die data nou te zien? Welke beslissingen worden er genomen op basis van data? Aan wie of welke organisaties worden ze verstrekt? Welke beslissingen worden op grond van die verstrekte data genomen door organisaties die nooit met de burger zelf hebben gesproken? Kortom, het is van belang dat de Eerste Kamer een vast denkkader ontwikkelt voor de beoordeling van wetsvoorstellen waarbij AI een rol speelt in de uitvoering. Het moet een bij de rol van de Eerste Kamer passende lijst van vragen zijn die beantwoord moeten zijn, voordat we zo'n wetsvoorstel goedkeuren.

De Raad voor het Openbaar Bestuur heeft daar al een voorzet voor gegeven, zo bleek ook uit de deskundigenbijeenkomst. Het gaat bijvoorbeeld om de volgende vragen. Wat is eigenlijk het doel van de wet? Willen we daar ook AI voor inzetten? Welke data willen we daarvoor gebruiken? Betreft het een zelflerend algoritmesysteem? Is het gebouwd met inachtneming van het respect voor grondrechten? Zijn het recht op persoonlijke levenssfeer, het recht op gelijke behandeling en het recht op een eerlijk proces daarin verankerd? Wie waren er betrokken bij de bouw? Is er altijd een menselijke tussenkomst mogelijk tijdens de toepassing? Zijn de algemene beginselen van behoorlijk bestuur verankerd bij de toepassing van de betreffende algoritmische besluitvorming? En zo bepalen het motiverings- en zorgvuldigheidsbeginsel dat de overheid ervoor moet zorgen dat er inzicht in en controleerbaarheid van door algoritmes gemaakte keuzes is. Nu is het zo dat de burger eerst de fout in een door een AI genomen beslissing moet herkennen. Vervolgens moet hij in bezwaar gaan. Vaak ontbreekt het aan een menselijk contactpunt om vragen te stellen over wat er precies is gebeurd. De burger wordt dan van het kastje naar de muur gestuurd. Wij vinden dus dat een mens altijd door AI genomen beslissingen aan de burger moet kunnen uitleggen.

Hoe ver reikt dataeigenaarschap? Dat is een vraag die Kathalijne Buitenweg opwerpt in haar boek over AI. Wij vinden dat individuele mensen — je kunt dat natuurlijk laten zeggen via het cookiesysteem — afstand doen van hun eigenaarschap, maar wij zouden het vergaren van data, de profielen die daaruit voortkomen door zelflerend AI en het beheer daarover eigenlijk moeten gaan zien als een publiek goed en niet meer als een particuliere beslissing. Mijn vraag is hoe de staatssecretaris dat ziet en wat voor consequenties dat zou hebben voor onze wetgeving.

De heer Recourt (PvdA):

Hoe interessant die laatste vraag ook is — ik geloof dat ik het wel eens ben met de impliciete waardering die onder die vraag ligt — heb ik een vraag over het onderwerp daarvoor. Hoe kunnen de algemene beginselen van behoorlijk bestuur de burger helpen om op te komen tegen beslissingen van de overheid die deels genomen zijn op basis van de toepassing van AI? Mijn vraag is hoe de burger weet dat er AI ten grondslag ligt aan de beslissing, ook al is AI uitlegbaar, gemotiveerd enzovoort.

De heer Dittrich (D66):

Dat is een hele goede vraag. Ik ga die nu beantwoorden; dat scheelt weer wat spreektekst. De fractie van D66 vindt dat er een informatieplicht van de overheid moet komen. Daar waar AI in wetgeving gehanteerd wordt, moet de burger dat horen van de overheid, zodat het veel duidelijker wordt. We hebben gezien dat in Frankrijk bijvoorbeeld het informatierecht van de burger op dat punt in wetsvoorstellen is opgenomen. Wij denken dat dat in Nederland een goede zaak zou zijn.

De heer Recourt (PvdA):

Praktisch betekent dat dus dat bij een besluit door een bestuursorgaan moet staan: bij dit besluit is gebruikgemaakt van AI. Dan zou je als burger, op het moment dat je het niet eens bent met dat besluit, in bezwaar moeten gaan en vragen: kunt u uitleggen wat AI heeft gedaan? Moet ik het me zo praktisch voorstellen?

De heer Dittrich (D66):

Ja, zij het dat wij vinden dat de overheid veel servicegerichter zou moeten zijn. Zoals u het vraagt, moet de burger gaan vragen wat er precies bedoeld wordt of wat er gedaan is. Wij vinden dat de overheid een informatie- en uitlegplicht heeft. Dat was mijn vraag aan de staatssecretaris: hoe gaan we dat dan precies allemaal doen? Maar dat is het uitgangspunt, niet het steeds de lasten bij de burger leggen. De overheid moet servicegerichter zijn dan ze tot voor kort geweest is.

Mevrouw Veldhoen (GroenLinks):

Collega Dittrich wijst ook op Franse wetgeving. Ik heb daar ook iets over gezegd. Ik wil nog even invullen wat daar precies noodzakelijk is. Dat is begrijpelijke informatie over het doel, de mate van algoritmegebruik, het type gegevens en bronnen. Is dat ook waar u op doelt als u zegt "er moet een informatieplicht zijn"? Gaat het dan zo ver?

De heer Dittrich (D66):

Ja, want je moet kunnen beoordelen: ben ik het eens met deze beslissing die via AI uiteindelijk tot mij als burger komt, en hoe is die tot stand gekomen? Daar moet je dan een discussie over aangaan. Het zou overigens best zo kunnen zijn dat die beslissing goed is — althans, de burger is het daar misschien niet mee eens, maar uiteindelijk kan het overheidsorgaan dat wel ondersteunen — maar dan moet er ook uitleg zijn, het moet begrijpelijk zijn, er moet menselijk contact zijn.

Mevrouw Veldhoen (GroenLinks):

De Franse wetgeving gaat nog een stap verder. Daarin is ook bepaald dat als niet aan die informatieplicht wordt voldaan, het besluit ongeldig is. Hoe staat de fractie van D66 daartegenover?

De heer Dittrich (D66):

Nou, ik heb gehoord dat de fractie van GroenLinks dat een heel goed idee vindt. U legde ook de link met het strafrecht. U zei: dat kan dan leiden tot bijvoorbeeld niet-ontvankelijkheid, omdat het overheidsorgaan te ver is gegaan. Daar moet ik toch echt nog wel even over nadenken. Ik heb net gezegd: soms kan het natuurlijk zo zijn dat die beslissing wel goed is in een concreet geval, ook al is de burger het er niet mee eens. Als dan de sanctie automatisch zou zijn dat het hele besluit weggaat en ongeldig wordt en wat dan ook … Dat weet ik niet. Daarom denk ik dat de staatssecretaris daar haar licht over kan laten schijnen.

De voorzitter:

Tot slot, mevrouw Veldhoen.

Mevrouw Veldhoen (GroenLinks):

Het is sowieso heel fijn als de staatssecretaris haar licht erover laat schijnen. Maar het is natuurlijk bedoeld als correctiemechanisme, om ervoor te zorgen dat bestuursorganen het daadwerkelijk gaan doen. Dat is natuurlijk hetzelfde bij onrechtmatig verkregen bewijsmateriaal. Het is natuurlijk heel pijnlijk als daardoor een verdachte vrijuit gaat waarvan je wel denkt "dat is degene die het strafbare feit heeft begaan", maar het maakt ook dat de politie beter oplet bij bijvoorbeeld het verkrijgen van bewijs of onrechtmatige staandehouding. Dat zou je natuurlijk bewerkstelligen, net als dat de bestuursorganen zorgvuldiger omgaan met het nemen van dat soort besluiten en het vastleggen in de beschikking. Dan heeft het op die manier een zelfreinigend effect.

De heer Dittrich (D66):

Ja, ik snap heel goed dat er een soort stok moet zijn om uiteindelijk tot verbetering van werkwijzen te komen. Maar ik vind het nogal wat om te zeggen: dan is het hele besluit niet geldig. Maar laat ik het zo beantwoorden: ik kan op dit moment nog niet helemaal overzien waar dat toe leidt. Daarom vind ik dat de regering daar wat duidelijkheid over moet kunnen geven. Maar de gedachte dat je niet ongestraft alles als overheid kan doen, ook al heb je een regel van een informatieplicht … Als je dan toch gewoon doorgaat met geen informatie geven, helpt dat niet. Dus ik snap wel dat we zoeken naar een stok, maar of dat de juiste reactie is, weet ik eigenlijk niet.

Voorzitter, ik ga weer door. Wetsvoorstellen die door de Eerste Kamer zijn aangenomen en die met behulp van AI ten uitvoer worden gelegd, zullen echt een heel heldere evaluatiebepaling moeten gaan behelzen. Het gebruik en de effecten van AI moeten daarin onder de loep worden genomen. Maar — het is ook al eerder door anderen gezegd — er zijn natuurlijk ook wetsvoorstellen, denk aan de Wet politiegegevens, die helemaal geen AI regelen. Dus we hebben ons daar in de Eerste Kamer helemaal niet over uitgesproken. De praktijk gaat het dan wel doen met dat Criminaliteits Anticipatie Systeem, het CAS. Dat is door de rechter natuurlijk opzijgezet, omdat dat ging discrimineren en aan etnisch profileren ging doen. Dus er zijn wetten die al aanvaard zijn door de Kamer, waar op zichzelf geen AI-element in zit, maar waarbij de praktijk het gaat doen. Daar moeten we natuurlijk ook een vinger achter zien te krijgen. Mijn vraag aan de staatssecretaris is hoe zij staat tegenover het opnemen van toetsing op AI-gebruik bij evaluaties van alle relevante wetten.

Mevrouw Veldhoen heeft voorgesteld dat er een soort commissie komt waar je vragen aan kan stellen. Een interessant idee. Ik wacht nog even de beantwoording van de staatssecretaris erover af. Maar structureler toezicht is echt nodig op algoritmische besluitvorming, door bijvoorbeeld de Algemene Rekenkamer, de Autoriteit Persoonsgegevens of de Auditdienst van het Rijk. In de hoofdlijnenbrief van maart 2022 heeft de staatssecretaris al geschreven dat het kabinet gaat investeren in een sterke positie van de Autoriteit Persoonsgegevens, dat het een algoritmetoezichthouder gaat introduceren en dat het de samenwerking en de samenhang tussen diverse digitale toezichthouders gaat versterken. Wat is hiervan de recente stand van zaken? Ik geef hierbij aan dat controle en toezicht op algoritmische besluitvorming essentieel zijn, niet alleen in Nederland, maar ook binnen de EU. Regels en beleid opstellen is één ding, maar toezicht en handhaving zijn essentieel. Daarmee kom ik op de vraag die anderen ook al hebben gesteld: hebben de Autoriteit Persoonsgegevens en andere toezichthouders voldoende menskracht en middelen om hun taken goed uit te voeren? Wat is daarvoor het perspectief?

Door andere sprekers is een AI-jaarplan al naar voren gebracht. Daar is de fractie van D66 het erg mee eens. De Raad voor het Openbaar Bestuur heeft daar ook al aandacht voor gevraagd. Graag een reactie van de regering daarop, dus. Wat D66 betreft moet er altijd een betekenisvolle menselijke tussenkomst op AI zijn, zowel in het begin van het proces als tijdens het proces als bij de beslissingen die op grond van AI worden genomen. Daarbij dient bedacht te worden dat er allerlei ethische dilemma's kunnen ontstaan en keuzes worden gemaakt tijdens dat hele proces. Daar zijn al mooie woorden over gesproken, onder anderen door de heer Verkerk. Ik sluit me bij een aantal van zijn vragen aan.

Een mens met verantwoordelijkheid moet daarop altijd aanspreekbaar zijn. Hoe geeft de staatssecretaris dit met haar collega's vorm in de komende wetgeving? Professor Wolswinkel, die wij gehoord hebben als deskundige, zei: er zullen altijd een aantal normen specifiek in de wet moeten worden opgenomen om de burger iets meer houvast te geven. Zo moet het altijd worden duidelijk gemaakt als AI wordt toegepast. Ik heb daar met de heer Recourt al over gesproken, over het informatierecht.

Over een algoritme-impactassessment zou ik, in aanvulling op voorgaande sprekers, alleen het volgende willen zeggen. Als de overheid een digitaal systeem aankoopt bij een derde, moet in de contractvoorwaarden zijn opgenomen dat een deugdelijk mensenrechtenimpactassessment is uitgevoerd. De staatssecretaris wil dat verplicht stellen bij wetgevingsvoorstellen. D66 ondersteunt dat. Maar ook bij het bouwen van algoritmes moeten afwegingen met betrekking tot grondrechten worden gemaakt. De vraag of een inbreuk op een grondrecht proportioneel is, bijvoorbeeld, is eigenlijk al een politieke vraag. Wij willen dan ook dat die afweging door ons kan worden beoordeeld. Is de staatssecretaris bereid de uitkomsten van zo'n mensenrechtenimpactassessment met de Eerste Kamer te delen, of blijft zij erbij dat de uitkomsten van zo'n assessment alleen maar met de toezichthouder hoeven te worden gedeeld, zoals in een van de brieven staat? Als dat zo is, hoe verhoudt zich dat dan tot de noodzakelijke transparantie waartoe bijvoorbeeld het Rathenau Instituut oproept?

Voorzitter, ik ga afronden.

De voorzitter:

Dat hoop ik wel, want u bent al over uw spreektijd heen.

De heer Dittrich (D66):

Ja, en daarom ga ik ook afronden. Niet alleen de technologie van AI en de impact ervan moeten ruim aandacht krijgen van de Eerste Kamer, maar ook de mensen die daarmee werken, qua opleiding en dergelijke. Er is al naar voren gebracht dat de overheid soms mensen goed opleidt. Dan komen er opfriscursussen en andere dingen. Die mensen doen dan werkervaring op bij de overheid op kosten van de overheid en springen vervolgens over naar het bedrijfsleven, dat daar de vruchten van plukt. Mijn vraag aan de regering is dus: hoe gaan we daarmee om?

Helemaal tot slot. De IT-infrastructuur bij de overheid is verouderd. Soms zijn er hele goede dingen ontwikkeld, maar kunnen die niet eens ingevoerd worden omdat de informatietechnologiestructuur verouderd is. Wat is hiervoor het perspectief?

Dank u wel, voorzitter.

De voorzitter:

Dank u wel, meneer Dittrich. Dan is het woord aan de heer Otten namens de Fractie-Otten.

De heer Otten (Fractie-Otten):

Voorzitter. In 2005 las ik dit boek, The Singularity Is Near van Ray Kurzweil. Ik heb dat boek vanochtend even uit de kast getrokken. Ik heb het gedeeltelijk gelezen, want het is een lijvig boekwerk over artificial intelligence in een ander tijdperk, een tijdje geleden. Het is nu 2023 en de singulariteit is alweer een stuk dichterbij dan in 2005. Wat is singulariteit? Singulariteit beschrijft de hypothetische toekomst waarin de groei van technologie onbeheersbaar en onomkeerbaar wordt. Dit begrip wordt ook gehanteerd voor toekomstige computerprogramma's die zo geavanceerd zijn dat AI de menselijke intelligentie overstijgt, waardoor de nu nog bestaande grens tussen de mensheid en de computer verdwijnt. De schrijver van dit boek is ervan overtuigd dat dat gaat gebeuren. Ik weet niet of dat allemaal zo'n vaart loopt, maar de singulariteit wordt dus gezien als het moment dat de machinale intelligentie de menselijke intelligentie overstijgt. Dat kan utopische scenario's oproepen, maar ook terminatorachtige toekomstscenario's. Het is goed dat wij daar vandaag dit debat over hebben.

De consensus van deskundigen op dit moment is dat de singulariteit nog niet nabij is, maar dat er inmiddels wel grote stappen zijn genomen in machinale, artificial en augmented intelligence. Computers hebben reeds menselijke wereldkampioenen verslagen met schaken, ook met het spel Go, maar ook met kredietbeoordelingen, analyse van huidkanker, herkenning van muziek en andere complexe taken die nu al met succes door algoritmen worden uitgevoerd.

De heer Van Wely (Fractie-Nanninga):

Dank voor deze provocatie. Ik vroeg me af of de heer Otten op de hoogte is dat de laatste Go-computer is verslagen door de method of distraction.

De heer Otten (Fractie-Otten):

Nee, daar was ik niet van op de hoogte, maar fijn dat u mij daarop updatet. Ik had van u als voormalig kampioen schaken ook niet anders verwacht. Ik weet veel van Go, maar niet van het spel.

De heer Van Wely (Fractie-Nanninga):

Nee, maar dat betekent dus dat de strijd nog niet gestreden is. Misschien is er nog hoop.

De heer Otten (Fractie-Otten):

Dat is dan een heel goede, feitelijke correctie. Het geeft in elk geval aan dat de singulariteit er nog niet is. Dank voor deze nuttige interruptie, zeg ik tegen de heer Van Wely van de Fractie-Nanninga.

Ik noemde een aantal taken die op dit moment beter door computers kunnen worden uitgevoerd dan door mensen. Alles wijst erop dat de vooruitgang in de intelligentie van algoritmen voortgaat. Sterker nog, alles wijst erop dat deze ontwikkeling nu versnelt, en recente ontwikkelingen in software lijken die versnelling te bevestigen. De applicatie DALL-E 2 maakt foto's op commando. We hebben dus ook geen fotograaf meer nodig hier in de zaal, dat kan allemaal geautomatiseerd worden. GPT-3 produceert teksten over elk denkbaar onderwerp, gebruikmakend van Large Language Models, LLM-technologie. En bedrijven als Google en Microsoft hebben bevestigd dat LLM-technologie cruciaal is in hun productontwikkelingsplannen. En de voortbrengselen van ChatGPT worden als spectaculair gezien en maken fundamentele, praktische, zakelijke en filosofische discussie los. Ik neem aan dat u allemaal net als ik al op ChatGPT vragen over uzelf heeft gesteld of een gedicht over uzelf heeft laten maken. Dat zal ik u allemaal besparen. Volgens ChatGPT was ik overigens Tweede Kamerlid en had ik de Tweede Kamer al in 2021 verlaten. U moet dus niet alles klakkeloos voor waar aannemen wat ChatGPT zegt, want ik zit al sinds 2019 onafgebroken in deze Eerste Kamer. Ik stelde de volgende vraag aan ChatGPT: wat kun je niet? Toen kreeg ik het volgende antwoord. "Als taalmodel van OpenAI heb ik beperkingen in mijn vermogen om informatie te verstrekken en specifieke taken uit te voeren. Hieronder staan de beperkingen die ik heb. 1: Ik heb geen realtime toegang tot informatie, dus mijn kennis is beperkt en mijn opleidingsgegevens zijn afgesneden in 2021. 2: Ik heb geen vermogen om emoties of subjectieve waarderingen te ervaren; ik kan alleen objectieve feiten en informatie verstrekken. 3: Ik heb geen vermogen om fysieke taken uit te voeren, zoals het uitvoeren van experimenten of het verzenden van post. 4: Ik kan soms fouten maken of onnauwkeurige informatie verstrekken, dus het is belangrijk om altijd meerdere bronnen te raadplegen en mijn antwoorden kritisch te beoordelen." Tot zover het antwoord van ChatGPT op de vraag "wat kun je niet?"

Enkele dagen geleden lanceerde OpenAI de volgende versie van het platform: GPT-4. Die wordt alweer als een forse stap voorwaarts gezien, een die van directe invloed is op alle processen waarin tekst geproduceerd wordt en die historisch gezien worden als uniek menselijk. Bovendien laat deze nieuwe versie toe dat de gebruiker ook kunstmatige afbeeldingen laat produceren met commando's, bijvoorbeeld door te zeggen: toon de voorzitter van de Eerste Kamer in een opgewonden toestand terwijl er veel interrupties zijn en doe dat in de stijl van Salvador Dalí. Dan wordt die foto dus gemaakt. Ik had er ook een bepaalde voorstelling bij toen ik deze speech schreef.

Bij dit debat over regulering van AI moeten we een aantal belangrijke punten met betrekking tot algoritmen goed in het oog blijven houden. Moderne intelligente algoritmen zijn probabilistisch. Ze werken met enorme hoeveelheden data en statistische patronen daarin. Ze zijn daarom niet of nauwelijks te reguleren of te auditen. Het begrip waarom ze tot besluiten komen, is beperkt of soms zelfs niet mogelijk. Software trekt zich bijna niets aan van landsgrenzen of jurisdicties en is oneindig kopieerbaar en combineerbaar. Het laat zich ook eenvoudig kopiëren of hergebruiken als onderdeel van andere software. We weten ook nog maar weinig van hoe die algoritmen zich gedragen en wat de kansen en risico's zijn. Natuurlijk kan elke technologie ten goede en ten kwade gebruikt worden. Dat geldt voor een stanleymes en ook voor een algoritme.

Voorzitter. Menigeen heeft hoge verwachtingen van regelgeving en toezicht, maar we moeten wel realistisch blijven. De ontwikkelingen gaan nu namelijk zo ontzettend snel en niet lineair. Inkadering via wetgeving is volgens ons maar beperkt mogelijk om de redenen die ik al noemde. Er bestaan op dit moment in feite ook geen kaders, hooguit marginaal via zelfregulering bij bedrijven. Er is nu zoveel onzekerheid dat het erg lastig is om dit juridisch in te kaderen. Dan hebben we het nog maar helemaal niet over de mogelijkheden om dergelijke juridische kaders te handhaven. Als dat al lukt, dan vindt AI weer een mogelijkheid om die te ontwijken. Zoals ik al zei, is software niet aan grenzen of jurisdicties gebonden. Dit vergroot de praktische problemen voor lokale regelgeving en toezicht.

Het is vroeg dag en het gaat hier om een dynamisch probabilistisch verschijnsel met een geringe causaliteit. Dat maakt dit probleem echt buitengewoon ingewikkeld. Onze fractie is dan ook sceptisch of de Nederlandse wetgever deze ontwikkelingen kan bijbenen, nog afgezien van het praktisch probleem van het vinden van de geschikte ICT-talenten. Hoe ziet de staatssecretaris dat? Ons advies is dan ook om vooral rustig te blijven, goed na te blijven denken, dit niet puur als een technisch probleem te zien en ook niet als een puur juridisch probleem. Betrek er deskundigen bij van multidisciplinaire herkomst en benader het vraagstuk als een onvoorspelbaar en dynamisch vraagstuk.

Wij zien graag de visie van de staatssecretaris op dit alles. Tot zover.

De voorzitter:

Dank u wel, meneer Otten. De heer Dittrich.

De heer Dittrich (D66):

Ik hoorde de heer Otten zeggen dat we vooral rustig moeten blijven. Toen dacht ik: is dat onderdeel ook door ChatGPT geschreven?

De heer Otten (Fractie-Otten):

Nee, dat heb ik helemaal zelf bedacht. U kent mij toch? Ik blijf altijd rustig in alle situaties, dus ook in deze, zeg ik tegen de heer Dittrich. Bedankt voor de grappig bedoelde interruptie.

De heer Verkerk (ChristenUnie):

Ik heb de heer Otten enkele mooie dingen horen zeggen. Hij gaf op ludieke wijze aan waar de beperkingen van AI zitten. Ik denk dat hij daarover een aantal hele goede dingen heeft gezegd. Hij heeft ook gezegd dat AI haast exponentieel wordt gebruikt. Betekent dit dat de beperkingen ook exponentieel groot worden? En als dat het geval is — en u constateert dat het waarschijnlijk heel moeilijk is om hieraan met wetgeving iets te doen — heb ik de vraag hoe u rustig kunt blijven. Of anders gezegd: wat zou u willen doen behalve rustig blijven?

De heer Otten (Fractie-Otten):

Ik denk dat het altijd zaak is om rustig te blijven en niet in paniek te raken, hoe lastig dat ook is. Ik kan daar ook binnen mijn politieke leven over meepraten. Angst is een slechte raadgever; dat zult u ongetwijfeld ook weleens hebben gelezen ergens in de vele boeken die u heeft gelezen. We moeten sowieso rustig blijven. Ik zeg tegen de heer Verkerk, voorzitter, dat we de mogelijkheden van de Nederlandse overheid op het vlak van ICT ook niet moeten gaan overschatten. Tot nu toe heeft het verleden geleerd dat die combinatie op z'n zachtst gezegd niet al te gelukkig is. Zoals ik al zei was ik gisteren bij de Belastingdienst op een heel interessant werkbezoek met de commissie Financiën, ook die van de Tweede Kamer, en daar werd heel openlijk toegegeven dat er grote problemen zijn. Als mensen daar opgeleid zijn, vertrekken ze op middenmanagementniveau allemaal naar het bedrijfsleven, omdat ze daar dan geen aantrekkelijke werkomgeving hebben. Het lukt bij de Belastingdienst al niet, dus we moeten geen al te overspannen verwachtingen hebben dat dit kabinet het met briljante IT'ers gaat oplossen, terwijl het een wereldwijd probleem is en het een toestand is die heel snel versnelt. Het is niet lineair. Het gaat niet stapje voor stapje; het gaat nu met hele grote sprongen tegelijk. Ik betwijfel of dat in te kaderen is. Ik heb daar m'n twijfels bij. Ik vroeg ook aan de staatssecretaris hoe zij daartegen aankijkt.

De voorzitter:

Dank u wel. Als u het goedvindt, wil ik gaan afronden, meneer Verkerk.

Wenst een van de leden in eerste termijn nog het woord? Dat is niet het geval. Dan vraag ik de leden aandacht voor het tijdschema, dat iets gewijzigd is. We zullen dat ook nog via Signal laten weten, overigens. We gaan nu schorsen tot 16.40 uur. Dan doen we een halfuur van de eerste termijn van de regering. Om 17.10 uur ga ik vanwege een aantal commissies schorsen voor de dinerpauze tot 18.10 uur. Dan hervatten we het debat.

De vergadering wordt van 16.22 uur tot 16.40 uur geschorst.

De voorzitter:

Aan de orde is de voortzetting van het debat over grip op algoritmische besluitvorming bij de overheid. We zijn nu toe aan het antwoord van de regering in de eerste termijn. Ik geef het woord aan de staatssecretaris Koninkrijksrelaties en Digitalisering.

Staatssecretaris Van Huffelen:

Met dank, voorzitter. Veel complimenten dat we vandaag over dit onderwerp kunnen spreken en vooral ook complimenten voor al het werk dat door uw Kamer is gedaan om niet alleen maar met experts en deskundigen te spreken en rapporten te laten doen, maar ook om u te verdiepen in dit onderwerp om met elkaar hierover te kunnen spreken. Ik heb een algemene inleiding. Als u het goedvindt, zou ik daarmee willen starten. Daarna wilde ik de vragen per fractie proberen te beantwoorden — dat is enigszins een experiment — omdat die toch per fractie wat anders waren. Ik hoop dat dit gaat lukken. Ik begrijp dat we daarvoor nu een eerste slag gaan slaan en dat we daarna ook nog even een pauze hebben met elkaar.

Met uw welnemen wil ik beginnen met mijn inleidende tekst. Die gaat over het volgende thema: het gebruik van digitalisering en AI door onze overheid. Digitalisering, AI in het algemeen en algoritmes kunnen natuurlijk ongelofelijk veel bijdragen. U heeft daar in uw verschillende bijdragen ook voorbeelden van gegeven. Het gaat dan over privaat gebruik, maar we doen dat ook bij de overheid. Het Kadaster gebruikt AI om data uit notariële aktes automatisch over te nemen. We zorgen er ook voor dat we bijvoorbeeld bij de Belastingdienst kunnen werken met vooringevulde aangiften. Dat zijn allemaal manieren waarop we artificial intelligence in verschillende vormen gebruiken om ons werk efficiënter, beter en makkelijker te maken voor de burgers van Nederland.

Maar we weten ook dat het mis kan gaan. Een van u noemde dat onderwerp ook al. Als voorbeeld werd de gemeente Rotterdam genoemd, die een algoritme heeft gebruikt waarin alleenstaande moeders meer kansen hadden om gecontroleerd te worden op fraude. Dat zijn natuurlijk voorbeelden die niet bepaald de schoonheidsprijs verdienen. We moeten zorgen dat we het beter gaan doen. We moeten een digitale samenleving creëren en realiseren waarin mensen zich veilig en vertrouwd kunnen voelen, waarin iedereen kan meedoen en waarin mensen regie hebben over hun eigen gegevens en hun eigen data, en daarmee ook over hun digitale leven.

In het kader van de vragen en de werkzaamheden die u zelf hebt gedaan, wil ik nog een paar andere opmerkingen maken. Uw werk laat ook zien dat er veel politieke en bestuurlijke aandacht is om grip op de controle over algoritmes te krijgen en om transparantie te vergroten. In mijn reflectie op uw notities heb ik ook aangegeven dat we daar niet alleen in Nederland, maar ook in Europees verband hard aan het werk zijn. Met de initiatieven die u heeft genomen, kunnen we natuurlijk samen zorgen dat het mogelijke toetsingskader en de wet- en regelgeving beter worden vormgegeven ten aanzien van artificial intelligence en risicovolle overheidsalgoritmes. Daarmee wordt gezorgd dat we het beter gaan doen voor de burgers van het land, maar het is ook efficiënter als het gaat over het werk van de overheid. Ik heb ook al eerder aangegeven dat in mijn Werkagenda Waardengedreven Digitaliseren artificial intelligence, AI, een belangrijke rol speelt.

Als het gaat over wetgeving, werkt het kabinet met name ook aan het thema van de uitvoerbaarheid. Daarom hebben we een tijd geleden niet alleen maar ingezet op uitvoeringstoetsen waarin goed wordt gekeken hoe je bijvoorbeeld technologie inzet voor de uitvoering van het beleid — we gebruiken een beleidskompas om nut en noodzaak en uitvoerinconsequenties in beeld te krijgen — maar hebben we er naar aanleiding van de problemen met de toeslagen ook voor gekozen om een invoeringstoets in te voeren die met name is bedoeld om direct na de invoering van wetgeving te toetsen hoe die wetgeving uitpakt voor burgers. Daar willen we ook steeds een herhaling in aanbrengen. We willen dus regelmatig evalueren om te zien of datgene wat we met een wet hebben bedoeld ook daadwerkelijk op die manier uitpakt voor burgers of bedrijven.

Een ander onderwerp waar wij aan werken, is transparantie en de menselijke maat. Wij vinden het ontzettend belangrijk om de werking van regels en algoritmes te begrijpen. Heel vaak wordt artificial intelligence als een black box gezien, waarbij het ondoorgrondelijk is hoe de verbanden in elkaar zitten. Dat zou kunnen leiden tot willekeur en aantasting van rechtszekerheid. Een aantal van u sprak daarover. De werkgroep in uw Kamer laat terecht zien dat bij geautomatiseerde systemen die we al jaren gebruiken en waarbij wet- en regelgeving wordt bepaald, in doorgrondelijke regels en computercode ook nog veel te wensen is als het gaat om transparantie. Want die transparantie is nodig om te kunnen vaststellen en te beoordelen of besluiten die worden genomen op basis van de wetstekst en juridische bronnen, daadwerkelijk de bedoeling van de wet uitvoeren. Inzicht in die regels is van belang om te controleren hoe menselijke tussenkomst in de praktijk plaatsvindt. In de werkagenda werk ik hieraan in het project openregels.nl en het algoritmeregister.

Bij een verantwoorde inzet van algoritmes zijn juridische kaders natuurlijk ontzettend belangrijk. Daarom doen we daar ook veel aan. We werken aan het verbeteren van de uitlegbaarheid en de motivering van besluiten. Niet onbelangrijk is het dat we aan overheidsorganisaties vragen om, bijvoorbeeld bij het toekennen van een studielening of een toeslag, vooraf aan te geven hoe de besluitvorming aan hun kant precies plaatsvindt. Op welke manier wordt de wetgeving door hen uitgevoerd? Welke stappen zitten er in de besluitvorming? Welke data worden ervoor gebruikt? En ook: waar halen ze die data vandaan? Die uitlegbaarheid en motivering is daarnaast heel belangrijk om duidelijk te krijgen voor een burger waarom hij wel of niet in aanmerking komt voor een bepaalde regeling, zoals een toeslag of een studielening.

Vanuit de Europese Unie komen die AI-verordeningen, die specifieke eisen en kaders stellen ten aanzien van het gebruik van algoritmes. Dat is een set van regels die niet alleen voor de overheid geldt, maar ook voor bedrijven in het algemeen. Specifiek voor de overheid geldt echter dat je niet alleen maar moet aangeven waarom je met AI werkt, maar ook hoe die AI tot stand is gekomen. Er moeten keurmerken zijn voor hoogrisico-AI en de toepassing ervan moet duidelijk gemaakt worden. Wij gaan daar nog verder in door het maken van een implementatiekader voor de inzet van algoritmes. Een aantal van u heeft dat genoemd. Dat kader willen we dit jaar afronden en we willen daarin de verschillende vormen van regels, die gelden voor algoritmische besluitvorming, duidelijk maken.

Het is ontzettend nodig om het niet alleen te hebben over de juridische kaders. Of het nu gaat om de bestaande regels, om regels die we nog aan het maken zijn, of om implementatiekaders, het is ontzettend belangrijk dat door overheidsorganisaties op een volwassen manier met die techniek wordt gewerkt en dat verantwoordelijkheden goed belegd worden. Als er iets dreigt fout te gaan, moeten ontwikkelingen ook tijdig worden gestopt. Om die reden vinden wij het belangrijk dat de mensenrechtentoetsen worden gedaan in verschillende fases van de besluitvorming. Bestuurders moeten ook kennis hebben van IT en IT moet in het hart van het beleid zitten. Natuurlijk moet er ook kennis van wetgeving en ethiek bij IT'ers zijn. Door een aantal van u is dat al aangegeven in de bijdragen. Als men regels en codes uitwerkt, vinden we het namelijk van belang dat men ook zeker weet dat het voldoet aan hetgeen waar de wet voor bedoeld is en aan de ethische regels die we met elkaar hebben gemaakt, bijvoorbeeld over privacy, transparantie en rechtsstatelijkheid. Dat even als inleiding hiervoor.

Dan ga ik in op de vragen die gesteld zijn. Nogmaals, ik zal proberen om dat per fractie te doen. Ik begin met de vragen die gesteld zijn door mevrouw Veldhoen van GroenLinks. Zij gaf aan dat zij zich zorgen maakt over het gebruik van algoritmes in de rechtsspraak en vroeg of er voldoende opleiding en ontwikkeling is binnen de rechtsspraak over de toepassing van artificial intelligence. Ze vroeg ook of ik bereid ben om met de minister voor Rechtsbescherming, Franc Weerwind, hierover in gesprek te gaan. Dat wil ik heel graag doen, want ik weet dat er allerlei mogelijkheden zijn om bij rechtsspraak gebruik te gaan maken van artificial intelligence. Het is natuurlijk ontzettend belangrijk dat dit op de goede manier gebeurt, zodat er nog steeds uitspraken worden gedaan en recht wordt gedaan op de manier die wij, de wetgever en de rechtsspraak zelf, met elkaar beogen.

De voorzitter:

Mevrouw Veldhoen, wilt u hier gaan staan, met uw gezicht naar de staatssecretaris en niet met uw rug?

Mevrouw Veldhoen (GroenLinks):

Dank voor het antwoord op mijn vragen ten aanzien de rechtsspraak. Kan ik dat zien als een toezegging? Wordt er teruggekoppeld aan deze Kamer wat de uitkomst van dat overleg is?

Staatssecretaris Van Huffelen:

Ja, dat doe ik heel graag.

Mevrouw Veldhoen (GroenLinks):

Dank u wel.

Staatssecretaris Van Huffelen:

Verder vroeg mevrouw Veldhoen of de Algemene wet bestuursrecht zou moeten worden versterkt door te verplichten dat in besluiten moet worden aangegeven dat er gebruik is gemaakt van een algoritme om tot besluitvorming te komen. Zij noemde ook nog een aantal andere elementen. Zij noemde daarbij ook de voorbeelden van Frankrijk en België. Belangrijk is dat algoritmische besluitvorming nu ook al wordt genormeerd door de Algemene wet bestuursrecht en dat daarbij ook de algemene beginselen van behoorlijk bestuur aan de orde zijn. Op dit moment echter wordt door de minister van BZK en de minister voor Rechtsbescherming in het kader van het wetsvoorstel Wet versterking waarborgfunctie Awb onderzocht of er nog aanvullende waarborgen rondom algoritmische besluitvorming wenselijk zijn. Momenteel kijken we daarnaar. We hebben dat nog niet afgerond.

Eén van de varianten die wij echt willen bekijken, is inderdaad het als overheid vermelden van die algoritmische besluitvorming. Natuurlijk moeten wij er ook voor zorgen dat bij besluiten door de overheid op begrijpelijke wijze wordt vermeld hoe zo'n besluit tot stand is gekomen. Er zit dus een algemene component aan — hoe beoordelen wij bij DUO de studieleningen? — maar er zit ook een specifieke component aan. Die gaat er meer over: waarom is het in uw geval zo dat u wel of niet in aanmerking bent gekomen voor een bepaalde toeslag, uitkering of studielening?

Mevrouw Veldhoen (GroenLinks):

Ik heb nog even een aanvullende vraag. Ik heb ook het voorbeeld van Frankrijk genoemd. Daar verliest een beschikking haar geldigheid als niet aan die voorwaarden wordt voldaan. Wordt dat ook meegenomen in dat gesprek?

Staatssecretaris Van Huffelen:

Ik zou dat zeker wel in het gesprek willen meenemen. Ik vind dat zelf best een lastig punt, want als het besluit gewoon goed genomen is, is het gek als dat ineens niet meer zou gelden. Ik vind dat een lastig thema, maar ik wil zeker goed naar die wetgeving kijken.

We zijn bezig om de Awb te versterken. Transparantie en inzichtelijkheid zijn daarbij belangrijk. Vooral is het voor een burger of een bedrijf belangrijk om goed kunnen volgen: waarom is een besluit genomen en kan ik begrijpen waarom dat besluit zo is uitgevallen? Dat is natuurlijk een heel belangrijke factor. Ik zal dus vragen om dit mee te nemen. Ik kijk zelf ook mee. Of dat ertoe leidt dat we ook dat besluit zullen nemen? Het antwoord daarop moeten we nog even openhouden. Maar uiteraard komt die wet ook weer bij u, dus dan kunnen we dat debat eventueel verder voeren.

Mevrouw Veldhoen (GroenLinks):

Dank u wel.

De heer Recourt (PvdA):

Even op dit punt. Is de Awb op dit moment niet al zo vormgegeven dat als je zegt dat gemotiveerd moet worden hoe de algoritmische besluitvorming is toegepast in een individueel besluit, het in strijd is met het motiveringsbeginsel als dat niet is gebeurd?

Staatssecretaris Van Huffelen:

Die motivering geldt natuurlijk sowieso. Maar de vraag werd gesteld of in de motivering sowieso standaard moet worden vermeld dat er gebruikgemaakt is van een algoritme of algoritmische besluitvorming. De tweede vraag was: als je dat vergeet te doen, wordt het besluit daarmee dan nietig? Die twee vragen moeten wij meenemen in de discussie over het versterken en verbeteren van de Awb. Maar het motiveringsbeginsel zit er al in. Daarom gelden dus veel van de Awb-regels ook voor besluitvorming waarbij algoritmes zijn gebruikt.

Dan de vraag van mevrouw Veldhoen over het Impact Assessment voor Mensenrechten. Wij vinden het ongelofelijk belangrijk dat dit onderdeel wordt van ons implementatiekader. Als de overheid gebruik gaat maken van algoritmes om wetten uit te voeren of besluitvorming te ondersteunen, dan vinden wij het belangrijk dat er een mensenrechtenassessment wordt gedaan.

Het idee is overigens dat diezelfde mensenrechtenassessments onderdeel zijn van de Europese besluitvorming. Dat is op dit moment opgenomen in het voorliggende voorstel. Dat voorstel is nog in discussie in het Europees Parlement; samen met de Commissie zitten wij daar in de voorfase van de triloogfase. Maar wij willen dat in ieder geval opnemen in het implementatiekader dat wij voor onszelf willen laten gelden. Dat willen wij doen door zo duidelijk mogelijk een stappenplan te maken waarbij helder is hoe en wanneer deze besluiten worden genomen. Overigens werden deze vragen over het Impact Assessment voor Mensenrechten ook door een aantal andere Kamerleden gesteld. Wij willen dus heel graag dat die mensenrechtentoets wordt gedaan.

Die toets moet ook meermalen worden herhaald. Die is juist ook zo belangrijk om te voorkomen dat je niet alleen bij de start van de inzet van algoritmes, maar ook tijdens het gebruik opnieuw toetst of er niet sprake is van ontstane bias in het systeem, of het algoritme uiteindelijk niet de besluiten neemt en als zodanig niet voldoet aan de mensenrechten dat het niet meer kan worden ingezet of niet tot de goede resultaten leidt. Die mensenrechtentoetsen worden dus steeds herhaald.

Mevrouw Veldhoen (GroenLinks):

Ik ben blij om te horen dat die mensenrechtentoetsen worden gedaan en ook steeds weer worden herhaald. Dat is een hele mooi stap. Worden de uitkomsten van die mensenrechtentoetsen ook steeds gepubliceerd? Dat was een van mijn vragen.

Staatssecretaris Van Huffelen:

Wat de overheid betreft is het antwoord daarop ja. Dat is ons idee. Behalve wanneer het om heel bijzondere redenen niet zou kunnen, bijvoorbeeld als het gaat om veiligheid; bij hele specifieke onderwerpen dus. Maar in principe is het antwoord ja. In het kader van de Europese verordening is dat niet zo. De toezichthouders hebben dan wel toegang — in ons geval zou dat de Autoriteit Persoonsgegevens zijn — maar het is niet noodzakelijk dat het wordt gepubliceerd. Maar wij gaan het voor overheidsalgoritmes publiceren.

Dan het risico op profileren en strafbare feiten. Dat ging om de vraag of er een overzicht te maken is van lokale of nationale overheden die gebruikmaken van risicoprofielen om eventuele strafbare feiten of frauderisico's te detecteren. Eigenlijk zijn we dat aan het doen. We hebben het algoritmeregister gemaakt. Dat register is nog niet volledig gevuld, maar we hebben het gelanceerd. Ons idee is dat ieder algoritme dat de overheid gebruikt daarin wordt geregistreerd. Dat zijn dus ook algoritmes die tot doel hebben risico's te detecteren of te profileren, voor zover dat überhaupt mag. Nogmaals, we zullen heel terughoudend zijn als het gaat over het inzetten van profilering op basis van kenmerken die leiden tot discriminatie of anderszins. Alle algoritmes die wij gebruiken van het type hoog risico — dat zijn alle algoritmes waarin persoonsgegevens worden verwerkt — stoppen we in dat register. Het zal dus ook duidelijk zijn welke dat zijn. Een van de vakjes in het register die moeten worden ingevuld, is of er een mensenrechtentoets is gedaan en, zo ja, wat de uitkomsten daarvan zijn.

De voorzitter:

U krijgt zo nog een tweede termijn, mevrouw Veldhoen, maar gaat uw gang.

Mevrouw Veldhoen (GroenLinks):

Ik wil het toch nog even specificeren. Wordt in zo'n register ook duidelijk dat het om hoogrisicoalgoritmes gaat? Met andere woorden: als je in dat register kijkt, wordt dan ook duidelijk bij welk type gebruiker er sprake is van een hoogrisicogebruik, zodat je als burger niet eerst door een enorme waslijst moet maar meteen kunt zien dat het bijvoorbeeld gaat om een risicoanalyse ten aanzien van strafbare feiten of fraude? Is het voor de burger dus inzichtelijk of er sprake is van een hoog of laag risico?

Staatssecretaris Van Huffelen:

Sowieso willen we in dat register alleen hoogrisicoalgoritmes opnemen, dus niet de algoritmes die de liften in de ministeries aansturen of dat soort algoritmes die we bij de overheid ook gebruiken. Het gaat over de hoogrisicoalgoritmes. Die moeten daarin staan. Het register zal niet altijd voor een burger makkelijk toegankelijk zijn. Het is er vooral om aan ngo's, onderzoekers en wetenschappers te laten zien dat die algoritmes er zijn. Nogmaals, wat we bij individuele besluitvorming kunnen gaan overwegen — daarover hadden we het eerder al — is om voor een burger inzichtelijk te maken dat bij een genomen besluit een algoritme is gebruikt. Je kunt dat algoritme natuurlijk uitzoeken. Alleen maar zeggen dat er een algoritme is toegepast bij besluitvorming is onvoldoende. Het register probeert ook inzicht te bieden in zo'n algoritme. Maar goed, het vergt wel enige kennis als je daar meer over wilt weten. We proberen dat zo goed mogelijk te doen door kenbaar te maken hoe het in elkaar zit en op basis van welke feiten en gegevens besluitvorming plaatsvindt, maar het zal voor burgers soms nog best lastig zijn om echt goed in dat algoritmeregister te zoeken. Maar we proberen het zo goed mogelijk te doen. Onze eerste taak is dan ook om ervoor te zorgen dat het inzichtelijk is en dat mensen die daar onderzoek naar willen doen en daar goed naar willen kijken, toegang hebben tot dat register. Overigens staat dat ook zo op onze website.

Mevrouw Veldhoen heeft ook nog een vraag gesteld over de betekenisvolle menselijke tussenkomst. Dat is natuurlijk precies wat wij willen en dat is ook wat we al geregeld hebben: er moet menselijke tussenkomst zijn bij besluitvorming waarbij er sprake is van echt impactvolle besluiten. Dan hebben we het niet over de boete die u krijgt als u door rood rijdt of te hard rijdt. Die krijgt u op basis van een algoritme. Daarbij is geen sprake meer van enige menselijke tussenkomst voordat u de bon op de mat krijgt. U kunt er uiteraard wel tegen in bezwaar of beroep gaan. Maar ik doel op belangrijke besluitvorming zoals over het wel of niet krijgen van een studielening of een uitkering, of bijvoorbeeld uw belastingaangifte. Bij dat soort elementen moet er altijd eerst nog een mens naar kijken voordat de beslissing definitief wordt gemaakt. Wij gaan daar in het kader van de verandering van de Algemene wet bestuursrecht verder naar kijken, maar we hebben die discussie ook al eerder in de Tweede Kamer gevoerd. Het kan niet zo zijn dat grote en voor uw leven impactvolle beslissingen alleen maar door een machine kunnen worden genomen.

Moet er een verbod komen op die gepersonaliseerde aanbevelingsalgoritmes? Dat is een ander soort vraag. In dit geval hebben we het dan eigenlijk niet meer over ...

De heer Recourt (PvdA):

Toch nog even doordenkend over wat impactvol is en wat niet. Ik kan het voorbeeld volgen van door rood rijden, maar als je een puntenrijbewijs hebt, betekent drie keer door rood rijden — al weet ik het niet precies uit mijn hoofd — dat je in ieder geval je rijbewijs kwijt bent. Een paar keer een te hoge promillage, wat ik overigens een zeer ernstige overtreding vind, maar daar gaat het niet om, kan ook de ontzegging van je rijbevoegdheid betekenen. Ik denk dat je dan bij de "impactvolle beslissingen" komt. Dat kunnen allemaal geautomatiseerde beslissingen zijn, zonder menselijke tussenkomst. Dan is eigenlijk pas sprake van menselijke tussenkomst als je in rechte opkomt. Die wetgeving is echt binair, digitaal: "als je dit hebt, dan is dat het gevolg". Kan de cumulatie van die maatregelen niet toch leiden tot een impactvolle beslissing die volledig digitaal is genomen?

Staatssecretaris Van Huffelen:

Dat is natuurlijk een punt dat we verder moeten uitwerken. Ik denk dat ik het met u eens ben. Volgens mij wordt een beslissing die ertoe leidt dat je rijbewijs wordt ingetrokken, zelden alleen maar op basis van automatiek genomen, want dan zou er toch nog wel iets moeten gebeuren. Maar op welke precieze momenten wij zeggen dat dit aan de orde is, moeten wij met elkaar vaststellen. Ik zou alleen wel willen voorkomen dat we nu al zeggen dat menselijke tussenkomst altijd nodig is. Het kan namelijk in heel veel gevallen echt veel rechtstreekser. Als dat niet zo zou gaan, zou dat tot heel veel inefficiëntie leiden. De precieze hoogrisicodefinitie gaan wij met elkaar vormgeven.

Nogmaals, het ging over gepersonaliseerde aanbevelingsalgoritmes. Dat is een ander soort vraagstuk, want dan gaat het over algoritmes die gebruikt worden door bijvoorbeeld socialmediaplatforms. Wij gebruiken dat soort aanbevelingsalgoritmes niet. Onlineplatforms gebruiken ze wel. Ze zijn ook vaak onderdeel van hun verdienmodel, om het maar even zo te zeggen: jou wordt aanbevolen wat jij wilt zien, omdat ze hopen dat je daarmee meer en beter geserviced wordt/langer op het platform blijft, zodat zij meer inkomen kunnen genereren.

De Europese Digital Services Act is ervoor om te zorgen dat burgers de keuze kunnen maken om dit soort algoritmes uit te zetten op grote onlineplatforms. Dat staat in die Act. Die wetgeving is inmiddels aangenomen en wordt geïmplementeerd. De grote onlineplatforms zullen nog dit jaar de eerste stappen moeten zetten om te gaan voldoen aan die verplichtingen. Er komt dus geen verbod hierop, maar wel de mogelijkheid voor mensen om dat algoritme uit te zetten.

Er was sprake van het gebruik van algoritmes in sollicitatieprocedures. Dat wordt ook gereguleerd in de AI-verordening, dus de nog niet van kracht zijnde AI-verordening van Europa. De bedoeling daarvan is om ervoor te zorgen dat dat soort sollicitatie- en recruitmentalgoritmes worden geclassificeerd als hoogrisicoalgoritmes. Daarmee mag je ze pas inzetten als je een keurmerk hebt. Ze vallen ook onder de regulering van de AI Act en daarmee onder het toezicht dat daarop wordt gehouden. Ik vind het ongelofelijk belangrijk dat niet alleen die algoritmes worden gecheckt en worden voorzien van keurmerken voordat ze gebruikt mogen worden, maar ook dat wordt gekeken hoe we ervoor kunnen zorgen dat bij dit systemen ook de sollicitant of degene die onderwerp is van zo'n systeem daarover wordt geïnformeerd.

Een ander punt dat ik ook in mijn inleiding al noemde, gaat over de vraag hoe we ervoor kunnen zorgen dat programmeurs eerder worden betrokken bij het maken van de software die we gebruiken voor de uitvoering van wetten. Het is inderdaad zo dat we vaak eerst de wet helemaal maken en dan pas gaan nadenken over de vertaling daarvan in code. Inderdaad, code is over het algemeen redelijk digitaal. Dat is niet helemaal waar in die zin dat het altijd ja/nee is, maar er zitten besluiten in die niet altijd helemaal direct uit de wetgevingstekst volgen. Wij vinden dat ongelofelijk belangrijk. Daarvoor gaan wij bij BZK nieuw wetgevingsbeleid maken, waarbij het omzetten van wetten in software vanaf de ontwerpfase al wordt meegenomen om daarmee te voorkomen dat je het probleem krijgt waar u het over had.

De laatste vraag van u die ik heb opgevangen, gaat over de Autoriteit Persoonsgegevens. Die is inderdaad inmiddels aangewezen als de toezichthouder voor algoritmes, heeft daar een lancering van gedaan aan het begin van dit jaar en is bezig met het inrichten van haar taken. Die gaan niet alleen maar over het houden van toezicht op algoritmes alleen. Ze hebben ook een coördinerende taak, zodat ook andere, meer sectorale toezichthouders zoals bijvoorbeeld de ACM of het Agentschap Telecom, dat inmiddels een andere naam, heeft ervoor gaan zorgen dat we met elkaar toezicht houden op het gebruik van algoritmes. Dat doen ze nu al met alle bevoegdheden die ze op dit moment hebben. De AP heeft die natuurlijk vanwege de AVG. Alle algoritmes waar bijvoorbeeld persoonsgegevens in verwerkt worden, zijn onderwerp van hun toezicht. Straks, na de invoering van de Europese wetgeving, kunnen we zorgen dat zij ook breder kunnen kijken naar andere aspecten die in die regelgeving een rol spelen.

Mevrouw Veldhoen (GroenLinks):

Ik had ook een vraag gesteld over de financiering van de AP, omdat ik toch wel wat gealarmeerd was door cijfers die ik tegenkwam. Ter vergelijking: in 2019 kreeg de Autoriteit Persoonsgegevens een budget van 21 miljoen euro, wat, zoals ik in mijn bijdrage ook heb aangegeven, inmiddels is verhoogd naar 47 miljoen, zeg ik uit mijn hoofd. Maar de Autoriteit Financiële Markten kreeg 107 miljoen in 2019 en de Nederlandse Voedsel- en Warenautoriteit zelfs 350 miljoen. Zoals we ook vandaag met elkaar hebben geconstateerd, zijn digitalisering en algoritmische besluitvorming daarbinnen echt verweven met bijna alles wat we doen. Ik vraag me af of dat gegeven niet rechtvaardigt dat de AP meer middelen krijgt, zodat zij die taak daadwerkelijk kan uitvoeren.

Staatssecretaris Van Huffelen:

Ik ben daar natuurlijk steeds over in overleg met de AP. Het begint met 1 miljoen en het loopt op tot 3,6 miljoen euro in de komende jaren. Ik denk dat het goed is dat we goed gaan kijken of dat voldoende is. Nogmaals, zij doen die taak niet helemaal alleen. Er wordt ook Europees toezicht gehouden en er zijn ook andere toezichthouders die dat werk gaan doen. De AP doet de coördinatie wat betreft Nederland. Ik denk dat we vooral moeten kijken of dat voldoende blijkt te zijn. Op dit moment heb ik geen aanleiding, ook niet op basis van vragen van de AP of iets dergelijks, om te zeggen dat het meer moet worden. Maar natuurlijk is het van belang dat ze die taak goed kunnen uitvoeren. In vergelijking met de andere landen zie ik wel dat zij in ieder geval tot de best gefinancierden behoren. Maar nogmaals, het is altijd goed om dat in de gaten te blijven houden. Die vraag werd trouwens ook gesteld in de Tweede Kamer. Ik heb dat een keertje aan ChatGPT gevraagd, maar die gaf daar geen antwoord op.

Mevrouw Veldhoen (GroenLinks):

De staatssecretaris geeft aan dat de AP daar geen vragen over stelt, maar ik heb hier een brandbrief van de AP in mijn hand waarin zij zeggen: groei is noodzakelijk, willen wij die taken daadwerkelijk kunnen uitvoeren. Ik hamer daar zo op, omdat ik het zonde zou vinden als we met de AP een soort papieren tijger optuigen. Het is zonde als ze het op papier mooi geregeld hebben, maar ze in de dagelijkse praktijk niet voldoende middelen hebben om het uit te voeren. De AP geeft zelf aan dat er echt te weinig mensen zijn, omdat er te weinig budget is.

Staatssecretaris Van Huffelen:

Dit kabinet heeft de AP op twee manieren extra geld gegeven: voor deze taak en voor hun reguliere taak. Nogmaals, we kunnen het er altijd over hebben of dat meer moet zijn. Heel concreet heb ik echter geen verzoek gekregen om dit budget te verhogen.

De voorzitter:

Heeft u daarmee de beantwoording van de vragen van mevrouw Veldhoen afgerond?

Staatssecretaris Van Huffelen:

Ja.

De voorzitter:

Dan lijkt dit me een mooi moment, ook gezien de tijd en de afspraak, om te schorsen voor de dinerpauze tot 18.10 uur.

De vergadering wordt van 17.10 uur tot 18.11 uur geschorst.

Voorzitter: Backer 

De voorzitter:

Goedenavond. Aan de orde is de voortzetting van het debat over de grip op algoritmische besluitvorming bij de overheid. We zijn nu toe aan een hervatting van het antwoord van de regering in de eerste termijn. Ik geef het woord aan de staatssecretaris Koninkrijksrelaties en Digitalisering, als zij daaraan toe is.

Staatssecretaris Van Huffelen:

Zeker. Ja!

De voorzitter:

Gaat uw gang.

Staatssecretaris Van Huffelen:

Dank u wel, voorzitter. Ik ga door met de beantwoording van de vragen die gesteld zijn door de Partij van de Arbeid. In eerste instantie ging het over algoritmes die steeds beter worden in bijvoorbeeld het genereren van teksten. Wat doen we op het moment dat we niet meer goed kunnen onderscheiden of die teksten nou zijn vastgesteld door een mens en of ze de waarheid bevatten enzovoorts, enzovoorts? Kunnen die dan ook nog steeds leiden tot bijvoorbeeld bewijs? Kun je die dan nog gebruiken? Het punt is natuurlijk dat het een gedeeld begrip van feiten een voorwaarde is voor goede democratische besluitvorming. De mediawijsheid van iedereen, ook van burgers, is belangrijk om bijvoorbeeld desinformatie te herkennen. Wij doen heel veel aan het geven van voorlichting daarover, maar er is ook sprake van regulering. We zien namelijk dat AI zich ook steeds verder ontwikkelt en het steeds lastiger wordt voor een individu om te herkennen of de gemaakte tekst of het ontvangen mailtje daadwerkelijk komt van de persoon of de instantie waarvan je denkt dat het is.

Het is belangrijk dat we dat in Europees verband reguleren. In de AI Act staat dat je het moet aangeven als je bijvoorbeeld gebruikmaakt van de gemanipuleerde beelden of van geluiden die artificieel zijn gegenereerd. Je kan daar dus niet zomaar gebruik van maken. Volgens de Digital Services Act, die al onderdeel is van de Europese regelgeving, moeten grote online platforms en zoekmachines de negatieve impact van hun diensten op het publieke debat en de verkiezingsprocessen in kaart brengen en tegengaan. Zij worden dus gevraagd om ervoor te zorgen dat zij op hun platforms aan moderatie doen.

De heer Recourt had ook de vraag gesteld wat we moeten doen om de risico's tegen te gaan, zonder dat we AI ... Ik ben bang dat het inderdaad zo is dat deze manier van beantwoorden ertoe leidt dat ik op iedere beantwoorde vraag een tegenvraag krijg. Ik weet niet of dat handig is of dat we misschien even alles moeten doen en het dan in één keer kan. Ik weet het niet, natuurlijk. Ik ga hier niet over de orde, sorry.

De voorzitter:

Laten we de heer Recourt nog even een kans geven. Dan proberen we daarna om aan het eind van ieder fractieblokje — om het maar even zo te noemen; uw alternatieve blokindeling — de interrupties te plaatsen. Ik verzoek de leden ook om die dan een beetje te comprimeren.

Staatssecretaris Van Huffelen:

Ja.

De voorzitter:

Ga uw gang.

De heer Recourt (PvdA):

Dank, voorzitter. Ik zal mijn best doen om het kort te doen en niet bij ieder antwoord hier te staan. Ik zeg dan ook maar eerlijk dat het afhangt van de antwoorden van de staatssecretaris. Als die bevredigend zijn, ga ik hier niet staan. Het antwoord op de eerste vraag was in ieder geval niet bevredigend. Ik zal uitleggen waarom. Neem de civiele bewijsvoering in een civiele procedure. Partij A moet bewijs leveren en die komt met filmpjes, foto's, teksten of whatever. Op welke wijze kan dan de tegenpartij dan bijvoorbeeld aantonen dat die niet authentiek zijn? Wat is de rol van de rechter hierin? In de strafprocedure moet de rechter zelf bekijken of het bewijsmateriaal authentiek is, bijvoorbeeld ontlastend materiaal dat door de verdediging wordt aangevoerd. Hoe doet de rechter dat? En mijn laatste vraag is: hoe kun je dit als burger uiteindelijk controleren op het moment dat informatie, deepfake, brieven of teksten heel goed zijn? Is daar nu al techniek voor of is die te ontwikkelen? Wordt door de overheid gestimuleerd dat je als burger zelf kunt kijken wat authentiek is of niet?

Staatssecretaris Van Huffelen:

Dat proberen we natuurlijk wel. Het is inderdaad zo dat het mogelijk is om nu al filmpjes te maken die er behoorlijk echt uitzien. Het is met ChatGPT ook mogelijk om teksten te maken die ook behoorlijk echt lijken, omdat ze de woorden, de zinsbouw en de techniek gebruiken die een bepaalde instantie ook gebruikt. We proberen een paar dingen te doen. Die zitten voor een deel in mediawijsheid, dus door mensen vooral kritisch te laten zijn, zodat zij kijken waar de informatie vandaan komt, op welke site die staat enzovoorts, enzovoorts. Er is ook regulering in die zin dat grote platforms niet zomaar dit soort deepfake-informatie zonder enige vermelding of zonder enige moderatie mogen aangeven. Dat wil niet zeggen dat het daarmee voor honderd procent weg is. Ik denk dat het ook goed is — en daar kan ik niet zomaar een eenduidig antwoord op geven — dat het bijvoorbeeld in de bewijsvoering voor een rechter van belang is dat we goed gaan kijken naar hoe je dat dan moet gebruiken. Want het kan natuurlijk niet zo zijn dat je inderdaad deepfakefilmpjes als bewijs kunt gaan gebruiken in een rechterlijke procedure. Maar ik kan nu daarop niet een ander antwoord geven dan wat we nu op dit moment geregeld hebben.

Er is natuurlijk altijd een vraag over bewijsvoering en hoe je die moet invullen. Wij gaan daar natuurlijk ook mee door. We hebben nu te maken met een technologie die zich verder ontwikkelt. Als het gaat over de overheid — daar hebben we het vanavond natuurlijk over — hebben we zelf ook in de hand welke AI we wel of niet toepassen. Daar hoeft dus niet die generatieve AI onderdeel van te zijn, als we zelf vinden dat het onduidelijk is hoe dat precies functioneert en werkt enzovoorts, enzovoorts. Maar ook in de wetgeving en regelgeving daarover moeten we natuurlijk ervoor zorgen dat we echt gaan kijken naar wat we nog verder kunnen doen om ervoor te zorgen dat mensen en consumenten goed beschermd worden.

De heer Recourt (PvdA):

Dat laatste is, denk ik, een begin van het antwoord. Het aanspreken van platforms en mediawijsheid helpt niet tegen heel goede namaak, om het maar zo te zeggen. De functie van een notaris is vaststellen wat authentiek is. Dat kan de notaris niet meer als AI zich verder ontwikkelt. Het is bij de staatssecretaris zoeken of dat fundament onder rechtspraak en rechtsvaststelling … In mijn ogen is dat echt in gevaar. Ik proef in de antwoorden eigenlijk niet de urgentie die ik in ieder geval vind dat het heeft. Als ik dat laatste antwoord, "we zoeken naar andere oplossingen", zo mag begrijpen dat de staatssecretaris ook ziet dat het een groot gevaar is, ben ik wat gerustgesteld. Anders denk ik dat we een probleem gaan krijgen.

Staatssecretaris Van Huffelen:

Nou, misschien even voor de helderheid: als er één ding is dat ik naar voren heb proberen te brengen in mijn werkprogramma en in alles wat ik tot nu toe heb gedaan, is dat het feit dat we ons inderdaad zorgen moeten maken over AI in de brede zin van het woord. Dat heeft te maken met het feit dat ik vind dat op dit moment niet voldoende mensen mee kunnen doen in de digitale wereld, dat je het onvoldoende kunt vertrouwen en dat er onvoldoende regie is. Dus u hoeft mij niet duidelijk te maken dat het een thema is waar we het over moeten hebben. Dat vind ik ook, met u. Wil ik daarmee zeggen dat we alle soorten van ontwikkelingen van die techniek al totaal kennen? Nee, want we praten nu over ChatGPT alsof het er al jarenlang is, maar eigenlijk weten we pas sinds ongeveer een paar maanden dat het bestaat. We zijn al toe aan de volgende versie ervan. Overigens zijn er ook nog andere, vergelijkbare apps en zoekmachines beschikbaar, zoals bijvoorbeeld Bing. Maar het is natuurlijk wel belangrijk dat we het steeds in de gaten blijven houden. Dat geldt in het onderwijs is: is deze paper nog door de student of leerling zelf gemaakt of is die door een zoekmachine in elkaar geklust? Hetzelfde geldt voor een rechter of notaris. We zullen dus andere mechanismen moeten vinden om ervoor te zorgen dat de bewijslast nog steeds bestaat. Die zijn er natuurlijk ook, door te bevragen, door te bekijken van welke instantie het komt, door gegevensuitwisseling daadwerkelijk zo in te richten dat het alleen maar zo kan zijn dat je een directe lijn hebt van het Kadaster naar een notaris en weet dat een akte ook een akte is, of dit soort dingen. Dus we moeten daar werk verrichten. Mijn collega's in het kabinet, en zeker ook de minister voor Rechtsbescherming, moeten daar werk verrichten. Maar ik wil wel heel erg het idee bestrijden dat ik er heel laconiek over denk, want dat is echt het laatste wat ik zou willen overbrengen in dit debat.

De voorzitter:

Dat heeft u overgebracht. Ik zou zeggen: vervolgt u uw betoog.

Staatssecretaris Van Huffelen:

Mooi. Dan de vraag over risico's tegengaan zonder AI volledig weg te gooien. Dat kan dus inderdaad door te bekijken hoe we met wet- en regelgeving aan de slag kunnen. Daarvoor is het dus ook belangrijk om te zeggen dat dat betekent dat wij als overheid in het kader van de regels die wij onszelf stellen en opleggen, bij het gebruik van dit soort technologie en nieuwe en nog te ontwikkelen technologie scherp blijven op wat we wel en niet gebruiken. Nogmaals, wij hoeven bij de overheid niet noodzakelijkerwijs te werken met generatieve AI wanneer we vinden, bijvoorbeeld bij beleidsvorming of besluitvorming of het maken van wetgeving of het beoordelen daarvan, dat het ons niet helpt in het duidelijk maken waar de besluitvorming op gebaseerd is enzovoorts, enzovoorts. Ik denk dus dat het goed is dat we die keuzes in de komende tijd nog verder met elkaar gaan maken en invullen. De algoritmes die we nu gebruiken bij de overheid hebben nog niet de enorme denk- en rekenkracht die bijvoorbeeld ChatGPT of Bing heeft, maar ik denk dat het belangrijk is dat wij goed kijken hoe wij ons daartoe gaan verhouden bij beleidvorming, besluitvorming en wetgeving door de overheid.

U heeft ook gevraagd: hoe kan je, als er gebruik wordt gemaakt van AI, als burger je recht zoeken, als je niet meer weet hoe een besluit wordt genomen? Natuurlijk moeten burgers hun recht kunnen zoeken. De Grondwet en de Algemene wet bestuursrecht bevatten daarvoor normen voor de overheid. In de beantwoording van de vragen van GroenLinks heb ik gezegd dat ik het ontzettend belangrijk vind dat we heel goed duidelijk maken hoe een besluit tot stand is gekomen. Het motiveringsbeginsel moet zeer belangrijk zijn. We gaan kijken hoe we AI daaraan gaan toevoegen bij de nieuwe versie of bij aanpassingen van de Awb. Maar ik vind het ook belangrijk dat voor een burger duidelijk is dat bij het nemen van een besluit ook AI wordt gebruikt, als dat het geval is.

Dan het kader en het register om betekenisvolle menselijke tussenkomst te realiseren. Dat is ongelofelijk belangrijk. In het implementatiekader en in de verdere uitwerking van de regelgevende AI-verordeningen van de EU is het wat mij betreft heel belangrijk dat we ervoor zorgen dat bij zeer belangrijke besluitvorming — nogmaals, de precieze definitie daarvan gaan we nog opstellen — altijd sprake is van menselijke tussenkomst. We gaan er sowieso voor zorgen dat het gebruik van algoritmes in kaart wordt gebracht voor alle overheidsonderdelen.

Dan de vraag over de manier waarop de Algemene wet bestuursrecht wordt aangepast. We zijn nog in de prefase, in de preconsultatie, daarvan. Als het gaat over artificial intelligence moeten besluiten van de overheid begrijpelijk zijn. Ook willen we in de nieuwe versie van de Awb regelen dat er meer persoonlijk contact met burgers moet zijn of moet kunnen zijn over besluiten, als dat nodig is. Nogmaals, de verdere uitwerking daarvan komt bij de Kamer langs, maar de kern ervan is dat we besluitvorming op basis van algoritmes hierin aan de orde willen stellen.

Dan ga ik verder met de vraag — volgens mij heb ik die al beantwoord — over het gebruik van deepfakes en gemanipuleerd videomateriaal in bijvoorbeeld rechtszaken. We willen zorgen dat mensen zich daarvan bewust zijn. We hebben er regelgeving voor, maar we blijven het de komende tijd goed volgen om te zorgen dat er geen sprake kan zijn van misbruik van dit soort informatie in bijvoorbeeld besluiten van de overheid en rechtszaken.

De voorzitter:

Een korte interruptie van mevrouw Veldhoen.

Mevrouw Veldhoen (GroenLinks):

Ja, ik zal het kort houden. Even terug naar het vorige punt, de aanpassing van de Awb. Ik begrijp van de staatssecretaris dat die nu in consulatie is en dat dit daarin wordt meegenomen. Wat wordt daar dan precies in meegenomen? Is dat inderdaad de motivering zoals ik die heb aangegeven in mijn bijdrage, namelijk dat het gebruik zelf, dus de aard, de data en de analyse die plaatsvindt, wordt meegenomen in de Awb? Voor zover ik heb gezien, zat dat namelijk niet in de weergave die in de brief van de staatssecretaris van 17 februari staat.

Staatssecretaris Van Huffelen:

Misschien even voor de scherpte. We zijn bezig met het ontwerpen van een aanvulling op de Awb. Die is niet in consultatie, maar in preconsultatie; die is dus nog in een heel vroegtijdig stadium. Ik heb aangegeven, ook in de gesprekken, in het debat, dat ik daarover met u had, dat we gaan kijken hoe de algoritmische besluitvorming daarin een rol moet spelen. De waarborgfunctie van de Awb, dus het feit dat besluiten helder en begrijpelijk moeten zijn, willen we daarin meenemen. Ik heb toegezegd dat we daarvoor ook zullen kijken naar wat er in de Franse wetgeving staat, om te bezien of we daarvan kunnen leren. Nogmaals, ik voegde daaraan toe dat het ook gaat om het thema van het persoonlijk contact, omdat dat ook een relevante factor is in dit soort besluitvorming. Als een burger niet begrijpt waarom een bepaald besluit is genomen, moet hij met een mens, en niet alleen tegen een apparaat, kunnen praten over een toelichting, uitleg of dat soort dingen. Maar we zijn in het kader van dit wetsvoorstel hiermee nog aan het werk.

Mevrouw Veldhoen (GroenLinks):

Helder. Het ging mij inderdaad om de consultatie, maar het is de preconsultatie.

Staatssecretaris Van Huffelen:

Ja. We zijn nog niet aan de consultatie toe op dit moment. Wij gaan overigens gebruikmaken van een heleboel input van experts, en dus ook van voorbeelden uit het buitenland.

Dan was er nog de vraag die ook door de heer Recourt is gesteld of de mogelijkheid bestaat om te checken op authenticiteit. Er zijn wel van dit soort instrumenten. Er is er eentje die wij met een innovatiebudget hebben gestimuleerd, ontwikkeld door de NPO. Je kunt daarbij met een browser kijken of je de oorspronkelijke auteur van een artikel kunt achterhalen. Maar de techniek gaat heel erg snel en we zullen echt meer moeten doen om zo veel mogelijk mensen te laten zien dat iets authentieke informatie is. Als het gaat over internet wil je de originele bron van bepaalde documenten of bepaalde uitspraken terug kunnen vinden. Om daar mensen goed mee te helpen, willen we zo veel mogelijk doen aan mediawijzers en voorlichting, samen natuurlijk met regulering.

U vroeg ook of het genoeg was om te reguleren. Dat is natuurlijk niet zo. Daarbij speelt natuurlijk ook een rol dat we toezicht moeten houden. Daarvoor is er in heel veel regelgeving over digitalisering sprake van toezichthouders, ofwel op nationaal niveau, ofwel op Europees niveau. Maar het is ongelooflijk belangrijk dat we het debat over artificial intelligence echt goed blijven voeren, en dat we het onderwijs daarbij betrekken. In de werkagenda die we hebben gepubliceerd, is aangegeven dat we het onderwijs op het gebied van digitalisering echt nog verder willen uitbreiden, het curriculum willen uitbreiden voor lagere en middelbare scholen en dat we meer willen doen op de werkvloer. Maar ook in organisaties zoals de SER hebben we aangegeven dat we willen blijven praten over waar we wel en niet bepaalde vormen van artificial intelligence willen inzetten, zodat we daadwerkelijk die keuzes kunnen blijven maken. Ik blijf benadrukken: ja, voor een deel is de digitale wereld op dit moment nog onvoldoende gereguleerd. Dat zien we aan het feit dat er producten op de markt kunnen komen en door ons allemaal gebruikt kunnen worden zonder dat die aan een toets zijn onderworpen van een overheidsinstantie, toezichthouder of een ander. We willen dit graag keren en zorgen voor eenzelfde soort regulering als die geldt voor producten en diensten als medicijnen, voedsel of auto's. Je kunt niet zomaar een auto op de markt brengen, je kunt niet zomaar medicijnen op de markt brengen, je kunt niet zomaar voedsel op de markt brengen als dat niet voldoet aan de vereisten. Eenzelfde soort regulering willen we in feite ook creëren voor de digitale wereld. Daar zijn we op dit moment niet, maar dat is wel waar we hopelijk naartoe kunnen gaan. Daarbij worden aan ons vele vragen gesteld, maar wat mij betreft net zo goed aan de organisaties die dit soort technologieën op de markt brengen. Daarbij is voor mij het belangrijkste punt, dat ook door een aantal van u al is genoemd, dat we het hierbij hebben over de ethische vragen die zij zichzelf moeten stellen.

Mevrouw Veldhoen (GroenLinks):

Mijn fractie is heel blij om te horen dat er gewerkt wordt aan een kader voor het ontwerp van algoritmes. Zo begrijp ik dat daar ook een toezichthoudend kader voor wordt opgesteld. Mijn vraag is: wordt daarbij ook aan productaansprakelijkheid gedacht? Een bedrijf kan heel gevaarlijke AI-programmatuur op de markt brengen zonder dat daar een aansprakelijkheid voor geldt. Wordt daar ook naar gekeken?

Staatssecretaris Van Huffelen:

Ik was vorige week op een grote techbeurs in de Verenigde Staten, in Austin. Daar ging het vooral over generated AI, dus ChatGTP, Bing enzovoort, enzovoort, enzovoort. Ook de manier waarop je dat zou kunnen reguleren was een thema, nog even los van transparantie, dus het duidelijk maken hoe het werkt en in elkaar zit enzovoort, enzovoort, enzovoort. Ik denk dat de aansprakelijkheid een van de onderwerpen is waar we het over moeten hebben. Dat zou bedrijven wellicht kunnen helpen in hun discussies over de vraag of je het wel of niet op de markt moet brengen en wat er dan mee te doen. Maar goed, je wil ook voorkomen dat er onder iedere boodschap een disclaimer komt, maar dat er ondertussen nog een hele hoop desinformatie wordt verspreid. We zullen het er in de komende tijd nog over moeten hebben of dat de oplossing en of dat de enige oplossing is.

Mevrouw Veldhoen (GroenLinks):

Dank u wel. Dat is goed om te horen.

Staatssecretaris Van Huffelen:

Dan ga ik met uw welnemen naar de vragen die door mevrouw Prins zijn gesteld. Zij vroeg: als we nu al die richtlijnen, regels en kaders hebben — die zijn we natuurlijk voor een deel nog aan het vormen; de Europese regelgeving is nog niet helemaal af — hoe heeft dan ooit zoiets als de toeslagenaffaire kunnen plaatsvinden? Het is natuurlijk zo dat de overheid in dat kader algoritmes heeft gebruikt. Die hebben ook een rol gespeeld bij de risicoselectie. Die algoritmes zijn gebiased geraakt en hebben ertoe geleid dat er mensen in problemen zijn gekomen. Dat is overigens niet alleen op basis daarvan gebeurd, maar dat weet u ook. De onderzoeken die de parlementaire enquêtecommissie heeft gedaan aan de overkant — in dit geval is het een heel verre overkant — hebben natuurlijk laten zien dat er nog veel meer aan de hand is. Allerlei veiligheidskleppen hebben niet gewerkt. Bij het maken van en het onderhandelen over die wet- en regelgeving in Europa heb ik mijzelf ook steeds afgevraagd: zou zo'n algoritme van de Belastingdienst er niet doorheen zijn gekomen met deze regels? Op basis daarvan hebben wij ook nog allerlei dingen aangevuld in die Europese regelgeving, bijvoorbeeld dat die notificatieplicht erin moet zitten. Je moet laten weten dat je gebruikmaakt van algoritmes. Je moet ervoor zorgen dat een algoritme, zoals dat door de Belastingdienst gebruikt werd, ook daadwerkelijk in die categorie hoog risico terechtkomt. Dan moet het voldoen aan een keurmerk enzovoort, enzovoort, enzovoort. We doen natuurlijk nog veel meer dingen die ertoe zouden moeten leiden dat dit soort problemen niet meer voorkomen, of het nou over dit specifieke algoritme gaat of andere waarbij het fout is gegaan. Mensenrechten toetsen, een keurmerk: al dit soort elementen moeten een belangrijke rol spelen in het feitelijke voorkomen van dit soort problemen. Daarbij kan natuurlijk nooit 100% garantie gegeven worden, maar hopelijk wel zo veel mogelijk.

Dan zijn er nog vragen gesteld over het implementatiekader dat we zelf willen maken. In dat implementatiekader willen we voor overheidsorganisaties helder en inzichtelijk maken waar je naar moet kijken als je aan de slag wilt gaan met een algoritme op basis van wetgeving die er al is, bijvoorbeeld de AVG of de Algemene wet bestuursrecht, maar ook op basis van nieuwe wet- en regelgeving, bijvoorbeeld de AI Act en Europese regelgeving. Zo is helder wat de normen, de eisen en de wetten zijn en wat de stappen zijn die je moet doorlopen om ervoor te zorgen dat als je een algoritme ontwikkelt, dat voldoet aan de vereisten die we eraan willen stellen en die dan ook moeten gelden voor de hele Nederlandse overheid.

U heeft ook aangegeven dat het Rathenau Instituut een aantal van die praktische overzichten heeft gemaakt. Die willen we daar natuurlijk in meenemen, want die zijn ontzettend belangrijk. We gaan zorgen dat we de eerste versie van dit implementatiekader voor de zomer maken, zodat het zich verder kan ontwikkelen. We gaan het namelijk zo veel mogelijk open source doen, zou je kunnen zeggen, door ervoor te zorgen dat iedereen mee kan kijken en dat het ook verbeterd kan worden op basis van informatie en verder gebruik door verschillende partijen.

U vroeg ook of het implementatiekader verplicht kan worden. Het bevat sowieso verplichte elementen, omdat het gaat over de toepassing van al bestaande wetten en regels, zoals de AVG. Het is dus ook noodzakelijk dat je zo'n DPIA uitvoert, een privacycheck. Of we van het totaal uiteindelijk ook weer een wet willen maken, weet ik op dit moment niet. We willen wel zorgen dat dit ook echt gebruikt wordt door de Rijksoverheid en door die partijen bij de overheid die daadwerkelijk algoritmes ontwikkelen.

U vroeg ook naar een thema dat ook door anderen is genoemd: hoe zorgen we ervoor dat ICT'ers in een vroeg stadium betrokken zijn bij het maken van wetgeving, zodat je niet nog een hele vertaalslag moet maken die ertoe leidt dat je wellicht niet met de wet bereikt wat je er eigenlijk mee wilde bereiken? Het gaat er ook om dat je ervoor zorgt dat de mensen die de wetten maken, voldoende technologiekennis hebben om te zien wat de consequenties zijn van bepaalde keuzes die erin zitten. Die brede toepassing van die werkmethodes, of het nou gaat over dat Calculemus-FLINT of de wetsanalyses die wij zelf aan het ontwikkelen zijn, bevorder ik heel graag, omdat het namelijk zo ontzettend nodig is. Samen met de minister voor Rechtsbescherming ga ik kijken hoe we dat kunnen vertalen in het wetgevingsbeleid, juist om te zorgen dat bij nieuwe wet- en regelgeving die we maken, we al in een heel vroegtijdig stadium de vertaling in de uitvoering meenemen, in dit geval de uitvoering in IT en in algoritmes.

Dan is gevraagd of bij het aannemen van amendementen in het parlement kan worden getoetst of die voldoen aan diezelfde soort toetsen. Dat is altijd een beetje ingewikkeld. Het is heel erg belangrijk dat amendementen ook goed uitvoerbaar zijn. Daarom denk ik dat het goed is dat het parlement — in dit geval hebben we het vooral over de Tweede Kamer en ik zeg dat met enige schroom, want de Tweede Kamer bepaalt natuurlijk de eigen werkwijze — zo veel mogelijk geholpen wordt om dat implementatiekader ook voor het parlement te gebruiken bij het maken van amendementen, omdat het van belang is om dit te doen. Overigens gaan we altijd de invoeringstoetsen doen op het moment dat het allemaal gereed is, zowel de wetgeving als de ICT. Mochten er dan toch nog problemen zijn of dingen niet goed werken, dan kunnen we dat zo snel mogelijk zien en kunnen we als dat nodig is een hersteloperatie doen, in dit geval een herstel van de wetgeving.

Mevrouw Prins vroeg iets over eenduidige begrippen en definities van data. Dit is een onderwerp naar mijn hart. Wij hebben inderdaad gezegd dat we gaan zorgen dat er per ministerie een chief data officer komt. Dat doen we vooral omdat we merken dat wij heel veel verschillende definities gebruiken in onze wet- en regelgeving over bijvoorbeeld de onderwerpen huishouden of inkomen. Ik geloof dat zelfs het thema "stijger" in verschillende wetgeving nog verschillende definities kent. Daarom willen we proberen of we dat meer bij elkaar kunnen brengen. Daarvoor zijn die chief data officers belangrijk, ook trouwens voor het uitwisselen van data tussen verschillende partijen om er uiteraard voor te zorgen dat dit op een veilige en verantwoorde manier kan. Het is belangrijk om te zorgen dat we definities goed krijgen en dat we die zo simpel mogelijk maken, niet alleen maar om ons eigen werk efficiënter en makkelijker te maken, maar vooral ook om het begrijpelijk te maken voor de burger. Bij Belastingdienst/Toeslagen hebben we bijvoorbeeld gezien dat het inkomensbegrip per toeslag verschillend wordt geïnterpreteerd. Dat maakt het voor heel veel mensen echt heel moeilijk om überhaupt te begrijpen hoe wij werken en wat precies de criteria zijn op basis waarvan wij besluiten.

Mevrouw Prins vroeg ook wat wij eraan kunnen doen om de algoritmes waarmee het zo fout is gegaan voortaan te voorkomen. Ik heb daar al eerder iets over gezegd. We willen dat doen door het implementatiekader, door wet- en regelgeving en vooral door toetsing door de AP. Het vergt ook dat we iedereen die binnen overheid aan dit soort onderwerpen werkt, goed opleiden. Laten we er helder over zijn: we willen dat we dit soort algoritmische besluiten alleen maar kunnen maken op het moment dat we heel goed hebben getoetst of die algoritmes voldoen aan onze eigen eisen, mensenrechtentoetsen enzovoorts.

U vroeg of we ervoor kunnen zorgen dat als we algoritmes gebruiken, die regelmatig worden getoetst. Dat is precies wat ik ook wil. Ik weet hoe belangrijk het is dat je niet maar een keertje vooraf kijkt of een algoritme goed werkt, maar dat je ook tijdens het gebruik ervan blijft kijken of het dat doet, omdat een algoritme soms ongewenst, bijvoorbeeld door de trainingsdata die soms aan een algoritme worden gegeven, toch een bepaalde bias kan krijgen of discriminerend kan worden. Dat is iets wat je wilt voorkomen. Ik zeg u graag toe dat we daar met regelmaat een evaluatie op toepassen en dat we die onderdeel maken van het implementatiekader.

U gaf aan dat het heel belangrijk is dat we ervoor zorgen dat burgers begrijpen hoe wij besluiten nemen en dat de informatie daarover voor hen toegankelijk is. Dit is een onderwerp dat in den brede geldt voor de overheidsdienstverlening, want die moet in begrijpelijke taal worden geboden en toegankelijk zijn. Het is belangrijk dat mensen met een mens kunnen spreken wanneer ze vragen of problemen hebben. We zijn daar niet alleen hard mee bezig, maar we hebben hier in het directe digitale domein een aantal richtlijnen voor, bijvoorbeeld over de digitale toegankelijkheid. Daarin zeg je iets over de kwaliteit van de websites en over waar deze aan moeten voldoen. Die websites moeten voor heel veel mensen toegankelijk zijn qua taalgebruik en vormgeving, maar ze moeten ook voor mensen met een beperking toegankelijk zijn. Wij hebben samen met andere overheden gezegd dat we ons willen committeren om begrijpelijkere taal te gebruiken. Daar hebben we de Direct Duidelijk Deal voor gemaakt. Ondanks dat we dat al hebben gedaan, zeg ik erbij dat we ervoor moeten zorgen dat we op dit onderwerp blijven inzetten. Ik denk dat ieder van ons die weleens te maken heeft met een brief of een communicatie vanuit een overheidsorganisatie, ziet dat dit misschien wel heel erg hard wordt geprobeerd, maar soms ook nog heel complex is. Dus als het gaat over het thema van de dienstverlening, hebben we echt nog een weg te gaan, ondanks alle inzet die we daar al op hebben. Gelukkig voldoen een heleboel websites al aan bijvoorbeeld de toegankelijkheidseisen.

Dit waren de vragen zoals ik ze in ieder geval had geregistreerd.

De voorzitter:

Ik geloof dat mevrouw Prins nog een vraag heeft.

Mevrouw Prins (CDA):

Ja, en ik ben zo vrij om er een paar te stellen, want ik heb ze even bewaard. Is er een planning voor het bepalen van de definities die door de diverse ministeries zouden moeten worden gemaakt of is er een uitdrukkelijke toezegging? Dat is echt iets waar we met elkaar tegen aanlopen, maar wat ook weer relevant is voor de uitvoering van de diverse wet- en regelgeving. U gaf het zelf ook aan. U signaleerde met mij het probleem, alleen had ik niet helemaal scherp in hoeverre daar uitdrukkelijk actie op wordt ondernomen. Dat was mijn eerste vraag.

Dan mijn tweede vraag. U hebt al aangegeven dat wetten voortaan zullen worden getoetst met geautomatiseerde besluitvorming, als die eenmaal bezig zijn. Maar ik constateerde ook dat er onder bestaande wetgeving nu al gebruik wordt gemaakt van geautomatiseerde besluitvorming zonder dat het parlement daar enige uitspraak over heeft gedaan; kijk bijvoorbeeld naar SyRI en CAS, en zo zijn er nog wel meer voorbeelden. Kunt u toezeggen dat als AI wordt ingezet met een hoog risico — dat snap ik — onder bestaande wet- en regelgeving, er betrokkenheid van het parlement bij is? Anders overweeg ik daartoe een motie.

De laatste vraag heeft u nog niet beantwoord. Wat gaan we doen om ervoor te zorgen dat helder wordt hoe wij moeten omgaan met ChatGPT et cetera?

Staatssecretaris Van Huffelen:

Met die definities moeten we aan de slag gaan, maar ik zou echt een slag in de lucht geven als ik u een datum zou noemen. Het is echt verschrikkelijk ingewikkeld om dat aan elkaar te breien. Ik denk dat dit echt nog wel tijd zal vergen. Nogmaals, we proberen dat te doen, maar daar is echt wel tijd voor nodig. Als je wil komen tot bijvoorbeeld één inkomensbegrip of tot één begrip over wat een huishouden is, dan moeten we heel veel verschillende wet- en regelgeving aanpassen. Ik denk dus dat het de moeite loont om hier zo veel mogelijk tot uniformering te komen, maar ik kan u niet zeggen wanneer we dat precies klaar hebben. Dat is wat ik er wel over kan zeggen.

Dan zegt u iets over wetten die er al zijn of algoritmes die al worden gebruikt. Met ons algoritmeregister zorgen wij ervoor dat inzichtelijk wordt welke algoritmes nu worden gebruikt door overheidsorganisaties. Dat maakt dat ook de toezichthouder daarmee aan de slag kan. Die kan die algoritmes beoordelen en kijken in hoeverre deze voldoen aan de regels. Ons idee is natuurlijk dat ook die bestaande algoritmes straks onderdeel worden van dat implementatiekader, van rechtmatige evaluaties enzovoorts. Ze komen sowieso in het register. Ze kunnen sowieso door de toezichthouder worden bekeken als die zich zorgen maakt of als die daar überhaupt naar wil kijken.

Ik begrijp uw vraag over hoogrisicoalgoritmes heel goed: hoe kunnen wij daarbij worden betrokken? In feite zegt u dan: stel dat er een wet wordt ontwikkeld waarbij hoogrisicoalgoritmes zouden worden ingezet om die wet uit te voeren, krijgen wij dat als parlement dan ook te zien? Wordt dat voor ons duidelijk? Ik denk dat het goed is dat we dat ook gaan doen. Ik weet nog niet helemaal precies in welke vorm we dat moeten doen. Misschien moeten we het bij de wetsbehandeling doen. Dat lijkt me voor de hand liggend. Wanneer er sprake is van de inzet van algoritmes van een hoog risico — we hebben het dus niet over de liften enzovoorts — denk ik dat het goed is dat we bij de behandeling van de wetgeving goed met elkaar gaan kijken hoe dat helder wordt.

De laatste vraag die u had, had ik verhuisd naar het blokje van de heer Otten. Het was namelijk de enige vraag die hij had gesteld, samen met u. Ik wilde hem dus op dat moment behandelen, maar ik kan hem ook even naar voren halen. De vraag was wat voor kaders we aan ChatGPT willen stellen. Zij moeten aan dezelfde wetten en normen voldoen die gelden voor alle sites, zoekmachines en Generative AI. We weten natuurlijk dat er op dit moment helemaal nog geen sprake van is. We weten niet of ChatGPT voldoet aan de privacyregels die gelden. Dat staat nog los van de regelingen die er nog aan zitten te komen. Als je van zoiets gebruikmaakt, denk ik dat het ongelooflijk belangrijk is dat je je realiseert dat je te maken hebt met een zoekmachine die verre van perfect is. Net werd al voorgelegd dat het systeem dat zelf ook heeft aangegeven, want dat las de heer Otten voor. Als je er gebruik van maakt, is het nodig dat je daar rekening mee houdt. Uiteindelijk zullen zij moeten voldoen aan alle wetten en regels, net zoals andere grote platforms, ervan uitgaande dat ze straks net zo groot worden. Dat is inclusief de regels die al gelden, zoals privacyregels.

De voorzitter:

Mevrouw Prins heeft toch nog een slotvraag.

Mevrouw Prins (CDA):

Dat klopt, nog even over dit laatste. Ik begrijp dat zij moeten voldoen aan alle wet- en regelgeving die u heeft aangegeven. Maar in hoeverre vinden wij als Nederland en u als staatssecretaris van digitale zaken dat mensen, scholen, rechtbanken et cetera er straks mee moeten omgaan? Mogen ze dit gebruiken? Hoe mogen ze dit gebruiken? Dat wordt wel een vraag. Wat doe je straks bijvoorbeeld met een scriptie die voor een groot deel gemaakt is met dank aan ChatGPT? Dat vind ik toch iets waar de overheid een bepaalde uitspraak over zou moeten doen. Deelt u die mening?

Staatssecretaris Van Huffelen:

Ja en nee. De kern is dat onze wetten en regels gaan over bijvoorbeeld privacy en transparantie. Je moet bijvoorbeeld inzichtelijk maken hoe je tot je informatie komt. Bij dit soort nieuwe technologie moeten we er opnieuw over nadenken welke aanvullende eisen en regels we eventueel willen stellen. De vraag is vervolgens: mag iemand het gebruiken? Mag een kind het gebruiken? Mag een volwassene het gebruiken? In principe zou je zeggen van wel. Wanneer het platform voldoet aan de vereisten, mag je het gewoon gebruiken. Het stelt wel nieuwe vragen over hoe je wilt dat die toepassingen er zijn. In het onderwijs is het bijvoorbeeld de vraag of je het een interessant onderdeel van onderwijs vindt om mee te nemen, of dat je iemand die een scriptie moet schrijven, met pen en papier en zonder computer in een hok zet om zelf tekst te genereren. Dat zijn vragen die de verschillende branches zichzelf moeten stellen. Ook wij als overheid moeten dat doen. Vinden wij bijvoorbeeld dat we burgerbrieven met ChatGPT moeten beantwoorden? Ik vind dat we er voorlopig zeer terughoudend in moeten zijn, omdat we niet precies weten op basis waarvan de antwoorden worden gegeven op de vragen die je aan de machine stelt. Als het gaat om beleidsvorming, wet- en regelgeving en besluitvorming, denk ik dat we voorlopig nog geen gebruik ervan moeten maken, maar dat we eerst moeten kijken hoe we fatsoenlijke regelgeving hierover kunnen maken.

Mevrouw Prins (CDA):

Ok.

De voorzitter:

Gaat u verder. O nee, er is nog een vraag van de heer ...

De heer Otten (Fractie-Otten):

Voorzitter, het is voor het eerst in vier jaar dat u zich mijn naam niet kunt herinneren.

De voorzitter:

Ik zit hier niet zo vaak meer.

De heer Otten (Fractie-Otten):

Ik hoop dat het verder goed gaat. Ik heb een vraag aan de staatssecretaris. Weet u wat Bard is?

Staatssecretaris Van Huffelen:

Nee.

De heer Otten (Fractie-Otten):

Dat is de chatbox van Google die vanmiddag, twee uur geleden, in Amerika en het VK gelanceerd is. Dat is de concurrent van ChatGPT, waarover de vorige vragen gingen. Ik vraag dit om te illustreren hoe ontzettend snel het allemaal gaat, zoals ik ook in mijn eerste termijn zei. Het gaat ontzettend snel; tijdens dit debat is er alweer een chatbox door Google gelanceerd. Ik wil maar aangeven dat wij als wetgever dat absoluut niet kunnen bijbenen. Het gaat zo ongelofelijk snel. Maar goed, dit was meer een constatering. Dan weet u nu wat Bard is.

Staatssecretaris Van Huffelen:

Dank u wel. Ik heb begrepen dat Bard de Bing van Google is. Misschien kan ik er een paar dingen over zeggen. Het stelt ons voor een vraagstuk. Willen we dit gebruiken? Wat voor regelgeving is hiervoor nodig? Natuurlijk zijn wij op dit punt altijd volgend in wat er al gebeurd is. In de gesprekken die ik heb gevoerd met een aantal van de grote big-techbedrijven heb ik ook gesproken over hun rol daarin. Door hen ontwikkelde producten — laten we er helder over zijn dat dit op zich heel knappe producten zijn; die zijn echt wel heel bijzonder — worden in de markt gelanceerd zonder dat helder is wat de ethische consequenties daarvan zijn. Ik vind dat die bedrijven daar ook een rol in te spelen hebben. Wij mogen hen bevragen. Voordat u iets lanceert, heeft u daarover nagedacht? En kunnen wij daarover met u in gesprek voordat u dat doet? Dat zijn vragen die zij zelf nog heel ingewikkeld vinden, want zij zijn met een race bezig: wie is de eerste die iets nieuws lanceert? Maar in feite zijn dat ook de regels die we hebben afgesproken met autoproducenten, met mensen die medicijnen maken, enzovoort, enzovoort.

Er is dus wat mij betreft ook een taak voor de bedrijven zelf om niet zomaar dingen te lanceren en — ik meen dat dat een quote was van iemand in een krant — de samenleving niet te zien als een soort maatschappelijk experimenteergebied, maar ook na te denken over dit soort consequenties.

De heer Recourt (PvdA):

Over dit onderwerp zeg ik dat bedrijven als doel hebben om geld te verdienen en dat het echt aan de overheid is om die ethische eisen te stellen, net zoals dat bij auto's en medicijnen gebeurt. Ik heb er geen vertrouwen in dat bedrijven dat uit zichzelf gaan doen. Maar dat terzijde.

Ik had een vraag over het vorige onderwerp. Het gaat mij om het register waar de hoogrisicoalgoritmes in komen. Ik heb het register bekeken voor zover het er nu staat. Er staan er nu 113 in. Het gaat daarbij om een omschrijving en vervolgens volgt er iets technisch. Als dat aan de Kamer wordt gegeven, zodat wij daarover kunnen debatteren, komen we niet veel verder, want ik snap die technische regels niet. Mijn vraag aan de staatssecretaris, maar eigenlijk ook aan mijn collega's, is om erover na te denken welke informatie wij en de overkant nodig hebben om hier iets zinnigs over te zeggen.

Staatssecretaris Van Huffelen:

Dat is natuurlijk best een lastige vraag. De transparantie over een algoritme en de broncode die wordt gebruikt, kunnen we natuurlijk geven, maar je moet behoorlijk geschoold zijn om dat goed te kunnen lezen. Het is dus ook steeds weer van belang — dat is waar u zelf ook naar vraagt — om te weten: als je dit algoritme inzet, wat gebeurt er dan? Wat zijn dan de basisregels? Het is bij wijze van spreken hetzelfde als het T-biljet dat je vroeger invulde, waarbij je een bepaald pad afliep — ja of nee, en als dat, dan dat, enzovoort, enzovoort. Ik denk dat het goed is dat wij daar met elkaar ook in de wet- en regelgeving naar kijken.

Als je het echt wilt begrijpen, moet je je ook echt verdiepen in de broncodes. Dat kan niet iedereen, maar we kunnen wel mensen vragen om daar voor ons naar te kijken. Wij hebben allerlei experts die daarnaar kunnen kijken, of dat nu mensen zijn van de ngo's, Bits of Freedom, Open State Foundation, of anderen die de codes heel goed kunnen doorgronden. Ik denk dat dat belangrijk blijft. Je kunt het uiteindelijk niet erg versimpelen, want dan gaat het misschien ook weer nergens over. Als je echt de codes wil begrijpen, moet je je daar ook in verdiepen, of moet je mensen vragen die er namens jou naar kunnen kijken. Ik ben het met u eens dat die twee elementen nodig zijn. Dus proberen zo veel mogelijk toe te lichten: hoe werkt deze wet, hoe voeren we hem uit en met welke vragen zijn we geconfronteerd toen we het gingen uitvoeren? En tegelijkertijd ook de mogelijkheid geven aan onderzoekers en experts om echt in de code te duiken en op basis daarvan vragen te stellen of ons te wijzen op eventuele problemen.

De voorzitter:

Tot slot.

De heer Recourt (PvdA):

De staatssecretaris zegt: we gaan kijken hoe we de Kamers hierover gaan informeren. Ik probeer het wat concreter te maken. Het lijkt alsof de staatssecretaris de bal terugspeelt: gaat u experts bevragen. Maar misschien wilt u in ieder geval bij het gaan kijken naar "hoe informeren we de Kamer?" die duiding al meenemen.

Staatssecretaris Van Huffelen:

Dat gaan we dus doen door niet alleen het algoritme of de broncode te laten zien — als die al klaar is, want in een nutstraject heb je vaak nog niet het hele IT-traject afgelopen — maar bijvoorbeeld ook de mensenrechtentoetsen — voldoet het aan de vereisten daarvan? — de AVG-toetsing, de DPIA's en de invoeringstoetsen te laten zien. We kunnen dus best heel veel laten zien op basis waarvan zo'n algoritme werkt. Het is in ieder geval heel belangrijk dat zichtbaar is hoe die verschillende trajecten vanuit de overheid zijn bij het maken van de afwegingen over het inzetten van een algoritme.

Dan ga ik over naar de vragen die door mevrouw De Blécourt van de VVD zijn gesteld. Zij heeft het gehad over de handvatten die door het Rathenau Instituut zijn opgesteld op basis van de vragen die zij aan hen heeft gesteld. De vraag was ook of er regelmatig geëvalueerd kan worden als het gaat over algoritmes. Dat is precies wat ik ook van belang vind. U vroeg ook of we daar met regelmaat over kunnen spreken. Dat lijkt me heel goed. We hebben sowieso toegezegd dat we over de werkagenda die we hebben gemaakt en die onder andere gaat over algoritmes, inzicht in algoritmes, toezicht op algoritmes en de wetgeving rondom algoritmes, jaarlijks met elkaar spreken, ook om aan te geven hoe we daarin staan. Dan kunnen we het ook hebben over waar we het eerder deze avond over hadden, namelijk het vraagstuk wat we zien als nieuwe technologieën. Dezelfde conferentie als waar ik vorige week was, had het vorig jaar vooral over Googlebrillen en de metaverse. Dat was nu alweer bijna oud nieuws, terwijl er net zo goed over die technologie nog heel veel vragen te stellen zijn. Wat mij betreft doen we dat dus jaarlijks aan de hand van de werkagenda.

Dan was er ook de vraag of het wenselijk is om AI-cursussen in het onderwijs te geven. Dat vind ik ontzettend belangrijk. Het ministerie van OCW werkt samen met ons aan het verbeteren van de digitale geletterdheid van kinderen in het basisonderwijs en het voortgezet onderwijs. Dat is echt een breed pakket. Dat gaat over code, dus over programmeren, over begrip van hoe systemen werken, maar dus ook over digitale geletterdheid in de zin van mediawijsheid. Begrijpen we waar informatie vandaan komt? Wanneer kun je informatie wel of niet vertrouwen? Hoe kun je de controles daarop goed uitvoeren? Enzovoort, enzovoort. Ik merk dat dat ook nuttig is.

De voorzitter:

Mag ik de staatssecretaris even onderbreken voor een betekenisvolle menselijke tussenkomst? Ik kan namelijk wisselen met de voorzitter.

Voorzitter: Bruijn 

De voorzitter:

Vervolgt u uw betoog.

Staatssecretaris Van Huffelen:

Ik was net lekker bezig. Het gaat er dus over dat we iets aan die digitale geletterdheid in de brede zin van het woord willen doen. Ik vertelde net dat dat ook nodig is. Ik was onlangs op mijn eigen oude basisschool — lagere school heette dat nog toen ik erop zat — en sprak daar met kinderen over hoe zij die digitale technologieën gebruiken. Dan zie je dat het voor hen ook heel erg belangrijk is om goed te begrijpen wat ze wel of niet kunnen vertrouwen. Natuurlijk hebben ze daar ook een basisinstinct voor: dit kan toch niet waar zijn? Maar ze vertelden mij ook dat ze het soms echt heel lastig vinden om op basis van de filmpjes die ze zien of de informatie die ze krijgen, te kunnen beoordelen of het klopt of niet. Daar hebben ze echt wel tools voor nodig. Het gaat dus om digitale geletterdheid in de breedte: code, begrijpen hoe een apparaat werkt, begrijpen hoe je digitale informatie kunt beoordelen. Dat dat nodig is, is wel duidelijk, omdat nog zo ontzettend veel mensen in Nederland daar moeite mee hebben.

Dan heeft zij nog een vraag gesteld over het federatief datastelsel. Dat is een systeem dat wij bij de overheid willen gebruiken om verschillende basisregistraties, bijvoorbeeld de BRP, de basisregistratie van gebouwen of de basisregistratie van het kadaster, aan elkaar te kunnen koppelen. Daarmee willen wij niet komen tot één grote vergaarbak van data, maar juist zorgen dat de data bij de bron blijven en dat we vervolgens in kaart brengen hoe je data onderling kunt combineren en uitwisselen, uiteraard op basis van wettelijke grondslagen om dat te doen. Dat zijn we nu aan het inrichten. We doen dat voor een deel naar het voorbeeld van Vlaanderen, waar ze een kruispuntbank hebben gemaakt. We willen om veiligheidsredenen ervoor zorgen dat de data bij de bron blijven, om ze goed te kunnen beheren en om ervoor te kunnen zorgen dat ze altijd actueel zijn. Maar mensen die data nodig hebben, aanbieders en afnemers, moeten de mogelijkheid hebben om die data op een veilige manier met elkaar te kunnen delen.

We willen dat onder andere omdat we onze dienstverlening heel veel proactiever willen proberen te maken. Als je nu een toeslag wilt aanvragen of gebruik wilt maken van de energiecompensatie die we onlangs hebben uitgekeerd, dan moeten we de mensen nu heel vaak eerst vragen om iets te doen. Door op een veilige manier data te combineren willen we proberen om mensen dit soort regelingen veel proactiever aan te bieden of geld uit te keren, zodat mensen niet steeds moeten worden gevraagd om zelf dingen te doen.

Mevrouw De Blécourt vroeg ook of we gaan samenwerken met landen buiten de Europese Unie. Dat doen we ook op dit moment al, overigens heel actief, bijvoorbeeld als het gaat om algoritmes en AI. De Raad van Europa is namelijk op dit gebied ook een verdrag aan het maken. Dat verdrag sluit ook weer aan op de regelgeving die we in Europa aan het maken zijn, maar is nog meer gebaseerd op de bescherming van mensenrechten, democratie en rechtsstaat. In de Raad van Europa zitten ook de Verenigde Staten, Canada en Japan, dus op die manier proberen we die regelgeving ook breder toegepast te krijgen. Ik vind dat zelf alleen maar extra belangrijk, omdat we veel van de algemeen ontwikkelde algoritmes die we vandaag de dag gebruiken, gewoon inkopen in de Verenigde Staten. Dan is het fijn als die aan dezelfde wetten en regels onderhevig zijn als wij hier in Europa hebben.

Dan ben ik volgens mij toe aan de vragen van de ChristenUnie. De eerste vraag was wat voor modellen ten grondslag liggen aan een algoritme. Dat vind ik best een moeilijke vraag om te beantwoorden, want dat is per algoritme verschillend. Dat ligt eraan welk doel ermee wordt nagestreefd. Algoritmes kunnen heel complex zijn, maar ook heel simpel. Het kan een simpel "als A, dan B"-algoritme zijn: als u meer dan zoveel kilometer per uur rijdt, dan krijgt u een boete van dat bedrag. Er is ook gesproken over kansen en risico's. Wij proberen natuurlijk algoritmes niet alleen te gebruiken als een soort van risicotool, maar ook om er in de basis voor te zorgen dat we wet- en regelgeving op een goede, veilige en efficiënte manier kunnen uitvoeren.

De heer Verkerk vroeg ook: zijn we niet vaak aan het overvragen? Begrijpt AI wel echt wat de rechtsstaat is? Kent AI de pijn van slachtoffers? Dat is natuurlijk niet zo, want AI is heel slim, maar hoe je het ook wendt of keert ... ChatGPT, Bing en Bard zijn zeer slimme systemen, die een heleboel informatie op een heel efficiënte en snelle manier kunnen processen. Daarvoor is overigens ook wel heel veel rekencapaciteit nodig. Ik geloof dat iemand zei dat één vraag aan ChatGPT stellen alleen al aan energie iets van 7 dollarcent kost. Dan kun je nagaan wat er gebeurt als wij daar met elkaar heel veel gebruik van maken. Dan heeft het dus ook in dat opzicht een grote impact op de samenleving.

Maar die algoritmes ontwikkelen zich. Het kan zijn dat ze een beter inzicht krijgen in de rechtsstaat, betere juridische assessments maken. Het zou zelfs mogelijk kunnen worden om ze in psychotherapie te gebruiken en dat ze empathisch zouden kunnen overkomen. Maar dat kan natuurlijk alleen als we dat die systemen ook aanleren. Daarom blijft het belangrijk dat wij, wetend wat die systemen wel kunnen en wat ze niet kunnen, onszelf vooral elke keer blijven afvragen waar wij vinden dat deze toepassingen wel gebruikt moeten worden en waar dat voorlopig niet het geval zou moeten zijn, waar we dus nog gewoon mensen aan het werk willen laten en waar we AI willen gebruiken, al dan niet als ondersteuning van ons werk.

De heer Verkerk heeft ook vragen gesteld over hoe de uitvoerende macht en het bestuur in elkaar kunnen worden gezet en eventueel ook de rechterlijke macht. Ik heb het er al eerder vanavond over gehad. Daarvoor is het heel belangrijk dat we heel goed kijken naar hoe je wetgeving vertaalt en dat je dat al vroegtijdig in het proces doet, wanneer je die wetgeving vertaalt in algoritmes. Het blijft ook heel erg belangrijk dat we niet alleen transparant zijn over algoritmes, maar ook over hoe de besluitvorming tot stand is gekomen, dat bij geautomatiseerde systemen altijd het motivatieprincipe blijft bestaan en dat het voor burgers mogelijk is om daadwerkelijk antwoord te krijgen op de vraag: waarom is het besluit in mijn geval uitgevallen zoals het is uitgevallen? Het is ook belangrijk dat we ook het besluit kunnen nemen om AI niet te gebruiken. Daar kom ik weer op terug.

Mevrouw Veldhoen (GroenLinks):

Ik kom nog even terug op het punt dat ik had gemaakt, maar collega Verkerk ook, over ondersteuning van de rechtspraak en van het parlement. U hebt gezegd dat u in overleg gaat over de rechtspraak. In mijn eerste termijn heb ik ook iets gezegd over een adviescommissie die net is ingesteld door het kabinet, las ik vanochtend, en dat is de Adviescommissie Analytics. Die commissie gaat advies geven aan het ministerie van Financiën en de Belastingdienst, Douane en Toeslagen over algoritmen en risicomodellen. Dat is precies waar ik op doelde toen ik vroeg: moeten we niet de rechtspraak en het parlement versterken met een adviescommissie, als het gaat om algoritmische besluitvorming en de risico's die daaraan vastzitten? Nu deze commissie is ingesteld door het kabinet, kan het natuurlijk niet dezelfde commissie zijn. Maar als ik mee zou denken over het instellen van een commissie die zou kunnen adviseren aan de rechtspraak en het parlement, hoe staat u daar dan tegenover?

Staatssecretaris Van Huffelen:

Het is natuurlijk aan de rechtspraak om zelf te bepalen wat zij denken dat goed voor hen is of nodig is in hun geval, als ze advies nodig hebben. Ik zeg het even simpel. Ik vind het moeilijk om dat vanuit mijn rol te zeggen, want ik hecht heel erg aan de trias politica. Als de rechtspraak zegt dat ze hulp nodig hebben bij bijvoorbeeld het beoordelen of informatie niet fake is en of filmpjes die worden ingebracht in een rechtszaak daadwerkelijk echt zijn, dan zou ik hen vooral willen oproepen om zichzelf daarin te bekwamen. Natuurlijk kunnen wij vanuit de wetgeving kijken hoe je kunt zorgen dat er zo veel mogelijk transparantie is over deepfakes en dat je de dingen doet die ik al heb genoemd en die ook in de Europese wetgeving staan. Ik vind het belangrijk dat de diverse poten van de trias dat voor zichzelf goed definiëren. Wij als overheid gaan daarnaar kijken. U kunt dat als parlement natuurlijk ook doen. Ik kan me heel goed voorstellen dat u dat wil; daar hebben we het de hele avond over. We kijken voor een deel naar iets waarvan we al weten dat het er is, wat al gebruikt wordt, waar we regels over kunnen opstellen die voor een deel nog moeten worden geïmplementeerd. Er zijn ook ontwikkelingen waarvan we nu nog niet weten hoe die er uitzien, maar waartoe we ons wel hebben te verhouden. Ik kan me dus heel goed voorstellen dat u als parlement zegt: ik vind het wel belangrijk dat we op de een of andere manier een basis hebben en ons informeren. Maar u gaat er natuurlijk vooral zelf over hoe u dat wil inrichten.

Mevrouw Veldhoen (GroenLinks):

Dank u wel. Heel fijn om te horen dat de staatssecretaris zo helder reageert op mijn opmerkingen over de trias. Ik kan me wel voorstellen dat dit onderwerp ook wordt meegenomen in het overleg met de minister voor Rechtsbescherming. Ik kan me voorstellen dat juist met de kennisvoorsprong die u als staatssecretaris heeft, u ook daarin een aanjagende rol kunt hebben.

Staatssecretaris Van Huffelen:

Zeker, zeker.

Dan ga ik naar de vraag van de heer Verkerk over de garantie: hoe weten we dat de wet naar letter en geest goed vertaald is in een algoritme? Dan gaat het weer over de enorme samenhang die er moet komen tussen het zorgen dat ICT'ers vroegtijdig betrokken zijn bij wetgeving en het zorgen dat wetgevingsjuristen ook veel kennis hebben van ICT om dat in elkaar te krijgen. Dat is nu nog geen staande praktijk. Ik ben bezig daarvoor een handleiding te maken. De methoden die deskundigen zoals Lokin en Doesburg voorstellen — u heeft daar al over gesproken — spelen daar een belangrijke rol bij.

De heer Verkerk vroeg ook naar de macht van big tech en het handelingsvermogen van de overheid. Het handelingsvermogen van de overheid, de burger en de samenleving willen we natuurlijk zo groot mogelijk maken. Dat is de reden waarom we het zo ontzettend belangrijk vinden om met name in Europees verband wetten te maken om grenzen te stellen aan de producten en de diensten die dit soort bedrijven leveren. Denk bijvoorbeeld aan de DSA, de Digital Services Act, die grote onlineplatforms dwingt om verantwoording af te leggen over de informatie die op hun platforms wordt gedeeld en hoe zij voldoen aan de eisen van de democratische rechtsstaat, of het nou gaat over transparantie, toetsing, openheid of een gelijk speelveld. We proberen dat op die manier te doen. Ik vind het ook ontzettend belangrijk dat we dat blijven doen. Daarbij moeten we onszelf steeds weer de vraag stellen in hoeverre we — denk dan aan de burgers, de overheid, maar ook aan andere settings — van hun producten en diensten gebruik willen maken.

De voorzitter:

De heer Backer. O nee, ik bedoel natuurlijk de heer Otten.

De heer Otten (Fractie-Otten):

Ik bemerk een aantal senior moments bij de voorzitters vandaag.

Ik heb even een vraag. Ik kan me voorstellen dat de staatssecretaris die niet meteen kan beantwoorden. Misschien kan zij dat in de tweede termijn wel. Ik hoor haar net zeggen: het beantwoorden van één vraag via ChatGPT kost €0,07 aan energie. Intuïtief denk ik dan meteen: dat kan niet kloppen. Mijn vraag aan de staatssecretaris is: kan zij onderbouwen waar die berekening vandaan komt? €0,07 lijkt mij namelijk heel erg veel. Kunt u daar in de tweede termijn op terugkomen?

Staatssecretaris Van Huffelen:

Dat is prima. Dit is een uitspraak van de baas van OpenAI. Als ik lieg, dan lieg ik dus in commissie. Ik kom daar in de tweede termijn even op terug.

Ik ga verder met de vraag van de heer Verkerk hoe je ervoor zorgt dat de geautomatiseerde besluitvorming zo goed mogelijk uitlegbaar is. Hij vraagt ook welke waarborgen daarvoor moeten gelden. We hebben het daar vanavond al eerder over gehad, denk ik. Er zitten sowieso al waarborgen in de Awb. Die zijn we aan het aanscherpen en verder aan het invullen. We willen daarmee zorgen dat de uitspraken die de Afdeling bestuursrechtspraak van de Raad van State doet zo veel mogelijk gebaseerd kunnen zijn op de helderheid over hoe die besluitvorming tot stand is gekomen.

De heer Verkerk vroeg: zouden modellen en algoritmen onder redelijke condities ook beschikbaar moeten zijn voor kritisch wetenschappelijk onderzoek? Ja, dat vind ik ook. Het Algoritmeregister is bedoeld om de verschillende aspecten van hoogrisicoalgoritmes te laten zien. In sommige gevallen gaat het dan om de hele code, zodat derden — denk dan aan wetenschappers en ngo's — kritisch kunnen meekijken hoe die algoritmes zijn gebouwd en waaruit ze bestaan. We hebben als overheid gezegd dat we dit bij het zorgbeleid ook heel erg omarmen. Als wij als overheid gebruikmaken van algoritmes, dan willen wij die ook open source laten ontwikkelen, zodat iedereen mee kan blijven kijken naar de ontwikkeling van broncodes en het gebruik daarvan.

De heer Verkerk stelde ook een vraag over deepfakes en het feit dat veel deepfakes pornografisch zijn. Deepfakes worden op verschillende manieren gebruikt. Ze kunnen echter heel erg ongewild en heel erg verschrikkelijk zijn voor de mensen die het overkomt. Ze kunnen soms ook heel erg grappig zijn. We kennen allemaal leuke filmpjes. Het kan natuurlijk ook een zeer nare ervaring zijn om jezelf op welke manier dan ook tegen te komen op het web in een bepaalde setting of met uitspraken die totaal niet van jou zijn. Het gaat namelijk niet alleen om plaatjes; het gaat ook om tekst. Dat is ook de reden dat de minister van JenV en de minister voor Rechtsbescherming op verzoek van de Tweede Kamer een onderzoek hebben laten uitvoeren over de vraag of het recht goed is toegerust om met deze onwenselijke deepfakes om te gaan. Zoals u aangeeft, stelt dat onderzoek een reguleringsoptie voor aan het kabinet om deepfaketechnologieën te verbieden. Het debat daarover is in de Kamer gevoerd. Er is ook een motie aangenomen van onder anderen het lid Rajkowski. Wij zullen een beleidsreactie maken op dit rapport. Daarmee gaan we ook kijken naar de voorgestelde reguleringsoptie en eventuele andere reguleringsopties die nodig zijn om met deze technologie om te gaan.

U vroeg ook hoe het nou komt dat bijvoorbeeld zo'n SyRI-project en andere algoritmes zijn gebruikt en dat dit maar door is gegaan. Ik heb die vraag ook wel beantwoord naar aanleiding van de vragen die mevrouw Prins heeft gesteld. Dat komt voor een deel doordat we de soorten van waarborgen die we nu willen gebruiken, nog niet hadden. Algoritmes zijn te complex. Het is niet altijd duidelijk wat er gebeurt. Maar het kan ook zijn dat algoritmes zijn getraind of dat de data die daarin zitten, van tevoren onvoldoende zijn getoetst. Nogmaals, met de waarborgen die we nu willen inzetten, zoals mensenrechtentoetsen en keurmerken voor hoogrisico-AI, willen we ervoor zorgen dat dit kan worden voorkomen. Los daarvan hebben we nu ook een toezichthouder die goed gaat opletten, zodat dit soort effecten zich niet meer gaan voordoen. Ik heb ook al eerder gezegd dat je dit soort algoritmes er op die manier veel eerder uit zou moeten kunnen halen.

Dan ging het over data die worden gebruikt bij algoritmes. Kan dat niet leiden tot ongewenste profilering? Dat is zo en dit betekent dat je heel goed moet kijken naar de manier waarop je een algoritme traint. Als je een algoritme met alleen maar data van mannen of vrouwen traint, kan het heel goed zijn dat het dan lijkt dat er meer vrouwen zijn die een bepaalde actie wel of niet doen, een bepaald besluit nemen of een bepaald gedrag vertonen. Daarom is het ontzettend belangrijk dat we de handreiking Non-discriminatie by design hebben gemaakt, omdat die een werkmethode biedt, niet alleen voor de ontwikkeling van algoritmes, maar ook voor de manier waarop je die algoritmes traint om discriminatie te voorkomen en ervoor te zorgen dat er geen ongerechtvaardigde onderscheiden kunnen worden gemaakt.

Eentje sla ik over en dan ga ik naar de vragen van mevrouw Gerkens. Ik heb overigens geprobeerd om de dubbeling er een beetje uit te halen, dus ik hoop dat ik mevrouw Gerkens met deze beantwoording van haar vragen goed bedien. Zij heeft gevraagd welke rol ethische kaders spelen bij de ontwikkeling van algoritmes of AI bij de overheid. Op dit moment geldt uiteraard ons huidige wettelijke kader. Dat betekent dat we op basis van de Grondwet niet mogen discrimineren. Op basis van de AVG moeten we ervoor zorgen dat gegevens worden beschermd en de privacy wordt gewaarborgd. Ik gaf ook al eerder aan dat wij bezig zijn met het maken van een implementatiekader dat overheidsorganisaties helpt om alle eisen, normen en wetten bij de inzet van algoritmes beter inzichtelijk te maken en om juist de goede toetsen te doen en daar ook de instrumenten voor aan te geven. Het is namelijk van belang dat we bij het maken van AI daadwerkelijk al de toetsen doen die we nu hebben. Daarnaast zijn we bezig om wet- en regelgeving te maken in Europees verband. Op basis van de huidige wet- en regelgeving kunnen wij al heel veel doen om ervoor te zorgen dat we de ethische kaders van AI voldoende meenemen, of het nou gaat om gegevensbescherming, privacy en transparantie of om bijvoorbeeld discriminatie of anderszins.

Mevrouw Gerkens (SP):

Ik heb natuurlijk de beantwoording van de staatssecretaris gehoord. Ik moet zeggen dat ik toch onder de indruk ben van de zorgvuldigheid waarmee ze dit probeert aan te pakken. Ik begrijp dat ze verder gaat dan de plannen die op dit moment voorliggen in Europa, althans, we krijgen daar pas in het najaar een definitief plan van. Wellicht kunnen we daar een voorbeeldrol in spelen. Mijn vraag gaat erover dat je ethische kaders op een gegeven moment moet vaststellen. Daar zul je een gesprek over moeten hebben. Hoe doet de staatssecretaris dat?

Staatssecretaris Van Huffelen:

We hebben daar al verschillende kaders voor laten ontwikkelen. Die zijn er ook al, natuurlijk even los van de kaders die we al met elkaar kennen, zoals onze Grondwet, de AVG enzovoorts, enzovoorts. Wat ik wel heb aangegeven, en dat wil ik in het implementatiekader ook wat duidelijker maken, is hoe je die toetsen goed kunt maken, dus hoe je als overheidsorganisatie bij het ontwikkelen van algoritmes ook die toetsen nog eens even stelselmatig kunt aflopen. Want het is natuurlijk heel makkelijk om te zeggen "dit zijn de ethische principes", maar er kunnen natuurlijk — dat is niet altijd zo — conflicterende elementen in zitten. Ik weet bijvoorbeeld dat de gemeente Utrecht bij de besluitvorming over of je wel of niet bodycams geeft aan politieagenten ook met allerlei ethische vraagstukken te maken krijgt, zowel over de positie van de persoon, de agent zelf, als over bijvoorbeeld degene die ze op straat filmen. Dus ik denk dat het goed is als we dat in dat implementatiekader nog verder uitwerken. Er is nooit een soort vast stramien waardoor je altijd dezelfde uitkomst hebt, maar het gaat erom dat je daadwerkelijk die afwegingen maakt. En wat mij betreft is het dan ook transparant waarom je die keuzes maakt en waarom je in het geval van het wel geven van een bodycam aan een agent of boa ook zegt dat je het oké vindt dat in sommige gevallen de privacywetgeving … Nou, die wordt niet aan de zijkant gezet, maar ik bedoel dat je ervoor kiest om wel iemands beelden of stem op te nemen.

Dan gaan we even door naar de vraag van mevrouw Gerkens over dat EU-toezicht. In het kader van die Europese AI-verordening is er nog niet een definitieve afspraak gemaakt over de inrichting van het toezicht. Tot nu toe is het model zodanig dat er sprake is van nationale toezichthouders. In dat geval is dat als coördinator de AP, die ook nog andere toezichthouders kan inzetten en gaat inzetten bij het toezicht houden hierop. Maar het idee is ook wel dat de nationale toezichthouders gezamenlijk ook elkaar gaan voeden en helpen om ervoor te zorgen dat ze samen kunnen werken aan het toezicht houden op algoritmes.

Ik vind dat zelf ook belangrijk, omdat het in heel veel gevallen niet zo is dat allerlei organisaties hun eigen AI maken. Vaak kopen ze algoritmes in. Dat zijn ook die algoritmes die aan die keurmerken moeten voldoen enzovoorts, enzovoorts. Het is natuurlijk belangrijk dat je dat zo veel mogelijk samen doet in Europees verband, om te voorkomen dat je tegen problemen op loopt die we voor een deel bijvoorbeeld zien bij de AVG, waarbij wij niet zomaar vanuit Nederland Facebook kunnen aanspreken, omdat het bedrijf gevestigd is in Ierland en de Ierse regulator dat dus moet doen. Daar willen we proberen om zo veel mogelijk samen te werken en daarmee effectief toezicht te houden. Tegelijkertijd is ook nationaal toezicht wel gewenst, omdat algoritmes soms natuurlijk helemaal niet zo grootschalig zijn dat ze overal worden toegepast.

Het gaat niet alleen over de ontwikkeling. De AI Act gaat over de ontwikkeling van algoritmes, die je van tevoren van een keurmerk moet voorzien als er sprake is van een hoger risico. Maar ik vind ook de toepassing ervan belangrijk. Je wil ook dat als een overheid een algoritme gebruikt, ook al is dat door iemand anders ontwikkeld, gewoon helder wordt dat er sprake is van het gebruik van algoritmes bijvoorbeeld. Dan heb ik volgens mij de vragen van mevrouw Gerkens, ook in combinatie met die van anderen, beantwoord.

Dan ben ik toegekomen aan de vragen van de heer Dittrich van D66. U vroeg: hebben systeembouwers de juiste aspecten ingebouwd in algoritmes en kunnen we voorkomen dat er foute ontwikkelingen plaatsvinden op het punt van discriminatie, negatieve etnische profilering enzovoorts, enzovoorts? Het is natuurlijk heel erg belangrijk dat we dat steeds willen voorkomen. We willen ervoor zorgen dat er voldoende handreikingen, regelgeving, toetsing en toezicht zijn om ervoor te zorgen dat discriminatie in het ontwerp van algoritmes wordt voorkomen. We hebben daarvoor dat toetsingskader gemaakt. Dat is eigenlijk de mensenrechtentoets. Maar er zijn nog andere designtoetsingskaders, bijvoorbeeld van het College voor de Rechten van de Mens, om ervoor te zorgen dat we dat ook daadwerkelijk bij het ontwerp toepassen, dus non-discriminatie by design. Of dat dan ook feitelijk gebeurt, moeten we de komende tijd goed in de gaten blijven houden, overigens niet alleen bij de overheid, maar ook in brede zin. Daar hebben we dan ook onze toezichthouder voor.

U vroeg ook hoe we omgaan met de conclusies van de Commission on the Status of Women over gendergelijkheid in de bouw van algoritmes. Dat is natuurlijk ontzettend belangrijk. U noemde ook nog een aantal andere punten. U zei: heel veel van de AI wordt door mannen gemaakt en kan daardoor al een zekere bias hebben. Het is dus ongelofelijk belangrijk dat non-discriminatie by design erin zit, dat we dat toetsen en dat hier ook goed naar wordt gekeken bij de goedkeuring van algoritmes in Europees verband. Het is ongelofelijk belangrijk dat mensenrechten, gelijkheid en non-discriminatie in de algoritmes worden ingebouwd. We weten dat er voorbeelden van algoritmes zijn waarin dat niet zo is, of het nou gaat om vrouwen of minderheden. We weten bijvoorbeeld dat AI die gezichtsherkenning heeft — dat is op zichzelf al een thema — minder goed werkt bij mensen met een donkere huidskleur. Al dit soort elementen moeten heel goed worden meegenomen in de ontwikkeling van algoritmes om ervoor te zorgen dat ze niet alleen in de basis, maar ook in het gebruik niet discrimineren.

U heeft ook gevraagd naar de algemene beginselen van behoorlijk bestuur. Daarover hebben we al veel gesproken. In principe gelden die gewoon, ook voor AI, maar in het kader van de aanpassing van het wetsvoorstel waar de minister van BZK en de minister voor Rechtsbescherming aan werken, is het wel nodig dat we dat punt meenemen in de verdere ontwikkeling.

U had ook nog een vraag die best lastig is, over data-eigenaarschap. In de digitale wereld speelt dat natuurlijk een grote rol. In heel veel gevallen geef je anderen toestemming om data die van jou, van jezelf, zijn te gebruiken. Als je bijvoorbeeld een app downloadt op je telefoon, klik je heel vaak op ja. Ook bij cookies zeg je vaak: ja, ja, ja. Daarmee geef je toestemming voor het vergaren van data, en niet alleen voor het vergaren daarvan, maar ook voor het maken van profielen daarvan en het doorverkopen van die data. Ik vind het ontzettend belangrijk dat de komende tijd veel meer mensen regie krijgen over hun digitale leven en daarmee ook over hun eigen data. Daarvoor is het introduceren van bijvoorbeeld persoonlijke datakluizen ongelofelijk belangrijk, want dan kun je je eigen gegevens in een kluis hebben. Dan deel je ze alleen met anderen wanneer je vindt dat dat echt nodig is en dan doe je dat ook heel bewust. Ik denk dat het ons allemaal wel overkomt of overkomen is — mij in ieder geval wel — dat je door ja, ja, ja te toetsen ongelofelijk veel akkoord geeft voor het delen, gebruiken en verkopen van data. Of het nou gaat over je locatie, de foto's op je telefoon, je contactprofielen of soms zelfs je toetsenbordaanslagen: we zijn er denk ik zeer ruimhartig in. Ik denk dat het vooral van belang is dat mensen zich daar niet alleen bewust van zijn — daar wil ik hen de komende tijd graag samen met de minister voor Rechtsbescherming meer over informeren — maar er ook meer regie over krijgen.

De heer Dittrich (D66):

Daar wil ik dan toch nog een vraag over stellen. Mevrouw Buitenweg poneert in haar boek over onder andere data-eigenaarschap de stelling dat je, als je als individu akkoord gaat met bijvoorbeeld zo'n cookievraag, meewerkt aan het verspreiden en delen van allerlei data, waaruit weer allerlei dingen gegenereerd worden. Zij hangt de stelling aan dat de overheid hierin meer aan zet moet zijn, omdat je als het ware niet meer als individu eigenaar bent van dat ene kleine stukje, maar dat het een publiek goed is geworden. Mijn vraag aan de staatssecretaris is dus of zij, naast de datakluizen waarover ze het had, een rol voor de overheid ziet om hier iets mee te doen.

Staatssecretaris Van Huffelen:

Die datakluizen zijn niet onbelangrijk, want die bepalen in sterke mate en heel specifiek aan wie je welk soort gegevens over jezelf geeft. Als je een auto huurt, maakt het autoverhuurbedrijf nu vaak een kopietje van je rijbewijs, terwijl in feite de enige informatie die ze nodig hebben, is of jij een geldig rijbewijs hebt. Dat zou ook met een vinkje kunnen. Dus dat soort dingen, dataminimalisatie en alleen maar delen wanneer je dat ook zelf wil, zijn wel een belangrijke factor. De vraag gaat vooral over die cookieregelgeving. Die is er heel erg op gericht dat je echt zelf consent geeft, dat je zelf instemt met het delen van je data, maar omdat het vaak zoveel makkelijker is om op "ja" te klikken dan op "nee", omdat je dan nog heel veel vervolgvragen moet beantwoorden, klikken veel mensen bij wijze van spreken bij het kopen van een paar sokken online heel makkelijk maar op "ja, ja, ja, ja". Daarmee geven ze inderdaad toestemming tot het delen van heel veel informatie over henzelf die helemaal geen verband houdt met hetgeen ze op internet gekocht hebben. Dat gaat vaak nog veel breder, omdat die vragen vaak worden opgerekt. Ik vind het wel interessant om de komende tijd juist die cookieregelging verder te onderzoeken. Ik denk dat het nu veel te makkelijk is om "ja" te zeggen. Daarmee deel je heel veel data. Dat doe je soms trouwens ook bij de installatie van je telefoon. Denk maar aan de vraag die je af en toe krijgt: vindt u het goed dat deze app uw locatie volgt? Veel mensen vullen dan ook "ja" in. Daarmee wordt dan voortdurend gevolgd waar je bent. Ik wil daar wat verder naar kijken, want ik denk dat het goed en relevant is dat we mensen veel duidelijker keuzes geven over dat delen van hun persoonlijke data. Ik zeg niet dat er een overheidsinstantie moet komen die die data allemaal gaat verzamelen of iets dergelijks. By far niet. Ik zeg wel dat we scherper gaan kijken naar hoe we kunnen zorgen dat dat delen van data nog veel meer gebeurt op basis van wat persoonlijk nodig is en dat mensen dat beter beseffen zonder dat ze die data allemaal gratis weggeven. Dat mag van de AVG natuurlijk. Als je zelf "ja" zegt, dan mag dat.

De heer Dittrich (D66):

Dat laatste is het probleem. Mag ik het als een toezegging zien dat u de Kamer informeert nadat dat onderzoek is afgerond, zodat we daarover hier verder kunnen doorpraten?

Staatssecretaris Van Huffelen:

Ja, zeker.

Dan heeft u ook gevraagd naar de evaluaties van relevante wetten en om daar ook de toetsing op AI in mee te nemen. Die evaluatiebepaling kan natuurlijk in wet- en regelgeving worden opgenomen. Ik vind het wel goed om samen met mijn collega voor Rechtsbescherming nog even te onderzoeken hoe we ook, mocht het een wet zijn waarbij AI bij de uitvoering een rol speelt, zo'n evaluatiebepaling kunnen uitwerken.

Dan was er nog de vraag over de algemene toezichthouder. Daar heb ik eigenlijk al veel over gezegd. Die is er. We blijven goed kijken hoe ze dat werk kunnen doen. Ze gaan hun taak natuurlijk verder invullen op basis van de AI Act uit de Europese Unie. Daarnaast ga ik samen met de AP en de digitale toezichthouders — dat zijn er in totaal zeven, dus ook dat Agentschap Telecom met de nieuwe naam, de ACM enzovoorts, enzovoorts — kijken hoe we ervoor kunnen zorgen dat we dat toezicht op een goede manier kunnen inrichten, maar, niet minder belangrijk wat mij betreft, ook heel goed duidelijk kunnen maken aan zowel bedrijven als overheidsinstanties aan welke regels je moet voldoen om compliant te zijn. Bij de introductie van de AVG hebben we natuurlijk ook de discussie gehad dat het voor veel mensen en instanties heel onduidelijk was wat ze nou precies moesten doen om compliant te zijn. Dat gold ook voor de mensen die compliant willen zijn. Ik vind het heel erg belangrijk dat we bij de digitale regelgeving uit Europa die er nog aan komt — dat zijn heel veel regels — met elkaar gaan kijken hoe we nou kunnen zorgen dat mensen zo gemakkelijk mogelijk compliant kunnen zijn.

Dan was er nog een vraag over dat recht op informatie, maar die heb ik al beantwoord in de antwoorden die ik heb gegeven op de vragen van mevrouw Veldhoen. De betekenisvolle menselijke tussenkomt hebben wij ook met elkaar bespreken. Ik denk eigenlijk dat ik daarmee de belangrijkste vraag van de heer Dittrich ook heb beantwoord. Dan ga ik door naar de laatste vraag, maar die had ik ook al beantwoord. Dat was de vraag van de heer Otten over ChatGPT — hij zit nu zelf met oortjes in — en over Bing enzovoorts, enzovoorts, enzovoorts.

Ik ben, denk ik, door de beantwoording van de vragen heen, voorzitter.

De voorzitter:

Dank u wel, staatssecretaris. Dan komen we thans bij de tweede termijn van de kant van de Kamer en geef ik het woord aan mevrouw Veldhoen, maar niet dan nadat ik mevrouw Gerkens uiteraard de gelegenheid heb gegeven om een opmerking te maken of een vraag te stellen. Gaat uw gang.

Mevrouw Gerkens (SP):

Voorzitter, ik zou u willen vragen om even kort te schorsen. Een paar minuten.

De voorzitter:

Met plezier. Dan schors ik voor vijf minuten, dus tot 19.40 uur.

De vergadering wordt van 19.34 uur tot 19.40 uur geschorst.

De voorzitter:

Ik geef het woord aan de heer Recourt namens de Partij van de Arbeid.

De heer Recourt (PvdA):

Dank, voorzitter. Dank, mevrouw Veldhoen, dat ik voor u mag. Ik heb een paar opmerkingen te maken over dit debat. Ik ben blij dat dit debat gevoerd is. Ik ben blij met de wijze waarop dit debat gevoerd is. In eerste termijn zei ik al dat ik het een zoeken naar aangrijpingspunten vond. Volgens mij hebben we die best redelijk weten te vinden, alhoewel iedereen het er wel mee eens is dat de ontwikkeling zo fundamenteel is dat dit een voortdurend punt van aandacht is voor regering en parlement.

Ik kom meteen op de argumenten voor het wel of niet instellen van een vaste commissie. Het belangrijkste argument tegen is dat je het dan weghaalt, ook de urgentie, bij de commissies die er al zijn. Ik denk dat het tegenovergestelde waar is, helemaal omdat we hier veel met volgcommissies werken. Je ziet het aan de commissie rond covidregelgeving. Die werkte prima met VWS, JenV en andere commissieleden samen. Ik zie het zelf aan de commissie Koninkrijksrelaties. Bij iedere vaste commissie komt ook de BES aan de orde. We moeten de eerste vragen van vakcommissies over de BES nog vinden, hoewel dat misschien wat erg negatief geformuleerd is. Dat is niet in het zicht van vakcommissies, wel in dat van de commissie Koninkrijksrelaties. Kortom, ik denk alleen maar dat je elkaar versterkt en als het niet werkt, stoppen we ermee. Mevrouw Gerkens, ik heb iets gezegd waar u het in ieder niet mee eens bent.

Mevrouw Gerkens (SP):

Nee, het is precies wat de heer Recourt zei dat mij triggerde. Dat het niet in het oog is van de vakcommissies is namelijk precies het probleem. Het is mijn overtuiging dat wanneer je het juist niet bij de vakcommissies belegt, het daar ook nooit gaat landen, ook niet als je zegt, zoals mevrouw Veldhoen zei, "we doen het tijdelijk met de commissie Digitale Zaken om de kennis op te plussen". Dus juist wat u zegt, verstevigt mijn betoog dat je het juist wel, via de staf, bij de vakcommissies moet beleggen.

De voorzitter:

Dit heb ik vandaag al eerder gehoord, maar gaat uw gang.

De heer Recourt (PvdA):

Ik zal dan met mijn volgende punt doorgaan. Ik had nog iets opgeschreven over motiveren.

De voorzitter:

Mevrouw De Blécourt, nog een nieuwe vraag?

Mevrouw De Blécourt-Wouterse (VVD):

Ja, ik vraag via de voorzitter of het niet een beetje vreemd is dat de Kamer in deze samenstelling iets gaat besluiten over een Kamer die een hele andere samenstelling zal kennen.

De heer Recourt (PvdA):

Nee, want wij hebben ook al besloten dat we een commissie voor JenV hebben, voor Koninkrijksrelaties en voor Sociale Zaken. Dat hebben we allemaal besloten voor de Kamer in de nieuwe samenstelling.

De voorzitter:

Misschien voor de goede orde: deze Kamer kan wel een advies of een voorstel meegeven aan een nieuwe Kamer, maar de nieuwe Kamer gaat sowieso over de commissie-indeling.

Mevrouw De Blécourt-Wouterse (VVD):

Oké, dank u wel.

De heer Recourt (PvdA):

Maar dan over alle commissies, niet alleen over deze.

De voorzitter:

Ja, over alle commissies.

De heer Recourt (PvdA):

Ik kom op het motiveringsbeginsel en de vraag of misschien niet nietigheid het gevolg moet zijn van het niet voldoen aan motiveren. Mijn stelling nu is dat de rechter die zicht heeft op AI-besluitvorming en die zich realiseert dat een deel van de besluitvorming in een besluit van de overheid dat is gebaseerd op AI niet gemotiveerd krijgt hoe dat werkt, al kan zeggen dat die beslissing niet voldoet aan het motiveringsbeginsel en daarmee voor vernietiging vatbaar is. Ik vraag de staatssecretaris of zij het daarmee eens is. Ik denk ook aan het civiele vonnis rond ... Nou ja, nou ben ik in alle consternatie de naam kwijt. Er is onder meer geprocedeerd door Maxim Februari weet ik en door Tommy Wieringa over dat programma SyRI, nou weet ik het weer. De rechter heeft daar ook al over gezegd "ik heb geen idee hoe het werkt, dus dat is geen goed plan". Ik denk dus dat dit nu al kan.

Voordat ik mijn motie ga voorlezen, heb ik nog een laatste punt. Ik heb een interruptiedebat met de staatssecretaris gehad over de risico's die ik zie voor het gewoon functioneren van de rechtspraak, het notariaat, de registers enzovoort op het moment dat de techniek zo goed wordt dat je echt vals en echt goed niet mee van elkaar kunt onderscheiden zonder technische hulpmiddelen. Nu is het al zo dat je een valse handtekening kunt zetten onder een stuk dat als bewijs moet dienen. Dan kan de tegenpartij zeggen: ik ga een deskundige op het gebied van handtekeningen laten vaststellen of die handtekening echt of vals is. Je hebt dus een middel om te verifiëren of dat zo is. Mijn grote angst is dus dat de valsheid niet meer te onderscheiden is met de methodes die we nu hebben en dat daarmee de basis wegvalt onder al ons bewijsrecht in alle rechtsgebieden. Dat is nogal een fundamentele angst. Ik hoor de staatssecretaris goed als zij zegt dat dit ook aan de organisatie zelf is. Ja, dat klopt, maar het zou goed zijn om de organisaties er ook op te wijzen dat die kans er mogelijk is.

Ik kom aan mijn motie. Die motie ziet op een andere zorg die ik had, namelijk dat we met de regulering binnen het gebaande stelsel mogelijk wat missen. Als we terugkijken, denken we misschien: we hebben iets laten gebeuren wat we eigenlijk niet wisten. Daarvoor moet je vrij fundamenteel terugdenken wat je nu eigenlijk wil dat gedigitaliseerd wordt. De rechter kan worden geholpen door AI, maar volgens mij vinden we allemaal dat de uitspraak zelf door de rechter moet worden gedaan. Democratie is hetzelfde verhaal. Je kan met AI allerlei onderzoeken doen over wat de bevolking wil, maar het gaat uiteindelijk om de beraadslaging tussen mensen, tussen ons allemaal, waarin we democratische besluiten nemen. Die dingen kun je vaststellen. Dit is aan mensen en niet aan de computer, terwijl de computer het wel zou kunnen.

Vandaar de volgende motie. Ook nog wat anders, ik heb de motie in een andere vorm gezet. De ondertekenaars zijn het er niet per se mee eens, maar ik wil graag een debat in dit huis over hoe we eigenlijk moties insteken. Die gekke vorm "overwegende", "horende" en "van mening zijnde", die passieve vorm past niet bij een Kamer die wil dat mensen ons begrijpen, dat mensen die de motie lezen ook snappen wat er staat. Die motie moet je gewoon helder formuleren en helder schrijven. Daarom heb ik voor de traditionalisten het begin en eind hetzelfde gehouden — ook volkomen archaïsch, maar dat terzijde — maar heb ik het midden al een beetje veranderd.

De voorzitter:

Door de leden Recourt, Veldhoen, Prins, Dittrich, Gerkens, Verkerk en Otten wordt de volgende motie voorgesteld:

Motie

De Kamer,

gehoord de beraadslaging,

vraagt de regering om helder te formuleren welke waarden en gedragingen voor het goed laten functioneren van de democratische rechtsstaat altijd door menselijk handelen en menselijke interactie moeten worden vormgegeven en op basis daarvan beleid en wetgeving te toetsen en te formuleren;

verzoekt de regering verder de uitkomst breed bekend te maken en het maatschappelijk debat hierover te stimuleren.

Dit verzoek wordt gedaan omdat de ontwikkeling van AI op fundamentele wijze onze manier van samenleven en de borging daarvan door onze democratische rechtsstaat verandert. Hoe wij deze verandering reguleren en vormgeven is aan de samenleving zelf. Hiervoor zijn maatschappelijk bewustzijn en debat nodig. Hiervoor is verder nodig dat de overheid niet alleen reageert op technische en commercieel gedreven ontwikkelingen op het gebied van data-analyse en AI, maar vooraf heeft nagedacht over welke essentiële menselijke waarden en gedragingen niet door AI mogen worden vervangen bij het functioneren van onze democratische rechtsstaat,

en gaat over tot de orde van de dag.

Zij krijgt letter D (CXLVII).

De heer Recourt (PvdA):

Voorzitter. Tot slot. Door omstandigheden moet ik nu met spoed naar huis. Mochten er vragen zijn over de motie, dan vraag ik mevrouw Veldhoen mij daarin te vervangen.

De voorzitter:

Dank u wel, meneer Recourt. Sterkte. Dan geef ik het woord aan mevrouw Veldhoen namens GroenLinks, mede namens de Partij voor de Dieren.

Mevrouw Veldhoen (GroenLinks):

Dank u wel, voorzitter. Allereerst dank aan de staatssecretaris voor het beantwoorden van alle vragen. We hebben vandaag met elkaar een mooi en zinvol debat. Het is ook een noodzakelijk debat. Dat wordt vandaag ook bevestigd, goed geluisterd hebbende naar alle inbrengen en antwoorden.

Ik ben blij met de toezegging voor versterking van de ondersteuning van de rechtspraak en voor versterking van de Awb ten aanzien van kenbaarheid en motivering ten aanzien van AI-gebruik en dat daarbij het Franse voorbeeld wordt meegenomen. Ook ben ik blij met de toezegging ten aanzien van de publicatie van de mensenrechtentoetsen.

Er blijft een aantal vragen over. Ik kom nog even terug op de gevraagde lijst van al het gebruik van AI door nationale en lokale overheden, waarbij strafbare feiten of andere overtredingen zoals fraude worden voorspeld. De staatssecretaris verwees naar het feit dat al het algoritmegebruik wordt gepubliceerd. Toch zou mijn fractie graag een lijst ontvangen van specifiek dit gebruik. Kan de staatssecretaris die lijst toezeggen?

Ook staat de vraag nog open over de AI-verordening en of de staatssecretaris zich hard gaat maken om naast "criminal offences" ook "other offences" in het verbod op te nemen, dus bijvoorbeeld ten aanzien van frauderisico's et cetera. Graag nog een reactie.

Dan over de vaste Kamercommissie Digitale Zaken. Natuurlijk is het een goed idee dat de Griffie versterkt wordt, waar de VVD toe oproept. Maar daarbij moet het wat ons betreft niet blijven. Wij moeten ook onszelf versterken door de kennis bij de leden zelf te borgen, onder meer met een vaste Kamercommissie. Natuurlijk is het waar dat individuele leden geacht mogen worden kennis van zaken te krijgen op het gebied van digitalisering. Feit is echter dat dit niet voldoende gebeurt. Deze fase is volgens mij typisch voor alle vormen en bewegingen van emancipatie: enige tijd moet er een groep koplopers zijn. In dit geval is dat de commissie. Dit is naar ons oordeel noodzakelijk, omdat we een achterstand moeten inlopen en omdat we moeten laten zien dat we digitale zaken in het hart van ons werk opnemen. We zullen de commissie na enige tijd evalueren. Als ze overbodig blijkt — laten we hopen dat ze dat wordt — kan ze worden opgeheven. Op dit moment is er een noodzaak tot deze commissie. De Tweede Kamer heeft een dergelijke commissie, de staatssecretaris vindt het een goed idee en ook derden vonden dit. Ik wijs op de diverse deskundigen die wij hebben gehoord. Ook de Autoriteit Persoonsgegevens juicht het toe. Met een vaste Kamercommissie zijn we bovendien gesprekspartner voor belangrijke spelers in het veld, zoals de AP en de zeven digitale toezichthouders, waar de staatssecretaris het over had. Dat is net zoals in de commissie EUZA de dialoog wordt gevoerd met de Europese instellingen. Ook kunnen we er alle rapporten van de toezichthouders behandelen.

Een laatste punt. Het argument dat digitalisering alle beleidsterreinen raakt en dat we het niet in een aparte commissie moeten beleggen. Dat geldt ook voor het kabinet. Toch hebben we een staatssecretaris voor digitale zaken. Wat ons betreft heeft de staatssecretaris vandaag laten zien dat het belangrijk en zinvol is om de kennis te bundelen en te borgen in één bewindspersoon, net zoals we dat zouden moeten doen in een commissie. Ze heeft laten zien dat het geen afbreuk doet aan het kabinet als geheel, net zomin als de vaste Kamercommissie dat doet voor de Kamer en haar leden. Nogmaals, dit kan naast de motie van de VVD.

Ik wil de motie gaan voorlezen, maar volgens mij wil de heer Otten eerst een vraag stellen.

De heer Otten (Fractie-Otten):

Ja. Ik hoor het betoog van mevrouw Veldhoen van GroenLinks voor nog een nieuwe commissie. We hebben natuurlijk al heel veel commissies. Wij zijn er op zich niet zo'n voorstander van. Wij zijn meer van de lijn van De Blécourt, zoals u bekend is. Is het geen idee om ook een commissie op te heffen of commissies te laten fuseren? Als er één bijkomt, dan zou het ook goed zijn als er eentje verdwijnt, bijvoorbeeld door een fusie van BDO met EUZA. We hebben op dinsdag al zoveel commissievergaderingen en anders is het straks voor de nieuwe Kamer met alle nieuwkomers helemaal niet meer bij te houden. Ik zou zeggen dat er ook eentje moet verdwijnen. Zo kunnen we het een beetje moderniseren. Wat vindt u daarvan, mevrouw Veldhoen?

Mevrouw Veldhoen (GroenLinks):

Ik heb daar geen uitgesproken ideeën over. Ik ga nu niet uitruilen en zeggen welke commissie we zouden kunnen opheffen. Ik ga daar ook niet over vanaf dit spreekgestoelte. Ik ben het fundamenteel niet eens met het standpunt dat er te veel commissies zijn. Ik vind dat we moeten kijken naar de inhoud. De inhoud vraagt om nog een commissie, omdat wij nu echt een been moeten bijtrekken, zoals ik in mijn eerste termijn zei. Ik ga nu niet zeggen dat we daar een andere commissie voor kunnen opheffen.

De heer Otten (Fractie-Otten):

U bent zelf gefuseerd met de PvdA, dus u erkent de noodzaak van consolidatie. Ik zou zeggen: pas dat ook toe op de commissies.

Mevrouw Veldhoen (GroenLinks):

Ook daar ging ik niet in m'n eentje over. Ik laat het hierbij.

Ik ga mijn motie over de commissie voor Digitale Zaken voorlezen.

De voorzitter:

Door de leden Veldhoen, Recourt en Koffeman wordt de volgende motie voorgesteld:

Motie

De Kamer,

gehoord de beraadslaging,

overwegende dat de digitalisering inmiddels alle facetten van de samenleving raakt;

overwegende dat algoritmische besluitvorming steeds vaker onderdeel uitmaakt van wet- en regelgeving en dit grote gevolgen kan hebben voor de rechtsstaat in het algemeen en voor het recht op privacy en gegevensbescherming, mensenrechten en het recht op rechtsbescherming in het bijzonder;

overwegende dat de wetgever beter in stelling moet worden gebracht om zijn controlerende functie uit te oefenen ten aanzien van digitalisering en het gebruik van algoritmen in besluitvorming;

constaterende dat er momenteel geen specifieke commissie binnen de Eerste Kamer is belast met de behandeling van digitale zaken, terwijl dit in de Tweede Kamer wel het geval is met de vaste commissie voor Digitale Zaken;

spreekt uit dat het wenselijk is in de volgende Kamerperiode een vaste Kamercommissie Digitale Zaken in te stellen,

en gaat over tot de orde van de dag.

Naar mij blijkt, wordt de indiening ervan voldoende ondersteund.

Zij krijgt letter E (CXLVII).

Mevrouw Veldhoen (GroenLinks):

Mijn tweede motie ziet op het dichten van het gat tussen de tekst van de wet en de algoritmische uitvoering.

De voorzitter:

Door de leden Veldhoen, Recourt, Dittrich, Koffeman, Otten en Verkerk wordt de volgende motie voorgesteld:

Motie

De Kamer,

gehoord de beraadslaging,

constaterende dat er momenteel een kloof bestaat tussen wetgeving en de algoritmische uitvoering daarvan, waarbij in de uitvoering vertaalslagen worden gemaakt die rechtsgevolgen voor burgers kunnen hebben terwijl die vertaalslagen zich aan democratische controle onttrekken;

overwegende dat de kloof tussen wetgeving en digitale uitvoering verkleind kan worden door ten eerste wetgeving zo vorm te geven dat de tekst helder is wat betreft structuur en betekenis en waar mogelijk open normen vermeden worden, en ten tweede de digitale uitvoering onderdeel te maken van het wetgevingsproces;

overwegende dat op deze manier de wetgever kan toezien op de vormgeving van die codes en daarmee op algoritmische besluitvorming, waarmee de democratische controle op die besluitvorming wordt versterkt;

verzoekt de regering een nieuwe werkwijze van het wetgevingsproces te onderzoeken waarbij in geval van wetgeving die door of met behulp van algoritmen wordt uitgevoerd, de kaders voor de daaraan ten grondslag liggende codes door de wetgever zelf worden uitgeschreven en zo onderdeel zijn van de parlementaire behandeling,

en gaat over tot de orde van de dag.

Zij krijgt letter F (CXLVII).

Mevrouw Veldhoen (GroenLinks):

Tot slot heel kort een oproep aan de staatssecretaris om zich in Europa hard te maken voor een verbod op gepersonaliseerde aanbevelingsalgoritmes gebaseerd op voorkeuren. Het kunnen uitzetten van deze faciliteit op grond van de DSA, waar de staatssecretaris op wees, is wat ons betreft niet voldoende. Onze vrees is dat dat niet gebeurt, omdat heel veel mensen — heel vaak zijn dat kinderen — zich er niet van bewust zijn dat dit kan, of op zoek zijn naar instantinformatie of vermaak en daarbij alle voorwaarden accepteren en geen vinkjes uitzetten. In ieder geval van onze kant nogmaals het verzoek aan de staatssecretaris om zich hiervoor in Europa hard te maken.

De voorzitter:

Dank u wel, mevrouw Veldhoen. Dan is nu het woord aan mevrouw Prins namens het CDA.

Mevrouw Prins (CDA):

Meneer de voorzitter. Allereerst wil ik de staatssecretaris hartelijk danken voor de uitvoerige en toegespitste beantwoording, door die per partij te doen. Op die manier hoef je niet te gokken of het een antwoord was op jouw vraag. Dus dat is alleen maar hartstikke goed.

We zijn blij met de toezegging die de staatssecretaris heeft gedaan dat het implementatiekader straks uitdrukkelijk voor de hele overheid en de uitvoeringsinstanties gebruikt moet worden. Ook zijn wij blij met de toezegging dat er regelmatig zal worden geëvalueerd om te kijken of er geen ongewenste effecten kunnen optreden.

Ik zou nog graag wat nadere toelichting van de staatssecretaris wensen als het gaat om het vaststellen van definities. Ik snap dat een planning misschien wat te enthousiast is, maar tegelijkertijd is voor mij wel de vraag: wie zorgt ervoor en wie is de eigenaar? Wie neemt de verantwoordelijkheid op zich om te zorgen dat er integrale en uniforme gegevens worden ontwikkeld? Ik heb er alle begrip voor dat dat een bepaalde tijd kost, maar wie pakt het op en wie kunnen wij erop aanspreken?

Een ander punt waar ik nog geen antwoord op heb gekregen, gaat over de bestaande wet- en regelgeving. Onder die bestaande wet- en regelgeving wordt nu soms door uitvoeringsinstanties, politie of anderen besloten om te gaan werken met AI en algoritmes. Dat kun je niet afdoen met het implementatiekader, want dat noemt alleen de criteria. Het implementatiekader gaat niet van tevoren kijken of het democratisch gelegitimeerd is en of het wel proportioneel is om AI in te zetten. Je kunt het ook niet afdoen door te zeggen: het staat in het Algoritmeregister. Heel ouderwets gezegd is dat het paard achter de wagen spannen. Het gaat mij erom om aan de voorkant, voordat je überhaupt het besluit neemt, te bekijken of dat besluit proportioneel gerechtvaardigd is. Daarover zou ik graag een motie willen indienen.

De voorzitter:

Door de leden Prins, De Blécourt-Wouterse, Dittrich, Gerkens, Recourt, Otten en Veldhoen wordt de volgende motie voorgesteld:

Motie

De Kamer,

gehoord de beraadslaging,

overwegende dat voor geautomatiseerde besluitvorming met een hoge impact op mensenrechten democratische legitimatie en afwegingen inzake proportionaliteit gewenst zijn door het parlement;

constaterende dat tot nu toe geautomatiseerde besluitvorming onder bestaande wetgeving zonder betrokkenheid van het parlement kan worden ingezet;

verzoekt de regering om ervoor te zorgen dat ook de inzet van geautomatiseerde besluitvorming met een hoge impact op de mensenrechten voortaan wordt voorgelegd aan de Tweede en Eerste Kamer,

en gaat over tot de orde van de dag.

Zij krijgt letter G (CXLVII).

Dank u wel, mevrouw Prins. Dan geef ik het woord aan mevrouw De Blécourt-Wouterse namens de VVD.

Mevrouw De Blécourt-Wouterse (VVD):

Ik dank de staatssecretaris voor de uitgebreide beantwoording van onze vragen. Ik dank haar ook voor de toezeggingen zoals ik die heb gehoord, namelijk allereerst dat er jaarlijks een gesprek zal zijn tussen de staatssecretaris en de Eerste Kamer over de ontwikkelingen van AI. Ten tweede, dat er AI-cursussen zullen worden gegeven in het basisonderwijs en het voortgezet onderwijs, dat de staatssecretaris dat heel belangrijk vindt en dat dat onderdeel zal worden van de digitale geletterdheid in brede zin. Ten derde, dat zij zal samenwerken met de Raad van Europa en met gelijkgestemde landen buiten Europa op dit zo belangrijke onderwerp.

Dank u wel.

De voorzitter:

Dank u wel, mevrouw De Blécourt. Dan is het woord aan de heer Verkerk namens de ChristenUnie.

De heer Verkerk (ChristenUnie):

Voorzitter. Ook van mijn kant hartelijk dank aan de staatssecretaris voor de antwoorden en ook voor de kwaliteit van de antwoorden. Het is mooi om te zien dat zij de genoemde positieve dingen van AI herkent, maar ook dat zij de zorgen herkent.

Voorzitter. Collega Gerkens ging uitgebreid in op ethiek. Ik heb daarover ook even een interruptie gehad. De vraag is of het voldoende is als er alleen maar onderwijs in ethiek is. Ik heb jaren in het bedrijfsleven gewerkt. Meerdere keren heb ik bij vragen aan mijn bazen het woord "ethiek" gebruikt. Ik moet eerlijk zeggen dat ik heel snel heb geleerd dat dat niet echt helpt en niet prettig is, want het wordt je gewoon verboden om het woord "ethiek" te gebruiken. Ik heb vervolgens de ethische vraag vertaald in een economische vraag. Toen werd er geluisterd.

Waarom vertel ik dit? Ik vertel dit omdat cultuur ook belangrijk is. Als je ethiek aan de orde wilt stellen, moet je ook over cultuur willen praten. De staatssecretaris zei: misschien was SyRI niet fout gegaan als we goede wetgeving hadden gehad. Misschien is dat zo. Maar ik zou hier ook willen opmerken dat zelfs als wij goede wetgeving hadden gehad, je ook een cultuur moet hebben waarin er een volledig respect is voor de waarden die aan die wetgeving ten grondslag liggen. Ik zou in dat verband aan de staatssecretaris willen vragen of zij een toezegging kan doen om dit punt van cultuur, het bespreekbaar maken van ethiek, op haar manier te bevorderen. Ik denk trouwens ook aan de motie van mevrouw De Blécourt, die zegt dat wij die kennis ook moeten hebben bij de griffie. Ik deel dat, maar dan moet ook bespreekbaar zijn dat die kennis van de griffie ook wordt gebruikt in de commissies en dat de commissies daarin ook iets worden opgevoed, als ik het zo mag uitdrukken.

Voorzitter. Ik vond het ook heel mooi dat de staatssecretaris benadrukte dat het bij AI ook gaat om betekenisvolle interventies.

Mevrouw De Blécourt-Wouterse (VVD):

Misschien mag ik even aanhaken op wat collega Verkerk zei. De ondersteuning en expertise binnen de griffie is er ook ten behoeve van alle commissies in de Eerste Kamer.

De heer Verkerk (ChristenUnie):

Ik denk dat u dat prachtig hebt verwoord, dus dank daarvoor. Het enige wat ik wilde opmerken, is dat zelfs als dat in zo'n motie staat, we nog de cultuur moeten hebben dat de griffie dat, binnen haar kaders, uitdraagt en dat wij daarmee, binnen haar kaders, omgaan. Dank u.

Mevrouw De Blécourt-Wouterse (VVD):

Dat ben ik helemaal eens met de heer Verkerk.

De heer Verkerk (ChristenUnie):

Ik ga door. Het ging over kritische AI en over het feit dat ik blij was dat de staatssecretaris opmerkte dat betekenisvolle interventies van ambtenaren noodzakelijk zijn. Daar ben ik het helemaal mee eens. En toch — ook weer denkend aan SyRI en andere schandalen op dit punt — gaat het ook over cultuur. Het gaat steeds weer over cultuur. Cultuur maken wij als mensen. Ik wil dan ook aan de staatssecretaris vragen hoe zij die betekenisvolle interventies van ambtenaren, waar ik helemaal achter sta, zou willen bevorderen vanuit haar positie.

Voorzitter. Ook dank dat de staatssecretaris positief sprak over de noodzakelijkheid van wetgeving en het feit dat wetgeving, zeker als dit soort algoritmische systemen gebruikt worden, aan extra eisen moet voldoen. Ik zou haast zeggen: als aansporing zou ik de volgende motie willen voorlezen.

De voorzitter:

Door de leden Verkerk, Van Dijk, Prins, Recourt, Veldhoen en Dittrich wordt de volgende motie voorgesteld:

Motie

De Kamer,

gehoord de beraadslaging,

overwegende dat de overheid algoritmische besluitvorming breed toepast;

overwegende dat algoritmische besluitvorming kan leiden tot de aantasting van de grondrechten van burgers;

overwegende dat algoritmische besluitvorming zo complex kan zijn dat democratische controle en rechtspraak bemoeilijkt worden;

constaterende dat de Afdeling bestuursrechtspraak van de Raad van State heeft bepaald dat ter voorkoming van een gepercipieerde "black box" bij geautomatiseerde besluitvorming, het bestuursorgaan de gemaakte keuzes en de gebruikte gegevens en aannames volledig, tijdig en uit eigen beweging openbaar moet maken op een passende wijze, zodat deze keuzes, gegevens en aannames voor derden toegankelijk zijn;

constaterende dat de Hoge Raad deze jurisprudentielijn heeft overgenomen in belastingzaken waarbij volledig geautomatiseerde besluitvorming aan de orde is;

overwegende dat het aan de wetgever is om concrete en relevante eisen te formuleren, bijvoorbeeld op het gebied van de uitgangspunten van de modellen en algoritmen, de uitlegbaarheid van besluiten en het uitsluiten van bepaalde toepassingen;

verzoekt de regering te onderzoeken wat voor soort wetgeving nodig is en de Kamer te informeren op welke wijze en wanneer de regering deze wetgeving wil realiseren,

en gaat over tot de orde van de dag.

Zij krijgt letter H (CXLVII).

De heer Verkerk (ChristenUnie):

Voorzitter. Ik wil de staatsecretaris ook danken voor haar reactie op deepfake. Fijn dat de regering met een beleidsreactie op het rapport van Tilburg komt. Ik zou als input voor deze beleidsreactie de volgende motie willen voorlezen.

De voorzitter:

Door de leden Verkerk, Van Dijk, Prins, Recourt, Veldhoen en De Blécourt-Wouterse wordt de volgende motie voorgesteld:

Motie

De Kamer,

gehoord de beraadslaging,

overwegende dat de deepfaketechnologie zich razendsnel ontwikkelt;

constaterende dat 95% van de deepfakes van pornografische aard is;

constaterende dat in de meeste gevallen vrouwen het slachtoffer zijn;

overwegende dat een brede toepassing van deze technologie leidt tot grote schade voor de samenleving in het algemeen en vrouwen in het bijzonder;

overwegende dat een verbod op het gebruik van en/of de toegang tot deepfaketechnologie voor burgers verdedigbaar is;

verzoekt de regering te onderzoeken of een verbod op het gebruik van en/of de toegang tot deepfaketechnologie voor burgers rechtsstatelijk haalbaar is, invoerbaar is en handhaafbaar is,

en gaat over tot de orde van de dag.

Zij krijgt letter I (CXLVII).

Mevrouw Gerkens (SP):

Ik zou vele dingen kunnen vragen over deze motie en over de uitvoerbaarheid ervan. Waar begint deepfake? Waar gaan we fotoshoppen? Waar eindigt het? Maar ik heb wel één groot probleem met een stukje tekst in deze motie, namelijk de verwijzing naar pornografische beelden en de koppeling daarvan aan vrouwen. Dat suggereert namelijk dat de deepfaketechnologie de problemen veroorzaakt bij het verspreiden van pornografische beelden van vrouwen, maar niets is minder waar. Het probleem is de verspreider, die denkt dat het normaal is om dit soort beelden te verspreiden. Wanneer we deepfake weghalen, lossen we het probleem niet op, want dan zijn er nog steeds beelden van vrouwen die onrechtmatig verspreid worden. Het zou fijner geweest zijn als we daarover een motie hadden gehad vandaag.

De heer Verkerk (ChristenUnie):

Ik ben het met de hoofdlijnen van de argumentatie van mevrouw Gerkens eens en ik wil haar graag uitnodigen om zo'n motie in te dienen, want dan is mijn motie helemaal compleet.

Voorzitter. Als laatste toch even het punt of we ICT niet overvragen. Terecht merkte de staatssecretaris op dat we AI veel kunnen aanleren, ook om langs juridische lijnen te denken en ook om emoties te beschrijven en te analyseren. Maar AI zal dat nooit begrijpen. AI heeft geen gevoel. Ik kijk regelmatig naar stukjes van processen, waarin de rechter uitspraak doet. Dan zie je bij heel veel rechters hoeveel persoonlijks zij in die uitspraak leggen. Dat persoonlijke, dat echt voelen wat onrecht is, voelen wat een verdachte is, dat kan AI niet. Ik zou de staatssecretaris willen vragen om ook hierop te reflecteren.

Ik dank u wel.

De voorzitter:

Dank u wel, meneer Verkerk. Dan is het woord aan mevrouw Gerkens namens de SP.

Mevrouw Gerkens (SP):

Dank u wel, voorzitter. Een interessant debat. Er is al wetgeving tegen het verspreiden van naaktbeelden. Aanstaande maandag sta ik tegenover een pornowebsite die denkt dat dat normaal is en die we gedaagd hebben. Dat is interessant; u kunt het volgen.

Een ander bruggetje dat ik toch weer van de heer Verkerk meeneem, is zijn opmerking over cultuur. Ik ben het van harte met hem eens dat het er niet alleen over gaat of je ethische waarden hebt, maar ook of je die gebruikt en kunt gebruiken. Hij zegt namelijk dat we een cultuur moeten hebben waarin we de ethische kanten mogen bespreken. Dat is absoluut waar.

Wat ik jammer vind, is dat we ergens in dit debat een beetje de schijn op ons werpen dat dit ons is overkomen, dat de toeslagenaffaire ons is overkomen, dat AI dat gedaan heeft. Uiteindelijk is de politiek verantwoordelijk geweest voor de cultuur die heeft geleid tot het programmeren op een dusdanige wijze dat we de toeslagenaffaire hebben gehad. Ik denk dat we niet moeten vergeten dat de verantwoordelijkheid daarvoor hier bij de politiek ligt en nergens anders.

Voorzitter. Ik wil de staatssecretaris bedanken voor haar goede en indringende antwoorden. Ik heb in interrupties al een aantal dingen tegen haar gezegd. De volgende vraag kwam bij mij naar boven. Als ik zie hoe enorm veel maatregelen en regelingen we moeten treffen om AI in de touwen te houden, goed te houden, vraag ik me af of dat wel doenbaar is voor de politiek. Moeten we inderdaad niet kijken of de AP hier voldoende op is toegerust? De staatssecretaris zei dat zij geen signalen heeft gekregen. Ik denk dat er niet eens signalen nodig zijn. We kunnen met ons boerenverstand wel bedenken dat we de AP veel meer zouden moeten versterken als ze dit allemaal op een goede manier moeten controleren. Ik zou de staatssecretaris toch willen vragen daar nog eens indringend naar te kijken. Ik meen dat ik niet de enige ben die die vraag vandaag heeft gesteld en mevrouw Veldhoen ook niet.

De digitale toegankelijkheid is ook een interessante. Toch nog de vraag wanneer u denkt dat het zover is dat we daarmee klaar zijn.

Omdat de klok tikt, zou ik graag nog een motie willen indienen over mediawijsheid. Ik denk inderdaad dat de kracht van mediawijsheid enorm belangrijk is. Mediawijsheid wordt straks meegenomen in de kerndoelen in het curriculum; het wordt een kerndoel in het onderwijs. Alleen moeten we ook docenten hebben die voldoende zijn toegerust om de leerlingen op een goede manier mee te nemen in een mediawijze wereld. Daartoe deze motie.

De voorzitter:

Door de leden Gerkens, De Blécourt-Wouterse, Prins, Recourt, Veldhoen, Dittrich en Otten wordt de volgende motie voorgesteld:

Motie

De Kamer,

gehoord de beraadslaging,

overwegende dat mediawijsheid van een steeds groter wordend belang is in de samenleving;

constaterende dat de digitale geletterdheid van docenten nog te wensen overlaat;

overwegende dat er kerndoelen aankomen voor digitale geletterdheid;

overwegende dat het juist de docenten zijn die de jeugd moeten begeleiden in de digitale wereld en dat dit verder gaat dan lessen over mediawijsheid;

constaterende dat de kerndoelen alleen succesvol kunnen zijn als de docenten voldoende zijn toegerust om deze te begeleiden;

verzoekt de staatssecretaris met haar collega van OCW in overleg te gaan om de besturen van de lerarenopleidingen te bewegen tot het formuleren van een ambitie voor digitale geletterdheid op lerarenopleidingen op landelijk niveau, en hierover aan de Kamer te rapporteren,

en gaat over tot de orde van de dag.

Zij krijgt letter J (CXLVII).

Mevrouw Gerkens (SP):

Voorzitter. In mijn laatste minuten, seconden die wegtikken, wil ik erop wijzen dat toen ik de motie schreef, ik bedacht: dit is precies het dilemma waarmee we zitten; ik moet deze staatssecretaris vragen om met haar collega in overleg te gaan over iets wat eigenlijk gewoon bij OCW geregeld zou moeten zijn, als ik daar een collega had die misschien meer verstand had van digitale zaken.

De voorzitter:

Dank u wel, mevrouw Gerkens. Dan is het woord aan de heer Dittrich namens D66.

De heer Dittrich (D66):

Dank u wel, voorzitter. Ik wil even aanhaken bij de laatste woorden van mevrouw Gerkens. Eigenlijk had de collega die over Onderwijs gaat die motie moeten indienen bij een ander debat. Dat doen wij echter hier, tijdens dit debat. Het wordt allemaal dus heel gecompliceerd.

Dat brengt mij op het eerste punt over de commissie voor Digitale Zaken. Ik hoor de argumenten die daarvoor pleiten. Ik hoor ook de argumenten die daartegen pleiten. Wij staan daar als D66-fractie open in. Ik zou echter wel willen zeggen dat we op moeten passen dat we niet een klein clubje van geprivilegieerde Kamerleden krijgen die meer weten en meer informatie krijgen, en dat in de drukte van ons bestaan de andere Kamerleden dan als het ware niet mee kunnen komen met de kennis die vergaard wordt. Ik vind dus dat we dat in onze fractie goed moeten bespreken.

Voordat ik verderga, wil ik allereerst de staatssecretaris van harte danken voor haar beantwoording. Ik wil ook de collega's Veldhoen en Recourt bedanken, want zij hebben deze werkgroep AI leven ingeblazen. Ik vind toch dat dit debat heel zinvol is. Dat komt echt doordat wij met uitstekende ondersteuning van de Griffie, het Rathenau Instituut en alle deskundigen, een grote stap vooruit hebben gezet in dit debat.

Ik wil de staatssecretaris bedanken voor haar beantwoording, met name op een aantal punten die ik had aangedragen. Denk bijvoorbeeld aan mijn vraag over non-discriminatie by design. Ik denk dat het ongelofelijk belangrijk is dat we daar niet alleen in de basis maar ook bij het gebruik goed op moeten letten. De staatssecretaris heeft ook de Commission on the Status of Women daarbij genoemd. Die is belangrijk.

Deepfakes is een onderwerp dat met name collega Verkerk naar voren heeft gebracht. Daar zitten inderdaad heel gevaarlijke kanten aan. Daar zitten overigens soms ook heel humoristische kanten aan. Ik kan me voorstellen dat we daar goed naar gaan kijken. Als ik zijn motie goed heb gehoord, wordt daarin om een verbod gevraagd. Ik weet niet of dat de juiste aanpak is. Misschien zou een regulering van deepfakes beter zijn. Ik ga dus nog eens goed luisteren naar de reactie van de staatssecretaris op die motie.

Ik ben blij met de toezegging over onderzoek naar de cookieregeling en welke consequenties die heeft in relatie met het publieke goed van data-eigenaarschap. Ik ben ook blij met de toezegging van de staatssecretaris dat zij met de minister voor Rechtsbescherming om de tafel gaat zitten voor heldere evaluatiebepalingen. Zij gaat ons daar dan ook iets over berichten.

Tot slot, voorzitter. Ik had nog een vraag gesteld die niet beantwoord is. Die ligt misschien een beetje buiten dit debat. Ik vind het volgende enorm irritant. De overheid biedt veel cursussen aan. Mensen volgen die cursussen en doen werkervaring op. Dan worden ze opeens weggeplukt door het bedrijfsleven. Dan kunnen wij weer opnieuw beginnen. Mijn vraag is eigenlijk wat de overheid daaraan kan doen.

Helemaal tot slot, voorzitter. Ik moet bekennen dat ik een beetje het gevoel heb dat ik hier naakt voor u sta. Iedereen heeft namelijk moties ingediend. Sommige Kamerleden hebben zelfs twee moties ingediend. Ik dien echter geen moties in. Ik heb even heel hard nagedacht of ik niet ook een motie moest indienen. Ik denk echter dat we wat dat betreft niet de Tweede Kamer na moeten gaan doen. Daar dient men namelijk bij elk debat moties in. Ik denk dat wij ons echt op de kwaliteit van wetgeving en op de hoofdlijnen moeten richten. Daarom heb ik geen moties.

Dank u wel.

De voorzitter:

Dank u wel, meneer Dittrich.

Wenst een van de leden in de tweede termijn nog het woord? Dat is niet het geval. Staatssecretaris, bent u in de gelegenheid …

O, de heer Verkerk wenst nog het woord. Meneer Verkerk, hoeveel tijd had u gehad willen hebben voor het woord? Eén minuut? Oké, dan krijgt u één minuut. Gaat uw gang.

De heer Verkerk (ChristenUnie):

Voorzitter. Ik kwam net zelf tot de ontdekking dat ik in de beantwoording van de interruptie van mevrouw Gerkens veel te kort door de bocht ben geweest. Dat was niet mijn bedoeling. Ik wil dus mijn excuses aan haar aanbieden.

Ik dank u wel.

De voorzitter:

Dank u wel. En daar komt mevrouw Gerkens.

Mevrouw Gerkens (SP):

Dat respecteer ik zeer, dus dank u wel daarvoor.

De voorzitter:

Staatssecretaris, bent u in de gelegenheid om direct te reageren op de vragen van de Kamer? Nee? Vijf minuten? Een kwartiertje? Ja! Dan schors ik tot 20.35 uur.

De vergadering wordt van 20.20 uur tot 20.35 uur geschorst.

De voorzitter:

Ik geef het woord aan de staatssecretaris Koninkrijksrelaties en Digitalisering.

Staatssecretaris Van Huffelen:

Dank u wel, voorzitter. Er is in de tweede termijn een aantal vragen aan mij gesteld die ik graag wil beantwoorden en uiteraard wil ik ook graag een appreciatie geven op de ingediende moties.

De eerste vraag die gesteld is door de heer Recourt, gaat erover of we het eens zijn over het feit dat een besluit voor vernietiging vatbaar is als een bestuursorgaan niet motiveert hoe gebruik is gemaakt van algoritmes. Op dit moment is het zo dat een besluit niet automatisch nietig is wanneer een bestuursorgaan niet kenbaar maakt op welke manier gebruik is gemaakt van algoritmes. Uiteraard kan het wel zo zijn dat een belanghebbende beroep instelt en dan kan de rechter een besluit vernietigen indien het gebruik van algoritmes niet inzichtelijk wordt gemaakt.

De tweede vraag die door de heer Recourt was gesteld, is of ik onder organisaties in de rechtshandhaving en in de rechtspraak onder de aandacht kan brengen welke zorgen er zijn over de kennis over AI, de authenticiteit van bewijsmateriaal enzovoorts, enzovoorts. Mijn antwoord is: op dit moment is er geregeld en intensief ambtelijk contact, waarbij ook die organisaties zijn aangesloten. Ik zal dit zeker onder hun aandacht brengen. Het is niet zo dat die bewustwording er niet is. Zo is recent bij het Nederlands Forensisch Instituut een AI-lab gestart in samenwerking met de Universiteit van Amsterdam, dat precies hieraan gaat werken. Dan een vraag van GroenLinks over de lijst met specifieke hoogrisicoalgoritmes. Ik kan overheden op dit moment niet dwingen om hun hoogrisicoalgoritmes te laten publiceren, omdat ik daar geen grondslag voor heb. Maar ik werk daar natuurlijk wel aan via die AI-verordening. En ik stimuleer overheden om te publiceren via het algoritmeregister. Velen doen dat ook al. Dan doen we dus in die totale algoritmelijst. Daarin maken we geen onderscheid in soorten algoritmes. We zorgen ervoor dat we overheden zo veel mogelijk stimuleren om die lijst te vullen.

Mevrouw Prins van het CDA stelde een vraag over de timing van het vaststellen en uniformeren van definities. Het is van belang dat we in kaart brengen welke verschillende definities er eigenlijk zijn. De chief data officers zijn de functionarissen die voor hun organisatie of departement hiervoor werk moeten verrichten en die die inventarisatie moeten doen. Wat we centraal kunnen ontwikkelen, is een catalogus, waar we die definities in opnemen volgens een zekere standaard. Maar we zorgen er vooral voor dat we de kraan dichtdraaien, door bij het maken van nieuwe wetgeving goed te kijken of het noodzakelijk is om nieuwe definities in het leven te roepen. Daarbij roep ik u eigenlijk ook op om mee te werken. U bent natuurlijk betrokken bij die nieuwe regelgeving, maar er is echt nog wel werk te doen. Een echt goede planning daarvan kan ik u helaas niet geven. Ik denk wel dat het goed is dat we hier regelmatig met elkaar over van gedachten blijven wisselen.

Mevrouw Prins (CDA):

Ik heb er alle begrip voor dat er geen planning is. Het gaat mij erom wie er uiteindelijk eindverantwoordelijk voor is dat het ook daadwerkelijk gebeurt. Dat is eigenlijk de vraag die ik had. Ik heb er begrip voor dat u niet durft aan te geven dat het met een paar jaar zomaar gefikst is.

Staatssecretaris Van Huffelen:

Daar is natuurlijk niet één persoon voor verantwoordelijk, want helaas is het zo dat iedereen in de wetgeving z'n eigen definities kan invoeren. U kan daar als parlement ook een rol in spelen. Maar wat ik wel wil proberen te doen, is juist die chief data officers, die ook veel samen gaan werken, hiertoe aan het werk zetten. Dus dat zou mijn opdracht zijn.

Mevrouw Prins (CDA):

Dat lijkt me fantastisch. Dank u wel.

Staatssecretaris Van Huffelen:

Dan is er nog een vraag van de heer Verkerk: kan ik toezeggen dat cultuur en ethiek als onderwerpen bespreekbaar worden gemaakt? Dat doe ik heel graag. Het is natuurlijk superbelangrijk dat dat onderwerp aan de orde is. Ik denk dat het ook al eerder in het debat aan de orde kwam. Natuurlijk kunnen we heel goede wetten en regels en kaders maken, maar het gaat ook over de manier waarop je het doet, en daarbij ook over de manier waarop we het bespreken. Dat is een van de thema's. Dat blijkt denk ik ook uit de rapporten, zoals uit het rapport van de parlementaire enquête over de problemen bij de toeslagen. Ik bedoel dat toch ook heel erg de nadruk die er was op fraudebestrijding heeft geleid tot het maken van algoritmes waarmee fraude kon worden gedetecteerd. Dat maakt natuurlijk ook iets uit in de context waarin algoritmes worden gemaakt. Dus ik denk dat daar voor ons allen een belangrijke taak ligt op het punt van die cultuur, en een taak om die ethische vragen steeds te blijven stellen, ondanks goede regels en kaders.

Een andere vraag van de heer Verkerk was om te reflecteren op het feit dat AI geen emotie kent en een rechter wel. Dat is ook precies waar het om gaat. Hoe slim AI ook kan zijn en hoe veel er ook in kan zitten in termen van emotieherkenning enzovoorts, enzovoorts — dat zijn ook allemaal vraagstukken waar we het over moeten hebben: in hoeverre vinden we dat wenselijk? — de menselijke tussenkomst bij de overheid is wat mij betreft zo ontzettend belangrijk. We weten niet of AI dat in de toekomst misschien wel zal kunnen. We wisten een jaar geleden ook niet dat er zoiets bestond als Bing of Bard of ChatGPT. Misschien heeft meneer Otten over een kwartier nog een nieuwe gevonden. Maar de kern is dus dat het daarom zo belangrijk is dat die menselijke tussenkomst er blijft. We moeten onszelf dus steeds de vraag stellen welke van deze technologieën wij willen gebruiken in het werk van de overheid.

De heer Verkerk (ChristenUnie):

Ik wil toch even op heel positieve wijze reageren op de beantwoording door de staatssecretaris. Ik vind het heel mooi dat u, sprekende over ethiek, zegt: in dat kader moeten we ook de cultuur bespreekbaar maken, maar dat moeten we echt doen in de context. Ik denk dat dat de kern van ethiek is: in een heel concrete context begin je met ethische bezinning en wil je het bespreekbaar maken. Ik dank u dus voor uw toezegging en zie met belangstelling uit naar de manier waarop u het gaat uitvoeren. Ik hoop dat we elkaar daar nog eens over mogen spreken, maar zeker weet ik dat niet.

Staatssecretaris Van Huffelen:

Dank u wel. Het zal nog best een hele klus zijn, maar gelukkig zie ik ook — dat vind ik zelf ook fijn om te zien — dat de ethische kaders steeds meer worden gebruikt, niet alleen binnen ministeries, maar ook binnen lagere overheden. Dan wordt er goed gekeken naar die vraagstukken: hoe gaan we dit beleid nou implementeren, hoe gaan we om met dit soort vraagstukken? Ik noemde al het voorbeeld van de introductie van camera's, bodycams, in de gemeente Utrecht.

Dan vroeg de heer Dittrich nog: wat doen we eraan dat er allemaal mensen worden opgeleid die vervolgens weggaan? Dat is natuurlijk een heel lastig vraagstuk. Gelukkig kennen we niet zoiets als kooien waarin we mensen die we opleiden, vastbinden. Er zijn natuurlijk wel discussies geweest over bepaalde soorten cursussen die heel erg kostbaar zijn. Als je die aanbiedt aan mensen, moet je die dan ook niet vragen om dan in ieder geval gedurende een bepaalde tijd op dezelfde plek te blijven werken? Dat soort modellen hebben we nog niet gemaakt, maar daar zouden we over kunnen nadenken. Misschien een beetje ter geruststelling: andersom gebeurt het ook. Er zijn ook mensen die heel graag bij ons komen werken, terwijl ze die opleiding al hebben gedaan bij een baan in het bedrijfsleven. Het is dus niet helemaal een one-way street.

De heer Otten (Fractie-Otten):

Ik was gisteren bij de Belastingdienst en daar hoorde ik toch echt dat het probleem ook de betaling is, met name voor de meer ervaren mensen. Als zij meer krijgen, zal dat allemaal wel problemen geven, bijvoorbeeld dat alle lagen van het loongebouw dan omhoog moeten, maar zoals het gezegde gaat: if you pay peanuts, you get monkeys. Je moet serieus beter gaan betalen voor ICT'ers, want anders komen die gewoon niet bij de overheid. Je kunt wel zeggen dat het allemaal "lastig, lastig" is en dat er ook mensen terugkomen, maar het is echt een structureel probleem. U bent van de digitale overheid, dus dan moet u toch onderkennen dat er iets moet gebeuren, dat die mensen meer moeten verdienen? Anders gaan ze weg.

Staatssecretaris Van Huffelen:

Misschien even dit. Ik reageerde op de vraag van de heer Dittrich. Die was niet: wat is in het algemeen het probleem met ICT en overheidspersoneel? Het ging specifiek over mensen die opleidingen volgen en daarna besluiten om weg te gaan. Dat komt voor, maar het gebeurt dus ook andersom.

De vraag die u stelt, het thema dat u aan de orde stelt, is breder en dat onderken ik zeker. Niet alleen wij, maar ook bedrijven — maar zeker ook de overheid — hebben moeite met het aantrekken van voldoende gekwalificeerd personeel op het gebied van IT. We werken er wel degelijk hard aan om ervoor te zorgen dat we meer mensen kunnen boeien en binden. Daarvoor kiezen we nu nog niet voor het verhogen van de salarissen of het gebruiken van andere salarisschalen, die we gebruiken voor andere medewerkers die bij ons werken, maar we hebben wel traineeprogramma's en opleidingsprogramma's en we werken op allerlei manieren samen met het bedrijfsleven. We hebben een soort flexibele contracten die kunnen helpen om mensen binnen te houden, maar daarmee is het probleem nog niet opgelost. Het thema dat de Belastingdienst noemt, kennen andere uitvoeringsorganisaties en andere onderdelen van de overheid ook. Hier verder aan werken is dus zeker een thema. Nogmaals, of betalen de enige oplossing is, weet ik niet. Ik denk het niet. Ik denk dat er veel meer nodig is, maar goed, het speelt wel een rol.

De heer Otten (Fractie-Otten):

Nou krijg ik een heel lang antwoord waarin de staatssecretaris zegt: we gaan eraan werken. U moet gewoon die salarissen omhooggooien. Natuurlijk is dat de oplossing. U gaat toch ook niet … Als u twee jaar staatssecretaris bent en er wordt gezegd "we gaan uw salaris niet verder laten doorgroeien, maar we gaan het halveren, want u bent nu twee jaar staatssecretaris", wat zou u dan doen? De oplossing ligt daar wél. Dat moet gewoon gebeuren. Er moet ook gedifferentieerd worden: mensen die echt belangrijke talenten hebben, moeten ook meer verdienen. De oplossing is niet om het allemaal weer te gaan bekijken met werkgroepen. Nee, het is heel urgent en het moet gewoon gebeuren. Wat gaat u er als verantwoordelijke voor de digitale overheid, voor digitale zaken, aan doen om dit op te lossen? Want dit is een van de allergrootste problemen in uw portefeuille, zou ik denken.

Staatssecretaris Van Huffelen:

Het is zeker een groot probleem en we hebben een heel uitgebreid programma om daaraan te werken. Dat zijn geen ideetjes en onderzoek, maar dat is daadwerkelijk werk, waaronder bijvoorbeeld het binnenhalen van trainees op dit gebied, ervoor zorgen dat we aantrekkelijke functies hebben en dat we samenwerken met het bedrijfsleven en de wetenschap. U vraagt om ervoor te zorgen dat die salarissen omhooggaan. Die constructie kan niet zomaar. Dat is wel een van de onderwerpen waarover gesproken wordt, maar op dit moment hebben we ook andere modellen.

Dan was er nog de vraag van de heer Otten: klopt die 7 cent voor ChatGPT? Ik heb nog een keer wat zoekwerk gedaan. Meneer Altman heeft dat aangegeven in het gesprek op South by Southwest, maar hij heeft ook met Elon Musk over dit onderwerp getwitterd. Zijn antwoord op een vraag over de kosten van een chat op ChatGPT is: "The average is probably single digits cents per chat" — dat kan dus nog een beetje variëren, ergens tussen 1 en 9 — "trying to figure out more precisely and also how we can optimize it". Hij is dus nog aan het werk om dit uit te zoeken en bekijkt hoe hij het kan optimaliseren. Er zitten dus wel serieuze kosten aan het energiegebruik van de rekencapaciteit die nodig is om vragen te beantwoorden.

Dan wilde ik graag overgaan tot de appreciatie van de moties. Ik begin met de letter C. Het klopt dat we geen A en B hebben, hè?

De voorzitter:

Klopt.

Staatssecretaris Van Huffelen:

Dat is de motie die ingediend is door mevrouw De Blécourt. In die motie wordt iets aan de Kamer gevraagd. Daar hoef ik dus geen appreciatie op te geven. Die motie is aan u.

Dan is er de motie van de heer Recourt van de PvdA en een aantal anderen. Die motie vraagt of we helder kunnen formuleren welke waarden en gedragingen altijd door menselijk gedrag en menselijke interactie moeten worden vormgegeven. Ik ben het met de heer Recourt eens dat dit van belang is, dat we hierover na te denken hebben. In wat voor soort samenleving willen we leven? Wat voor rol kan AI daarin wel en niet spelen, zeker wat betreft het handelen van de overheid? Ik zit naar hem te kijken, maar hij is er niet. Dat had hij ook al gezegd. In mijn agenda besteed ik daar veel aandacht aan. Ik informeer deze Kamer daar graag verder over. Ik geef deze motie dan ook oordeel Kamer.

Dan de motie met de letter E over de commissie Digitale Zaken. Ook het oordeel daarover is aan de Kamer.

Dan de motie met de letter F over codering binnen het wetgevingsproces. Dat is een motie van mevrouw Veldhoen. Daarin wordt de regering verzocht een nieuwe werkwijze te onderzoeken waarbij in het geval van regelgeving de kaders en de codes zo worden uitgeschreven dat ze onderdeel zijn van de parlementaire behandeling. Vanuit mijn verantwoordelijkheid wil ik dat graag bevorderen. Het moet er natuurlijk niet toe leiden dat IT-systemen al klaar moeten zijn voordat de wet er is. Dat kan natuurlijk niet. Dat gezegd hebbende wil ik deze motie graag oordeel Kamer geven.

Dan de motie van mevrouw Prins. Daar zit ik een beetje met een probleem. Er wordt gevraagd om in alle gevallen van geautomatiseerde besluitvorming met hoge impact bij de overheid — wat dus heel erg veel is — te zorgen dat die inzet vooraf wordt voorgelegd aan de Tweede en Eerste Kamer. Zoals de motie nu is, kan ik niet anders dan haar ontraden. Ze is veel te breed. Ik wil als alternatief voorstellen dat we ervoor zorgen dat we in een dialoog tussen uitvoering, wetgeving, het parlement en de rechter gaan kijken hoe we ervoor kunnen zorgen dat die menselijke tussenkomst op een goede manier in de besluitvorming kan worden meegenomen. Er is al sprake van dat die menselijke tussenkomst er moet zijn. Dat zit al in de huidige wetgeving. Ik denk wel dat het goed is dat we vooral met elkaar aangeven hoe we dat vorm kunnen geven en hoe we kunnen zorgen dat dat altijd wordt toegepast, ook in de gevallen waar de wet al is aangenomen, want daar heeft u het over. Het gaat erom dat dit in het kader van de uitvoering van nieuwe algoritmes of nieuwe vormen van algoritmische besluitvorming wordt ingericht. Ik wilde dat voorstellen als alternatief voor wat u heeft aangegeven.

Mevrouw Prins (CDA):

Ik begrijp de reactie van de staatssecretaris. Mag ik de staatssecretaris vragen om dit op papier te zetten, zodat we er even goed naar kunnen kijken? Ik begrijp het punt en dan kunnen we op basis daarvan voorstellen om de motie al of niet in te trekken omdat de staatssecretaris er op een andere manier aan tegemoetkomt.

Staatssecretaris Van Huffelen:

Dat is goed. Dat zal ik doen.

Dan ga ik naar de motie met de letter H van de heer Verkerk. Deze vraagt om te onderzoeken welke wetgeving nodig is in het kader van de algoritmische besluitvorming. Deze motie geef ik oordeel Kamer.

De motie met de letter I van de heer Verkerk verzoekt de regering om te onderzoeken of een verbod op het gebruik van en de toegang tot deepfaketechnologie haalbaar is. Een dergelijke motie is ook ingediend in de Tweede Kamer naar aanleiding van het onderzoek dat inmiddels door het WODC is uitgevoerd. Op hele korte termijn komt daar een beleidsreactie op. Ik vraag u om de motie aan te houden, want dan kunt u de beleidsreactie afwachten voordat u deze motie indient. Anders gaan we dubbel werk doen. Dat is mijn voorstel. Ik snap uw feit en onderzoek is nooit een slecht idee, maar er komt op zeer korte termijn een oordeel op, zo heb ik net van de minister van Justitie begrepen. Als u de motie zou kunnen aanhouden, dan heel graag.

De voorzitter:

Voor de Handelingen: ik zie de heer Verkerk instemmend knikken.

Op verzoek van de heer Verkerk stel ik voor zijn motie (CXLVII, letter I) aan te houden.

Daartoe wordt besloten.

Staatssecretaris Van Huffelen:

Dan is er de motie met de letter J van de SP en anderen om met de collega van OCW in overleg te gaan. Dat doe ik uiteraard heel graag. Inderdaad, het past een beetje in mijn werk en rol dat ik vaak met mijn collega's over dit soort onderwerpen spreek. Dat is ook goed. Het laat onverlet dat het ook goed is om die discussies tussen u en de collega's te blijven voeren, want dan blijven zij ook scherp op deze thema's. Uiteraard doe ik dat graag. Deze motie krijgt dus oordeel Kamer.

De voorzitter:

Dank u wel, staatssecretaris.

Dan sluit ik de beraadslaging, maar niet dan nadat ik mevrouw Veldhoen nog het woord gegeven heb.

Mevrouw Veldhoen (GroenLinks):

Ik had in tweede termijn nog twee kleine vragen aan de staatssecretaris gesteld. Ik heb gevraagd of in de AI-verordening onder hoog risico naast criminal offences ook other offences worden meegenomen. Worden die ook in de onderhandeling meegenomen, zo moet ik het zeggen. De tweede vraag zag op de DSA en de algoritmische voorkeuren. Wordt een verbod daarop ook door de staatssecretaris in de onderhandeling meegenomen?

Staatssecretaris Van Huffelen:

Even twee dingen. De DSA is inmiddels al aangenomen. Dat is al een wet, dus daarover valt niet meer te onderhandelen. Ik snap uw punt dat het fijner zou zijn als het al van tevoren geregeld zou zijn in plaats van na afloop, maar dit is nu wel de wet. Ik denk dat het goed is dat we blijven volgen hoe die zich ontwikkelt en of die ook daadwerkelijk effect heeft, want dan kunnen we in een later stadium daar nog verder mee gaan ontwikkelen. Er is overigens wel steeds meer de mogelijkheid om dit soort dingen wat meer via de technologie, via de telefoon zelf te doen. Er zijn dus meerdere ontwikkelingen die daarin een rol spelen.

Dan even over de AI-verordening. Wij hebben ernaar gezocht, maar wij zien het woord "offences" niet in de verordening staan. Ik weet dus niet helemaal wat u bedoelt, want de AI-verordening hanteert een classificatie van vormen van algoritmes: verboden, hoog risico en laag risico. Alle AI die persoonsgegevens verwerken, zitten in de categorie high risk. Als het gaat om offences, zou dat erin moeten zitten. Het gaat dus niet alleen maar om criminal offences. Misschien moeten we anders even met elkaar overleggen over waar het over gaat, want ik ben er even niet uitgekomen.

Mevrouw Veldhoen (GroenLinks):

De DSA is natuurlijk al aangenomen. Het is al laat, maar het is inderdaad de vraag of de staatssecretaris zich hard gaat maken om die vraag in Europa nog op de kaart te zetten. Het punt over de offences heb ik echt wel uit de AI-verordening gehaald, maar ik kan nu niet reproduceren in welk artikel dat staat. Maar het gaat mij eigenlijk om de vraag of de staatssecretaris het met mij eens is dat voorspellende software en voorspellende algoritmen zowel verboden moeten worden als het gaat om criminal offences alsook bij "other offences", zoals ik dat noem, bijvoorbeeld bij fraude of andere overtredingen. Het gaat dus om de vraag of dit moet worden uitgebreid. Moet het niet én zien op strafbare feiten én op gevallen zoals fraude en overtreding?

Staatssecretaris Van Huffelen:

Die zitten er ook gewoon in. Als het over AI gaat die risico-onderzoeken doen, die proberen om fraude te detecteren, welke vorm van fraude dan ook, dan zitten die allemaal in die hoogrisicocategorie. Mijn medewerkers luisteren mee. Als ik in deze iets zeg wat niet klopt, dan stuur ik u daar nog een brief over, maar in principe zitten die er gewoon in.

De voorzitter:

Dank u wel, staatssecretaris.

De beraadslaging wordt gesloten.

De voorzitter:

Ik stel voor volgende week over de ingediende moties te stemmen, met uitzondering van de aangehouden motie van de heer Verkerk.

Hiermee zijn we aan het eind gekomen van de vergadering. Ik dank alle leden, de staatssecretaris, de medewerkers die deze vergadering mogelijk hebben gemaakt en de aanwezigen op de publieke tribune voor hun komst naar de Kamer.