21 501-33 Raad voor Vervoer, Telecommunicatie en Energie

Nr. 1019 VERSLAG VAN EEN SCHRIFTELIJK OVERLEG

Vastgesteld 5 juni 2023

De vaste commissie voor Digitale Zaken heeft een aantal vragen en opmerkingen voorgelegd aan de Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties over de brief van 6 maart 2023 over Raad van Europa verdrag over AI, mensenrechten, democratie en de rechtsstaat (Kamerstuk 21 501-33, nr. 1006).

De vragen en opmerkingen zijn op 6 april 2023 aan de Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties voorgelegd. Bij brief van 2 juni 2023 zijn de vragen beantwoord.

De voorzitter van de commissie, Kamminga

De adjunct-griffier van de commissie, Muller

Vragen en opmerkingen vanuit de fracties en reactie van de bewindspersonen

Vragen en opmerkingen van de leden van de VVD-fractie

De leden van de VVD-fractie hebben met belangstelling kennisgenomen van de brief van de Staatssecretaris over het Verdrag van de Raad van Europa over AI, mensenrechten, democratie en rechtsstaat. Graag willen deze leden de Staatssecretaris daarover enkele vragen stellen.

De leden van de VVD-fractie hechten grote waarde aan de regulering van het gebruik van artificiële intelligentie (AI) ter bescherming van de mensenrechten, democratie en rechtsstaat.

De leden van de VVD-fractie constateren dat de Europese Commissie mandaat heeft gekregen om in het kader van de Raad van Europa namens de EU-lidstaten te onderhandelen over onderwerpen in het (kader)verdrag die onder de exclusieve bevoegdheid van de EU vallen. Daarnaast treedt Nederland op een aantal punten, zoals de bescherming van mensenrechten, extra waarborgen voor burgers en verbeterde rechtsbescherming, zelf op als onderhandelingspartner.

(1) Kan nader worden aangegeven waar het hier concreet om gaat? Nemen ook andere EU-landen zo’n positie in en op welke punten richten die landen zich bij de onderhandelingen over het AI-verdrag?

Als Nederland en eventueel andere landen ook zelfstandig gaan onderhandelen, kunnen er verschillen tussen de EU-landen ontstaan.

(2) Hoe verhoudt dat zich tot de op te stellen AI-verordening van de Europese Unie? Hoe wordt voorkomen dat er verschillen tussen de EU-landen ontstaan?

(3) De leden van de VVD-fractie vragen verder aan de Staatssecretaris welke onderdelen van het AI-verdrag niet onder de exclusieve bevoegdheid van de EU vallen.

Antwoorden 1 t/m 3

De Raad van Europa (RvE) werkt aan een AI-verdrag. Dat verdrag zal verdragspartijen verplichten regels op te stellen om mensenrechten, de democratie en de rechtsstaat te beschermen bij de ontwikkeling en het gebruik van AI-systemen.

Net als de RvE werkt de EU aan de totstandkoming van gedetailleerde regels op dit vlak: de AI-verordening. Deze beoogde regels hebben dus hetzelfde doel en vergelijkbare inhoud. Dat betekent dat dit verdrag effect zal hebben op iets wat in EU verband zal worden gereguleerd. Het verschil is dat het AI-verdrag van de RvE verdragspartijen verplicht regels uit te werken en dat de EU AI verordening specifieke uitgewerkte regels bevat van toepassing op bijvoorbeeld aanbieders en gebruikers van AI-systemen. De AI-verordening kan dus een uitwerking zijn van wat in Raad van Europa verband verplicht wordt.

Voor zover de bepalingen uit dit verdrag effect hebben op de (voorziene) EU-regels, is de Europese Commissie bevoegd om namens de EU te onderhandelen. Daarom is eind 2022 door de EU-Raad besloten om de Europese Commissie een mandaat te verlenen om namens de EU te onderhandelen over de onderdelen van het verdrag die onder de exclusieve bevoegdheid van de EU vallen. Dat betekent in de praktijk dat de EU bij de onderhandelingen gezamenlijk met de lidstaten optreedt, gecoördineerd door de Europese Commissie. De EU houdt het overzicht over de impact van dit verdrag op de (voorziene) EU-regels, legt een concept positie aan de EU-lidstaten voor, waarover EU-lidstaten vervolgens gezamenlijk een standpunt innemen, en de Europese Commissie verwoordt dit EU-standpunt tijdens de onderhandelingen bij de Raad van Europa. EU-lidstaten zitten alsnog bij die onderhandelingen en kunnen de Europese Commissie ondersteunen of eigenstandig standpunten verdedigen die zij belangrijk vinden, mits dat in lijn is met wat in EU-verband is afgesproken. Dit is overeenkomstig het beginsel van loyale samenwerking zoals bedoeld in artikel 4, derde lid, van het Verdrag betreffende de werking van de Europese Unie (VEU). Ook kunnen EU-lidstaten de voor hen belangrijke punten bij de andere EU-lidstaten en de Commissie onder de aandacht brengen, zodat deze punten – als ze gesteund worden – tijdens de onderhandelingen worden meegenomen.

De afstemming van het EU-standpunt via- en rapportage vanuit de Europese Commissie gebeurt binnen de Telecomraadswerkgroepen in Brussel. Daar vindt ook de raadsbehandeling van het voorstel voor de EU AI-verordening plaats. Nadere afstemming vindt plaats binnen zogenoemde coördinatiesessies. De Europese Commissie stemt voorafgaand aan en tijdens de CAI-bijeenkomsten in Straatsburg samen met de EU-lidstaten de EU-inzet, zoals spreekteksten en mogelijke amendementsvoorstellen, af.

De Europese Commissie heeft ook voor andere verdragen van de Raad van Europa een onderhandelingsmandaat (gehad). Dit is bijvoorbeeld het geval geweest bij het Tweede aanvullend protocol op het Cybercrimeverdrag en de herziening van het Dataprotectieverdrag (C108+).

Deze EU-samenwerking geeft ons een sterkere positie in de onderhandelingen, en stelt Nederland in staat haar invloed te vergroten. Zoals bij brief van 6 maart 2023 gemeld (Kamerstuk 21 501-33, nr. 1006), zet Nederland zich in voor de bescherming van mensenrechten bij de ontwikkeling en het gebruik van AI, met behoud van mogelijkheden voor innovatie. Ook in EU verband is dat een belangrijk speerpunt van de Nederlandse onderhandelingsinzet voor de AI-verordening. Concreet betekent dat onder meer een risicogerichte benadering, met proportionele eisen aan AI-systemen, zodat risico’s voor mensenrechten al in het ontwerpproces in kaart worden gebracht door het uitvoeren van een risicoanalyse. Daarnaast zet Nederland zich in voor verbeterde rechtsbescherming en aanvullende transparantie-eisen.

Dat is bij dit AI-verdrag dus niet anders. Het Nederlandse belang is dat dit verdrag een mondiaal instrument is om mensenrechten te beschermen bij de ontwikkeling en het gebruik van AI. Onze inzet is dus een verdrag dat consistent is met de beoogde AI-verordening op een manier die zo veel mogelijk waarborgen voor mensenrechten bevat. Hoewel de inzet van Nederland dus niet los te zien is van wat in EU-verband geregeld is, is het benadrukken van de mensenrechtelijke kant van dit verdrag belangrijk, omdat het in potentie een groter bereik heeft dan de EU AI-verordening. Het is voor Nederland daarnaast van groot belang dat niet EU-landen en landen die geen lid zijn van de Raad van Europa voldoende betrokken worden bij de onderhandelingen en het uiteindelijke verdrag ook ondertekenen en ratificeren.

Zoals de leden van de VVD-fractie terecht opmerken is in het EU-mandaatbesluit afgesproken dat EU-landen het laatste woord houden over nationale bevoegdheden zoals nationale veiligheid. Nationale veiligheid is een nationale bevoegdheid die overeenkomstig artikel 4, tweede lid, VEU uitsluitend de verantwoordelijkheid van elke lidstaat blijft. In het concept AI-verdrag zijn mogelijke uitzonderingen opgenomen die zien op het gebruik van AI-systemen voor nationale veiligheid. In de praktijk wordt over elk onderwerp alsnog in EU-verband afstemming gezocht voor een stevigere onderhandelingspositie. Voor zover de inhoud van de onderhandelingen deels onder de bevoegdheid van de Unie en deels onder de bevoegdheid van haar lidstaten valt, werken de Commissie en de lidstaten gedurende de onderhandelingen intensief samen om te zorgen voor eenheid bij de externe vertegenwoordiging van de Unie.

Voor het onderhandelingsproces is van belang dat Nederland voor een groot deel gezamenlijk met de EU optreedt, en ook bij de EU-landen het belang van mensenrechten voortdurend benadrukt, net zoals we dat bij de AI-verordening doen. In de focus op mensenrechten staat Nederland niet alleen. Zij wordt daarin gesteund door EU-landen en niet EU-landen. EU-landen stemmen hun positie met elkaar af en afgesproken is binnen de EU-lijn te blijven.

(4) Deze leden vragen ook wat de gevolgen zijn van het AI-verdrag voor het EU-handvest van de grondrechten.

Antwoord 4

Europese instellingen moeten handelen in lijn met het EU-Handvest van de grondrechten. EU-lidstaten ook, als zij EU recht toepassen. De EU inzet bij dit AI-verdrag zal dus altijd binnen de kaders van het Handvest moeten plaatsvinden, en mag daar geen afbreuk aan doen.

De leden van de VVD-fractie lezen dat de CAHAI (Ad hoc Committee on Artificial Intelligence) op 2 december 2021 concludeerde dat er een Raad van Europa-instrument nodig is met fundamentele principes voor de bescherming van menselijke waardigheid en het respect voor mensenrechten, democratie en de rechtsstaat bij de ontwikkeling, het ontwerp en het gebruik van AI-systemen. Inmiddels zijn we 1,5 jaar verder en heeft het gebruik van (generatieve) AI-systemen een vlucht genomen. Deze leden lezen ook dat een concept-verdrag op zijn vroegst pas in het najaar van 2023 ter goedkeuring wordt voorgelegd aan het Comité van Ministers.

(5) Hoe taxeert de Staatssecretaris de toevlucht van het gebruik van steeds slimmer wordende AI-systemen terwijl er nog geen regels zijn voor het gebruik van AI-systemen ter bescherming van mensenrechten, democratie en de rechtsstaat?

Antwoord 5

Het is niet zo dat er géén regels zijn voor de ontwikkeling en het gebruik van AI-systemen. De geldende mensenrechten en andere wetgeving, zoals bijvoorbeeld de AVG, anti-discriminatiewetgeving, en de regels uit het bestuursrecht zijn ook van toepassing op situaties waarin gebruik wordt gemaakt van AI.¹ Momenteel buigen EU privacy toezichthouders zich bijvoorbeeld over de naleving van de AVG door ChatGPT.

Desalniettemin ben ik het met de leden van de VVD-fractie eens dat er snel aanvullende regels moeten komen: het gebruik van AI-systemen kent risico’s en neemt snel toe. Aanvullende regels kunnen er onder andere voor zorgen dat risico’s al in het ontwerpproces worden aangepakt. Ze verbeteren zo de bescherming van de mensenrechten bij het gebruik van AI.

De aanstaande AI-verordening gaat ook eisen stellen aan het gebruik van generieke en generatieve AI-systemen. In de Raadspositie is opgenomen dat een beperkte set van eisen zal gaan gelden voor alle generieke en generatieve AI die ingezet kunnen worden voor hoog risico toepassingen. Die eisen worden dan nader gespecificeerd door de Europese Commissie in een uitvoeringshandeling onder de AI-verordening. Wanneer generieke of generatieve AI in een hoog-risico AI-systeem is geïntegreerd zullen alle eisen omtrent hoog-risico AI van toepassing zijn. Het kabinet is er daarom voorstander van om de AI-verordening zo snel mogelijk af te ronden, zodat die nieuwe regels zo snel mogelijk van toepassing worden. Het EP werkt aan voorstellen die in de AI-verordening bepalen welke eisen gaan gelden voor generatieve AI, in plaats van dat later in uitvoeringshandelingen te doen. Het kabinet staat open voor deze suggesties van het EP met betrekking tot generieke en generatieve AI en zet in op spoedige afronding van de AI-verordening in de triloog tussen EP en Raad.

Momenteel is Nederland bezig met het ontwikkelen van een visie op generatieve AI, naar aanleiding van een gewijzigde motie van de leden Dekker-Abdulaziz en Rajkowski.²

(6) Wordt de inhoud van het verdrag ook zodanig ingericht dat het toekomstbestendig is?

Antwoord 6

Bij de inrichting van het verdrag wordt rekening gehouden met de toekomstbestendigheid ervan. De bepalingen gaan uit van technologie-neutrale principes en verplichtingen die door verdragspartijen zelf geïmplementeerd moeten worden. De (nationale) wetgeving, zoals de AI-verordening, waarmee dit verdrag wordt geïmplementeerd moet toekomstbestendig zijn en daar zet Nederland zich voor in.

Daarnaast voorziet concept artikel 27 van het verdrag in een comité dat periodiek de werking en implementatie ervan monitort en verbeteringsvoorstellen kan doen. Zo kunnen nieuwe ontwikkelingen mogelijk geadresseerd worden.

(7) Deelt de Staatssecretaris de mening dat er in de toekomst voortschrijdende acties nodig zijn om dit soort situaties te voorkomen?

Antwoord 7

Ik ben inderdaad van mening dat steeds moet worden gekeken wat de voortschrijdende technologische ontwikkeling van ons vraagt. Het is echter niet zo dat elke nieuwe technologische toepassing een nieuwe wet nodig heeft. Het is belangrijk om fundamentele principes en waarden technologieneutraal te reguleren, zodat ook nieuwe ontwikkelingen deze principes en waarden moeten respecteren. Soms kan dat betekenen dat bestaande wetgeving op een nieuwe manier moet worden uitgelegd of moet worden toegepast. En soms kan nieuwe wetgeving nodig zijn om nieuwe risico’s of de manier waarop die risico’s zich voordoen te adresseren.

De leden van de VVD-fractie concluderen dat de werking van AI-systemen geen grenzen kent. Vele AI-systemen komen van de hand van makers uit niet-EU-landen.

(8) Welke garanties kan de Staatssecretaris bieden dat de werking van dit verdrag ook voor de makers van AI-systemen uit niet-EU-landen geldt?

(9) Is de Staatssecretaris bereid om te pleiten voor hardere garanties bij de totstandkoming van het AI-verdrag?

Antwoorden 8 en 9

Het AI-verdrag wordt binnen de Raad van Europa onderhandeld. Bij de Raad van Europa zijn 46 lidstaten aangesloten, waaronder ook niet-EU-landen. Voorbeelden hiervan zijn het Verenigd Koninkrijk, Noorwegen en Turkije. Daarnaast staat ondertekening van het verdrag ook open voor landen buiten de Raad van Europa, waaronder Canada, de Verenigde Staten, Japan en Israël. Deze landen zijn observer states en doen (actief) mee in de onderhandelingen. Landen die partij worden bij dit verdrag zullen zich door ondertekening en ratificatie binden aan het verdrag.

De bepalingen van het verdrag zijn gericht tot de verdragspartijen zelf. De (nationale) wetgever zal dus de bepalingen in nationale wetgeving moeten omzetten. Dit betekent dat elk land hier een verschillende uitwerking aan kan geven. EU-landen zullen voornamelijk met de AI-verordening invulling geven aan dit verdrag. Op grond van de AI-verordening kunnen alleen AI-systemen op de markt van de Unie worden gebracht of in gebruik worden genomen als die systemen aan de eisen van de verordening voldoen, ongeacht het land waarin het AI-systeem is ontwikkeld.

Het kabinet zet zich er tijdens de onderhandeling voor in dat de juiste garanties in het verdrag komen te staan, waarbij rekening wordt gehouden met het onderhandelingsmandaat van de Europese Unie en het internationaal brede karakter dat met het verdrag wordt beoogd.

De leden van de VVD-fractie lezen dat er in het Raadscompromis nieuwe bepalingen zijn toegevoegd om specifieker rekening te houden met generatieve AI. Zo wordt in de tekst gespecificeerd dat als de maker zich kan voorstellen dat zijn AI gebruikt gaat worden in een hoog-risico domein, hij zich aan de hoog-risico regels moet houden.

(10) Worden er voorwaarden gecreëerd voor de makers van generatieve AI waaraan zij hun verwachtingen kunnen leggen om te bepalen of zijn AI gebruikt gaat worden in een hoog-risico domein?

(11) Hoe verhoudt deze bepaling zich tot makers van generatieve AI uit niet-Europese landen?

Antwoorden 10 en 11

Deze vraag gaat over de AI-verordening van de EU. Generatieve AI valt onder de categorie general purpose AI, ofwel generieke AI. In de Raadstekst van de AI-verordening is opgenomen dat daarvoor uitvoeringshandelingen worden opgesteld door de Europese Commissie in samenwerking met de EU-lidstaten.

Volgens de Raadstekst zijn de eisen voor generatieve AI die mogelijk voor hoog-risico toepassingen gebruikt kunnen worden niet van toepassing wanneer de aanbieder in de gebruiksaanwijzing of de informatie bij het generieke AI-systeem alle toepassingen met een hoog risico uitdrukkelijk heeft uitgesloten. Deze uitsluiting moet wel te goeder trouw worden gedaan en is niet gerechtvaardigd als de aanbieder voldoende redenen heeft om aan te nemen dat het systeem kan worden misbruikt. Wanneer de aanbieder misbruik op de markt ontdekt of daarvan in kennis wordt gesteld, moet de aanbieder geschikte maatregelen nemen om verder misbruik te voorkomen.

Wanneer producten waarin generatieve AI is verwerkt op de Europese markt worden gebracht of gebruikt, moeten deze producten voldoen aan de bepalingen van de AI-verordening en de daaruit voortvloeiende uitvoeringshandelingen, ongeacht of die AI-systemen binnen of buiten de Unie zijn ontwikkeld. Aanbieders die buiten de Unie zijn gevestigd moeten, voordat zij hun AI-systemen in de Unie beschikbaar stellen, een in de Unie gevestigde gemachtigde aanwijzen. Zo kan de aanbieder buiten de Unie alle nodige informatie verstrekken over de conformiteit van een AI-systeem indien dat nodig is, bijvoorbeeld op verzoek van een toezichthouder.

(12) Hoe verhoudt het komende AI-verdrag zich tot bestaande AI-systemen?

(13) Dienen deze bestaande AI-systemen te voldoen aan de eisen in het AI-verdrag of geldt dit alleen voor toekomstige AI-systemen

Antwoorden 12 en 13

Het AI-verdrag stelt verplichtingen gericht aan de verdragspartijen. Verdragspartijen moeten ervoor zorgen dat mensenrechten beschermd zijn bij de ontwikkeling en het gebruik van AI. Dit doen zij door (nationale) wetgeving op te stellen die uitwerking geeft aan de verplichtingen uit het verdrag. In Nederland zal die uitwerking in belangrijke mate plaats vinden via de AI-verordening van de Europese Unie. In welke mate de AI-verordening van toepassing is op al bestaande systemen is nog onderwerp van de onderhandelingen in Brussel. Volgens de Raadstekst zullen de eisen uit de AI-verordening alleen van toepassing zijn op bestaande AI-systemen als die systemen significant worden aangepast.

(14) De leden van de VVD-fractie vragen de Staatssecretaris de Kamer te informeren over het vervolg van de onderhandelingen over het AI-verdrag van de Raad van Europa, bijvoorbeeld via de kwartaalrapportage lopende wetgevingsonderhandelingen.

Antwoord 14

Van de Minister van Buitenlands Zaken ontvangt de Staten-Generaal elk kwartaal een lijst van ontwerpverdragen over de totstandkoming waarvan voor het Koninkrijk onderhandeld wordt (overeenkomstig artikel 1, eerste lid, van de Rijkswet goedkeuring en bekendmaking verdragen). Deze lijst bevat alleen een feitelijk overzicht van verdragen, waarover wordt onderhandeld.

De beleidsverantwoordelijke bewindspersonen kunnen de Kamer informeren over de precieze details van het verloop van de onderhandelingen over een specifiek ontwerpverdrag. Uw Kamer heeft daarom enkele brieven over dit onderwerp ontvangen, waaronder het BNC-fiche over het onderhandelingsmandaat van de Europese Commissie.³. Ik zal uw Kamer blijven informeren over het vervolg van de onderhandelingen over het AI-verdrag.

Vragen en opmerkingen van de leden van de D66-fractie

De leden van de D66-fractie hebben met interesse kennisgenomen van de brief van de Staatssecretaris en de nulversie van het verdrag van de Raad van Europa. Deze leden achten het van toegevoegde waarde dat de Raad van Europa een parallel verdrag opstelt waarin de beginselen staan vervat waaraan AI-toepassingen aan moeten voldoen op het gebied van mensenrechten, democratie en de rechtstaat. Het biedt de kans om, naast de AI-verordening, fundamentele criteria op te stellen die zodoende richting geven in de uitleg van de verordening, wat deze leden betreft. De leden hebben nog enkele vragen.

De leden van de D66-fractie constateren dat uit de brief en de nulversie van het verdrag het duidelijk wordt dat de Europese Commissie (EC) gemandateerd is om namens de lidstaten te onderhandelen. Hier is voor gekozen omdat er een mogelijke overlap zit tussen de AI-verordening en het voorliggende verdrag. Het roept bij deze leden wel enige vragen op over het verdere proces en de mogelijkheid tot beïnvloeding. Uit de brief van Staatssecretaris blijkt dat de nulversie opgesteld is door de «drafting group».

(15) Kan de Staatssecretaris toelichten welke bijdrage wij als lidstaat aan die drafting group hebben gedaan?

Antwoord 15

De nulversie van het verdrag is opgesteld door het secretariaat van het Comité inzake kunstmatige intelligentie (CAI) van de Raad van Europa, en niet door de drafting group of de verdragspartijen.

Deze nulversie is nog geen standpunt van de mogelijke verdragspartijen. Het secretariaat heeft aangegeven deze nulversie te hebben opgesteld als basis voor de onderhandelingen en baseert de tekst op de eerdere gesprekken binnen de CAI en de voorbereidende documenten die door het Ad Hoc Comité inzake kunstmatige intelligentie van de Raad van Europa (CAHAI) zijn opgesteld.

Nederland was ook binnen CAHAI actief betrokken.⁴ De drafting group is pas na de verspreiding van de nulversie opgericht en werkt aan tekstvoorstellen ter wijziging van de nulversie. Aan de drafting group nemen alleen mogelijke verdragspartijen deel, aan de plenaire vergadering nemen verdragspartijen, internationale organisaties en o.a. Ngo’s deel. In de plenaire vergaderingen wordt over de tekstvoorstellen van de drafting group gediscussieerd en worden besluiten over de tekst genomen.

Ook staat in de beslisnota het volgende: «Pas eind 2022 is in EU verband een besluit genomen over het mandaat voor de EU, en onze inzet bij dit verdrag is daarvan afhankelijk omdat het iets zegt over de ruimte en manier die er is voor lidstaten om invloed uit te oefenen op de onderhandelingen. Omdat de EU een mandaat heeft om te onderhandelen, zal de inzet voor een deel afhankelijk zijn van wat in EU verband op dit onderwerp wordt geregeld.»

(16) Kan de Staatssecretaris toelichten hoe dit mandaat onze inzet bij dit verdrag beïnvloedt en waarom we in onze inbreng afhankelijk zijn van wat er in EU-verband wordt geregeld?

Antwoord 16

Zoals in de beantwoording van vraag 1 benoemd heeft de EU-Raad, gezien de grote overlap tussen het AI-verdrag van de Raad van Europa en de EU AI-verordening, in november 2022 een besluit genomen waarin de Europese Commissie het mandaat wordt verleend om in de CAI namens de EU te onderhandelen over onderwerpen die onder de exclusieve bevoegdheid van de EU vallen. De Nederlandse inzet voor het RvE AI-verdrag gaat hierdoor grotendeels via de Europese Commissie. Uw Kamer is via een BNC-fiche over de voorbereiding van dat mandaatbesluit geïnformeerd.

De afstemming van het EU-standpunt via- en rapportage vanuit de Europese Commissie gebeurt binnen de Telecomraadswerkgroepen in Brussel. Daar vindt ook de raadsbehandeling van de EU AI-verordening plaats. Nadere afstemming vindt plaats binnen de zogenoemde coördinatiesessies. De Europese Commissie stemt voorafgaand aan en tijdens de CAI-bijeenkomsten in Straatsburg samen met de EU-lidstaten de EU-inzet, zoals spreekteksten en mogelijke amendementsvoorstellen, af.

Nederland behoudt wel het spreekrecht in de CAI-vergaderingen in Straatsburg, ondanks het onderhandelingsmandaat van de Commissie.

Deze leden constateren dat er in april een volgende vergadering is over het verdrag, waarin een nieuwe slag wordt gemaakt.

(17) Wat zal daarin onze inbreng zijn en in hoeverre is er ruimte voor de Kamer om daar vooraf geïnformeerd over te worden?

(18) Deelt de Staatssecretaris de mening dat er ruimte moet zijn om input te leveren voor deze inbreng?

Antwoorden 17 en 18

Ik vind het belangrijk dat uw Kamer inbreng kan leveren voor de onderhandelingen. Onze inbreng bij het AI-verdrag hangt samen met de Nederlandse inzet bij de EU-onderhandelingen over de AI-verordening. De EU streeft immers naar een Verdrag dat verenigbaar is met het EU-recht en in het bijzonder de AI-verordening. Zoals gebruikelijk bij EU wet- en regelgeving is uw Kamer hier via eerdere brieven over geïnformeerd, en is ook de Nederlandse inzet tijdens de onderhandelingen van de AI-verordening op diverse momenten met uw Kamer besproken. Uw Kamer heeft daarnaast moties ingediend om die inzet mede vorm te geven.⁵ De onderhandelingsstukken van de EU bij dit verdrag zijn helaas niet openbaar.⁶

Uit de brief van de Staatssecretaris blijkt dat er is gekozen om eerst de fundamentele basis te leggen voor de nulversie, alvorens de controversiële onderwerpen worden onderhandeld en besloten.

(19) Kan zij aan de leden van de D66-fractie toelichten welke onderwerpen dit zullen zijn en hoe zij daar de Kamer in gaat meenemen?

(20) Ziet zij in de huidige nulversie al onderwerpen die als zodanig kunnen worden beschouwd, en zo ja, welke zijn dat dan?

Antwoorden 19 en 20

In de CAI-vergaderingen van september 2022 en januari 2023 is deze benadering door het Bureau van de CAI voorgesteld, mede vanwege de nog lopende onderhandelingen van de EU AI-verordening. Op basis hiervan is de volgorde van de bespreking van de hoofdstukken aangepast om te beginnen met de niet-controversiële onderwerpen, in de hoop dat in een later stadium meer bekend zou zijn over de inhoudelijke positie van de mogelijke verdragspartijen, maar in het bijzonder de EU. Zoals ik ook in de brief van 6 maart 2023 naar uw Kamer heb gecommuniceerd, is de CAI eerst begonnen met het bespreken van de slotbepalingen, waarna de bepalingen over de preambule, toezicht en internationale samenwerking zijn besproken. De gedachte was dat de input van de mogelijke verdragspartijen maar in het bijzonder de EU daarop namelijk minder zou afhangen van de uitkomst van de onderhandelingen over de EU AI-verordening.

Vervolgens heeft de CAI toegewerkt naar meer controversiële onderwerpen: tijdens de CAI van april 2023 is gewerkt aan de algemene bepalingen, fundamentele beginselen en de bepalingen met waarborgen en rechtsmiddelen. Tijdens de aankomende vergadering van 31 mei tot en met 2 juni worden de bepalingen over de beoordeling en mitigatie van risico’s, de inzet van AI-systemen door overheidsorganisaties en de inzet van AI-systemen bij de levering van goederen en diensten besproken.

De leden van de D66-fractie constateren dat er een andere definitie van «artificial intelligence» in het verdrag wordt gehanteerd dan in de AI-act; in de laatstgenoemde worden generatieve AI ook geïncludeerd, maar in het voorliggende verdrag niet.

(21) Kan de Staatssecretaris daarop reflecteren en vindt zij dat er een uniforme definitie gehanteerd zou moeten worden?

Antwoord 21

In het belang van de rechtszekerheid moeten beide definities op elkaar aansluiten. Het is onwenselijk als onder het ene kader systemen wel als AI worden aangemerkt en onder het andere kader niet. Dat is mijn inzet, en ook die van de EU. De definitie van AI-systemen is in het verdrag nog niet vastgesteld.

Zodra de definitie is vastgesteld, zullen alle AI-systemen die binnen de definitie vallen onder de reikwijdte van het verdrag vallen. De inzet van de EU is dat de definitie in het verdrag duidelijk, technologieneutraal en zo toekomstbestendig als mogelijk is, in lijn is met de definitie van de OESO en ook consistent met de uiteindelijke definitie in de AI-verordening. Generatieve AI zou in beide kaders onder de definitie van AI vallen.

De leden van de D66-fractie constateren dat het definitieve verdrag zich in nationale wetgeving moet doorvertalen. Volgens de planning zou het definitieve verdrag eind 2023 gereed moeten zijn.

(22) Welke stappen kan de Staatssecretaris nu al zetten om de voorbereiding op nationale wet- en regelgeving te versnellen?

Antwoord 22

Het AI-verdrag stelt verplichtingen gericht aan de verdragspartijen. Die moeten ervoor zorgen dat mensenrechten beschermd zijn bij de ontwikkeling en het gebruik van AI. Dit doen zij door (nationale) wetgeving op te stellen die uitwerking geeft aan de verplichtingen uit het verdrag. In Nederland zal die uitwerking in belangrijke mate plaatsvinden via de AI-verordening van de Europese Unie. Over die verordening wordt momenteel nog onderhandeld. Het kabinet bereidt zich voor op de implementatie: het gaat daarbij om een inventarisatie van wettelijke verplichtingen en andere uitvoeringshandelingen om ervoor te zorgen dat de AI-verordening goed wordt uitgevoerd.

(23) In hoeverre zullen de implicaties van het verdrag al geldig zijn in Nederland, zo lang dit niet is omgezet tot nationale wetgeving?

Antwoord 23

Het verdrag bevat bepalingen die zich richten tot de verdragspartijen: zij stellen regels om de doelen uit het verdrag te behalen. Er zijn vooralsnog geen bepalingen in de tekst opgenomen waaraan burgers directe rechten kunnen ontlenen via de rechter. Wel is het zo dat na ondertekening van het verdrag, Nederland niet mag handelen op een manier die eventueel in strijd zou zijn met het voorwerp en doel van het verdrag.

(24) De leden van de D66-fractie willen graag van de Staatssecretaris weten in hoeverre nu al bestaande en gebruikte AI (zowel gebruikt door bedrijven als de overheid) in retroperspectief worden doorgelicht op basis van nieuwe wetgeving, zodra deze in werking treedt.

Antwoord 24

Zie ook het antwoord bij de vragen 12/13. In de Raadstekst is afgesproken dat wanneer een AI-systeem al op de markt is gebracht voordat de AI-verordening van kracht is, niet wordt bekeken of deze aan de eisen van de AI-verordening voldoen. Omdat ontwikkelaars van AI-producten op dit moment niet kunnen voorzien welke regels in de toekomst van toepassing gaan zijn op hun producten, kunnen zij hier op dit moment tijdens hun ontwikkeling geen rekening mee houden. Als de verordening met terugwerkende kracht zou gaan gelden, met eisen aan het ontwikkelproces, dan zou dat voor grote terughoudendheid op de huidige AI-markt zorgen. Er zou voor AI-ontwikkelaars dan immers een significant risico op aanpassingskosten ontstaan. Uiteraard kunnen aanbieders of gebruikers van AI wel op eigen initiatief beoordelen of ze aan de huidige versie van de verordening voldoen. Wanneer een AI-systeem na inwerkingtreding van de AI-verordening een substantiële update krijgt, moet er wel aan de eisen van de verordening worden voldaan. De verwachting van het kabinet is dat voor veel van de AI die gebruikt gaat worden voor hoog-risico toepassingen, met enige regelmaat nieuwe versies zullen verschijnen. Dat is inherent aan de snelle ontwikkelingen van AI. Daarnaast gaat de verordening wél met terugwerkende kracht gelden voor de categorie «verboden AI», zoals social scoring en manipulatieve technieken, en de categorie «AI met specifieke risico’s», zoals deepfakes.

Tenslotte, in de nulversie van het verdrag staat opgenomen dat er nationale toezichthouders worden aangesteld om de naleving te monitoren.

(25) De leden van de D66-fractie vragen of de Staatssecretaris kan toelichten welke stappen zij neemt om te onderzoeken waar deze taak het beste belegd kan worden.

Antwoord 25

Het AI-verdrag stelt verplichtingen gericht aan de verdragspartijen. Verdragspartijen moeten ervoor zorgen dat mensenrechten beschermd zijn bij de ontwikkeling en het gebruik van AI. Dit doen zij door (nationale) wetgeving op te stellen die uitwerking geeft aan de verplichtingen uit het verdrag. In Nederland zal die uitwerking in belangrijke mate plaats vinden via de AI-verordening van de Europese Unie. Daardoor hangt het vraagstuk omtrent toezicht voor naleving van het verdrag samen met hoe toezicht in de EU AI-verordening wordt geregeld. U wordt hier op een nader moment over geïnformeerd.

Vragen en opmerkingen van de leden van de PVV-fractie

De leden van de PVV-fractie hebben kennisgenomen van de stukken en hebben daarover in dit stadium geen vragen.

Vragen en opmerkingen van de leden van de CDA-fractie

De leden van de CDA-fractie hebben enkele vragen over de brief van de Staatssecretaris over de onderhandelingen in de Raad van Europa over het AI-verdrag. Deze leden constateren dat in het coalitieakkoord staat dat Nederland in Europa het voortouw neemt om zich in te zetten voor de mensgerichte inzet van kunstmatige intelligentie: dit zijn AI-systemen die de mens dienen, veilig zijn en vertrouwd kunnen worden, die ingezet worden met respect voor publieke waarden en mensenrechten en waarbij een goede rechtsbescherming verzekerd is.

(26) Deze leden vragen hoe de Staatssecretaris dit voortouw vormgeeft, naast het EU-mandaat voor de onderhandelingen.

Antwoord 26

Nederland stelt zich actief op tijdens de onderhandelingen in EU verband en in Raad van Europa verband. In EU verband heeft NL daarom bijvoorbeeld diverse wijzigingsvoorstellen gedaan in de onderhandelingen binnen de Raad, en via non-papers geprobeerd met andere lidstaten invloed uit te oefenen op de uiteindelijke Raadspositie. In de Raadstekst zijn dan ook voorstellen van Nederland terechtgekomen. Ook in Raad van Europa verband geldt Nederland als actief, binnen de EU afstemming, en binnen de algemene vergadering en drafting group. Daarnaast werkt Nederland nationaal aan een aantal trajecten die bijdragen aan betrouwbare, mensgerichte AI. Te denken valt aan het nationale algoritmeregister, en aan de algoritmetoezichthouder, waarover Nederland in contact is met andere geïnteresseerde lidstaten.

Ook investeert het kabinet actief in de ontwikkeling van oplossingen voor verantwoorde en veilige AI via onder meer de ELSA-labs (Ethical, Legal and Societal Aspects), als onderdeel van het AiNed investeringsprogramma van het Nationaal Groeifonds, waarin AI helpt bij het aangaan van maatschappelijke opgaven zoals armoede en problematische schulden. Ook draagt het Ministerie van Economische Zaken en Klimaat bij aan het ROBUST-programma. Dit is een samenwerking tussen universiteiten, overheidsorganisaties en bedrijven. Binnen dit programma is 87 miljoen euro beschikbaar gesteld voor 17 onderzoek labs en 170 PhD posities om onderzoek naar betrouwbare AI voor maatschappelijke opgaven te stimuleren

De leden van de CDA-fractie lezen dat er begin 2023 is besloten om naast de plenaire vergadering een «drafting» groep op te richten.

(27) Deze leden vragen wie in de drafting groep zitten.

(28) Deze leden vragen tevens of er ook een vertegenwoordiger namens Nederland lid van de drafting groep is en, zo nee, waarom niet.

Antwoorden 27 en 28

In de «drafting group» zitten alle mogelijke verdragspartijen. Dat zijn de RvE-lidstaten, enkele niet-RvE-lidstaten («observer states») en de Europese Unie (via de Europese Commissie). Nederland neemt dus ook deel aan de «drafting group.»

De leden van de CDA-fractie lezen dat tijdens het plenaire deel van de vergadering hoofdstukken uit het conceptverdrag worden besproken, besluiten worden genomen, en dat er naast (mogelijke) verdragspartijen ook Ngo’s (niet-gouvernementele organisaties) aanwezig zijn die ook tekstvoorstellen kunnen doen.

(29) Deze leden vragen welke Ngo’s aanwezig zijn en mee kunnen praten.

Antwoord 29

Ngo’s die zijn toegelaten door de CAI als «observer» krijgen tijdens het plenaire gedeelte van de vergadering de mogelijkheid om tekstvoorstellen te doen. Verschillende NGOs hebben de status als observer gekregen, zoals Algorithmwatch, ALLAI, Center for AI and Digital Policy (CAIDP), Centre for Democracy and Rule of Law (CEDEM) en Human Rights Watch. Niet alle observers nemen altijd deel aan alle vergaderingen. U kunt op de CAI website een lijst vinden van deelnemers per vergadering (onder meetings).⁷

(30) De leden van de CDA-fractie vragen hoe geborgd wordt dat er niet alleen aandacht is voor privacy, maar dat er ook aandacht wordt besteed aan opsporing indien AI gebruikt wordt door mensen en groepen met verkeerde intenties.

Antwoord 30

Het doel van de nulversie is dat AI-systemen dusdanig verantwoordelijk worden ontwikkeld en ingezet om zo schendingen van mensenrechten, democratie en rechtstaat te voorkomen. Het recht op privacy is een van deze mensenrechten, maar er zijn meer mensenrechten die moeten worden meegenomen. Daarom kent de nulversie naast het recht op privacy, ook bepalingen die bijvoorbeeld toezien op discriminatie en autonomie. Mensen en groepen die AI-systemen in willen zetten met verkeerde intenties en/of voor onrechtmatige doeleinden, zoals cybercriminaliteit, zullen zich in de regel niet houden aan wettelijke bepalingen.

De voorkoming van cybercrime en de opsporing hiervan wordt voornamelijk gereguleerd door andere wettelijke instrumenten. Zo is binnen de Raad van Europa ook een cybercrimeverdrag overeengekomen waarmee de opsporing van cybercrime wordt bevorderd. De totstandkoming van het AI-verdrag moet daarom ook bezien worden in een breder (regulerend) kader.

Wel kan bij de ontwikkeling van AI-systemen (deels) worden voorkomen dat er in een later stadium misbruik van wordt gemaakt. De nulversie kent bijvoorbeeld het principe van veiligheid en cybersecurity. Door bij de ontwikkeling van AI-systemen cybersecurity standaarden toe te passen, wordt het risico van aanvallen op deze systemen gemitigeerd. Wanneer in AI-toepassingen persoonsgegevens worden verwerkt, dienen die toepassingen op grond van de AVG door middel van het ontwerp te borgen dat de persoonsgegevens van betrokkenen goed zijn beschermd (privacy by design). Kwaadwillenden kunnen namelijk misbruik maken van beveiligingslekken in systemen om zo (maatschappelijke) schade aan te richten. Deze risico’s bestaan overigens ook bij andere softwaresystemen dan AI.

Daarnaast is het belangrijk dat binnen het verdrag voldoende ruimte blijft voor de opsporing om zelf technologie zoals AI te kunnen gebruiken om criminaliteit in brede zin te kunnen bestrijden. De verwachting is verder dat in de toekomst criminaliteit gepleegd met behulp van AI enkel te bestrijden zal zijn door zelf ook deze technologie te kunnen gebruiken. Daarbij is het van belang dat de inzet van AI door de opsporing wordt omkleed met de juiste waarborgen.

(31) In dat kader vragen deze leden of er ook vertegenwoordigers van bijvoorbeeld het opsporingsapparaat en het Openbaar Ministerie meedenken en meepraten in de «drafting» groep of op een andere wijze.

Antwoord 31

Binnen CAI nemen naast de lidstaten en «observer states» ook NGO’s, internationale gouvernementele organisaties en bedrijven deel vanuit een grote verscheidenheid aan relevante expertises. Onderdeel hiervan zijn ook experts op het gebied van veiligheid, opsporing en criminaliteitsbestrijding. Voor meerdere lidstaten, waaronder voor Nederland, geldt dat er binnen de delegaties vertegenwoordigers zijn van de ministeries en departementen op het gebied van opsporing. Voor Nederland geldt dat bij de voorbereiding op de CAI-bijeenkomsten ook experts vanuit het de politie en het Openbaar Ministerie betrokken worden.

De leden van de CDA-fractie constateren dat Nederland en de andere EU-lidstaten de Europese Commissie hebben gemandateerd om te onderhandelen over het AI-verdrag. Deze leden lezen dat in het uiteindelijke mandaatbesluit is afgesproken dat lidstaten zeggenschap houden over nationale bevoegdheden zoals nationale veiligheid.

(32) Zij vragen wat dit precies betekent wanneer er verschillen bestaan tussen twee lidstaten over hoe om te gaan met «mensenrechten, democratie en de rechtstaat» bij het gebruik van AI.

De leden van de CDA-fractie noemen het voorbeeld dat lidstaat A meer mogelijkheden toestaat in het gebruik van AI dan lidstaat B omdat lidstaat B daar een gevaar in ziet voor het functioneren van de rechtstaat. Een inwoner van land A past AI toe binnen de wettelijke grenzen van lidstaat A, maar zet het in lidstaat B. Deze leden vragen of de acties van de inwoner van land A dan beoordeeld worden door lidstaat A of dat lidstaat B kan vragen aan lidstaat A om de inwoner uit te leveren.

(33) Zij vragen of de Staatssecretaris op dit voorbeeld wil ingaan.

Antwoorden 32 en 33

De zeggenschap die EU-lidstaten hebben over nationale bevoegdheden zoals nationale veiligheid moeten in het kader van het onderhandelingsmandaat van de EU worden bezien. Zoals in het mandaatbesluit staat, blijft nationale veiligheid overeenkomstig artikel 4, tweede lid, VEU uitsluitend de verantwoordelijkheid van elke EU-lidstaat. Het gaat dan dus om de ontwikkeling en het gebruik van AI-systemen voor het doel van nationale veiligheid.

In het voorbeeld van de leden van de CDA-fractie gaat het over een situatie waarin inwoners AI-systemen toepassen over de landsgrenzen die in het ene land als een gevaar worden aangeduid voor het functioneren van de rechtstaat, maar in het andere niet. Dat gaat over de mate waarin lidstaten verschillende beperkingen aan systemen mogen opleggen of bepaalde systemen mogen verbieden.

Verdragspartijen mogen zelf de bepalingen uit het verdrag implementeren in nationale wetgeving, dus zo’n verschil zou kunnen bestaan. Het is dan aan inwoners om zich aan het recht van het land te houden waarin het AI-systeem wordt gebruikt. In het geval van de EU zal zo’n situatie zich niet snel voordoen, omdat één van de doelen van de AI-verordening juist is om de markt voor AI-systemen te harmoniseren.

(34) De leden van de CDA-fractie vragen of de Staatssecretaris wil toelichten hoe Nederland hier in de onderhandelingen over het verdrag invloed op uitoefent en hoe dit wordt vormgegeven buiten het EU-mandaat.

Antwoord 34

Het feit dat de Europese Commissie een mandaat heeft om namens de Europese Unie te onderhandelen, betekent niet dat de Commissie zelf bepaalt wat de inzet van de EU is. In het onderhandelingsmandaat is door de Raad een aantal uitgangspunten vanuit de lidstaten meegegeven aan de Commissie die als basis dienen voor de inzet. Daarnaast wordt de concrete inzet voor iedere vergadering van de CAI in Straatsburg nauw afgestemd met de EU-lidstaten en dient de Commissie na iedere CAI-vergadering te rapporteren aan de EU-lidstaten.

De afstemming van het EU-standpunt via- en rapportage vanuit de Europese Commissie gebeurt binnen de Telecomraadswerkgroepen in Brussel waar ook de raadsbehandeling van de EU AI-verordening plaatsvindt. Nadere afstemming vindt plaats binnen de coördinatiesessies waarbij de Commissie voorafgaand aan en tijdens de CAI-bijeenkomsten in Straatsburg samen met de EU-lidstaten de EU-inzet, zoals spreekteksten en mogelijke amendementsvoorstellen, afstemt. De coördinatiesessies zijn de plekken waar de belangrijkste afstemming plaatsvindt, en Nederland levert daar een actieve bijdrage om de Nederlandse inzet in te brengen.

Nederland behoudt wel het spreekrecht in de CAI-vergaderingen in Straatsburg, ondanks het onderhandelingsmandaat van de Commissie. Nederland ondersteunt de inbreng van de Commissie, aangezien het ook onze gedeelde en afgestemde inbreng is.

(35) De leden van de CDA-fractie vragen hoe de Staatssecretaris aankijkt tegen het idee van «Ethics by design». Dit idee houdt in dat AI moet voldoen aan ethische richtlijnen bij de ontwikkeling ervan, en dat wanneer het niet aan deze richtlijnen voldoet, het niet binnen Europa kan worden toegestaan.

Antwoord 35

Binnen de onderhandelingen over de EU AI-verordening en het Raad van Europa AI-verdrag zet Nederland zich ervoor in dat AI-systemen pas op de markt mogen komen en/of mogen wordt gebruikt als aan de bescherming van fundamentele rechten, gezondheid en veiligheid wordt voldaan. Hiermee willen we ervoor zorgen dat door middel van de eisen die in wet- en regelgeving worden gesteld, we ook voldoen aan ethische richtlijnen. Voorafgaand aan het voorstel van de Europese Commissie van de AI-verordening, heeft een High Level Expert Group (HLEG) gewerkt aan het opstellen ethische richtlijnen.⁸ Deze richtlijnen zijn zoveel als mogelijk omgezet in de eisen van de AI-verordening, waar nu over wordt onderhandeld. Voorbeelden van vereisten die de HLEG stelde aan betrouwbare AI zijn menselijke controle en menselijk toezicht, technische robuustheid en veiligheid en privacy en data governance. Deze vereisten worden ook gesteld aan hoog risico AI-systemen, zie artikelen 8–15 van de AI-verordening. Daarnaast stelde de HLEG eisen aan transparantie, bijvoorbeeld wanneer natuurlijke personen interacteren met een AI-systeem. Die eis staat nu in artikel 52 van de verordening.

(36) De leden van de CDA-fractie vragen of de Staatssecretaris wil ingaan op wat het verdrag zou moeten regelen met betrekking tot generatieve AI-systemen zoals ChatGPT, die kunnen worden gebruikt als basis voor meer gespecialiseerde AI-systemen.

(37) Deze leden vragen aan welke eisen deze systemen moeten voldoen en of de AI-verordening van de Europese Unie hier mogelijk nog op wordt aangepast.

(38) Deze leden vragen of de Staatssecretaris de positie van het kabinet en van de EU op dit punt wil toelichten.

Antwoorden 36 t/m 38

Het kabinet vindt het belangrijk dat er eisen worden gesteld aan generatieve AI. Het huidige conceptverdrag kent nog geen specifieke bepalingen over generatieve AI-systemen, maar het verdrag verplicht verdragspartijen om regels te stellen om mensenrechten te beschermen, die van toepassing zijn op AI-systemen, rekening houdend met de risico’s van verschillende toepassingen. De Nederlandse inbreng op dit vlak zal in lijn zijn met wat in EU verband wordt afgesproken. Generatieve AI-systemen zijn daar nog onderwerp van discussie.

De AI-verordening werkt volgens een risicoclassificatie: aan de hand van de toepassing van een AI-systeem, gaan er bepaalde eisen stellen. Generieke AI-systemen, waaronder ook generatieve AI-systemen vallen, kunnen worden gebruikt als zelfstandig systeem of als basis voor meer gespecialiseerde systemen en voor een breed scala aan toepassingen. Het is niet mogelijk om op voorhand alle verschillende toepassingen te voorzien waarvoor generieke AI zou kunnen worden gebruikt. Het zou niet proportioneel zijn om alle eisen voor AI voor hoog-risico toepassingen te laten gelden voor alle generieke en generatieve AI. Ook als die niet voor hoog-risico-toepassingen wordt gebruikt.

Daarom is in de Raadspositie opgenomen dat een beperkte set van eisen zal gaan gelden voor alle generieke en generatieve AI die ingezet kunnen worden voor hoog risico toepassingen. Die eisen worden dan nader gespecificeerd door de Europese Commissie in een uitvoeringshandeling onder de AI-verordening. Zoals aangegeven in antwoord 5 werkt het EP naar verluid aan voorstellen die in de AI-verordening bepalen welke eisen gaan gelden voor generatieve AI, in plaats van dat later in uitvoeringshandelingen te doen. Het kabinet staat open voor deze suggesties van het EP met betrekking tot generieke en generatieve AI en zet in op spoedige afronding van de AI-verordening in de triloog tussen EP en Raad.

Momenteel is Nederland bezig met het ontwikkelen van een visie op generatieve AI, naar aanleiding van een gewijzigde motie van de leden Dekker-Abdulaziz en Rajkowski.⁹

(39) De leden van de CDA-fractie vragen in hoeverre de EU de aanbevelingen van de European Data Protection Supervisor (EDPS) ten aanzien van biometrische identificatie en sociaal scoren overneemt, zodat de verboden hiervoor niet alleen gelden voor «realtime» biometrische identificatie en niet alleen voor overheden maar ook voor bedrijven.

Antwoord 39

De EU-positie hangt af van de definitieve tekst van de AI-verordening. De onderhandelingen over de uiteindelijke tekst van de AI-verordening tussen de Europese Commissie, de Raad, en het Europese Parlement moeten nog plaatsvinden. Het is daarom op dit moment nog erg ingewikkeld te voorspellen hoe de uiteindelijke tekst van de AI-verordening – het resultaat van die onderhandelingen – zal luiden op dit gebied.

Vragen en opmerkingen van de leden van de SP-fractie

De leden van de SP-fractie hebben de brief over het AI-verdrag van de Raad van Europa gelezen en hebben hierover nog enkele vragen en opmerkingen.

De leden van de SP-fractie zijn positief over de aandacht die de ontwikkeling van AI krijgt, omdat deze toepassingen ingrijpende gevolgen kunnen hebben voor het leven van mensen en voor de samenleving als geheel.

(40) Deze leden vragen in dat kader naar het uitgangspunt van dit kabinet dat alles wat digitaal kan, ook digitaal uitgevoerd wordt. Deze leden maken zich zorgen over dit principe omdat menselijke waardigheid en menselijk contact van wezensbelang zijn voor het functioneren van de samenleving. Kan de Staatssecretaris hierop reflecteren?

Antwoord 40

Het kabinet benadrukt het belang van menselijke waardigheid en menselijk contact bij de inzet van AI-systemen door de overheid, organisaties en bedrijven.

In meerdere brieven heeft het kabinet aangegeven dat er kansen en risico’s zijn bij de inzet van AI-systemen, en welke acties het kabinet op Europees en nationaal niveau onderneemt om ervoor te zorgen dat fundamentele rechten worden beschermd. Ook bij de onderhandelingen van het AI-verdrag zet het kabinet zich ervoor in dat de menselijke waardigheid en menselijk contact gewaarborgd worden.

(41) De leden van de SP-fractie lezen verder dat er wordt gesproken om sociale ratingsystemen te verbieden, onder andere door de Europese toezichthouder. Zij pleiten ervoor het verbod op sociaal scoren uit te breiden naar bedrijven. Deze leden vragen naar het standpunt van het kabinet hierover.

De leden van de SP-fractie zien ook dat sociale scoringssystemen kunnen leiden tot uitsluiting en discriminatie en vinden een verbod wenselijk.

(42) In hoeverre zou een dergelijk verbod bijvoorbeeld ook bedrijven als Uber kunnen raken, waarbij de klant de taxichauffeur een score toebedeelt en de klant eveneens een rating ontvangt?

(43) Welke waarborgen zouden daaromtrent volgens de Staatssecretaris voor moeten gelden?

Antwoorden 41 t/m 43

In het voorstel van de Europese Commissie voor de AI-verordening geldt een verbod op sociale ratingsystemen door overheidsorganisaties. In de Raadstekst van de AI-verordening is het verbod op sociale ratingsystemen uitgebreid naar private partijen. Het kabinet steunt deze uitbreiding.

Het verbod op sociale ratingsystemen zoals in de Raadstekst en het Commissievoorstel geformuleerd ziet op sociale ratingsystemen die onevenredig nadelige gevolgen hebben. Dit is het geval wanneer sociale ratingsystemen mensen beoordelen op basis van data die uit verschillende niet met elkaar verbonden contexten, en waar de gevolgen van de inzet van een dergelijk systeem voor individuele personen of voor groepen personen ingrijpend en nadelig kunnen zijn. Het voorbeeld van de SP waarin de klant de Uber-taxichauffeur een score toebedeelt en de klant eveneens een rating ontvangt, valt buiten de reikwijdte van dit verbod. De data die in dit voorbeeld gebruikt zouden worden komen namelijk uit contexten die met elkaar samenhangen. Het zou bijvoorbeeld anders zijn als de klant de Uber-taxichauffeur een score toebedeelt en de klant vervolgens een hogere of lagere premie moet betalen voor de zorgverzekering.

Het is van belang dat in situaties waarin sociale ratingsystem worden ingezet geen sprake is van onevenredig nadelige gevolgen, discriminatie of uitsluiting, dat transparant is hoe ratings tot stand komen en dat er middelen open staan om tegen belangrijke beslissingen in beroep te gaan. Afhankelijk van de toepassing zijn die waarborgen te vinden in het gegevensbeschermingsrecht of het non-discriminatierecht. Tevens werkt de EU aan de richtlijn platform werk, waarin extra waarborgen worden gecreëerd voor mensen die via platformen werken, ook als gebruik wordt gemaakt van algoritmisch beheer van vraag en aanbod op het platform.¹⁰

De leden van de SP-fractie lezen dat er een doeltreffend rechtsmiddel open moet staan voor getroffen actoren.

(44) Deze leden zijn hier voorstander van maar vragen ook of dit voldoende geborgd is. Rechtsmiddelen zouden laagdrempelig toegankelijk moeten zijn en zij zien dat dit nu niet het geval is. Kan de Staatssecretaris daarop ingaan?

Antwoord 44

Toegang tot een doeltreffend rechtsmiddel is een mensenrecht, wat er moet zijn of er nou AI is gebruikt of niet. Voor Nederland is het dus van belang dat de EU AI-verordening en het AI-verdrag burgers voldoende in staat stelt hun rechtsmiddelen te gebruiken als AI gebruikt is.

De AI-verordening zou burgers hiertoe in staat moeten stellen: door aanvullende documentatie- en transparantieverplichtingen wordt beter controleerbaar hoe AI-systemen functioneren of gebruikt zijn, en zouden burgers dus beter gebruik moeten kunnen maken van al bestaande rechtsmiddelen. Nederland heeft daarnaast ingezet op aanvullende transparantiemiddelen en een aanvullende rechtsingang voor burgers en rechtspersonen middels een klachtrecht, die in de raadstekst terecht zijn gekomen.

Het concept AI-verdrag verplicht verdragspartijen expliciet om een doeltreffend rechtsmiddel mogelijk te maken. Nederland zet zich er bij de EU en in de RvE voor in om ook hier de juiste transparantiemiddelen aan te koppelen.

(45) De leden van de SP-fractie lezen voorts dat AI-systemen niet mogen discrimineren. Dat onderschrijven deze leden uiteraard volledig maar zij zien ook de gevaren dat dit vrijwel onmogelijk is om te voorkomen. Kan de Staatssecretaris daarop reflecteren?

De vooroordelen van mensen worden immers ook ingebouwd in systemen en kunnen verder versterkt worden door de rekenkracht van een AI-systeem.

(46) De leden van de SP-fractie vragen in dat kader ook naar het toezicht, want welke instantie zou de toets («HUDEIRA») moeten uitvoeren en is deze instantie daar voldoende op toegerust volgens de Staatssecretaris?

Antwoorden 45 en 46

Discriminatie is verboden, ongeacht of AI gebruikt wordt. Ook zonder AI komt discriminatie helaas voor. Het kabinet probeert via wetgeving, toezicht en voorlichting discriminatie zo veel mogelijk te bestrijden.

Met dit verdrag en met de AI-verordening worden regels gecreëerd die ervoor moeten zorgen dat discriminatie specifiek bij de ontwikkeling en het gebruik van AI wordt aangepakt.

Daarom zouden AI-systemen waar dit risico zich voordoet gedurende de gehele levenscyclus gecontroleerd moeten worden door ontwikkelaars op mogelijke vooroordelen in hun functioneren. De huidige tekst van de AI-verordening voorziet in die verplichting, en het AI-verdrag maakt dat ook mogelijk.

CAI heeft besloten voor nu om de HUDERIA buiten de tekst van het verdrag te houden, maar als niet-bindend instrument aan te bieden aan de verdragspartijen. De tekst van de HUDERIA is nog niet afgerond, en de onderhandelingen daarover zijn pas gepland in 2024. Welke instantie de toets zou moeten uitvoeren, is nog niet duidelijk.

Vragen en opmerkingen van de leden van de GroenLinks-fractie

De leden van de fractie van GroenLinks hebben met belangstelling kennisgenomen van de «nulversie» en de kabinetsbrief. Deze leden hebben hierover op dit moment enkele vragen.

De leden van de fractie van GroenLinks onderschrijven het belang van internationale afspraken over AI en vinden het daarom waardevol dat hier ook buiten EU-verband afspraken over worden gemaakt.

(47) Deze leden vragen wel een nadere beschouwing van het kabinet over hoe de toekomstige EU-regels over AI en de regels uit het verdrag van de Raad van Europa zich straks tot elkaar verhouden en wat de concrete juridische gevolgen zijn van het voorliggende Raad van Europa-verdrag voor de lidstaten.

(48) En wat gebeurt er in juridische zin als het straks onverhoopt zo is dat EU-wetgeving en het verdrag van de Raad van Europa tegenstrijdige regels kennen?

Antwoorden 47 en 48

Het AI-verdrag stelt verplichtingen gericht aan de verdragspartijen. Verdragspartijen moeten ervoor zorgen dat mensenrechten beschermd zijn bij de ontwikkeling en het gebruik van AI. Dit doen zij door (nationale) wetgeving op te stellen die uitwerking geeft aan de verplichtingen uit het verdrag. In Nederland zal die uitwerking in belangrijke mate plaats vinden via de AI-verordening van de Europese Unie.

De Unie en haar lidstaten moeten in staat zijn te voldoen aan hun verplichtingen uit hoofde van het AI-verdrag als die verplichtingen bindend worden voor hen. Daar zal rekening mee moeten worden gehouden bij het tijdschema van de bekrachtiging van het AI-verdrag en bij de inhoud van de AI-verordening.

Het is onwaarschijnlijk, maar als er tegenstrijdige bepalingen worden aangenomen, zal tot één van beide instrumenten gewijzigd wordt de EU in gebreke zijn bij de naleving van de verplichtingen uit dit verdrag.

De leden van de fractie van GroenLinks constateren dat de EU onderhandelt namens de EU-lidstaten over het verdrag bij de Raad van Europa. Hiermee is de EU de grootste partij in deze onderhandelingen.

(49) Kan het kabinet, zo vragen deze leden, schetsen hoe de andere onderhandelende partijen bij dit verdrag zich tot nu toe hebben gepositioneerd ten aanzien van AI-regelgeving?

Antwoord 49

Dat kan ik helaas niet. De onderhandelingen zijn vertrouwelijk, en daarmee ook de positionering van andere onderhandelende partijen.

(50) En kan het kabinet ook nader ingaan op AI-regelgeving in andere werelddelen, zoals bijvoorbeeld in Amerika en Azië?

Antwoord 50

Hoewel er elders nog maar weinig regelgeving is aangenomen op het gebied van AI liggen er heden wereldwijd naar verluid ruim 800 voorstellen voor in ruim 60 landen. Azië kent naar verhouding veel landen met grote tech-sectoren, zoals China, India, Korea, en Taiwan. Een aantal Aziatische landen ontwikkelden de afgelopen jaren vooral niet-bindende richtlijnen op het gebied van AI, waaronder Zuid-Korea en Taiwan. Hoewel India nog geen AI-regelingen kent, werd in China op 1 maart 2022 de eerste AI-wet¹¹ in Azië van kracht.

Het Canadese parlement behandelt momenteel een wetvoorstel op het gebied van AI. Dit voorstel is onderdeel van een pakket aan maatregelen om de gegevensbescherming in Canada te moderniseren, regelingen te treffen voor AI, en een nieuw gerecht in te richten voor zaken op het gebied van data. In de Verenigde Staten zijn de afgelopen jaren wel enige wetten en regelingen aangenomen op het gebied van AI. De National AI Initiative Act 2020 is vooral gericht op het stimuleren en subsidiëren van onderzoek. De eveneens in 2020 aangenomen AI in Government Act stelt regels voor het gebruik van AI door de federale overheid.

(51) Op welke wijze zet de EU en het Nederlandse kabinet zich in voor een sterke verankering van mensenrechten, democratie en rechtsstaat in mondiale regelgeving over AI?

Antwoord 51

De regering hecht eraan de ontwikkeling te stimuleren van mondiale regelgeving over AI die recht doet aan Nederlandse publieke waarden en door zoveel mogelijk landen omarmd wordt. Daartoe heeft de regering actief bijgedragen aan de ontwikkeling van de Aanbeveling over de ethiek van kunstmatige intelligentie die in 2021 door de 193 leden van UNESCO werd vastgesteld. Dit weliswaar niet-bindende rechtsmiddel is de eerste mondiale afspraak op het gebied van AI, en bevat afspraken over bijvoorbeeld gegevensbescherming en transparantie.

De actieve Nederlandse deelname aan de onderhandelingen over het AI-verdrag van de Raad van Europa is hiervan een ander voorbeeld. Dit verdrag dient expliciet om mensenrechten, democratie en rechtstaat te borgen bij de doorontwikkeling van AI en zal na onderhandeling openstaan voor zowel lidstaten van de RvE als landen buiten de RvE. Enkele «observer states» bij de RvE nemen dan ook al deel aan de onderhandelingen, waaronder Canada, Mexico, Japan en de Verenigde Staten. Naast dat de regering zich ervoor zal inzetten dat zoveel mogelijk landen zich op termijn bij het verdrag aansluiten, kan dit verdrag bovendien als voorbeeld dienen voor wetgeving in landen die zich er niet bij aansluiten, naar analogie met het zogenaamde «Brussels effect» van de AVG, die intussen in vele landen buiten de EU-navolging vindt in nationale regelgeving.

De leden van de fractie van GroenLinks kijken met veel belangstelling naar de onderhandelingen tussen de Europese Commissie, de lidstaten en het Europees Parlement over AI.

(52) Kan de Staatssecretaris hier een actuele stand van zaken over geven en kan de Staatssecretaris hierbij ook expliciet ingaan op hoe de onderhandelingen over regelgeving rondom generatieve AI zich ontwikkelen en de positie van de Nederlandse regering op dit vlak nader toelichten?

Antwoord 52

Momenteel is het Europees Parlement (EP) bezig met haar positie voor de AI-verordening. Nadat de positie van het EP duidelijk is, zullen de onderhandelingen tussen het EP, de Commissie, en de Raad beginnen. Gezien de snelle ontwikkelingen rondom AI, en specifiek generatieve AI, pleit het kabinet voor een AI-verordening die toekomstbestendig is. Daarom wil het kabinet dat ook nieuwe generatieve en generieke AI-systemen binnen de reikwijdte van de AI-verordening vallen en aan (bepaalde) eisen moeten voldoen. Tegelijkertijd werken EZK en BZK gezamenlijk en in samenwerking met andere departementen aan een integrale visie over de inzet, het potentieel en de risico’s van nieuwe AI-producten zoals generatieve AI¹², naar aanleiding van de recent aangenomen (Handelingen II 2022/23, nr. 69, item 12) gewijzigde motie van deleden Dekker-Abdulaziz en Rajkowski. Hierover zal het kabinet uw Kamer later dit jaar informeren.

(53) Tot slot vragen de leden van de fractie van GroenLinks hoe de Kamer geïnformeerd wordt over het verloop van de onderhandelingen.

Antwoord 53

Voor Raad van Europa verdragen gelden andere informatieafspraken dan bij de totstandkoming van EU wet- en regelgeving. Van de Minister van Buitenlandse Zaken ontvangt de Staten-Generaal elk kwartaal een lijst van ontwerpverdragen over de totstandkoming waarvan voor het Koninkrijk onderhandeld wordt (overeenkomstig artikel 1, eerste lid, van de Rijkswet goedkeuring en bekendmaking verdragen). Deze lijst bevat alleen een feitelijk overzicht van verdragen, waarover wordt onderhandeld. De beleidsverantwoordelijke bewindspersonen kunnen de Kamer informeren over de precieze details van het verloop van de onderhandelingen over een concreet verdrag. Uw Kamer heeft daarom enkele brieven over dit onderwerp ontvangen, waaronder het BNC-fiche over het onderhandelingsmandaat van de Europese Commissie.¹³ Ik zal uw Kamer blijven informeren over het vervolg van de onderhandelingen over het AI-verdrag.

Vragen en opmerkingen van de leden van de Volt-fractie

De leden van de Volt-fractie hebben kennisgenomen van de concept verdragstekst van het AI-verdrag van de Raad van Europa (RvE) en de bijgaande brief van de Staatssecretaris van BZK. Daarover hebben deze leden enkele vragen, die ook gaan over de huidige staat van AI-regulering in Nederland.

Het kabinet heeft haar positie in het BNC-fiche en de technische briefing kort toegelicht. Daarin stelt zij enkele doelen, waaronder: (i) Samenhang bewaken met de positie in de EU op de AI-verordening; (ii) Stevige verankering van mensenrechten met behoud van mogelijkheden voor innovatie; en (iii) Belang van mondiale werking.

(54) Kan de Staatssecretaris toelichten hoe zij voornemens is deze drie doelen te behalen? Welke concrete acties onderneemt zij daarvoor en zijn er gelijkgestemde landen waar Nederland mee op kan trekken?

(55) Welke rol kan de Tweede Kamer volgens het kabinet spelen bij het behalen van deze doelen?

Antwoorden 54 en 55

Het uitgangspunt van Nederland is altijd geweest dat het werk van de EU en de Raad van Europa op AI inhoudelijk op elkaar moet aansluiten en geen tegenstrijdige verplichtingen oplegt. Nederland moet ook overeenkomstig het beginsel van loyale samenwerking (artikel 4, derde lid, VEU) steun verlenen aan de onderhandelaar van de Unie.

Nederland zet zich in EU-verband al in voor een AI-verordening waarin mensenrechten stevig verankerd zijn. Uw Kamer heeft hier ook moties voor ingediend. Nederland zet deze inzet voort tijdens de onderhandelingen voor het AI-verdrag van de Raad van Europa, levert hier tijdens de coördinatiesessies met de Commissie input op. Zo neemt NL vaak het woord en onze input wordt door de Commissie over het algemeen ook meegenomen.

Ook is het van groot belang dat het verdrag door de RvE-lidstaten en daarbuiten wordt ondertekend vanwege de mogelijk mondiale verbetering van bescherming van mensenrechten bij de inzet van AI-systemen. Nederland wil de «observer states» goed betrekken bij de onderhandelingen.

(56) Als laatste: ten aanzien van de verankering van mensenrechten geeft de Staatssecretaris aan ruimte te willen houden voor innovatie. Die lijn kunnen de leden goed volgen, maar zij horen graag welke concrete grenzen het kabinet daarbij stelt.

Antwoord 56

Innovatie zal altijd binnen de kaders van de wet moeten plaatsvinden. Wel is het belangrijk dat bij regulering van snel ontwikkelende technologieën, zoals AI, de positieve ontwikkelingen van die technologieën niet onnodig worden belemmerd. Zowel in EU-verband als in de Raad van Europa zet Nederland zich in om ruimte voor innovatie te blijven behouden. In de EU heeft Nederland zich ingezet op sterkere «regulatory learning». Om dit te versterken, heeft Nederland gepleit voor het verplicht opstellen van exit reports bij het beëindigen van de sandbox. In een exit report wordt de uitgevoerde sandbox geëvalueerd. De activiteiten, resultaten en leerresultaten moeten hierin worden opgenomen. Deze exit reports moeten door de Commissie en de AI Board worden meegenomen bij hun werkzaamheden. In de Raadstekst van de AI-verordening is dit voorstel opgenomen. Nederland wil dat ook in het AI-verdrag van de Raad van Europa ruimte blijft om veilig innovatie te stimuleren.

Inhoud van het verdrag

I Scope: AI-gebruik in gevoelige contexten en essentiële gebieden

De scope van het AI-verdrag is in de concepttekst breed geformuleerd. Dat is goed, want mensenrechten en fundamentele vrijheden hebben ook een breed bereik.

(57) Kan de Staatssecretaris aangeven aan de leden van de Volt-fractie welke gebieden volgens haar niet onder de scope van het verdrag zouden moeten vallen? Waarom is dat het geval?

Antwoord 57

De definitie van AI-systemen in het verdrag is nog niet vastgesteld. Zodra de definitie is vastgesteld, zullen alle AI-systemen die binnen de definitie vallen onder de reikwijdte van het verdrag vallen. De inzet van de EU is dat de definitie in het verdrag duidelijk, technologie neutraal en zo toekomstbestendig als mogelijk is, in lijn is met de definitie van de OESO en ook consistent met de uiteindelijke definitie in de AI-verordening. Het Verdrag is daarnaast niet van toepassing op AI in gebruik voor militaire doeleinden. Dat is omdat de Raad van Europa daar niet bevoegd is.

II en III Verplichtingen voor lidstaten

De leden van de Volt-fractie constateren dat in onderdelen II en III de verplichtingen voor de lidstaten en overheden zijn opgenomen. De Staatssecretaris heeft eerder aangegeven niet te lang te willen wachten met het nemen van bepaalde maatregelen om de risico’s voor (negatieve) impact van AI te beperken. Dan denken we aan discriminerende AI of bijvoorbeeld AI-toepassingen die een negatief effect hebben op de democratie.

(58) Kan de Staatssecretaris aangeven in hoeverre Nederland al voldoet aan de verplichtingen die in onderdelen II en III zijn opgenomen en op welke terreinen nog het meeste werk nodig is?

Antwoord 58

Onderdeel II bevat een aantal artikelen die verdragspartijen verplichten ervoor te zorgen dat de toepassing van AI-systemen door overheden in lijn is met de bescherming van mensenrechten.

Onderdeel III bevat een aantal artikelen die verdragspartijen verplichten ervoor te zorgen dat de toepassing van AI-systemen bij het leveren van goederen en diensten in lijn is met de bescherming van mensenrechten. Het gaat er in deze artikelen dus om dat publieke en private partijen in alle sectoren van de samenleving in hun handelen met AI altijd in lijn met diverse mensenrechten handelen. Dat is ook het uitgangspunt van dit kabinet. Daarom heb ik in mijn hoofdlijnenbrief,¹⁴ en in mijn werkagenda¹⁵ diverse acties uiteengezet die daarvoor moeten zorgen. Een belangrijke actie in dit verband is het werk dat wordt verricht op de AI-verordening, die verplichtingen kent voor aanbieders en gebruikers van AI-systemen met een risico voor mensenrechten, bij de overheid, en op de markt.

(59) Voldoet Nederland al aan de positieve verplichting om de rechten uit het EVRM (Europees Verdrag voor de Rechten van de Mens) – en in de toekomst dit verdrag – te beschermen?

Antwoord 59

Overheidshandelen moet in lijn met mensenrechten zijn, of er nou AI wordt gebruikt of niet. Als ondertekenaar van het EVRM moet Nederland zich aan de rechten uit dat verdrag houden. Zoals bij de vorige vraag opgemerkt is het uitgangspunt dat Nederland zich inzet voor de bescherming van de mensenrechten bij het gebruik van AI en zijn daarvoor verschillende acties ingezet. Op dit moment zou Nederland nog niet aan het verdrag voldoen. Een belangrijke actie die dat mogelijk moet maken is de AI-verordening van de EU.

De leden van de Volt-fractie vragen hiernaast:

(60) Welke inspanningen levert het kabinet om bijvoorbeeld ervoor te zorgen dat de individuele vrijheden, menselijke waardigheid en autonomie zoals bedoeld in art. 9; de toegang tot het publieke debat en het democratisch proces zoals bedoeld in art. 10; en het behoud van publieke gezondheidszorg en het milieu worden geborgd en beschermd tegen negatieve gevolgen van AI-toepassingen?

Antwoord 60

In de eerste plaats verwijs ik dan naar de AI-verordening. Die kent de bescherming van individuele vrijheden, waardigheid en autonomie als één van de uitgangpunten. Zo bevat de tekst verplichtingen die ervoor moeten zorgen dat AI-systemen bij hun ontwikkeling en gebruik mensenrechten respecteren, dus ook individuele vrijheden, waardigheid, en autonomie. Daarnaast kent de verordening een aantal verboden, zoals het verbod op het gebruik van bepaalde manipulatieve systemen. De verordening kent bepalingen die bepaalde AI-systemen die gebruikt kunnen worden voor manipulatie transparant te maken, zoals bots en deepfakes. Daarnaast kent de tekst bepalingen over milieu en zorg.

De toegang tot het publieke debat en democratisch proces wordt daarnaast bijvoorbeeld beschermd door de regulering van content moderatie online. De Digital Services Act (DSA) kent bijvoorbeeld verplichtingen die ervoor moeten zorgen dat grote platforms, die in grote mate het publieke debat modereren mensenrechten respecteren, ook als zij in hun dienstverlening gebruik maken van AI.

(61) Kan de Staatssecretaris tevens aangeven of zij alle verplichtingen uit onderdelen II en III steunt? En zo niet, welke niet en waarom niet?

Antwoord 61

Ja, het kabinet steunt deze verplichtingen. Wel onderzoekt het kabinet of de verplichtingen zoals die in de nulversie staan voldoende zijn. Deze hoofdstukken zijn nog niet besproken in de onderhandelingen.

(62) Stel dat bepaalde verplichtingen niet in de definitieve verdragstekst komen, maar de Staatssecretaris deze toch van belang acht. Gaat zij zich dan inspannen om die verplichtingen alsnog in Nederland door te voeren?

Antwoord 62

Nederland zal naast het AI-verdrag ook gebonden zijn aan de EU AI-verordening. Deze verordening beoogt fundamentele rechten te beschermen bij het ontwerp, de ontwikkeling en het gebruik van AI-systemen. Waar nodig zal het kabinet onderzoeken of nationaal aanvullende verplichtingen mogelijk zijn, waar de EU AI-verordening ruimte laat aan de lidstaten om eigen regels te stellen.

IV Fundamentele principes van ontwerp, ontwikkeling en toepassing van AI

(63) Hoe verhoudt de mogelijkheid in de concepttekst om bepaalde AI-systemen een halt toe te roepen zich tot het EU-recht met betrekking tot vrijheid van ondernemerschap en de bepalingen uit de concept AI-verordening? Denkt de Staatssecretaris dat deze bepalingen juridisch houdbaar zijn?

Antwoord 63

Het concept verdrag stelt dat ondertekenende landen moeten zorgen dat bevoegde autoriteiten de mogelijkheid moeten hebben om bepaalde AI-toepassingen te verbieden wanneer dit noodzakelijk en doelmatig is. Deze bepaling is zo te interpreteren dat ondertekenende landen een of meerdere autoriteiten de bevoegdheid moeten geven om het verdrag te handhaven, inclusief de bevoegdheid om een AI-systeem uit de markt te halen. Voor de invulling van deze bepaling zal onder andere de AI-verordening relevant zijn. De AI-verordening biedt bevoegde autoriteiten handhavingsbevoegdheden, waaronder de bevoegdheid om bepaalde AI-systemen die niet voldoen aan de verordening uit de markt te halen of terug te roepen. De mogelijkheid om AI-systemen die niet voldoen aan de wet uit de markt te halen is naar mijn mening niet strijdig met de vrijheid van ondernemerschap.

In onderdeel IV staan fundamentele principes voor ontwerp, ontwikkeling en toepassing van AI-systemen.

(64) De Volt-fractie is benieuwd hoe de Staatssecretaris oordeelt over de tekst van artikel 12 en in hoeverre Nederland daar op dit moment aan voldoet. Het kabinet heeft immers uitgesproken de strekking van wat in dit artikel staat te ondersteunen.

Antwoord 64

Discriminatie door AI-systemen is een actueel probleem dat de volle aandacht heeft van het kabinet. Een belangrijke ambitie van dit kabinet is om algoritmes te reguleren en te controleren op discriminatie of andere schendingen van grondrechten. AI-systemen moeten al voldoen aan het non-discriminatiebeginsel dat is vastgelegd in de Grondwet en internationale verdragen zoals het EVRM en het EU Handvest. Nederland steunt artikel 12 nu dit het non-discriminatiebeginsel voor AI-systemen versterkt.

Nederland stelt zich proactief op en zet zich naast het AI-verdrag van de Raad van Europa ook in op antidiscriminatiebepalingen binnen de EU AI verordening.

Daarnaast is er op nationaal niveau een algoritmeregister. In dit register zal onder andere worden opgenomen of er een mensenrechtentoets bij een algoritme heeft plaatsgevonden. Het kabinet is nog aan het bezien of – waar mogelijk – alle uitkomsten van een mensenrechtentoets moeten worden gepubliceerd, of dat alleen toezichthouders beschikking hierover krijgen (vergelijkbaar met de opzet van de AI-verordening). Ten slotte heeft het Ministerie van BZK een handreiking ontwikkeld (non-discriminatie by design) over het ontwikkelen en implementeren van een AI-systeem met het oog op het discriminatieverbod.

Regels voor generatieve AI

De leden van de Volt-fractie achten het onwaarschijnlijk dat generatieve AI-toepassingen als ChatGPT niet onder de scope van de concepttekst zullen vallen, gelet op de (mogelijke) inbreuk die het maakt op fundamentele rechten en vrijheden zoals bedoeld in art. 4 lid 1 van de concepttekst.

(65) Hoe denkt de Staatssecretaris dat dit eventuele AI-verdrag de ontwikkeling van dergelijke toepassingen positief en/of negatief zal beïnvloeden?

(66) Denkt de Staatssecretaris dat dergelijke bestaande toepassingen onder het verdrag zullen vallen gelet op de scope zoals bedoeld in art. 4 lid 2?

Antwoorden 65 en 66

ChatGPT is een AI-systeem en zal derhalve onder het verdrag vallen. Als dit verdrag, net als de AI-verordening, ervoor zorgt dat AI-toepassingen, zoals ChatGPT, fundamentele rechten en vrijheden respecteren bij hun ontwikkeling en gebruik, zal dat de ontwikkeling van dergelijke toepassingen in de samenleving dus positief beïnvloeden.

(67) Tot slot de vraag van de leden van de Volt-fractie of de Staatssecretaris de Kamer kan informeren over het vervolg van de onderhandelingen over het AI-verdrag van de Raad van Europa, telkens voorafgaand aan het moment dat er belangrijke beslissingen worden genomen.

Antwoord 67

Voor Raad van Europa verdragen gelden andere informatieafspraken dan bij de totstandkoming van EU wet- en regelgeving. Van de Minister van Buitenlands Zaken ontvangt de Staten-Generaal elk kwartaal een lijst van ontwerpverdragen over de totstandkoming waarvan voor het Koninkrijk onderhandeld wordt (overeenkomstig artikel 1, eerste lid, van de Rijkswet goedkeuring en bekendmaking verdragen). Deze lijst bevat alleen een feitelijk overzicht van verdragen, waarover wordt onderhandeld. De beleidsverantwoordelijke bewindspersonen kunnen de Kamer informeren over de precieze details van het verloop van de onderhandelingen over een specifiek verdrag.

Uw Kamer heeft daarom enkele brieven over dit onderwerp ontvangen, waaronder het BNC-fiche over het onderhandelingsmandaat van de Europese Commissie.¹⁶ Ik zal uw Kamer blijven informeren over het vervolg van de onderhandelingen over het AI-verdrag.

De inzet bij het AI-verdrag is in lijn met de EU-inzet op de AI-verordening. De Nederlandse inzet op de AI-verordening is op verschillende momenten met uw Kamer besproken.

Vragen en opmerkingen van de leden van de BBB-fractie

Het lid van de BBB-fractie heeft kennisgenomen van de toegezonden documenten met betrekking tot het verdrag van de Raad van Europa dat gaat over AI, mensenrechten, democratie en de rechtstaat.

In Europa wordt op dit moment gewerkt aan het comité voor Artificiële Intelligentie (CAI). Dit is een comité van de Raad van Europa en zij stellen een (kader) verdrag op over AI, mensenrechten, democratie en de rechtsstaat.

Het lid van de BBB-fractie leest het volgende in de brief van de Staatssecretaris: «Omdat de EU ook wetgeving op dit onderwerp voorbereidt en de EU-lidstaten gezamenlijk een belangrijke stem hebben binnen de Raad van Europa heeft de CAI een aantal keer haar werkproces en planning moeten bijstellen, zodat EU-lidstaten niet aan tegenstrijdige verplichtingen gebonden worden.»

(68) Wat is de Nederlandse visie op de wetgeving die hier gemaakt wordt

Antwoord 68

De onderhandelingen over het AI-verdrag binnen de Raad van Europa zijn deels afhankelijk van de regels in de AI-verordening die binnen de Europese Unie nog in onderhandeling is. Het is van groot belang dat de eisen in het verdrag en de verordening niet tegenstrijdig zijn, en dat de twee instrumenten elkaar versterken en aanvullen. Over de visie van het kabinet op de EU AI-verordening bent u in eerdere stukken geïnformeerd.¹⁷

Verder constateert het lid van de BBB-fractie dat er over de Nederlandse inzet geschetst wordt dat Nederland het voortouw neemt en dat de Staatssecretaris een aantal eisen stelt aan waar het verdrag moet voldoen. Daarbij stelt de Staatssecretaris ook dat wij de Europese Commissie een mandaat moeten verlenen en dat Nederland zich inzet voor een AI-verordening.

(69) Dit zijn in principe heldere formuleringen, maar wat is nu de langetermijnvisie van het kabinet omtrent Artificiële Intelligentie?

Antwoord 69

In SAPAI heeft de Nederlandse overheid een integrale aanpak voor AI neergezet¹⁸. Dit bevat een focus op mensgerichte AI, waarbij positieve toepassingen worden gestimuleerd en publieke belangen worden geborgd. In het coalitieakkoord is er een apart hoofdstuk opgenomen over AI¹⁹. Het kabinet ziet grote kansen voor onze samenleving maar erkent tegelijkertijd ook de belangrijke uitdagingen die bij digitale ontwikkelingen komen kijken, zoals de digitale kloof en groeiende ongelijkheid. Het huidige kabinet heeft haar AI-inzet onder meer uiteengezet in de Strategie Digitale Economie, Werkagenda Digitalisering en de kabinetsreactie op het WRR-rapport «Opgave AI». Het kabinet vindt het belangrijk om naast haar huidige inzet integraal zicht te blijven houden op de snelle ontwikkelingen rondom AI en actief signalen hierover op te halen. Zo kan er tijdig gereageerd worden op nieuwe ontwikkelingen, kansen en risico’s. Wat betreft de nieuwe ontwikkelingen omtrent AI wordt er naar aanleiding van de gewijzigde motie van de leden Dekker-Abdulaziz en Rajkowski door EZK en BZK en in samenwerking met andere departementen gewerkt aan een integrale visie over de inzet, het potentieel en de risico’s van generatieve AI.²⁰ Hierover zal het kabinet uw Kamer later dit jaar informeren.

Het streven van de Raad van Europa is om in september de onderhandelingen in CAI af te ronden. Hierna zal het verdrag naar alle waarschijnlijkheid in werking treden.

(70) Het lid van de BBB-fractie vraagt of de Staatssecretaris heel precies kan aangeven op welke manier Nederlandse burgers te maken gaan krijgen met dit verdrag.

Antwoord 70

Het AI-verdrag stelt verplichtingen gericht aan de verdragspartijen. Na goedkeuring- en ratificatieprocedures en inwerkingtreding, moeten verdragspartijen ervoor zorgen dat mensenrechten beschermd zijn bij de ontwikkeling en het gebruik van AI. Dit doen zij door (nationale) wetgeving op te stellen die uitwerking geeft aan de verplichtingen uit het verdrag. In Nederland zal die uitwerking in belangrijke mate plaats vinden via de AI-verordening van de Europese Unie. Burgers zullen dan via de AI-verordening te maken krijgen met het verdrag doordat AI-systemen pas op de Europese markt mogen komen en/of in gebruik worden genomen als aan de eisen van de AI-verordening wordt voldaan.

---

1 Kamerstukken 33 826 en 26 643, nr. 45.

2 Kamerstuk 26 643, nr. 1003.

3 Zie voor het document met de mogelijke elementen voor het Juridisch raamwerk: Kamerstuk 22 112, nr. 3482; Zie voor het BNC-fiche over het onderhandelingsmandaat: Kamerstuk 22 112, nr. 3529.

4 Zie voor het document over het resultaat van CAHAI: Kamerstuk 22 112, nr. 3482.

5 Zie bijvoorbeeld: Kamerstuk 22 112, nr. 3129, de motie van de leden Leijten en Rajkowski (Kamerstuk 21 501-33, nr. 935) over de mogelijkheid van nationaal toezicht; de motie van de leden Bouchallikh en Dekker-Abdulaziz (Kamerstuk 26 643, nr. 835) over de impact assessment voor mensenrechten en algoritmen (IAMA); de motie van het lid Van Baarle (Kamerstuk 26 643, nr. 879) over concrete antidiscriminatiebepalingen in de AI-verordening.

6 BESLUIT (EU) 2022/2349 VAN DE RAAD van 21 november 2022 houdende machtiging tot het openen van onderhandelingen namens de Europese Unie over een verdrag van de Raad van Europa inzake artificiële intelligentie, mensenrechten, democratie en de rechtsstaat (PbEU 2022, L311/138).

7 Zie de website van het Comité inzake Kunstmatige intelligentie van de Raad van Europa; https://www.coe.int/en/web/artificial-intelligence/cai.

8 Zie: Ethische richtlijnen voor het verantwoord gebruik van AI; https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai.

9 Kamerstuk 26 643, nr. 1003.

10 Voorstel voor een RICHTLIJN VAN HET EUROPEES PARLEMENT EN DE RAAD betreffende de verbetering van de arbeidsvoorwaarden bij platformwerk, COM/2021/762 final.

11 Provisions on the Management of Algorithmic Recommendations in Internet Information Services.

12 Kamerstuk 26 643, nr. 1003.

13 Zie voor het document met de mogelijke elementen voor het Juridisch raamwerk: Kamerstuk 22 112, nr. 3482; Zie voor het BNC-fiche over het onderhandelingsmandaat: Kamerstuk 22 112, nr. 3529.

14 Kamerstuk 26 643, nr. 842.

15 Kamerstuk 26 643, nr. 940.

16 Zie voor het document met de mogelijke elementen voor het Juridisch raamwerk: Kamerstuk 22 112, nr. 3482; Zie voor het BNC-fiche over het onderhandelingsmandaat: Kamerstuk 22 112, nr. 3529.

17 Zie bijvoorbeeld: Kamerstuk 22 112, nr. 3129.

18 Kamerstukken 26 632 en 32 761, nr. 640.

19 Coalitieakkoord «Omzien naar elkaar, vooruitkijken naar de toekomst», bijlage bij Kamerstuk 35 788, nr. 77.

20 Kamerstuk 26 643, nr. 1003.