22 112 Nieuwe Commissievoorstellen en initiatieven van de lidstaten van de Europese Unie

Nr. 3221 VERSLAG VAN EEN SCHRIFTELIJK OVERLEG

Vastgesteld 5 november 2021

De vaste commissie voor Digitale Zaken heeft een aantal vragen en opmerkingen voorgelegd aan de Staatssecretaris van Economische Zaken en Klimaat over de brieven van 31 mei 2021 over het Fiche: Verordening betreffende Kunstmatige Intelligentie (Kamerstuk 22 112, nr. 3129) en over het Fiche: Mededeling Bevorderen Europese aanpak inzake Kunstmatige Intelligentie (Kamerstuk 22 112, nr. 3128).

De vragen en opmerkingen zijn op 10 september2021 aan de Staatssecretaris van Economische Zaken en Klimaat voorgelegd. Bij brief van 15 oktober 2021 zijn de vragen beantwoord door de Ministers van Economische Zaken en Klimaat, van Justitie en Veiligheid, voor Rechtsbescherming en van Binnenlandse Zaken en Koninkrijksrelaties en door de Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties.

De fungerend voorzitter van de commissie, Leijten

De adjunct-griffier van de commissie, Van Tilburg

Vragen en opmerkingen van de leden van de VVD-fractie

De leden van de VVD-fractie hebben met interesse kennisgenomen van de voorliggende verordening inzake kunstmatige intelligentie en deze leden hebben daarover nog enkele vragen en opmerkingen. Deze leden sluiten zich overigens aan bij de vragen van het kabinet aan de Europese Commissie.

De leden van de VVD-fractie zijn verheugd te lezen dat het voorstel is gebaseerd op de waarden en grondrechten van de Europese Unie (EU) en dat het tot doel heeft mensen en andere gebruikers het vertrouwen te geven om op Artificiële Intelligentie (AI) gebaseerde oplossingen te omarmen en bedrijven aan te moedigen deze te ontwikkelen. Terecht wordt gesteld dat AI een instrument moet zijn voor mensen en de positieve kracht in de samenleving met als uiteindelijk doel het menselijk welbevinden te vergroten. Deze leden achten het noodzakelijk dat op gebied van AI een stevige Europese positie wordt verworven.

Er zijn vier categorieën AI-systemen. (1) Wat is het verschil tussen enerzijds AI-systemen met een hoog risico en een ex ante conformiteitsbeoordeling en anderzijds AI-systemen waarvoor bepaalde transparantieverplichtingen gelden? (2) Kan dat verschil wel zo worden gemaakt? Deze leden krijgen graag een reactie op deze vragen.

(1, 2) Het kabinet staat achter een risico-gebaseerde aanpak waarbij de eisen proportioneel zijn ten opzichte van het risico en kan in dit opzicht de vierdeling goed volgen. Het voorstel voor een verordening tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (hierna: conceptverordening) onderscheidt categorieën van risico’s voor de gezondheid, veiligheid en schending van mensenrechten als gevolg van AI-systemen. Deze categorieën zijn i) onaanvaardbaar, ii) hoog, iii) beperkt risico en iv) minimaal of geen risico en het kabinet kan zich in algemene zin vinden in deze categorieën. Voor hoog-risico AI-systemen gelden uitgebreide eisen om de risico’s te voorkomen of te mitigeren (zie vanaf artikel 9 van de conceptverordening) zoals de plicht een ex ante conformiteitsbeoordeling uit te (laten) voeren. Dit geldt voor producten die nu al gereguleerd zijn via Europese productregulering (zie bijlage II van de conceptverordening) en voor AI-systemen die worden toegepast voor bepaalde doeleinden in een aantal (toepassings)gebieden die zijn beschreven in bijlage III van de conceptverordening.

Specifieke transparantieverplichtingen gaan gelden voor AI-systemen die risico’s op manipulatie met zich meebrengen, zoals AI-systemen die bedoeld zijn om emoties herkennen. Meer in het algemeen wordt ook de plicht geïntroduceerd om te melden dat men interacteert met een AI-systeem, denk bijvoorbeeld aan het inzetten van bots in de klantenservice van bedrijven of overheden. Het kan voorkomen dat een AI-systeem zowel aan verplichtingen onder de hoog-risicocategorie moet voldoen als aan transparantieverplichtingen afhankelijk van de risico’s.

Momenteel neemt het kabinet deel aan een reeks workshops waarin de Europese Commissie (hierna: Commissie) verduidelijking verschaft over alle artikelen van de conceptverordening. Deze workshops bieden in veel gevallen de verduidelijking waar het kabinet in het BNC-fiche om vraagt, echter niet in alle gevallen en ook nog niet de hele conceptverordening is behandeld. Het kabinet werkt momenteel aan het formuleren van standpunten over de reikwijdte en de risicobenadering op basis van de inzichten uit de workshops en raadswerkgroepen waar door experts op artikelniveau over de conceptverordening wordt gesproken. Het kabinet is bereid om een technische briefing te verzorgen waarin nader kan worden toegelicht hoe de conceptverordening beoogd te werken en welke veranderingen het kabinet voorstelt.

De leden van de VVD-fractie lezen dat het voorstel inzake AI-systemen van toepassing zal zijn op AI-systemen die in de EU op de markt worden gebracht of in gebruik worden genomen in uiteenlopende sectoren. (3) Hoe verhoudt de reikwijdte van deze verordening zich tot de gehanteerde definitie van de Europese Commissie? (4) Op basis van welke criteria valt een AI-systeem wel of niet binnen deze verordening? (5) Hoe verhoudt de in deze verordening gehanteerde definitie van AI zich tot de huidige gehanteerde (wetenschappelijke) definitie van AI? (6) Wat voor implicaties heeft deze definitie voor de inzet van AI in Europa?

(3–6) Hoewel er geen vaste wetenschappelijke definitie van AI is, is inmiddels duidelijk dat de Commissie in de conceptverordening een relatief brede definitie hanteert die meer omvat dan in de dagelijkse praktijk vaak wordt begrepen als AI-systeem. De reden daarvoor is dat de risico-benadering en de voorgestelde definitie beoogt diverse typen AI-systemen te omvatten waarbij er mogelijk schade op kan treden aan gezondheid en veiligheid of mogelijke schending van fundamentele rechten.

Het mogelijke risico voor mensen als gevolg van de inzet van het AI-systeem is leidend en niet de technische geavanceerdheid van het gehanteerde algoritme op zichzelf, zoals vaak in wetenschappelijke definities. Dit blijkt uit de samenhang tussen de voorwaarden in artikel 3 en in bijlage I van de conceptverordening. Als een bedrijf of overheid of andere entiteit de technieken gebruikt in bijlage I en daarmee software maakt die voor een bepaalde reeks door mensen gedefinieerde doelstellingen inhoud, voorspellingen, aanbevelingen of beslissingen kan genereren die van invloed zijn op de omgeving (zie artikel 3 uit de conceptverordening), dan is er sprake van een product binnen de reikwijdte van de verordening.

De zware eisen in de conceptverordening gelden voor AI-systemen die zowel aan de cumulatieve voorwaarden van de definitie (artikel 3 en bijlage I) voldoen als gerelateerd zijn aan een product dat al is gereguleerd onder Europees recht (zie bijlage II) en voor AI-systemen die worden ingezet binnen een hoog-risico gebied zoals bepaald in bijlage III. In deze gevallen moeten het hoog-risico AI-systeem, de aanbieder en gebruiker aan strenge verplichtingen voldoen om risico’s te voorkomen. Zie ook het antwoord op vraag 1 en 2.

Het kabinet begrijpt deze aanpak en buigt zich nog over mogelijke aanscherpingen van onder andere de definitie van AI-systemen die de helderheid, uitvoerbaarheid en handhaafbaarheid van de conceptverordening kunnen versterken.

De leden van de VVD-fractie lezen tevens dat dit voorstel aanvullende (administratieve) verplichtingen stelt aan providers van AI-systemen zoals documentatievereisten en inschrijving in een Europese database voor aanbieders van hoog-risico AI-systemen. Deze leden zijn zich vanzelfsprekend bewust van de noodzaak om eisen te stellen aan de providers van AI-systemen om ze zo veilig mogelijk te kunnen inzetten. Echter, het is voor deze leden onduidelijk welke regeldruk hiermee op ondernemers en in het bijzonder op ondernemers in het midden- en kleinbedrijf (mkb) afkomt. (7) Deelt het kabinet de mening dat de inzet bij dit voorstel zo min mogelijk extra regeldruk moet zijn voor (kleine) ondernemers? (8) Hoe beoordeelt het kabinet de verplichtingen die bij dit voorstel komen kijken voor bedrijven en ondernemers? (9) Hoe beoordeelt het kabinet de proportionaliteit van deze verplichtingen die worden aangegaan ten opzichte mkb-bedrijven?

(7–9) Het kabinet vindt het belangrijk dat striktere verplichtingen gelden voor hoog-risico AI-systemen om veiligheid, gezondheid en fundamentele rechten te beschermen. Het kabinet zet zich ervoor in dat de verplichtingen met behoud van het beschermingsniveau zo lastenluw en effectief mogelijk worden vormgegeven en spant zich bij de implementatie ervoor in om door de regeling geraakte (kleine) ondernemers te ondersteunen.

De verplichtingen voor bedrijven en ondernemers hangt af van de rol die zij hebben t.o.v. het AI-systeem en in hoeverre het AI-systeem een risico met zich meebrengt. Zo geldt onder meer voor bedrijven en ondernemers die als aanbieder hoog risico AI-systemen in de handel brengen dat een conformiteitsbeoordeling moet worden uitgevoerd waarmee wordt aangetoond dat aan de verplichtingen is voldaan.

Inmiddels is beter zicht verkregen op de wijze waarop de Commissie beoogt dat de definities en vereisten uitwerken in de praktijk voor aanbieders en gebruikers. De praktijk is echter vaak complex – denk aan samenwerkingsverbanden tussen bedrijven en overheden om AI te ontwikkelen – waardoor het lastig te bepalen is wie welke rol heeft en daarmee aan de verantwoordelijkheden uit de verordening moet voldoen. Het is onduidelijk hoeveel mkb-bedrijven door de verplichtingen worden getroffen. Het kabinet besteed aandacht aan het verder onderzoeken van de gevolgen voor mkb, en is voornemens een MKB-toets uit te voeren. De uitkomsten hiervan worden gebruikt in de onderhandelingen over de conceptverordening.

Uit een door de Commissie uitgevoerde consultatie blijkt dat meer dan driekwart van de ondervraagde bedrijven regeldrukkosten niet heeft genoemd als potentieel knelpunt. Minstens 14% van de ondervraagde kleine en middelgrote ondernemingen en 13% van de grote bedrijven gaf aan regeldrukkosten wel als een potentieel knelpunt te zien.¹

De leden van de VVD-fractie lezen voorts dat providers van AI-systemen de naleving van aanvullende verplichtingen aan moeten tonen door een ex ante conformiteitsbeoordeling. (10) Ervan uitgaande dat dit eveneens geldt voor providers van huidige (bestaande) AI-systemen, hoe wordt deze conformiteitsbeoordeling uitgevoerd? (11) Heeft dit enige gevolgen voor de continuïteit van de bedrijfsprocessen van providers van AI-systemen? (12) Wat is de termijn van het uitvoeren van een conformiteitsbeoordeling? (13) Deelt het kabinet de mening dat dergelijke conformiteitsbeoordelingen bedrijfsprocessen zo min mogelijk moeten beperken en daarmee onze digitale innovatieve economieën en concurrentiepositie niet onnodig mogen schaden?

(10–13) Hoog-risico AI-systemen mogen alleen met een CE-keurmerk (artikel 41 uit de conceptverordening) de markt betreden of in gebruik worden genomen. Voor bestaande AI-systemen geldt de overgangsregeling van artikel 83. Hiervoor moeten de AI-systemen een ex-ante conformiteitsbeoordeling ondergaan waarvoor geen vaste termijnen zijn voorgesteld. Voor de conformiteitsbeoordeling van AI-systemen die veiligheidscomponenten van producten of zelf een product uit bijlage II, deel A zijn, zal het systeem worden gehanteerd met conformiteitsbeoordelingsprocedures door derden dat al is vastgesteld in het kader van de desbetreffende sectorale productveiligheidswetgeving. Dit geldt ook voor bestaande AI-systemen als het ontwerp of het beoogde doel significant verandert.

Voor de autonome hoog risico AI-systemen die niet onder productveiligheidswetgeving of de wetgeving uit bijlage II, deel A vallen (bestaande veiligheidsrichtlijnen voor producten waaronder machines, speelgoed en pleziervaartuigen), wordt een nieuw conformiteitssysteem voorgesteld. Voor deze systemen moeten de aanbieders een goed-gedocumenteerde conformiteitsbeoordeling (laten) uitvoeren en vervolgens het AI-systeem aanmelden in een door de Commissie beheerde databank. Het kabinet is van mening dat deze conformiteitsbeoordelingen bedrijfsprocessen, digitale innovatieve ontwikkelingen en de concurrentiepositie niet onnodig mogen schaden en wel effectief moeten zijn. Het kabinet buigt zich nog over de gevolgen van dit systeem voor de aanbieders van AI-systemen.

Het kabinet is ook van mening dat AI- systemen waar burgers op kunnen vertrouwen een voorwaarde vormt voor innovatie en groei en dat het voorkomen van gezondheids- en veiligheidsrisico’s en het centraal stellen van fundamentele rechten cruciaal is. Het kabinet houdt nauwlettend in de gaten dat de nalevingslasten proportioneel blijven en dat de conceptverordening voorziet in ondersteuning aan, in het bijzonder, kleine ondernemers.

De leden van de VVD-fractie constateren dat bij iedere «substantiële» verandering aan het AI-systeem na introductie op de markt of ingebruikname, een nieuwe conformiteitsbeoordeling moet worden uitgevoerd. (14) Met het oog op het voorkomen van onnodige beoordelingen, kan het kabinet ophelderen welke aanpassingen vallen onder substantiële veranderingen en welke niet?

(14) Het is niet mogelijk een opsomming of definitie van substantiële veranderingen te geven. Wat substantieel is moet volgens de Commissie in relatie worden gezien met het beoogde doel van het AI-systeem, zoals is opgenomen in de technische documentatie die verplicht wordt voor hoog-risico AI-systemen (zie bijlage IV van de conceptverordening).

Te lezen valt dat er enige ruimte blijft voor nationale lidstaten om maatwerk te leveren bij handhavingstaken en andere bevoegdheden. Dat stemt deze leden tevreden en tegelijkertijd ontstaat de zorg hoe een gelijk speelveld bewerkstelligd kan worden. (15) Kan het kabinet ophelderen hoe zij hiernaar kijkt?

(15) Artikel 63 lid 4 van de conceptverordening geeft de mogelijkheid om nationaal maatwerk te leveren bij het beleggen van de toezicht- en handhavingstaken. Zo kan het toezicht op hoog risico AI-systemen die worden gebruikt voor de rechtshandhaving worden belegd bij de Autoriteit Persoonsgegevens (AP) of een toezichthouder specifiek op het gebied van de rechtshandhaving. Het kabinet is verheugd met deze mogelijkheid. Het lijkt niet aannemelijk dat door deze mogelijkheid een ongelijk speelveld ontstaat. Het gaat hier immers om toezicht op de naleving van de regels die voor alle aanbieders en gebruikers van het betreffende systeem gelden.

De leden van de VVD-fractie concluderen dat elke lidstaat een nationale toezichthouder dient aan te wijzen die verantwoordelijk is voor het toezicht op de verordening in algemene zin. Deze leden lezen tevens dat lidstaten sectorspecifieke toezichthouders moeten aanwijzen. Er bestaat bij deze leden enige onduidelijkheid over de taken van de nationale toezichthouder en die van sectorspecifieke toezichthouders. (16) Hoe verhouden de nieuwe bepalingen in het kader van toezicht zich tot het huidige toezichtskader? (17) In hoeverre wordt hierbij rekening gehouden met de eventuele overlap aan toezichtstaken? (18) Hoe verhouden de taken en bevoegdheden van sectorspecifieke toezichthouders zich tot die van de nationale toezichthouder? (19) Deelt het kabinet de mening dat ter voorkoming van toezichtshiaten en fragmentatie van beleid, het wenselijk kan zijn om met één nationale centrale toezichthouder te werken? Zo ja, welke toezichthouder heeft het kabinet voor ogen en hoe wordt geborgd dat de toezichthouder(s) over de juiste middelen, capaciteit en kennis beschikt? Zo nee, waarom niet?

(16–19) In de conceptverordening behouden de toezichthouders hun rol om markttoezicht en conformiteitsbeoordelingen uit te voeren op producten in hun sectorale gebied (zie bijlage II, deel A). Ook moeten de toezichthouders nauw samenwerken en worden hun taken uitgebreid met controles en toetsen op (hoog) risico AI-systemen.

Daarnaast moet één van de toezichthouders (in de conceptverordening ook wel nationale bevoegde autoriteiten genoemd) een coördinerende rol op zich nemen. Ook is deze toezichthouder verantwoordelijk voor het informeren, kennis uitwisselen en rapporteren aan de Commissie.

Hoe bovenstaande er precies uit gaat zien en welke toezichthouder het meest voor geschikt is beziet het kabinet momenteel nog. Het kabinet heeft de Commissie om een aantal verduidelijkingen over het toezicht op de conceptverordening gevraagd.

Op basis van de acties in de voortgangsbrief AI en algoritmen organiseert het Ministerie van Economische Zaken en Klimaat een rondetafelgesprek met verschillende toezichthouders en experts dit najaar. Hierin zal onder meer aandacht worden besteed aan de impact van de AI-verordening op het toezichtslandschap.

De leden van de VVD-fractie lezen eveneens dat toezichthouders de mogelijkheid krijgen om gebruikte datasets, die providers van hoog-risico AI-systemen moeten produceren, in te zien. (20) Op welke wijze wordt bij uitvoering van deze verplichting voldaan aan de Algemene Verordening Gegevensbescherming (AVG)?

(20) Een of meerdere toezichthouders worden belast met de publieke taak om toezicht te houden op deze bepaling uit de AI-verordening. Op grond van deze publieke taak mag de toezichthouder persoonsgegevens verwerken ex artikel 6 lid 1 sub e AVG. Het is aan de betrokken toezichthouder om hierbij invulling te geven aan de verplichtingen die op het orgaan rusten ingevolge de AVG, dus ook bij het inzien van datasets. Een reeds bestaand voorbeeld hiervan is de eigen privacyverklaring en het privacybeleid dat de Autoriteit Persoonsgegevens ook op haar website heeft gepubliceerd.²

De leden van de VVD-fractie achten het positief dat voor kleine organisaties en bedrijven (mkb) een uitzonderingspositie wordt beoogd met het invoeren van experimenteerruimtes (regulatory sandboxes) om de AI-systemen te testen voordat ze in gebruik worden genomen. (21) Hoe verhouden deze regulatory sandboxes zich tot de reguliere conformiteitsbeoordelingen en in het bijzonder in het kader van de nalevingskosten? Kan worden toegelicht of het hier alleen om mkb-bedrijven gaat? Welke reikwijdte geldt hier?

(21) Binnen de testomgevingen (regulatory sandboxes) is ruimte voor maatwerk die binnen de reguliere conformiteitsbeoordeling er niet is. De regulatory sandboxes beogen om hoge nalevingskosten voor kleine organisaties en bedrijven (bijv. mkb) te verlagen door hen bijvoorbeeld voorrang te verlenen bij deelname aan regulatory sandboxes. In artikel 53 en artikel 55 van de concept verordening kunnen mkb-bedrijven (maar ook grotere bedrijven, andere publieke organisaties startups) in deze testomgevingen volgens een specifiek plan hun AI-systeem verder ontwikkelen, testen en valideren voor een beperkte duur voordat zij in de handel worden gebracht of in bedrijf worden gesteld. De bedoeling is dat dit onder direct toezicht en met directe begeleiding van de bevoegde autoriteiten (oftewel de toezichthoudende instellingen) gaat vallen. Het voorstel is dat deze bevoegde autoriteiten erop toezien dat de eisen (waaronder een conformiteitsbeoordeling, zie artikel 43) van deze verordening worden gewaarborgd. De directe begeleiding van de toezichthoudende instellingen zullen naar verwachting het juridische risico van niet naleving beperken en zo de nalevingskosten voor het mkb (die aan deze testomgeving deelnemen) verlagen gezien er minder noodzaak is om technisch of juridisch advies aan derden te vragen. Het kabinet is aan het bezien tot welke reikwijdte dit kan worden toegepast en is in gesprek met de Commissie om specifieke criteria en condities voor deelname aan deze AI-testomgevingen te concretiseren.

De leden van de VVD-fractie maken zich zorgen om de grootte van de nalevingskosten voor bedrijven en dan in het bijzonder mkb-bedrijven. Deze leden lezen immers dat de Europese Commissie de kosten van naleving voor de ontwikkelaars van hoog-risico AI-systemen schat op ongeveer 10.000 euro. (22) Op basis waarvan is deze schatting gemaakt? Welke analyse ligt ten grondslag aan deze schatting? Wordt het bedrag gebaseerd op het soort AI-systeem of op het soort bedrijf? Aangezien het nog onduidelijk is met welke kosten verschillende soorten uiteindelijk te maken krijgen, krijgen deze leden hier graag opheldering over. Deze leden willen benadrukken dat hoge nalevingskosten met name voor mkb-bedrijven problematisch kunnen zijn. (23) Deelt het kabinet deze zorgen en is het kabinet bereidt deze zorgen mee te nemen in de onderhandelingen? Zo nee, waarom niet?

(22–23) De Commissie heeft een impact assessment laten uitvoeren³ waarin wordt ingegaan op de te verwachten implicaties voor het bedrijfsleven. Het voorstel leidt tot verschillende administratieve en inhoudelijke verplichtingen met betrekking tot het bijhouden van gegevens, documentatie en traceerbaarheid, informatieverstrekking en transparantie, menselijk toezicht en robuustheid en nauwkeurigheid van de AI-toepassingen. Het kabinet deelt de mening dat het betaalbaar moet blijven voor het mkb maar moet zich nog verder buigen over de nalevingskosten voor het mkb in Nederland. Zij zal hiervoor de nodige stakeholders consulteren en de uitkomsten meenemen in de onderhandelingen.

Door de ontwikkeling van machine learning neemt de intelligentie van algoritmes toe. De leden van de VVD-fractie vinden het belangrijk dat wanneer slimme algoritmes, bijvoorbeeld gebruikt bij «unsupervised learning», een (steeds grotere) rol krijgen binnen besluitvormende publieke processen, de menselijke maat steeds bewuster geborgd moet worden. (24) Deelt het kabinet deze mening en kan het kabinet toelichten of en hoe deze verordening borgt dat het in de praktijk mogelijk is voor iemand om inzicht te krijgen in dit proces om te beoordelen of een uitkomst rechtmatig is? (25) Deelt het kabinet de mening dat het van belang is dat lidstaten enige zeggenschap hebben in het aanmerken van hoog-risico AI-Systemen? Zo ja, kan het kabinet dit meenemen in de onderhandelingen? Zo nee, waarom niet? (26) Deelt het kabinet de mening dat deepfake-technologie een risico kan zijn voor onze democratische rechtstaat? Zo ja, is het kabinet bereid om in de onderhandelingen mee te nemen dat deze technologie op de lijst van hoog-risico-systeem geplaatst zou moeten worden? Zo nee, waarom niet?

(24) Het kabinet is het eens met de leden van de VVD-fractie dat de menselijke maat actief geborgd moet worden bij besluitvormende publieke processen. Dat betekent dat er ruimte moet zijn voor een individuele afweging en controle op de rechtmatigheid van uitkomsten van besluitvorming. Met name is het van belang dat de ruimte die de wet biedt om rekening te houden met persoonlijke omstandigheden goed wordt meegenomen in het ontwerp en de inzet van AI-systemen. Ook zal in het ontwerp rekening moeten worden gehouden met de eisen die door de wet en in de rechtspraak worden gesteld aan de motivering van overheidsbesluiten (uitlegbaarheid).

Hoewel het gegevensbeschermingsrecht en het bestuursrecht al eisen stellen aan overheidsbesluitvorming waarbij nieuwe technologie gebruikt wordt, biedt de conceptverordening versteviging daarvan door eisen te stellen aan hoog risico AI-systemen. Als overheidsbesluitvorming met AI-systemen plaats vindt die als hoog risico AI-systeem zijn aangemerkt verplichten de artikelen 12 tot en met 15 van de conceptverordening dat zo'n systeem begrijpelijk moet zijn, transparant voor de gebruiker, dat mensen toezicht moeten kunnen houden op de uitkomsten van zo'n systeem, en dat nauwkeurigheid geborgd moet zijn. Daarnaast verplicht de conceptverordening toezicht op systemen achteraf en stelt het toezichthouders in staat AI-systemen te controleren. Dit komt de menselijke maat en de controle op de rechtmatigheid van besluitvorming ten goede.

(25) Deze verordening beoogt de gezondheid, veiligheid en fundamentele rechten van burgers in de gehele EU te beschermen door eisen te stellen aan hoog-risico AI-systemen die in EU op de markt worden gebracht en in gebruik worden genomen. Om op de markt een gelijk speelveld te behouden, is het aanmerken van hoog-risico AI-systemen een Europese aangelegenheid. De conceptverordening bepaalt wat een hoog-risico systeem is; de bijlagen bevatten een lijst met producten met een hoog risico (bijlage II), en een lijst met op zichzelf staande AI-systemen met een hoog risico (bijlage III). De Commissie kan voorstellen doen om de lijst in bijlage III aan te passen en is daarbij gehouden aan het consulteren van de lidstaten en het Europees Parlement die een aanpassing kunnen tegenhouden, zie ook vraag 28–29. Het kabinet vindt het belangrijk dat inspraak door belanghebbenden tijdens dit proces mogelijk is en zal dat tijdens de onderhandelingen inbrengen.

Daarnaast biedt de conceptverordening via artikel 65, toezichthouders in de lidstaten de mogelijkheid om AI-systemen die een nationaal risico vormen te onderzoeken op de verenigbaarheid met de eisen uit de verordening. Voorwaarde is dat die systemen een risico moeten vormen voor de grondrechten, de gezondheid of veiligheid.

(26) Zoals aangegeven in de Kamerbrief over het tegengaan van digitale dreigingen bij de Tweede Kamer verkiezingen van 2021 kan deepfake technologie ingezet worden door kwaadwillende actoren om het publieke debat en het democratische proces heimelijk te beïnvloeden.⁴ Het kabinet zet daarbij in op meer bewustwording over de werking van deepfakes en is het voorstander van meer transparantie over het gebruik van deepfake technieken. Het uitgangspunt in het publieke debat blijft dat burgers zelf informatie op waarde kunnen schatten. Verplichte transparantie die aangeeft dat deepfake technologie gebruikt is, zoals de conceptverordening voorstelt, kunnen burgers hierbij helpen.

In aanvulling op de beleidslijn omtrent desinformatie en ons democratisch bestel voorziet het kabinet dat deepfakes ook vraagstukken op kunnen leveren in de verhoudingen tussen burgers en bedrijven, en burgers onderling. Vraag is dan ook of het juridisch kader – en de handhaving daarvan – voldoende is toegerust om onrechtmatige en ongewenste vormen van deepfakes aan te pakken. Hierbij kan bijvoorbeeld worden gedacht aan de eerder door uw Kamer geadresseerde problematiek omtrent het gebruik van deepfakes voor het maken van onrechtmatige content, zoals pornografische beelden (zogenoemde «DeepNudes»). Daarom laat het kabinet door de Tilburg University onderzoek verrichten naar de volledigheid van het juridisch kader (onder meer het strafrecht en gegevensbeschermingsrecht) omtrent deepfakes en de daarmee geboden rechtsbescherming. Oplevering van het onderzoek wordt dit najaar verwacht. Daarnaast is het kabinet voorstander van meer transparantie over het gebruik van deepfake technieken. Labels kunnen hierbij helpen. Op basis van het rapport zal het kabinet bezien of een extra inzet rondom deepfakes in de onderhandelingen over de conceptverordening aan de orde is.

(27) De leden van de VVD-fractie vragen hoe het kabinet ervoor zorgt dat er binnen de rijksoverheid voldoende kennis en capaciteit is om op verantwoorde wijze om te gaan met de verschillende soorten AI-systemen.

(27) Het is lastig om precies aan te geven of en wanneer kennis en capaciteit voldoende is. Vaststaat wel dat er, zoals aangegeven in de Kamerbrief over de I-strategie Rijk 2021–2025⁵, komende jaren weer fors geïnvesteerd wordt in de capaciteit, de organisaties en de cultuur om de digitalisering vorm te geven binnen de rijksoverheid. Rijksambtenaren hebben steeds meer digitale kennis en vaardigheden nodig om hun werk goed te kunnen uitvoeren; in alle functies, in alle domeinen en op alle opleidingsniveaus. Bewustwording, aandacht en goed aanbod van trainingen en opleidingen zijn noodzakelijk. Het Rijk heeft daarnaast meer I-professionals nodig die beschikken over actuele kennis en vaardigheden. Dat doen we door nieuw talent aan te trekken (denk aan I-trainees en data experts), de samenwerking met hoger onderwijs en wetenschap structureel vorm te geven (I-Partnerschap) en te investeren in de medewerkers (I-vakmanschap) met oog voor cyberveiligheid en de ethische aspecten van ons werk. De Rijksacademie voor Digitalisering en Informatisering Overheid (RADIO) ontwikkelt leermiddelen en verzorgt opleidingen voor alle rijksambtenaren. RADIO heeft zich het afgelopen jaar op verschillende manieren specifiek gericht op bestuurders en op de ambtelijke top. Voor de rechtspraak is de leergang «Informatievoorziening voor bestuurders» ontwikkeld, waar veel belangstelling voor is. Ook is recent het webinar «Algoritmes voor bestuurders» georganiseerd. Voor de leden van de topmanagement groep (TMG) is begin juli het eerste deel van de «intensieve IT-cursus» van start gegaan. Het verwerven van kennis over digitalisering en data-technologie vormt een belangrijk onderdeel van deze cursus. Bij positieve evaluatie wordt deze vanaf het najaar van 2021 toegankelijk gemaakt voor alle topambtenaren. Tot slot is het van belang om de kennisuitwisseling tussen verschillende stakeholders van de publieke, private sector, kennisinstellingen en maatschappelijke organisaties te stimuleren. Dat gebeurt niet alleen via het hierboven genoemde I-partnership, maar ook via onderzoek. De Nederlandse AI Coalitie kan hierbij een betekenisvolle rol spelen, bijvoorbeeld door versterkte relaties tussen de ministeries en de verschillende inhoudelijke werkgroepen van deze AI-coalitie. Ook bieden in toenemende mate kennisinstellingen en bedrijven, zoals Stanford⁶ en Microsoft⁷, cursussen aan die zijn toegespitst op beleidsmakers.

De Europese Commissie stelt voor om elk jaar te beoordelen of de lijst met hoog-risico AI-systemen moet worden aangepast. (28) Welke bevoegdheden heeft de Europese Commissie om die lijst aan te passen. Welke zeggenschap hebben de lidstaten daarbij? Wat is de rol van de parlementen daarbij? Deze leden krijgen graag een verduidelijking van deze procedure. Deze leden ontvangen ook graag een verduidelijking van het volgende. (29) In welke situaties/onderdelen van de verordening is er sprake van delegatie en in welke situatie van uitvoeringshandelingen?

(28, 29) De conceptverordening geeft aan de Commissie de bevoegdheid om de bijlagen I en III aan te passen middels een zgn. gedelegeerde handeling. Gedetailleerde informatie over deze procedure staat op de website van het expertisecentrum Europees Recht⁸. Lidstaten en het Europees Parlement worden over deze handeling geconsulteerd. Nationale parlementen hebben geen eigenstandige rol hierin, net zomin als niet-gouvernementele belanghebbenden. Zie verder het antwoord op vraag 25 en 21. Ten aanzien van de bevoegdheden om onder meer de bijlagen over de definitie en de lijst hoog-risico AI-systemen aan te passen wordt u verwezen naar het antwoord op de vragen 118, 119 en 120 en het BNC-fiche pagina 13–15. Het kabinet hecht belang aan een betekenisvolle rol voor de lidstaten en consultatie met belanghebbenden bij het aanpassen van de bijlagen en onderzoekt welke procedure hier het beste bij aansluit, zie ook het antwoord op vraag 73.

(30) De leden van de VVD-fractie vragen tot slot hoe het verdere proces met betrekking tot de onderhavige verordening eruitziet.

(30) Onder het Sloveense voorzitterschap worden momenteel de eerste reeks aan artikelen behandeld van de conceptverordening. Het voorzitterschap doet dit in de vorm van het organiseren van Raadswerkgroepen (RWG) en Workshops. Het uiteindelijke doel van de Raad is om tot een gezamenlijk standpunt te komen. Parallel doet het Europees Parlement (EP) hetzelfde. In het EP verkennen de commissies welke onderdelen van de conceptverordening het beste in welke commissie behandeld kunnen worden. In trilogen zullen de standpunten van zowel de Raad en het EP op de conceptverordening verder uit onderhandeld worden. Het is onbekend hoe lang dit EU beleid- en besluitvormingsproces gaat duren. Op 14 oktober 2021 wordt de conceptverordening besproken tijdens de informele Telecomraad. U bent over de inzet voor deze informele Raad geïnformeerd in de geannoteerde agenda⁹. Naar verwachting komt dit onderwerp ook terug op de formele Telecomraad die staat gepland voor begin december 2021.

Vragen en opmerkingen van de leden van de D66-fractie

De leden van de D66-fractie hebben kennisgenomen van de fiches met betrekking tot het voorstel voor een Kunstmatige Intelligentie (AI)-verordening en hebben hier nog een groot aantal vragen over. AI heeft nu al een enorme impact op onze maatschappij, rechtstaat, democratie, economie, zorg, veiligheid en innovatievermogen. AI gaat een grote rol spelen bij de grote uitdagingen van deze tijd, met AI kunnen we bijvoorbeeld straks beter de klimaatcrises te lijf, of kankercellen makkelijker detecteren. Maar er zit ook een schaduwzijde aan deze vooruitgang zoals het schenden van fundamentele rechten en publieke waarden, ongelijke behandeling en massasurveillance. Deze leden beamen de uitspraak van Eurocommissaris Vestager over de nieuwe AI-verordening dat hoe groter de risico’s zijn, des te strenger de regels moeten worden. Voor deze leden staat het beschermen van fundamentele rechten, het stimuleren van innovatie én het als EU wereldwijd als allereerste de toonzetten op het gebied van regulering van AI centraal.

De leden van de D66-fractie delen de mening van het kabinet dat de verordening veel verduidelijking behoeft en zullen hier dan ook meerdere keren naar vragen. Deze leden merken daarnaast op dat de focus van de fiches voornamelijk op de economische effecten zijn van de AI-verordening.

Ethische richtlijnen

(31) De leden van de D66-fractie horen graag van het kabinet of zij van mening is dat de ethische richtlijnen van de High-Level Expert Group on AI voldoende zijn overgenomen in het huidige voorstel. Zo nee, welke onderdelen uit de ethische richtlijnen zijn onvoldoende meegenomen in de verordening die het kabinet wel had willen terugzien?

(31) Ja, het kabinet is in algemene zin van mening dat de ethische richtsnoeren van de High-Level Expert Group on AI voldoende zijn overgenomen in het voorstel en goed passen in de systematiek van de conceptverordening. Het vereiste voor het maatschappelijk en ecologisch welzijn ziet het kabinet in mindere mate terug, maar het borgen hiervan past beter in het gecoördineerde AI-plan¹⁰ dat zich richt op experimenteren en opschalen van AI in verschillende sectoren.

(32) Wat wordt er verstaan onder subliminale technieken, hoe ver reikt dit? (33) En waarom is politieke microtargeting op basis van AI uitgezonderd? (34) De verordening hanteert een schade principe, echter komt schade niet alleen in persoonlijke vorm voor, maar ook op maatschappelijke schaal, wordt dit ook meegenomen? Is het kabinet van mening dat misleiding niet moet worden toegestaan, ook niet als er niet meteen directe persoonlijke schade kan worden aangetoond? Wie is verantwoordelijk voor de bewijslast? Hoe beoordeelt het kabinet deze keuze? (35) Vindt het kabinet dat er genoeg aandacht is voor toetsen op basis van daadwerkelijk effect in plaats van enkel beoogd gebruik?

(32) Onder subliminale technieken worden in de conceptverordening technieken verstaan die het bewustzijn van mensen beïnvloeden zonder dat zij dit doorhebben en geen optie voor vrijwillige keuze hebben. Hierbij wordt er vooral gekeken naar technieken die een significante invloed hebben en daarmee de mogelijkheid om het gedrag van iemand zo te beïnvloeden dat het heel anders is dan het normale gedrag.

(33) (Politieke) targeting is uitgezonderd van dergelijke subliminale technieken wanneer mensen geïnformeerd worden dat zij geprofileerd en getarget worden op basis van specifieke informatie en zij de mogelijkheid hebben gekregen om «nee» te zeggen. Deze uitzondering past bij de inzet van het kabinet rondom politieke advertenties waarbij in eerste instantie ingezet wordt op meer transparantie. Zoals aangegeven in de brief over het tegengaan van digitale dreigingen richting de Tweede Kamer verkiezingen 2021 moet het in aanloop naar verkiezingen voor burgers duidelijk zijn wie de afzender is van een politieke advertentie en waarom zij deze te zien krijgen.¹¹ Met deze informatie kunnen burgers deze advertenties beter op waarde schatten. Meer transparantie maakt het voor kwaadwillende ook lastiger hun identiteit te verhullen. Daarnaast moeten politieke advertenties ook voor iedereen openbaar zijn zodat ze onderdeel kunnen worden van het publieke debat. Zo kan het ook duidelijk worden welke boodschappen aan verschillende groepen burgers zijn gericht. Het wetgevend kader rondom de verwerking van persoonsgegevens bij targeting is de AVG.

(34, 35) Artikel 5, eerste lid, onder a, van het voorstel verbiedt het op de markt brengen, in gebruik nemen of gebruiken van een AI-systeem dat subliminale technieken aanwendt om zo het gedrag van een persoon te vervormen. Dit moet bovendien leiden tot schade voor de fysieke of geestelijke gezondheid van deze persoon of een ander persoon. Maatschappelijke schade wordt als zodanig niet meegenomen maar is uiteindelijk ook in het geding als de AI tot psychische schade bij personen leidt en er bijvoorbeeld hulp moet worden geboden. Vanuit dat gezichtspunt kan het kabinet de voorgestelde formulering van artikel 5 goed begrijpen. Ook moet opgemerkt worden dat deze concept-verordening niet op zichzelf staat maar samenhangt met andere Europese (wetgevende) trajecten. Zo wil de Commissie met het wetsvoorstel voor de Digital Services Act (DSA) onder andere bijdragen aan het mitigeren van systemische risico’s die de allergrootste online platformen met zich meebrengen. Om deze systemische risico’s tegen te gaan wordt onder andere gekeken naar transparantie over de werking van aanbevelingssystemen op de allergrootste online platformen.

Om een sanctie op te kunnen leggen aan leveranciers van AI-systemen die gericht zijn op gedragsmanipulatie door middel van subliminale technieken, is vereist dat bedoelde schade is ingetreden (daadwerkelijk effect), dan wel dat het intreden daarvan aannemelijk is (het aantonen van daadwerkelijke schade is in dit geval dus niet nodig). Aangezien het hier om een verbod gaat dat publiekrechtelijk wordt gehandhaafd zal de handhavende instantie moeten bewijzen dat het is geschonden. Het kabinet onderschrijft deze keuze, waarmee wordt aangesloten bij de bestaande systematiek voor de handhaving van publieke normen, en meent dat de inhoud van het voorgestelde verbod voldoende ruimte biedt voor toetsen op basis van daadwerkelijk effect naast op toetsen op beoogd gebruik.

Kwetsbaren

(36) Deelt het kabinet de mening dat de groep kwetsbaren genoemd in artikel 5b van de verordening veel verder zou moeten reiken dan enkel kinderen en mensen met een beperking? Met name omdat er veel andere groepen ook het recht hebben op een gelijke behandeling, of disproportioneel slachtoffer zijn van fysieke of psychologische schade, zoals vrouwen die, bijvoorbeeld, het vaakst slachtoffer zijn doormiddel van afpersing met deepfake pornografie? Zo ja, welke groepen ziet het kabinet graag terug in de verordening?

(36) Het kabinet deelt de vragen van de verschillende fracties over de reikwijdte van de verboden uit artikel 5 en is hierover met de Commissie in gesprek. Eventuele absolute verboden moeten voldoende specifiek en nauwkeurig worden geformuleerd en beargumenteerd. Het moge duidelijk zijn dat er naast kinderen en mensen met een beperking andere groepen zijn die het risico lopen om door specifieke kwetsbaarheden benadeeld te worden. Het kabinet wil dat dit artikel er niet voor zorgt dat andere groepen bescherming mislopen. Het kabinet wil wel benadrukken dat het gebruik maken van kwetsbaarheden ook in de huidige situatie vaak al strafbaar of onrechtmatig is.

Social scoring

De leden van de D66-fractie delen de noodzaak een verbod op «social scoring» systemen in de verordening terug te zien en herinneren het kabinet graag aan het eerder door de Nederlandse rechter verboden fraudeopsporingssysteem SyRi. «Social scoring» heeft geen plaats in een vrije samenleving en de publieke ruimte. (37) Kan het kabinet uiteenzetten hoe sterk het verbod hierop wordt geacht door het groot aantal uitzonderingen? Zou dit moeten worden aangescherpt? (38) Is het kabinet van mening dat dit verbod ook moet gelden voor private partijen?

(37) Het kabinet ziet net als de Commissie dat AI-systemen die door of in naam van overheidsinstanties worden gebruikt om social scoring van natuurlijke personen voor algemene doeleinden uit te voeren tot mogelijke discriminerende resultaten kunnen leiden en tot uitsluiting van bepaalde groepen (b.v. bewezen is dat voorspellende analyses op basis van iemands gedrag of kenmerken kunnen leiden tot mogelijke vooringenomenheid en discriminatie); met voorliggend verbod wordt geprobeerd dit te voorkomen. Het kabinet constateert daarbij, net als de leden van D66, dat het door de Commissie voorgestelde verbod omtrent social scoring op verschillende manieren is afgebakend. In beginsel is dit begrijpelijk: het is van belang dat verboden voldoende nauwkeurig zijn geformuleerd zodat zij toezien op specifieke praktijken die moeten worden verboden. Anderzijds kan het gevaar ontstaan dat het doel van de bepaling, het voorkomen van discriminatie en uitsluiting, niet wordt bewerkstelligd. Het kabinet zal zich inzetten om samen met belanghebbenden te komen tot een gepaste en nauwkeurige formulering, waarmee het beoogde doel van het verbod kan worden bewerkstelligd.

(38) De Commissie heeft gekozen de reikwijdte van het verbod op social scoring te beperken tot overheidsinstanties, het kabinet beraadt zich op een standpunt hierover.

Biometrische surveillance

Een van de risico’s die aansluiten bij «social scoring» is het gebruik van biometrische surveillance/ herkenning. (39) De leden van de D66-fractie horen graag waarom er de keuze is gemaakt voor biometrische identificatie in plaats van biometrische surveillance. Voorspellingen maken op basis van bepaald gedrag, stemgebruik, hoe iemand loopt, of iemands emoties vallen nu buiten de boot bij de hoge risico bepalingen. (40) Is het kabinet van mening dat het begrip van biometrische identificatie moet worden opgerekt om meer risico’s op surveillance te voorkomen? Zo nee, kan het kabinet een lijst geven van welke vormen van biometrische surveillance acceptabel worden geacht? Ook is er bij biometrische identificatie sprake van ruime uitzonderingsgronden die de beperkingen grotendeels tenietdoen. Binnen Nederland hebben we eerder gezien dat de politie gebruik maakte van gezichtsherkenning, ook als daar geen wettelijke basis voor bestond, omdat de toegang tot deze technologie wel bestond. (41) Deze leden horen graag van het kabinet of biometrische identificatie in de publieke ruimte überhaupt wenselijk moet worden geacht. (42) Is het kabinet van mening dat de uitzonderingsgronden te algemeen en te breed zijn? (43) Deelt het kabinet de zorgen van deze leden dat het enkel verbieden van «real-time» analyse tekortschiet als definitie, nu dit niet duidelijk analyse na een zeer kort tijdsbestek in de wegstaat? (44) Hoe staat het kabinet ten aanzien van het gebruik van biometrische identificatie door private partijen? Hoe staan andere lidstaten hiertegenover?

(39) Het kabinet zal de Commissie om nadere uitleg vragen. Mogelijk is ervoor gekozen om het begrip gelijkluidend te laten zijn aan de definitie van «biometrische gegevens» uit artikel 4 lid 14 AVG, dat is overgenomen in artikel 3 van de conceptverordening, die specifiek toeziet op situaties waarin het doel is om een betrokkenen te «identificeren». Het kabinet verwijst in dit verband naar de richtlijnen van de European Data Protection Board inzake de verwerking van persoonsgegevens door middel van videoapparatuur.¹² Er is in dat kader dus alleen sprake van «biometrische» surveillance wanneer het doel is een individu te identificeren aan de hand van bijvoorbeeld stemgeluid, vingerafdrukken of de specifieke manier van lopen. Voorts is van belang te benadrukken dat meerdere van de door de leden genoemde typen voorspellingen in de context van rechtshandhaving ingevolge artikel 7 lid 2 en Annex III van de conceptverordening wél onder de aanvullende hoog risico’s uit de conceptverordening zullen vallen. Het kabinet merkt daarbij op dat niet op identificatie gerichte vormen van surveillance doorgaans ook zullen kwalificeren als «profilering» in de zin van artikel 4 lid 4 AVG en dus aan de daarin opgenomen regels gebonden zijn.

(40) Als in antwoord op vraag 39 benoemd ligt in het begrip biometrische gegevens, zoals geformuleerd in de AVG, besloten dat «identificatie» het doel van de verwerking moet zijn. Het ligt wat het kabinet betreft niet voor de hand de definitie van «biometrische identificatie» in deze verordening op te rekken om andersoortige vormen van surveillance (welke niet toezien op «identificatie») te voorkomen.

Het kabinet deelt de mening dat er in de conceptverordening sprake zou zijn van ruime uitzonderingsgronden voor biometrische identificatie in de rechtshandhaving niet, zie in dat kader ook de kabinetsreactie op het bericht in de Volkskrant welke gelijktijdig met deze beantwoording aan uw Kamer is toegezonden. De huidige wetgeving, incl. de Grondwet, laat ruimte voor een rechtmatig gebruik van biometrische identificatie. De toepassing moet dan wel voldoen aan de eisen van noodzaak, proportionaliteit en subsidiariteit. Ook de conceptverordening biedt waarborgen. De verwerking van biometrische gegevens, als zijnde bijzondere persoonsgegevens, is op grond van het gegevensbeschermingsrecht in beginsel verboden. Op dat verbod zijn slechts beperkte uitzonderingen mogelijk. Ook wanneer sprake is van een dergelijke uitzondering en biometrische gegevens mogen worden verwerkt biedt de AVG een breed stelsel aan waarborgen, zoals de in casus verplichte Data Protection Impact Assessment (DPIA)¹³ en het vereiste van dataminimalisatie.¹⁴

De waarborgen uit de AVG gelden voor iedere verwerking van persoonsgegevens; dus ook voor niet-biometrische verwerkingen. De mogelijkheid om technologieën of systemen met grote privacyrisico’s in te zetten zal op basis van die waarborgen reeds beperkt zijn. Desalniettemin signaleert het kabinet dat bepaalde systemen die weliswaar geen biometrische of anderzijds bijzondere persoonsgegevens verwerken, maar die wel bijzonder privacy invasief kunnen zijn, zoals bijvoorbeeld emotieherkenningssystemen, conform de AVG aan een minder strikt kader zijn onderworpen. Daarom kunnen aan dergelijke systemen extra eisen worden verbonden in de conceptverordening. Teneinde hier een goed geïnformeerde en breed gedragen positie over in te kunnen nemen zal het kabinet over dit onderwerp een rondetafelgesprek organiseren.

(41) In de kabinetsreactie op het bericht in de Volkskrant gaat het kabinet hier uitgebreider op in.

(42) Naar het oordeel van het kabinet zijn de voorgestelde uitzonderingsgronden voor het gebruik van real-time biometrische systemen voor rechtshandhaving duidelijk omlijnd en niet te breed. Het verbod en de uitzonderingsgronden gelden expliciet aanvullend op het bestaande juridisch kader voor biometrische gegevensverwerkingen, waar in de kabinetsreactie op het bericht in De Volkskrant nader op in wordt gegaan. Voor de rechtshandhaving wordt thans gewerkt aan een nieuwe gegevenswet politie en justitie. Hierover heeft de Minister voor Rechtsbescherming uw Kamer in november 2020 geïnformeerd.¹⁵ Vanzelfsprekend zal in dit traject aandacht zijn voor een duidelijk stelsel aan uitzonderingsgronden met betrekking tot de verwerking van (biometrische) persoonsgegevens door de politie en justitie.

(43) In de definitie van «real-time» in artikel 3 sub 37 van de conceptverordening heeft de Commissie specifiek opgenomen dat «real-time» niet alleen onmiddellijke identificatie omvat, maar ook identificatie met «beperkte korte vertragingen». Dit is specifiek opgenomen om omzeiling van de bepaling te voorkomen. Het kabinet ziet aldus dat de Commissie voornemens is om ook analyse na een zeer kort tijdsbestek binnen de definitie van «real-time» te vatten en daar dus wel de extra eisen omtrent «real-time» herkenning aan te verbinden. Het kabinet deelt de analyse van de leden van D66 daarmee in zoverre dat duidelijk moet zijn dat van dergelijke omzeiling geen sprake mag zijn. Het zal zich inzetten voor een verduidelijking van de definitie.

(44) Het gebruik van biometrische identificatie door private partijen is ingevolge de AVG en Uitvoeringswet AVG (hierna: «UAVG») in Nederland slechts in zeer beperkte gevallen toegestaan. Dit heeft het kabinet uitgebreider toegelicht in de kabinetsreactie op het artikel in de Volkskrant en het daarbij als bijlage meegezonden juridisch kader dat van toepassing is bij de inzet van dergelijke systemen. Het kabinet ziet geen ruimte voor verruiming van deze regels.¹⁶

Transparantie

Een van de belangrijkste onderdelen om ongelijke behandeling, discriminatie en het schenden van de algemene beginselen van behoorlijk bestuur te voorkomen in de verordening is de transparantieplicht om de interpretatie van de uit AI-systemen volgende beslissingen mogelijk te maken. Als besluitvorming geautomatiseerd wordt kan dit rechtsongelijke en persoonsafhankelijke oordelen voorkomen, maar neemt het risico tot onacceptabele vormen van ongelijkheid toe omdat besluitvormingsprocessen niet langer kunnen worden getoetst op discriminatie of andere verboden inbreuken op mensenrechten.

De leden van de D66-fractie zijn van mening dat de verordening nog te weinig mogelijkheden biedt om inzicht in AI-systemen te krijgen, waardoor effectieve controle op rechtmatigheid van beslissingen gehinderd wordt. (45) Is het kabinet van mening dat besluitvorming voldoende inzichtelijk, uitlegbaar en begrijpelijk wordt met de huidige verordening?

(45) Het kabinet zet zich in voor rechtmatige, transparante en uitlegbare besluitvorming en wijst in dit verband graag op de brief «Voortgang AI en algoritmen» van 10 juni jl. met daarin de «Beleidsagenda normering en toezicht algoritmen»¹⁷ en de eerdere kabinetsreactie van 20 november 2020 op een drietal onderzoeken naar algoritmen¹⁸. In de eerstgenoemde brief onderschreef het kabinet dat een additioneel Europees wetgevend instrument voor artificiële intelligentie (met een hoog risico) van toegevoegde waarde kan zijn.

De conceptverordening beoogt de AI-markt te reguleren om ervoor te zorgen dat AI-systemen als producten veilig zijn en grondrechten respecteren. Naast een aantal verboden introduceert het voorstel een systeem van ex ante conformiteitstoetsing en ex post marktmonitoring. Hoog risico AI-systemen moeten voldoen aan bepaalde eisen voordat ze op de Europese markt mogen worden gebracht of in gebruik worden genomen. Na het op de markt brengen/in gebruik nemen wordt het AI-systeem gemonitord en wordt toezicht uitgeoefend. Daarnaast introduceert de conceptverordening verscheidene transparantieverplichtingen voor leveranciers/gebruikers die werken ten behoeve van hen die met een AI-systeem interacteren (zie art. 52). Het kabinet staat positief tegenover deze transparantievereisten. Burgers moeten weten wanneer zij contact hebben met een AI-systeem en attent worden gemaakt op AI-systemen die doen aan emotieherkenning, biometrische categorisering of «deepfakes». Het kabinet acht het terecht dat er in het belang van de rechtshandhaving redenen kunnen zijn om transparantie richting de betrokkene afwijkend in te richten. Dat neemt echter niet weg dat ook in het kader van de rechtshandhaving de inzet van AI-systemen zo transparant mogelijk dient te zijn en dat daarover, bijvoorbeeld in het kader van het strafproces, verantwoording kan worden afgelegd.

Het voorstel bevat dus verplichtingen voor ontwikkelaars en gebruikers van die systemen. De relatie tussen ontwikkelaars/gebruikers enerzijds en consumenten of burgers anderzijds wordt gereguleerd door andere regelgeving, in het bijzonder het consumentenrecht, het bestuursrecht en het gegevensbeschermingsrecht. Consumenten en burgers kunnen zich via die wetgeving bij de toezichthouder of rechter melden als zij in hun (grond)rechten geschonden zijn. Volgens de Richtlijnen voor het gebruik van algoritmen door overheden¹⁹ geldt tenslotte dat de overheid geen algoritmen hanteert waarvan de uitkomsten niet navolgbaar en controleerbaar zijn. In het antwoord op vraag 72 wordt nader ingegaan op de vraag of consumenten voldoende worden beschermd.

Tot slot wil het kabinet opmerken dat het, los van deze conceptverordening, belangrijk is om juridische kaders beter toepasbaar te maken of te concretiseren. In de voortgangsbrief «AI en algoritmen» worden concrete initiatieven genoemd²⁰. Het kabinet zal zich blijven inzetten om de rechtsbescherming van burgers in algoritmische besluitvorming te verbeteren.

Stimuleren AI voor kleinere bedrijven en ondernemers

De leden van de D66-fractie zijn van mening dat AI-systemen ook enorme voordelen met zich meebrengen voor maatschappij en het bedrijfsleven. (46) Deze leden horen graag van het kabinet hoe lang bedrijven hebben, die nu al gebruik maken van AI-systemen, om te voldoen aan de verordening, bij de inwerkingtreding. Acht het kabinet de implementatietijd voldoende? (47) De verordening kan ook voor kleinere innovatieve bedrijven grote lasten met zich meebrengen, terwijl één van de doelen van de AI-verordening het stimuleren van Europese innovatie op AI-gebied is. Kan het kabinet toelichten op welke wijze er extra aandacht is voor het stimuleren van ontwikkelingen op het gebied van AI voor kleine bedrijven binnen de EU en vanuit Nederland?

(46–47) De verordening treedt in werking 20 dagen na de publicatie en is van toepassing 24 maanden na die datum, een reguliere termijn voor Europese wetgeving die in veel gevallen haalbaar is. Het kabinet onderzoekt de impact op bestaande AI-systemen vanwege de terugwerkende kracht indien er sprake is van een verandering van het ontwerp of het beoogde doel na inwerkingtreding van de uiteindelijke verordening. De implementatietermijn voor het instellen van toezicht is in de conceptverordening veel korter: er wordt een termijn van 3 maanden voorgesteld. Het kabinet is voorstander van een langere implementatietermijn,

omdat onder andere aanwijzing, toedeling taken en bevoegdheden, en werkwijze

van deze instanties tijd kost en bovendien niet los gezien kan worden van de werkzaamheden die ze verrichten (conformiteitsbeoordeling, toezicht, handhaving etc.). Hiertoe ligt een nationale uitvoeringswet in de rede. Bezien moet worden of hierin ook andere bepalingen van de conceptverordening moeten worden uitgewerkt.

Eén van de doelstellingen van de conceptverordening is om een wetgevend kader te creëren dat toekomstgericht, veerkrachtig en innovatie-vriendelijk is voor de EU. Tegelijkertijd met de conceptverordening is een actueel gecoördineerd AI-actieplan gepubliceerd (COM(2021) 205). Samen geeft dit opvolging aan een ecosysteem van excellentie en een ecosysteem van vertrouwen voor AI, zoals genoemd in het Witboek AI. In dit gecoördineerde actieplan is aandacht voor het stimuleren van ontwikkelingen op het gebied van AI. Eén van de vier actielijnen is om van de EU een plek te maken waar Al-excellentie kan floreren van het laboratorium tot de markt. Specifiek om het mkb te ondersteunen binnen de EU en vanuit Nederland zal dit via de Europese digitale innovatiehubs gaan via het Digital Europe Programme.

Zie daarnaast ook het antwoord op vraag 21 en 67–71 over regulatory sandboxes.

Definities

De leden van de D66-fractie merken op dat ook binnen het bedrijfsleven veel vragen bestaan over de reikwijdte en definities binnen de verordening. (48) Kan het kabinet toelichten of volledige interne AI-processen vallen binnen de definitie van AI-systemen? Zo ja, acht het kabinet dit wenselijk met het oog op de toenemende regeldruk die bij een dergelijke definitie komt kijken? Bedrijven hebben een informatieplicht richting klanten om te informeren over de het gebruik en risico’s van AI-systemen. (49) In hoeverre geldt deze plicht ook voor de leveranciers van deze systemen?

(48–49) De conceptverordening is ook van toepassing op volledig intern ontwikkelde en gebruikte AI-systemen en vallen ook binnen de reikwijdte van de conceptverordening mits deze binnen de definitie van artikel 3 en bijlage I vallen. De reden voor deze brede, horizontale aanpak is tweeledig. Allereerst beoogt de conceptverordening een gelijk speelveld te creëren voor AI-technologie en de interne ontwikkelprocessen hebben ook effect op de interne markt doordat deze AI niet door marktpartijen kunnen worden ontwikkeld. Ten tweede zou een uitzondering voor intern ontwikkelde AI-systemen omzeiling van de voorwaarden in de hand werken en het doel om de risico’s van alle AI-systemen in de Europese Unie te mitigeren ondermijnen. Zie ook het antwoord op vraag 3 t/m 6 over de definitie en reikwijdte en het antwoord op vragen 7, 8 en 9 over de regeldruk voor bedrijven.

Ten aanzien van de vraag over de informatieplicht veronderstelt het kabinet dat de D66-fractie doelt op de eisen die gelden voor hoog-risicosystemen. De aanbieder van een dergelijk AI-systeem moet aan deze eisen voldoen, zoals het opstellen van technische documentatie (artikel 11) en een gebruiksinstructies (artikel 13). Aan deze eisen moet worden voldaan door partijen die een hoog-risico AI-systeem op de Europese markt willen aanbieden of in gebruik gaan nemen, in veel gevallen bedrijven die door hen ontwikkelende AI-systemen willen verkopen of bedrijven die AI-systemen in opdracht leveren aan bijvoorbeeld publieke instellingen.

Toezicht

De leden van de D66-fractie horen graag een nadere toelichting hoe het kabinet het toezicht van de verordening op nationaal niveau voor zich ziet binnen de huidige capaciteiten. (50) Deze leden horen graag van het kabinet of ze de rol van de Europese Commissie binnen de toezichthouder «European Artificial Intelligence Board» (EAIB) wenselijk acht met het oog op onafhankelijk toezicht. Hoe staan andere lidstaten hierin?

(50) Voor een nadere toelichting over hoe het kabinet het toezicht van de conceptverordening op nationaal niveau voor zich ziet verwijzen we naar antwoorden 16–19.

Wat betreft het Europees Comité voor artificiële intelligentie (in Engels EAIB) merkt het kabinet op dat het goed is dat in een dergelijk orgaan wordt voorzien. Hiermee kan worden geborgd dat lidstaten de wetgeving op dezelfde manier toepassen. Daarnaast draagt een dergelijk orgaan eraan bij dat alle lidstaten op een voldoende kennis- en ervaringsniveau worden gebracht.

Het Europees Comité voor artificiële intelligentie roept ook naar de opvatting van het kabinet vragen op over de positie van de Commissie binnen dit orgaan. Nederland zal dit onderwerp aan de orde stellen tijdens de raadswerkgroepen zodat hierover meer duidelijkheid komt. Voorop daarbij staat dat het toezicht voldoende onafhankelijk moet kunnen functioneren.

Het is nog niet bekend hoe andere lidstaten hier in staan. Het kabinet is dit aan het verkennen.

Militair gebruik

(51) De leden van de D66-fractie horen graag van het kabinet waarom de Europese Commissie ervoor heeft gekozen om militair gebruik van AI-systemen uit te zonderen in de verordening. Acht het kabinet dit wenselijk?

(51) Zoals de Commissie in overweging 12 van de conceptverordening toelicht worden AI-systemen die uitsluitend voor militaire doeleinden worden ontwikkeld of gebruikt uitgesloten van het toepassingsgebied van de verordening wanneer dat gebruik onder de exclusieve bevoegdheid valt van het gemeenschappelijk buitenlands en veiligheidsbeleid, zoals geregeld in titel V van het Verdrag betreffende de Europese Unie (VEU). Het kabinet volgt de redenering van de Commissie in dezen. Zie ook de antwoorden op vraag 81 en 82.

Vragen en opmerkingen van de leden van de PVV-fractie

De leden van de PVV-fractie zijn van mening dat de aard en impact, met name de negatieve (bij-) effecten, van kunstmatige intelligentie (AI) tot regulering nopen, maar deze leden zijn tegelijkertijd wel bezorgd dat pogingen daartoe, zeker op Europees niveau, juist tot meer onduidelijkheid leiden. De reikwijdte van en de definities in de nieuwe AI-verordening zijn dermate breed en onbepaald, dat een goede analyse en beoordeling op dit moment uitermate lastig is. Het kabinet erkent dat zelf ook en geeft aan op diverse punten verduidelijking gevraagd te hebben aan de Europese Commissie. (52) Kan het kabinet aangeven op welke punten die gevraagde verduidelijking inmiddels is ontvangen? Mocht dat nog niet het geval zijn geweest, op welke termijn denkt het kabinet die verduidelijking nog te ontvangen van de Europese Commissie? (53) Is het kabinet bereid om bij uitblijven van afdoende verduidelijking door de Europese Commissie, een Nederlandse voortrekkersrol op zich te nemen in de nadere behandeling van deze verordening?

(52–53) Onder het Sloveense voorzitterschap wordt momenteel de eerste reeks aan artikelen behandeld van de conceptverordening. Het voorzitterschap doet dit in de vorm het organiseren van wekelijkse Raadswerkgroepen (RWG) en workshops. Het kabinet heeft al verduidelijking gekregen van de Commissie over de manier waarop de definitie van AI-systeem en aanbieder moet worden geïnterpreteerd en welke verplichtingen gelden voor hoog-risico AI-system. De inzet van het kabinet is te zorgen dat de gehanteerde definities en formuleringen in het voorstel voldoende helder zijn voor iedereen die te maken krijgt met de uitvoering, zie tevens het antwoord op vraag 56. Op basis van de uitleg van de Commissie werkt het kabinet momenteel aan concrete verbeteringen van de voorgestelde teksten in afstemming met belanghebbenden, bijvoorbeeld de definitie van AI-systeem (zie ook het antwoord op vragen 109 en 110) en is bereid deze actief onder de aandacht te brengen bij de andere lidstaten.

De leden van de PVV-fractie delen de zorgen van het kabinet als het gaat om de benodigde middelen, capaciteit en expertise bij de verschillende nationale toezichthouders die deze verordening met zich mee gaat brengen. Zeker gezien het kabinet ook erkent dat de door de Europese Commissie gehanteerde definitie van AI dusdanig ruim is dat potentieel alle algoritmische informatiesystemen onder het begrip AI vallen.

De verwachte administratieve lasten kunnen mogelijk fors worden, aldus het kabinet in haar brief. Het kabinet vindt de schatting die de Europese Commissie maakt van de verwachte kosten en regeldruk die mkb-bedrijven, startups en kleine organisaties moeten maken voor de naleving, te laag. (54) De leden van de PVV-fractie delen deze vrees en horen graag van dit kabinet wat zij van plan is om de administratieve lasten voor Nederlandse bedrijven zo laag mogelijk te houden en te zijner tijd te verlichten. Deze leden merken voorts op dat heel veel ondernemers nog altijd worstelen met de administratieve lasten en kosten die de invoering van de AVG met zich mee heeft gebracht. Zij maken zich grote zorgen over de gevolgen die een nieuwe golf Europese regelgeving gaat hebben op de slagkracht en het innovatievermogen van Nederlandse ondernemers.

(54) Zie het antwoord op vragen 21–23.

De leden van de PVV-fractie hebben in dit kader ook grote zorgen over de toezichthouders, die in de huidige vorm volstrekt niet toegerust zijn om effectief toezicht uit te oefenen op de naleving van een dergelijk veelomvattende AI-verordening. Deze leden roepen in herinnering dat tot op heden nog geen stappen zijn genomen door dit kabinet om de Autoriteit Persoonsgegevens (AP) afdoende middelen te geven om de naleving van de AVG te kunnen begeleiden. Het is deze leden volstrekt onduidelijk waarom het kabinet in haar brief aangeeft dat zij zich voorzichtig afvraagt of de door de Europese Commissie benoemde benodigde bezetting van 1 tot 25 FTE bij de toezichthoudende instantie voldoende is. Dat klinkt als een enorm understatement. Wat deze leden betreft is een actieplan voor versterking van met name de AP nu echt urgent; (55) deze leden zouden graag willen weten welk actieplan dit kabinet klaar heeft liggen om ervoor te zorgen dat het toezicht-systeem versterkt wordt. Wat deze leden betreft is het onwenselijk om wet- en regelgeving in te voeren als op voorhand duidelijk is dat er geen toezicht op naleving gehouden kan worden.

(55) Het kabinet deelt de zorgen van de PVV rondom de door de Commissie benoemde benodigde bezetting van 1 tot 25 FTE bij de toezichthoudende instantie voldoende is. In dit stadium kan het kabinet niet vooruitlopen op het benodigde aantal FTE’s, maar uiteraard moet ervoor gezorgd worden dat er tijdig voldoende middelen, capaciteit en expertise beschikbaar zullen zijn bij alle toezichthouders die op enige wijze betrokken zullen zijn bij het toezicht op deze verordening. Dit is ook aangegeven in de voortgangsbrief AI en algoritmen.

Het kabinet acht het positief dat binnen het voorstel de mogelijkheid bestaat om nationaal maatwerk te leveren bij het beleggen van de toezicht- en handhavingstaken en -bevoegdheden. Hiermee kan het toezicht op de verordening aansluiten bij het bestaande toezicht en kunnen toezichthouders vanuit hun eigen domein en expertise toezicht houden, zie tevens antwoorden 16–19.

Rondom uw vraag over het maken van een actieplan voor AP, zoals uiteengezet in de Kamer brief aan uw Kamer van 1 maart 2021 (Kamerstukken 25 268 en 32 761, nr. 197) is het aan het volgende kabinet om te besluiten over eventuele uitbreiding van haar capaciteit.

Tot slot zou de leden van de PVV-fractie graag zien dat de het kabinet zich hard maakt voor een systeem van eenvoudige en effectieve rechtsbescherming voor door AI-systemen benadeelde burgers.

Het kabinet zet zich in voor een goede rechtsbescherming, zowel offline als online. Voor een nadere toelichting wordt verwezen naar het antwoord op vraag 45 en vraag 72 (specifiek over consumentenbescherming).

Vragen en opmerkingen van de leden van de CDA-fractie

De leden van de CDA-fractie hebben met belangstelling kennisgenomen van het fiche van het kabinet over de verordening kunstmatige intelligentie. Deze leden willen allereerst het belang onderstrepen van het waarborgen van de fundamentele grond- en mensenrechten ook in het digitale domein. De Europese verordening is de eerste van haar soort in de wereld en een eerste poging om kunstmatige intelligentie op grote schaal te reguleren. Een inzet die deze leden steunen.

De leden van de CDA-fractie willen allereerst opmerken dat zij de opmerkingen en commentaren van het kabinet begrijpen, maar dat voor hen op verschillende punten nog niet duidelijk wordt wat het standpunt is van het kabinet ten aanzien van (delen van) de verordening. Deze leden denken hierbij aan de door de Europese Commissie gekozen reikwijdte van het begrip kunstmatige intelligentie, de gehanteerde risicobenadering en andere gewenste verduidelijkingen. (56) Zij vragen het kabinet wat voor hen dan wel voldoet, bijvoorbeeld wanneer gevraagd wordt om verduidelijking.

(56) Zie het antwoord op de vragen 1 t/m 6 en 52–53.

De leden van de CDA-fractie merken op dat er in de verordening gekozen is voor specifieke bescherming van kwetsbare groepen, waarbij de verordening zich beperkt tot twee kwetsbare groepen. Kinderen en mensen met een beperking worden genoemd. (57) Deze leden vragen of het zuiver is om enkel deze twee groepen te benoemen. Zij vragen naar de onderliggende argumentatie voor de keuze om deze twee groepen aan te wijzen als bijzonder kwetsbaar als het gaat om kunstmatige intelligentie. Deze leden achten voorstelbaar dat er ook andere groepen benoemd moeten worden en zien in het algemeen dat minderheden sneller kwetsbaar zijn bij bepaalde toepassingen van kunstmatige intelligentie. Zij vragen hoe het kabinet dat ziet.

(57) Voor het antwoord op deze vraag wordt verwezen naar het antwoord op vraag 36.

De leden van de CDA-fractie delen de zorgen van zowel kabinet als samenleving dat de in de verordening gehanteerde definitie van kunstmatige intelligentie dusdanig ruim is dat potentieel alle algoritmische informatiesystemen onder het begrip AI komen te vallen. (58) Deze leden vragen het kabinet in hoeverre er gekeken kan worden naar een definitie die met name ziet op «machine learning» en complexe algoritmes waar het onduidelijk kan zijn hoe er tot een bepaald besluit is gekomen.

(58) Voor de positie van het kabinet over de definitie van AI-systeem in samenhang met de risicobenadering wordt u verwezen naar het antwoord op de vragen 3, 4, 5 en 6 en de antwoorden op vraag 24 en 25 over transparantie.

De leden van de CDA-fractie merken op dat de definitie van hoog-risico AI-systemen niet genoemd wordt in de beoordeling van het voorstel, terwijl dat ook nog de nodige onduidelijkheid over bestaat. (59) Is deze definitie voor het kabinet voldoende duidelijk of zal het kabinet in de Europese onderhandelingen hier ook een punt van maken?

(59) U wordt verwezen naar het antwoord op de vragen 1 en 2 over de risicocategorieën.

De leden van de CDA-fractie willen hun steun uitspreken voor het standpunt van het kabinet om nieuwe definities als «ingebruikname» vanaf het begin van de onderhandeling duidelijk uitgewerkt te hebben. Zij refereren daarbij aan de onduidelijkheid die nog steeds bestaat over wat precies het «verwerken» van gegevens is bij de invoeren van de AVG. (60) Deze leden vragen daarbij wel of het kabinet een indicatie kan geven over wat zij een acceptabele definitie vindt.

(60) Het kabinet kan zich vinden in de definitie van «in gebruik stellen» in de verordening, die luidt als volgt: «de directe levering van een AI-systeem aan de gebruiker voor het eerste gebruik of voor eigen gebruik op de markt van de Unie voor het beoogde doel».

De leden van de CDA-fractie uiten hun zorgen over de brede formulering van de verboden en de vele uitzondering op verboden. Verschillende uitzonderingen zijn begrijpelijk en kunnen op steun rekenen van deze leden. Echter vragen deze leden naar het verbod op manipulatie en winstgevend maken van kwetsbaarheden die verband houden met iemands leeftijd, verstandelijke of fysieke beperking dat alleen lijkt te gelden indien er sprake is van (een grote kans op) schade. (61) Deze leden vragen waarom er niet voor een algemeen verbod is gekozen en of het kabinet voornemens is daar wel voor te pleiten. Deze leden lijkt het logisch dat manipulatie en winstgevend maken van kwetsbaarheden altijd onwenselijk is en daarmee niet toegestaan.

(61) Het kabinet deelt de mening van de leden van de CDA-fractie dat mensen moeten worden beschermd tegen manipulatie en het winstgevend maken van hun kwetsbaarheden. In het antwoord op vraag 36 van de leden van de D66-fractie is daarom aangegeven dat het kabinet niet wil dat dit artikel ertoe leidt dat andere groepen bescherming mislopen. Het kabinet neemt dit mee in de onderhandelingen. Het kabinet benadrukt daarbij dat het ontbreken van een verbod in de AI-verordening niet betekent dat een praktijk niet verboden is in andere regelgeving. Private partijen moeten zich houden aan de regels van de AVG en daarmee is biometrische identificatie door private partijen slechts in beperkte gevallen toegestaan. Daarnaast mogen handelspraktijken op grond van de Wet oneerlijke handelspraktijken niet misleidend of agressief zijn. Het exploiteren van bepaalde kwetsbaarheden geldt als een oneerlijke handelspraktijk in het consumentenrecht. Voor een toelichting op de consumentenbescherming wordt verder verwezen naar het antwoord op vraag 72.

Het verbod op bepaalde systemen en real-time biometrie in de publieke ruimte

De leden van de CDA-fractie zijn positief over het uitgangspunt van een verbod op real-time biometrische identificatie systemen in de publieke ruimte ten behoeve van rechtshandhaving. Wel hebben deze leden vragen over wat er precies bedoeld wordt met «real-time» biometrische identificatie. (62) In dat kader vragen deze leden of het kabinet zich wil inzetten op het verkrijgen van duidelijkheid op dat punt. (63) Deze leden vragen het kabinet waarom er niet een verbod op biometrische identificatie aan de hand van kunstmatige intelligentie in publieke ruimte in het algemeen komt. Deze leden zien daarnaast in uitzonderlijke gevallen, bijvoorbeeld bij terroristische dreiging of aanslag, reden om wel gebruik te maken van (real-time) biometrische identificatie, maar dat dit wel met waarborgen dient te worden omkleed.

(62) Ja, zie daarvoor ook het antwoord op vraag 43. «Real-time» identificatie betekent ingevolge artikel 3 sub 37 van de conceptverordening dat een persoon op basis van analyse van biometrische gegevens direct of vrijwel direct na de registratie van die gegevens worden gekoppeld aan persoonsgegevens. Het meest bekende voorbeeld is gezichtsherkenning waarbij camera’s de gefilmde personen direct identificeren.

(63) Het kabinet is net als de leden van het CDA van inziens dat een inbreuk op grondrechten in uitzonderingsgevallen en met waarborgen omkleed rechtmatig kan zijn. In de Kabinetsreactie op het bericht in de Volkskrant gaat het hier nader op in. Zie in dit kader ook de antwoorden op de vragen 40, 41 en 42.

Transparantie voor overige AI-systemen

(64) De leden van de CDA-fractie vragen hoe de rol van de burger is geregeld in de verordening en dan in het bijzonder hoe de burger in staat gesteld zal worden om grip te houden op welke wijze zij worden onderworpen aan automatische besluitvorming en kunstmatige intelligentie. Klopt het dat burgers geen mogelijkheden worden gegeven om inzicht te krijgen in hoe en in welke mate zij onderworpen zijn aan kunstmatige intelligentie in de verordening, mogelijkheden die de AVG wel biedt op het terrein van eigen persoonsgegevens?

(64) Voor het antwoord op deze vraag wordt verwezen naar het antwoord op vraag 45.

Toezicht en governance

De leden van de CDA-fractie kunnen zich vinden in de vragen en bezwaren van het kabinet over de wijze waarop het toezicht en de governance is geregeld in de verordening. Door te kiezen voor een brede reikwijdte en open definities zal er automatisch ook meer gevraagd worden van het toezicht, zo menen deze leden. (65) Deze leden vragen naar de consequenties van deze uitgangspositie van het kabinet op dit punt. (66) Ook vragen deze leden of het kabinet bereid is om in voorbereiding op de verordening actief na te denken over de wijze waarop het toezicht in Nederland vormgegeven moet gaan worden en welke capaciteit daarvoor nodig is. Het is daarbij van belang dat we niet verrast worden door mogelijke gevolgen en capaciteitsvragen zoals in het verleden weleens is gebeurd, zo menen deze leden.

(65) De inzet van het kabinet is inderdaad om de definities en formuleringen aan te scherpen, zie voor de inzet de antwoorden op de vragen 1 tot en met 6.

(66) Het kabinet is hiertoe bereid. Zie de antwoorden op de vragen 16–19, 50 en 55.

Innovatie en regeldruk

De leden van de CDA-fractie waarderen de aandacht voor een wetgevend kader dat innovatievriendelijk is, waarbij hoge nalevingskosten worden vermeden en met oog voor het belang van kleine organisaties en bedrijven, zoals het mkb. Deze leden lezen dat die organisaties en bedrijven voorrang kunnen krijgen bij experimenteerruimtes, waaronder «regulatory sandboxes», digitale innovatiehubs en test- en experimenteerfaciliteiten voor AI-systemen. (67) Is reeds bekend onder welke voorwaarden bijvoorbeeld mkb-bedrijven hier toegang toe kunnen krijgen? Tijdens de coronacrisis is gebleken dat het voor mkb en starters lastig is om eigen, doorgaans kostbare Research & Development (R&D)-capaciteit aan te houden. (68) Zullen kleinere bedrijven straks toegang hebben tot de digital innovation hubs, om van daaruit samen te werken met de R&D-afdeling van grote(re) bedrijven? (69) Hoe is financiering hiervan/hiervoor geregeld? (70) Kan het kabinet aangeven hoe het staat met de «infrastructuur» van eerdergenoemde experimenteerruimtes in Nederland? Zijn er bijvoorbeeld voldoende test- en experimenteerfaciliteiten, verspreid over het land, waar het mkb op laagdrempelige wijze AI-systemen kan laten testen, niet alleen de mkb-koplopers maar ook het brede mkb-peloton? Het kabinet schat in dat regeldruk- en nalevingskosten voor mkb-bedrijven, startups en kleine organisaties in de praktijk hoger zullen uitvallen, met mogelijk een rem op innovatie tot gevolg. (71) Hoe gaat het kabinet zich er concreet voor inzetten dat administratieve verplichtingen «zo lastenluw en effectief mogelijk» worden vormgegeven, zowel in Nederland als in Europees verband?

(67–71) Het kabinet is in gesprek met de Commissie om specifieke criteria en condities voor deelname aan een regulatory sandbox te concretiseren (zie tevens antwoord 21). Daarnaast pakt Nederland actief een rol in Europese initiatieven zoals de EDIHs (European Digital Innovation Hubs) en de TEFs om zo Nederlandse bedrijven en (publieke) organisaties goed aan te laten sluiten op Europese en nationale handreikingen/initiatieven. Via het nieuwe Europese programma Digital Europe wordt o.a. ingezet op een netwerk van Nederlandse EDIHs. Bedrijven zullen straks toegang krijgen tot het netwerk van European Digital Innovation Hubs (EDIHs). Een EDIH zal één loket zijn om, met name, het mkb met een relatief hoge adoptiesnelheid («early majority») te ondersteunen. Ondersteuning wordt geboden door bedrijven innovaties te laten testen op het gebied van de toepassing en implementatie van digitalisering. Tevens worden bedrijven geholpen hun opschaling te financieren. De EDIH fungeert als schakel tussen financiers en het mkb. De EDIH versterkt het ecosysteem van de regio, hierdoor kan de samenwerking tussen grote en kleine bedrijven ook sterker worden. Dit netwerk van EDIHs heeft een regionale spreiding in Nederland en eveneens in Europa. Tot en met 2023 is financiering hiervoor beschikbaar gesteld vanuit regionale, nationale en Europese middelen. Ook de test- en experimenteerfaciliteiten (TEFs) zullen bestaan uit een Europees netwerk. Hier kunnen de allernieuwste AI-systemen worden getest door bedrijven en andere (publieke) organisaties, door te experimenteren in een levensechte omgeving voordat de AI-systemen in gebruik worden genomen of op de markt worden gebracht. Via het Europese Digital Europe programma wordt hier eveneens aan gewerkt.

Daarnaast is het kabinet voornemens een MKB-toets uit te voeren. De MKB-toets voor EU-voorstellen is identiek aan de toets die voor nationale wetgeving wordt uitgevoerd. Aan de hand van een panelgesprek zal het voorstel worden getoetst op doelmatigheid, werkbaarheid, uitvoerbaarheid en regeldrukeffecten voor kleine en middelgrote ondernemers. Op basis van de uitkomsten hiervan kan samen met ondernemers worden beoordeeld wat wel of niet werkbaar is voor bedrijven met behoud van het beoogde beschermingsniveau. De uitkomsten van de MKB-toets kunnen worden gebruikt bij de onderhandelingen over de conceptverordening.

Consumentenbescherming

Consumentenorganisaties wijzen erop dat de verordening geen specifieke consumentenrechten bevat, om consumenten te beschermen tegen de risico’s van AI. Als voorbeelden worden genoemd het ontbreken van een recht op transparantie, een recht op uitleg, een recht om een algoritmisch besluit aan te vechten of een het recht om een klacht in te dienen bij een vermoedelijke inbreuk. (72) Hoe kijkt het kabinet hier tegenaan? Biedt de huidige wetgeving consumenten voldoende bescherming ten aanzien van AI? Kan dit worden geïllustreerd met voorbeelden?

(72) In de conceptverordening die een horizontale insteek kent worden aanvullende regels geïntroduceerd met betrekking tot het op de markt brengen/in gebruik nemen van AI-systemen (en het toezicht daarop), maar geen nieuwe rechten voor burgers en consumenten. Het kabinet begrijpt dat deze conceptverordening hier ook niet voor bedoeld is, maar benadrukt het belang dat dit in specifieke (consumenten)regelgeving wel goed geborgd is. Het kabinet vindt het belangrijk voor burgers en consumenten dat zij hun recht kunnen halen en dat duidelijk is hoe zij dat kunnen doen. Als zij dat doen op basis van bestaande (EU en nationale) wetgeving, die productveiligheid en fundamentele rechten beschermen, moet duidelijk zijn welke rol de aanvullende verplichtingen uit het voorliggende voorstel daarbij spelen. Het kabinet zal aan de Commissie vragen om dit te verduidelijken.

De huidige consumentenregelgeving biedt al mogelijkheden om de consument te beschermen tegen eventuele keerzijde van AI-systemen. Het is bijvoorbeeld niet toegestaan om consumenten te misleiden of verkeerd te informeren. Hierbij is niet relevant welk middel een bedrijf inzet. Daarnaast wordt in Europees verband bezien of bestaande richtlijnen moeten worden aangepast met het oog op nieuwe technologieën, zoals AI-systemen. Zo introduceert de Richtlijn modernisering consumentenbescherming, die per 22 mei 2022 moet zijn geïmplementeerd, een aantal informatieverplichtingen die (mede) zien op AI-systemen. Voor online marktplaatsen (platforms) gaat bijvoorbeeld gelden dat zij algemene informatie (bijvoorbeeld over de belangrijkste standaardparameters) beschikbaar moeten stellen over hoe de rangschikking van het aanbod wordt bepaald. In het voorstel voor een DSA wordt voorgesteld om aan (zeer grote) online platforms meer transparantieverplichtingen op te leggen als het gaat om online advertenties en aanbevelingsalgoritmes.

Verder wordt bezien of de Richtlijn productaansprakelijkheid moeten worden aangepast, zodat slachtoffers met schade die veroorzaakt is door AI-toepassingen ook voldoende beschermd worden. Tot slot heeft het kabinet in reactie op de door de Commissie conceptverordening algemene productveiligheid het belang benadrukt dat de regels van deze Verordening ook van toepassing moeten zijn op producten met een AI-functionaliteit. In andere regelgeving, zoals de AVG, zijn er ook regels die zien op automatische besluitvorming. Voor een nadere toelichting verwijst het kabinet naar de beantwoording van vraag 45.

Het kabinet blijft bij al deze stappen oog houden voor de eventuele keerzijden die de ontwikkelingen op het gebied van AI met zich mee kunnen brengen en blijft hierover graag in gesprek met ondernemers en consumentenorganisaties.

Vragen en opmerkingen van de leden van de SP-fractie

De leden van de SP-fractie hebben kennisgenomen van de fiches over kunstmatige intelligentie en hebben hierover nog enkele vragen en opmerkingen. Kunstmatige intelligentie is niet inherent slecht of goed en biedt kansen, maar ook hele grote uitdagingen. Dat betekent dat regulatie noodzakelijk is. (73) De leden van SP-fractie vragen wel waarom er veel bevoegdheden bij de Europese Commissie worden belegd, waaronder een grote rol in het toezicht. Deze leden achten dit ondemocratisch en onwenselijk. Kan het kabinet in gaan op de wenselijkheid van zo’n grote rol van de Europese Commissie?

(73) Het kabinet onderschrijft dat AI-systemen grote kansen bieden, maar ook uitdagingen, waarvoor regelgeving nodig is om risico’s te voorkomen. De conceptverordening introduceert spelregels die gelden voor de interne markt voor AI-systemen en het kabinet verwelkomt Europese wetgeving met bepaalde bevoegdheden voor de Commissie. In de conceptverordening wordt het toezicht op AI-systemen belegd bij de toezichthoudende instanties in de lidstaat waarin de aanbieder van het systeem gevestigd is. Deze benadering sluit aan bij het bestaande systeem ten aanzien van productveiligheidsbeoordelingen, waarbij een CE-markering wordt toegekend. Het functioneren van de interne markt zou worden ondermijnd als aanbieders bij elke lidstaat afzonderlijk een goedkeuring zouden moeten vragen, in plaats van enkel bij de lidstaat van vestiging. Het feit dat een toezichthoudende instantie in een lidstaat beoordeelt of een product of dienst, in dit geval een AI-systeem, kan worden toegelaten tot de interne markt maakt het echter wel noodzakelijk dat lidstaten er onderling op kunnen vertrouwen dat deze beoordeling door toezichthoudende instanties in andere lidstaten deugdelijk en consistent wordt uitgevoerd. Om dit te borgen is coördinatie op Europees niveau wenselijk, waarbij de Commissie en toezichthoudende instanties erop toezien dat de regels in alle lidstaten goed worden toegepast. Nederland stelt dit onderwerp aan de orde stellen tijdens de raadswerkgroepen. Voorop staat dat toezicht voldoende onafhankelijk moet kunnen functioneren.

Ten aanzien van de bevoegdheden om onder meer de bijlagen over de definitie en de lijst hoog-risico AI-systemen aan te passen wordt verwezen naar het antwoord op de vragen 118, 119 en 120 en het BNC-fiche pagina 13–15. Het kabinet hecht belang aan een betekenisvolle rol voor de lidstaten en consultatie met belanghebbenden bij het aanpassen van de bijlagen en onderzoekt welke procedure daar het beste bij aansluit.

De leden van de SP-fractie maken zich onder andere grote zorgen over profilering, ratingsystemen (publiek én privaat) en grove privacy-schendingen. Een van de grootste uitdagingen op het gebied van kunstmatige intelligentie is hoe bijvoorbeeld de menselijke waardigheid beschermd kan blijven. (74) Hoe kijkt het kabinet hiertegen aan? Is het kabinet bereid een ethische commissie in te stellen die hier bijvoorbeeld advies over uit kan brengen? Zo nee, waarom niet?

(74) Het kabinet vindt het belangrijk om de menselijke waardigheid te beschermen, ook bij de inzet van AI-systemen. Die inzet mag er bijvoorbeeld niet toe leiden dat mensen als datapunten worden gezien. De menselijke waardigheid is vervat in het Handvest van de Europese Unie (artikel 1) dat zijn uitwerking heeft in Europese wetgeving. De menselijke waardigheid komt hiermee impliciet aan bod in de verordening. In de beantwoording op vraag 45 zegt het kabinet dat het huidige recht reeds eisen stelt aan overheidsbesluitvorming waarbij nieuwe technologie gebruikt wordt, en dat de verordening dit verder verstevigt door eisen te stellen aan hoog risico AI-systemen. Daarnaast is de afgelopen jaren de (inter)nationale aandacht voor ethiek rondom de inzet van AI terecht flink toegenomen. Zo hebben dit voorjaar onderhandelingen plaatsgevonden over de door UNESCO voorgestelde Ethics of AI Recommendation. Deze aanbeveling wordt in november 2021 tijdens de General Conference aan de UNESCO-lidstaten aangeboden met het doel de aanbeveling aan te nemen. Daarnaast voert het kabinet ook actief beleid op de bescherming van ethiek en de menselijke waardigheden zoals in een aantal brieven is beschreven.²¹ Het kabinet meent dat de ethische uitdagingen al voldoende in kaart gebracht zijn en ziet daarom momenteel geen reden om nog een ethische commissie in te stellen.

Biometrische identificatie

De leden van de SP-fractie lezen dat systemen voor voorspellend politiewerk en gezichtsherkenning deels aan banden worden gelegd. (75) In hoeverre valt de huidige Nederlandse politiepraktijk hieronder? (76) Wat is de inzet van het kabinet als het gaat om biometrische herkenningssystemen op grote schaal? Pleit het kabinet voor een totaalverbod, zowel in de publieke als de private sector en zo nee, waarom niet? (77) Kan het kabinet ook ingaan op waarom emotieherkenningsystemen niet onder de regels vallen en wat het standpunt van het kabinet over deze systemen is? (78) Vindt het kabinet het bijvoorbeeld wenselijk als bedrijven gebruik kunnen maken van technologieën in huiskamers, waarmee emoties worden herkend, om zo het aanbod van deze bedrijven beter af te stemmen? Deelt het kabinet de mening dat dit en soortgelijke systemen per definitie een veel te grote inbreuk zijn op de privacy bijvoorbeeld? Zo nee, waarom niet?

(75) Het kabinet heeft eerder laten weten dat een structurele inzet van een breed vertakt, real-time gezichtsherkenningstechnologie, waarbij mensen continu en overal in kaart worden gebracht, onwenselijk is, niet alleen in Nederland, maar ook in andere Europese lidstaten.²² In Nederland zou zich dit ook niet verhouden tot het in de Wet politiegegevens neergelegde kader voor gegevensverwerkingen door de politie en de wettelijke kaders met name weergegeven in artikel 3 Politiewet en de bijzondere opsporingsmiddelen in het Wetboek van Strafvordering. De in de conceptverordening voorgestelde aanvullende eisen met betrekking tot hoog-risico AI-systemen zouden ingevolge artikel 6 lid 2 jo. bijlage III gaan gelden voor meerdere systemen die door de Nederlandse politie worden ingezet, bijvoorbeeld voor biometrische systemen bedoeld voor identificatie «achteraf» (en dus niet real-time).

Het in artikel 5 lid 1 sub d voorgestelde verbod op real-time biometrische identificatie op afstand in openbare ruimte in het kader van de rechtshandhaving zou ertoe leiden dat de politie hier in beginsel geen gebruik meer van mag maken, tenzij sprake is van de in het artikel opgenomen uitzonderingssituaties. De conceptverordening bepaalt verder dat Nederland conform artikel 5 lid 4 in nationaal recht vast kan leggen onder welke voorwaarden dit gebruik wél wordt toegestaan. In artikel 5 leden 2 en 3 wordt voorts bepaald dat er door een gerechtelijke- of onafhankelijke administratieve autoriteit in beginsel vooraf toestemming moet worden gegeven voor het gebruik van genoemde systemen. De korpsleiding van de politie heeft de Minister van Justitie en Veiligheid laten weten dat zij geen toestemming heeft gegeven voor de toepassing van biometrische surveillance, in de zin van realtime gezichtsherkenning, in de publieke ruimte. Dit impliceert dat de huidige politiepraktijk omtrent biometrische identificatie op afstand in de publieke ruimte niet wordt geraakt, maar dat eventueel toekomstig gebruik in de wet nader gespecificeerd moet worden en aan strengere eisen wordt verbonden. Mocht de politie overwegen om (in overeenstemming met de op dat moment geldende wetgeving) wél real-time gezichtsherkenningstechnologie in de publieke ruimte te gaan toepassen, dan zal uw Kamer hierover worden geïnformeerd.

(76) Het kabinet is niet voor een totaalverbod, omdat dit een rechtmatig gebruik in de weg staat. Het pleit veeleer voor strikte voorwaarden en voldoende waarborgen met betrekking tot de inzet van biometrische identificatiesystemen. Het kabinet verwijst verder naar de brief aan uw Kamer inzake het bericht in De Volkskrant.

(77) In de conceptverordening zijn de aanvullende regels voor hoog-risico AI-systemen van toepassing op AI-systemen die zijn bedoeld om de emotionele toestand van een natuurlijk persoon in kaart te brengen, zij het in het kader van asiel, migratie of grenscontroles, dan wel in het kader van de rechtshandhaving. Dergelijke AI-systemen in andere context worden ex artikel 52 van de conceptverordening gebonden aan additionele transparantieregels. Het kabinet beziet, zoals vermeld in antwoord op vraag 39, of voor dergelijke systemen (in aanvulling op het bestaande juridisch kader) nog verdere eisen moeten gelden. Teneinde hier een goed geïnformeerde en breed gedragen positie over in te kunnen nemen zal het kabinet over dit onderwerp een ronde tafel sessie met betrokken belanghebbenden uit de wetenschap, het bedrijfsleven, belangenorganisaties en de overheid organiseren.

(78) Bedrijven kunnen ingevolge het bestaande juridisch kader niet zomaar gebruik maken van dergelijke ingrijpende systemen. Daarvoor zal onder meer een rechtsgrond in de zin van artikel 6 AVG moeten bestaan. Het geven van toestemming door de betrokkenen ligt daarbij het meest voor de hand, waarbij aan alle in artikel 7 AVG geformuleerde vereisten omtrent het geven van toestemming moet worden voldaan. Daarbij vereist de AVG ook dat toestemming vrijelijk moet worden gegeven en dat de betrokkene voldoende geïnformeerd is over de gevolgen van zijn keuzes.²³ Ook stelt de AVG eisen met betrekking tot proportionaliteit, subsidiariteit en noodzakelijkheid van de te verwerken gegevens. Het kabinet heeft geen principieel oordeel over de keuzes die burgers maken om bepaalde technologie – logischerwijs behoudens strafbare of onrechtmatige systemen – in eigen huis te gebruiken.

Sociale Ratingsystemen

De leden van de SP-fractie hebben grote twijfels bij het gebruik van ratingsystemen. Hoewel er tegenwoordig voor zo ongeveer elke online-klik om feedback gevraagd wordt, kan het leiden tot uitsluiting en bijvoorbeeld onterechte ontslagen. Deze leden steunen daarom van harte een verbod op ratingsystemen. (79) De vraag is echter wel waarom dit alleen voor de publieke sector geldt. Waarom mag een groot bedrijf als Uber bijvoorbeeld zowel zijn chauffeurs als zijn klanten laten raten? Ziet het kabinet ook ethische bezwaren en zo ja, wat gaan zij hierop ondernemen? (80) In hoeverre spelen de argumenten voor een vrije (Europese) markt in deze discussie een rol volgens het kabinet? Hoe reflecteert het kabinet hierop?

(79) Zie het antwoord op vraag 38 waarin het kabinet aangeeft zich te beraden op een standpunt hierover.

(80) Het streven naar een vrije markt houdt volgens het kabinet in algemene zin niet in dat er geen regels kunnen worden gesteld aan private bedrijven. In de concept-verordening is dat ook goed te zien. De concept-verordening heeft als doel om ervoor te zorgen dat AI-systemen die op de Europese markt worden gebracht en gebruikt, veilig en in overeenstemming zijn met de geldende fundamentele rechten en waarden binnen de EU. Dat draagt ook bij een veilige interne markt. En daartoe bevat de concept-verordening regels die ook gelden voor private partijen. Ook in het Nederlands recht zijn voorbeelden te vinden van zulke regels, denk bijv. aan het arbeidsrecht en het gegevensbeschermingsrecht.

Dodelijke autonome wapens

De leden van de SP-fractie betreuren dat er niet gesproken wordt over dodelijke autonome wapens. (81) In hoeverre heeft dat volgens het kabinet te maken met de instelling van een Europees defensiefonds, waarbij er geïnvesteerd wordt in het ontwikkelen van autonome wapens? (82) Deze leden vragen naar wat het kabinet verstaat onder betekenisvolle menselijke controle als maatstaf voor dit soort wapens. Is het kabinet alsnog bereid om te pleiten voor een volledig verbod op zogenaamde LAWS (Lethal Autonomous Weapons Systems)? Zo nee, waarom niet?

(81) Er wordt niet gesproken over dodelijke autonome wapens omdat in dit voorstel AI-systemen die uitsluitend voor militaire doeleinden worden ontwikkeld of gebruikt uitgesloten zijn van de verordening wanneer dat gebruik onder de exclusieve bevoegdheid valt van het gemeenschappelijk buitenlands en veiligheidsbeleid, zoals geregeld in titel V van het Verdrag betreffende de Europese Unie (VEU). Het kabinet volgt de redenering van de Commissie in dezen. Dit heeft dan ook geen verband met de instelling van een Europees defensiefonds.

(82) Het kabinet verstaat onder betekenisvolle menselijke controle dat de mens een cruciale rol speelt tijdens de besluitvorming voordat het wapen wordt ingezet. Het internationale recht dat het gebruik van geweld reguleert, is ook van toepassing op autonome wapens. In 2015 heeft de Adviesraad Internationale Vraagstukken (AIV) een rapport geschreven over Autonome wapensystemen en de noodzaak van betekenisvolle menselijke controle. De regering is in afwachting van het geactualiseerde rapport van de AIV over dit onderwerp dat dit najaar zal verschijnen.

Het kabinet is tegen het gebruik en de ontwikkeling van volledige autonome wapensystemen. Het is de verantwoordelijkheid van de staat om bij de inzet van alle soorten wapensystemen te voldoen aan internationaal recht. Bij volledig autonome wapensystemen kan hieraan niet worden voldaan. Namens Nederland zet Defensie zich, samen met Buitenlandse Zaken, in op eerbiediging en handhaving van deze bestaande internationale regels. Ook op dit punt hoopt het kabinet spoedig op advies van de AIV.

Handhaving

Het is voor de leden van de SP-fractie geen verrassing dat aanbieders van hoog-risico soft- en hardware zelf verantwoordelijk worden gemaakt voor kwaliteitstoetsing. De zelfregulatiezucht is echter bij systemen die zo ontzettend veel risico’s met zich meebrengen volgens deze leden volstrekt onvoldoende. (83) Hoe ziet het kabinet dit?

(83) Zoals in antwoorden op de vragen 10 tot en met 13 geschreven wordt een nieuw conformiteitssysteem gecreëerd voor autonome hoog risico AI-systemen die niet onder productveiligheidswetgeving of de wetgeving uit bijlage II, deel A vallen. De conformiteitsbeoordeling doet niet af aan het feit dat er ook achteraf toezicht wordt gehouden op de naleving van deze regels. Voor deze AI-systemen moeten de aanbieders een conformiteitsbeoordeling (laten) uitvoeren en vervolgens het AI-systeem aanmelden in een door de Commissie beheerde databank. Het kabinet is van mening dat deze systematiek tot goede resultaten kan leiden in het naleven van de vereisten zoals geformuleerd voor hoog AI-systemen en buigt zich over de vraag of er voldoende waarborgen in de conceptverordening staan om op te treden tegen onvoldoende conformiteitsbeoordelingen.

De overheid heeft een belangrijke taak om te voorkomen dat bij het invoeren van kunstmatige intelligentie de menselijke waardigheid niet geborgd is en er bijvoorbeeld op basis van onjuiste data ingrijpende beslissingen worden genomen. (84) Acht het kabinet zich voldoende in staat deze essentiële taak uit te voeren en te handhaven? (85) Hoe staat het inmiddels met de uitvoering van de motie van het lid Marijnissen c.s. (Kamerstuk 35 510, nr. 21)?

(84) Het kabinet acht zich in voldoende staat om deze essentiële taak uit te voeren. Graag verwijst het kabinet naar de antwoorden op vraag 24 en 45 waar ingegaan wordt op juridische kaders en op vragen 10–13 en 100 over conformiteitseisen in relatie tot transparantie.

(85) De Staatssecretaris van BZK heeft uw Kamer toegezegd²⁴ voor de begrotingsbehandeling van BZK, een eerste rapportage over de voortgang te sturen. Deze ontvangt u nog voor het herfstreces. Conform de Kamerbrief van de Staatssecretaris van BZK met het voorstel²⁵ hebben alle departementen voorbereidingen getroffen om uitvoering te geven aan de motie. Er zijn departementale projectleiders beschikbaar, er zijn plannen van aanpak opgesteld en in de meeste gevallen zijn departementen begonnen met de uitvoering van de werkzaamheden. Het Ministerie van Sociale Zaken en Werkgelegenheid heeft zijn werkzaamheden al eerder afgerond en uw Kamer hierover geïnformeerd²⁶. Het Ministerie van Algemene Zaken verwacht in de eerste helft van 2022 een eindrapportage te kunnen opleveren. Op dit moment is een inventarisatie naar het bestaan en gebruik van afkomst gerelateerde indicatoren binnen dat departement bijna klaar. Het Ministerie van Financiën voert nu het traject «Herstellen, Verbeteren, Borgen» uit en informeert uw Kamer hier regelmatig over.

Vragen en opmerkingen van de leden van de GroenLinks-fractie

De leden van de GroenLinks-fractie zijn blij met het verschijnen van de verordening betreffende kunstmatige intelligentie, die deze leden zien als een belangrijke stap richting effectieve regulering van het snel toenemende aantal toepassingen dat hier gebruik van maakt. Zij hebben echter nog vragen over de details.

De leden van de GroenLinks-fractie vinden de verbodsbepaling, onder artikel 5, onduidelijk geformuleerd. (86) Wat wordt bedoeld met subliminale technieken en het wezenlijk verstoren van gedrag en waarom zijn deze enkel verboden wanneer dit waarschijnlijk zal leiden tot directe fysieke of psychologische schade aan individuele personen? (87) Ligt de bewijslast om dit aan te tonen exclusief bij de betroffen individuen? (88) Erkent het kabinet dat manipulatie via AI-systemen ook ernstige maatschappelijke gevolgen kan hebben, ook wanneer directe fysieke of psychologische schade aan individuen niet aantoonbaar is? Is het kabinet bereid om zich in te zetten voor een verduidelijking en verbreding van de verbodsbepaling op dit punt? (89) Is het kabinet van mening dat aanbevelingsalgoritmen die nepnieuws en schokkende of extreme content promoten om individuele personen langer op het platform te houden ten einde meer advertenties te laten zien ook een vorm van subliminale techniek is gericht op het wezenlijk verstoren van het gedrag van personen?

(86) Het kabinet verwijst u door naar het antwoord op vraag 32.

(87) Het kabinet verwijst u door naar het antwoord op de vragen 34 en 35.

(88) Het kabinet verwijst u door naar het antwoord op de vragen 34 en 35.

(89) De conceptverordening is alleen van toepassing waar het gaat om subliminale technieken als deze leiden tot schade voor de fysieke of geestelijke gezondheid van deze of een andere persoon. De doelstelling iemand langer op een platform te houden ten einde meer advertenties te laten zien, valt in de lezing van het kabinet onder de conceptverordening als dit leidt tot dergelijke schade. Er moet daarbij opgemerkt worden dat deze conceptverordening niet op zichzelf staat maar samenhangt met andere Europese (wetgevende)trajecten. Zo wil de Commissie met het wetsvoorstel voor de Digital Services Act (DSA) onder andere bijdragen aan het mitigeren van systemische risico’s die de allergrootste online platformen met zich meebrengen. Om deze systemische risico’s tegen te gaan wordt onder andere gekeken naar transparantie over de werking van aanbevelingssystemen op de allergrootste online platformen. Dit betekent dat er meer transparantie en daarmee inzicht komt over de werking en het effect van deze algoritmen. Dit is wat het kabinet betreft een positieve ontwikkeling.

De leden van de GroenLinks-fractie vragen met betrekking tot het verbod op AI-systemen gericht op sociale scores voor een classificatie van de betrouwbaarheid van natuurlijke personen, waarom dit alleen zou gaan gelden voor overheidsinstanties, en niet voor private bedrijven. (90) Is het gebruik van AI-gedreven sociale score systemen door private bedrijven in potentie niet net zo schadelijk? Wat is de kabinetsinzet op dit vlak?

(90) Aanvullend op de AVG bevat de verordening een verbod op AI-systemen die gebruik maken van subliminale technieken. Het kabinet erkent de risico’s van de inzet van subliminale technieken en hecht waarde aan een helder verwoord verbod en neemt dit mee in de onderhandelingen over de conceptverordening. In de beantwoording van de vragen 32–35, 38 en 86–89 gaat het Kabinet hier verder op in.

De leden van de GroenLinks-fractie vragen waarom het verbod op biometrische surveillance in de openbare ruimte zich beperkt tot real-time identificatie. (91) Wat is de definitie van real-time? Zou het gebruik van gezichtsherkenningstechnologie op live beelden, maar met 10 seconden vertraging, dan niet onder dit verbod vallen? Hoe wenselijk is dat? (92) Daarnaast vragen deze leden waarom het verbod op biometrische surveillance in de openbare ruimte gelimiteerd is tot surveillance «met het oog op de rechtshandhaving». (93) Is surveillance in de openbare ruimte met een ander doel of door private partijen ook niet net zo schadelijk?

(91) Zie antwoord op vragen 43 en 62.

(92) en (93) Zie hierover ook de kabinetsreactie op het bericht in de Volkskrant. De AVG biedt weinig ruimte voor de inzet van gezichtsherkenning in horizontale relaties, dus tussen private partijen onderling. De eisen voor de verwerking van biometrische gegevens zijn in de AVG reeds streng, in hoofdzaak omdat dit zogeheten «bijzondere persoonsgegevens» zijn die vallen onder het verwerkingsverbod in artikel 9 AVG. Op dit verwerkingsverbod zijn slechts beperkte uitzonderingen mogelijk. Daarbij geldt dat ook in gevallen waarin wel sprake is van een uitzondering er nog steeds een DPIA moet worden uitgevoerd. Het kabinet heeft daarbij aangegeven artikel 29 van de UAVG – dat een beperkte grondslag biedt voor de verwerking van biometrische gegevens – verder aan te willen scherpen door een dubbele noodzakelijkheidstoets in de wet te verankeren. Het kabinet ziet geen aanleiding om bovengenoemde uitgangspunten te verruimen en begrijpt de keuze van de Commissie om het verbod in artikel 5 lid 1 sub d op deze wijze vorm te geven.

De leden van de GroenLinks-fractie maken zich ook zorgen over de uitzonderingsruimte van het verbod die wordt geboden in Artikel 5 (d). Met deze ruime formulering, zeker onder lid (iii), vrezen deze leden dat er alsnog veelvuldig gebruik kan worden gemaakt van biometrische surveillance in de openbare ruimte. (94) Deelt het kabinet deze zorg? (95) Wat vindt het kabinet verder van de gezamenlijke oproep van de Europese privacy-toezichthouders, waaronder de Autoriteit Persoonsgegevens, om gezichtsherkenning, stemherkenning en bewegingsherkenning in de openbare ruimte volledig te verbieden? Is het kabinet bereid om zich hiervoor in te zetten in Europees verband? (96) Kan het kabinet in deze context ook een appreciatie geven van de aangehouden motie van het lid Van der Lee c.s. (Kamerstuk 21 501-20, nr. 1706)?

(94) Het kabinet benadrukt dat de verwerking van biometrische gegevens in beginsel is verboden. In bijgevoegde kabinetsreactie op het bericht in de Volkskrant wordt nader ingegaan op het juridisch kader daaromtrent. De conceptverordening schrijft op dit punt aanvullende eisen voor. Het feit dat een bepaalde situatie niet verboden is onder deze verordening betekent dus niet dat het gebruik in die situatie wordt toegestaan: daarvoor zal aan alle relevante voorwaarden uit onder andere de AVG moeten worden voldaan.

(95, 96) Het kabinet verwijst hiervoor naar zijn brief aan uw Kamer inzake het bericht in De Volkskrant.

De Europese toezichthouders pleiten daarnaast voor een verbod op AI-systemen die mensen indelen in groepen op basis van etniciteit, geslacht, seksualiteit of politieke voorkeur, omdat dit discriminatie in de hand werkt. (97) De leden van de GroenLinks-fractie vragen of het kabinet dit pleidooi ondersteunt en zich hier in Europees verband voor in wil zetten. Tenslotte pleiten de Europese toezichthouders ook voor een verbod op alle vormen van kunstmatige intelligentie voor het herkennen van emoties. (98) Deze leden vragen of het kabinet dit pleidooi ondersteunt en bereid is om zich in te zetten om dit op te nemen in de verbodsbepaling van deze verordening.

(97) Het kabinet is geen voorstander van zo’n verbod. Het kabinet steunt uiteraard de wens om discriminatie te allen tijde te voorkomen, maar meent dat daarvoor meer geëigende middelen zijn dan een verbod zoals hier bedoeld. Zo moeten hoog risico AI-systemen in sectoren als onderwijs, werkgelegenheid of overheidsdienstverlening aan alle eisen voldoen die erop gericht zijn discriminatie te voorkomen, voordat de inzet ervan kan worden overwogen.

(98) Het kabinet verwijst ook hiervoor naar zijn brief aan uw Kamer d.d. inzake het bericht in De Volkskrant.

De leden van de GroenLinks-fractie begrijpen de logica achter de risicogerichte benadering. Deze leden hebben wel twijfels bij de uitvoering van deze benadering, die is gericht op sectoren en niet op toepassingen. (99) Wat is het risico dat hoog-risico toepassingen in sectoren die niet als hoog-risico zijn geclassificeerd, nu zonder noemenswaardige regelgeving kunnen worden toegepast, met mogelijk ernstige gevolgen van dien?

(99) De Commissie lijkt een benadering voor te stellen waarin niet de systemen of sectoren bepalend zijn voor het risico, maar het (toepassings)gebied, zie ook het antwoord op vragen 1 en 2. Daardoor geldt voor AI-systemen die in bepaalde gebieden worden toegepast, zoals rechtshandhaving of werving en selectie, aan strenge eisen moeten voldoen voordat ze op de markt worden gebracht of in gebruik worden gesteld (volgens de terminologie van de conceptverordening).

De leden van de GroenLinks-fractie vragen ook een reflectie op de nadruk die wordt gelegd in de verordening op de providers, of ontwikkelaars, van AI-systemen. (100) Erkent het kabinet dat het verkeerd gebruik van een goed ontworpen AI-systeem ook kan leiden tot de schending van mensenrechten? Zou de conformiteitsbeoordeling dan niet ook moeten worden vereist voor gebruikers van hoog-risico AI-systemen? Ook is het opmerkelijk dat personen die aan AI-systemen worden onderworpen amper voorkomen in de verordening. (101) Is het kabinet bereid zich in te zetten voor duidelijke rechten voor eenieder die wordt onderworpen aan AI-gedreven systemen, zoals het recht op transparantie, het recht op uitleg over algoritmische besluiten en het recht om dergelijke besluiten aan te vechten?

(100) Het is uiteraard belangrijk dat juist AI-systemen met een hoog risico nauwgezet worden gecontroleerd op mogelijke schendingen van mensenrechten. Leveranciers (aanbieders) moeten een conformiteitsbeoordeling (laten) verrichten voordat een dergelijk AI-systeem op de markt wordt gebracht of in gebruik wordt genomen. Hiermee kunnen ze laten zien dat het AI-systeem voldoet aan de vereisten voor betrouwbare AI. De aanbieder moet mede met het oog op het risico’s voor de grondrechten, de gebruiker informeren over eventuele bekende of te voorziene omstandigheden die tot misbruik kunnen leiden (zie artikel 13, derde lid). Verder legt artikel 29 verplichtingen op aan gebruikers, waaronder het gebruiken van het AI-systeem in overeenstemming met de gebruiksaanwijzingen. Tot slot ziet artikel 10 uit de conceptverordening op de eis van menselijk toezicht op hoog risico-AI-systemen en ook op situaties van redelijkerwijs te voorzien misbruik.

Het kabinet meent dat de concept-verordening een belangrijke bijdrage kan leveren aan het voorkomen van mensenrechtenschendingen. Maar dat neemt natuurlijk niet weg dat zulke schendingen onverhoopt toch kunnen voorkomen. In dit verband is het goed om te wijzen op het aanvullende karakter van de verordening. Deze treedt dus niet in de plaats van al bestaande remedies voor mensenrechtenschendingen. Ook al bestaande eisen en verplichtingen voor gebruikers blijven gelden. Denk hier bijvoorbeeld aan het uitvoeren van een DPIA (art. 35 AVG). De Commissie heeft bevestigd dat ook de overheid leverancier kan zijn, bijvoorbeeld wanneer een overheidsorganisatie zelf een hoog risico AI-systeem ontwikkelt, voor eigen gebruik. In dat geval is de overheid dus tegelijkertijd leverancier en gebruiker en zal zij dus de conformiteitstoets moeten (laten) verrichten.

(101) Het kabinet verwijst voor het antwoord van deze vraag naar het antwoord op vraag 45 en (specifiek m.b.t consumentenbescherming) het antwoord op vraag 72.

De leden van de GroenLinks-fractie vragen het kabinet ook in te gaan op de centrale rol van zelfbeoordelingen in deze verordening. (102) Op welke manier is er sprake van onafhankelijke externe toetsing op de kwaliteit van zelfbeoordelingen en op het daadwerkelijk naleven van de uitgangspunten van de verordening?

(102) Artikel 43 van de conceptverordening bepaalt wanneerconformiteitsbeoordelingen op basis van interne controle plaats kan vinden, dan wel op basis van toetsing door een derde instantie. Het kabinet bestudeert momenteel de systematiek rond de conformiteitsbeoordeling en met name de kwaliteitswaarborgen, zie ook het antwoord op vraag 83. Het is van belang dat de conceptverordening zoveel mogelijk aansluit bij goede voorbeelden en bestaande systematiek rond de naleving van producteisen, waarin zowel interne als onafhankelijke externe controles een rol hebben.

De leden van de GroenLinks-fractie ondersteunen de inzet van deze verordening op verhoogde transparantie bij het gebruik van AI-systemen. Deze leden merken echter op dat de interpretatie van transparantie zich lijkt te beperken tot het informeren over het feit dat er gebruik wordt gemaakt van AI-systemen. (103) Is dat niet een veel te beperkte benadering, zo vragen deze leden? Is het kabinet bereid om zich ervoor in te zetten dat de verordening ook transparantie afdwingt over de wijze waarop AI-systemen werken en hoe deze tot hun uitkomsten en besluiten komen, met name richting personen die aan AI-systemen worden onderworpen?

(103) Het kabinet verwijst voor het antwoord van deze vraag naar het antwoord op vraag 45.

De leden van de GroenLinks-fractie hebben ook vragen bij het standaardisatieproces. (104) Wat is de positie van het kabinet over het feit dat het opstellen van deze normen of standaarden wordt gedelegeerd aan private instellingen zoals CEN (Europese Commissie voor Standaardisatie) en CENELEC (Europese Commissie voor Elektrotechnische Standaardisatie)? (105) Erkent het kabinet dat de details van deze standaarden gevolgen hebben voor fundamentele rechten, en deelt het kabinet de mening dat experts op het gebied van fundamentele rechten en AI en ethiek ook bij dit standaardisatieproces betrokken moeten worden? Zo ja, op welke wijze wordt dit geborgd? Zo nee, waarom niet?

(104) Rondom het standaardisatie proces en het opstellen van deze normen of standaarden volgt het kabinet wat in de Europese Verordening Nr. 1025/2012 betreffende Europese normalisatie staat. Hierin staat eveneens ook de werking van de CEN, CENELEC en Europees Telecommunicatie en Standaardisatie Instituut (ETSI). Deze organisaties zijn te beschouwen als «semi private instellingen» omdat zij met deze Europese verordening in een publieke structuur zijn ingebed²⁷. Zij zijn verplicht om jaarlijks hun werkprogramma te publiceren. Belanghebbenden van zowel de publieke als private sector kunnen deelnemen aan standaardisatieprocessen.²⁸ Voor Nederland is het Nederlands Normalisatie Instituut lid van CEN en CENELEC. Een conceptnorm wordt opgesteld door een CEN, CENELEC, of ETSI technisch comité en wordt door de nationale normalisatie-instituten gecirculeerd voor publieke consultatie en nationale afstemming

Het kabinet neemt nationaal en Europees een actieve positie in bij de ontwikkeling van standaarden voor het ontwikkelen en gebruiken van algoritmen. Naast de reguliere deelname aan Europese standaardisatiegremia wordt er ook deelgenomen aan diverse AI-comités binnen de Europese Standaardisatie Organisaties CEN, CENELEC en ETSI.

De Commissie is nu in gesprek met de ESOs over de voorbereidingen voor standaardisatie gerelateerd aan de conceptverordening. Agentschap Telecom neemt deel aan die voorbereidingen en ook aan de volgende comités in de NEN, CEN, CENELEC en ETSI:

• NEN Normcommissie Artificial Intelligence en Big Data die verwant is aan CEN-CENELEC Joint Technical Committee 21 «Artificial Intelligence».

• ETSI OCG AI die AI in ETSI coördineert.

• ETSI ISG Securing Artificial Intelligence (ISG SAI).

Het kabinet erkent dat deze standaarden gevolgen hebben voor fundamentele rechten. Het kabinet hecht waarde aan het consulteren van relevante belanghebbenden om hier beter zich op te krijgen en betrokkenheid van experts op het gebied van fundamentele rechten te borgen. Ook buigt het kabinet zich nog over de samenhang tussen internationale normen zoals worden vastgesteld door gremia zoals het ISO en IEEE en Europese en nationale normen.

Tenslotte vragen de leden van de GroenLinks-fractie naar de klimaateffecten van het toenemend gebruik van kunstmatige intelligentie. (106) Zou klimaatimpact niet moeten worden meegewogen in de classificatie en regulering van AI-systemen?

(106) Het kabinet kan zich vinden in aanpak van de Commissie om AI-systemen aan verplichtingen te onderwerpen op basis van het risico op schade aan gezondheid en veiligheid en op schendingen van mensenrechten. Hieruit kan worden geconcludeerd dat ook schade aan gezondheid en mensenrechten als gevolg van klimaatverandering kan worden meegenomen, bijv. bij de aanvulling van de lijst met hoog-risico systemen. Het kabinet is zich ervan bewust dat er tegelijk wordt gewerkt aan hernieuwde voorstellen om producten aan nieuwe vereisten te onderwerpen in relatie tot klimaatimpact. Het kabinet en hecht waarde aan consistentie en complementariteit van Europese productregulering en blijft hierover in contact met de Commissie en experts.

Vragen en opmerkingen van de leden van de Volt-fractie

De leden van de Volt-fractie hebben de BNC-fiches over de concept Verordening betreffende Kunstmatige Intelligentie («AI-verordening») en de Mededeling Bevorderen Europese aanpak inzake Kunstmatige Intelligentie met grote belangstelling gelezen. Deze leden onderschrijven het belang van innovatie en technologische ontwikkelingen, waarbij publieke waarden, zoals het beschermen van grondrechten en de basisbeginselen van de Europese Unie, centraal staan. In dat kader is regulering van de toepassing van kunstmatige intelligentie essentieel. Deze leden zijn benieuwd naar de overwegingen die het demissionaire kabinet heeft meegenomen in aanloop naar haar positiebepaling ten aanzien van de concept AI-verordening. (107) Hoe is het demissionaire kabinet tot haar positie ten aanzien van de verordening gekomen? Wie heeft het demissionaire kabinet hiervoor geraadpleegd? Welke afwegingen zijn gemaakt en in hoeverre is het standpunt van het demissionaire kabinet, te lezen in de fiches, definitief? Hoe voorziet het demissionaire kabinet eventuele tussentijdse bijstelling van de positie tijdens het onderhandelingsproces, in de raadswerkgroep- en Coreper-fase, wordt de Kamer hierin meegenomen?

(107) Het overleg tussen het kabinet en de Tweede Kamer is van groot belang voor de positiebepaling en tussentijdse bijstelling van standpunten zoals worden ingenomen tijdens de onderhandelingen over deze conceptverordening. Het kabinet ontwikkelt standpunten door onder meer te bestuderen hoe de conceptverordening zich verhoudt met bestaande regelgeving, wat de gevolgen zijn van nieuwe vereisten aan AI-systemen binnen de rijksoverheid, uitvoeringdiensten en decentrale overheden. Daarnaast consulteert het kabinet belanghebbenden zoals het bedrijfsleven, maatschappelijke organisaties, wetenschappers, kennisinstellingen en toezichthouders.

Sinds de publicatie van het Witboek AI²⁹ en daarna de voorstellen voor een verordening en mededeling zijn stakeholderbijeenkomsten georganiseerd en er vinden voortdurende bilaterale gesprekken plaats. De interne afstemming binnen het kabinet en consultatie met andere belanghebbenden krijgt gedurende de hele onderhandelingsperiode aandacht. De uitkomsten van deze processen worden ten minste voorafgaand aan de bijeenkomsten van de Telecomraad waar de Europese Ministers over de conceptverordening besluiten aan uw Kamer voorgelegd. In aanvulling daarop kunt u om technische briefings of aanvullende informatie verzoeken.

Innovatie is een middel om publieke waarden te laten floreren. De leden van de Volt-fractie zien het dan ook als een voorwaarde dat bij de inzet van AI-systemen altijd de vraag wordt gesteld welke maatschappelijke impact dit heeft. (108) Deze leden vragen het demissionaire kabinet dan ook allereerst hoe zij bescherming van publieke waarden bij de wetsonderhandelingen van de AI-verordening zal betrekken.

(108) Het kabinet heeft in eerdere beleidsbrieven aan de Kamer aangegeven dat het benutten van maatschappelijke en economische kansen van AI samen moet gaan met het borgen van mensenrechten en publieke belangen (zie ook het antwoord op vraag 45). Nederland zet in op AI-systemen die de mens dienen, veilig zijn en vertrouwd kunnen worden, die publieke waarden borgen en waarbij een goede rechtsbescherming verzekerd is.

Nederland zal het belang van publieke waarden en mensenrechten centraal blijven zetten en zal benadrukken dat zoveel mogelijk moet worden aangesloten bij bestaande (EU-)wettelijke kaders die mensenrechten en publieke waarden borgen.

Zoals het demissionaire kabinet terecht opmerkt bevat de concept AI-verordening een aantal vage definities. Zo bestaat onduidelijkheid over de definitie van AI (artikel 3, sub 1). (109) Hoe definieert het demissionaire kabinet AI? (110) Welke definitie wenst het demissionaire kabinet in de verordening terug te zien, zodat de definitie recht doet aan de wetenschappelijke en dagelijkse praktijk, en tegelijkertijd uitputtend is? Welke afwegingen heeft het demissionaire kabinet meegenomen in de vaststelling van de definitie en in hoeverre is de positie van het kabinet beklonken?

(109, 110) Voor de positie van het kabinet over de definitie van AI-systeem in samenhang met risicocategorieën wordt u verwezen naar de antwoorden op vragen 1 tot en met 6.

Daarnaast bestaat onduidelijkheid over aanbieders (artikel 3, sub 2) en gebruikers (artikel 3, sub 4) en de wijze van kwalificatie van actoren. (111) Welke definities zouden volgens het demissionaire kabinet in de concept-verordening moeten worden opgenomen en welke overwegingen liggen daaraan ten grondslag? (112) Waar zou volgens het demissionaire kabinet de grens tussen provider en gebruiker moeten liggen en is zij voornemens deze visie te delen in aanstaande wetsonderhandelingen?

(111, 112) Voor het kabinet is inmiddels duidelijk dat openbare en particuliere marktdeelnemers zowel aanbieders als gebruikers van AI-systemen kunnen zijn, waardoor een gelijk speelveld in de EU voor AI-systemen wordt bevorderd. Het kabinet onderzoekt momenteel hoe deze definities doorwerken bij ministeries, uitvoeringsinstellingen, decentrale overheden en andere belanghebbenden, zoals bedrijven en in het bijzonder het mkb, en houdt ook het maatschappelijke debat over de AI-verordening in de gaten. Momenteel zijn er door het kabinet nog geen aanpassingen voor de definities opgesteld, maar zodra deze gereed zijn is het kabinet voornemens deze in te brengen ten behoeve van de wetsonderhandelingen in Brussel.

(113) Hoe gaat het demissionaire kabinet ervoor zorgen dat duidelijkheid ontstaat over de definities en actoren, zodat coherentie met bestaande regelgeving wordt geborgd (zowel huidige als in ontwerp zijnde Nederlandse en EU wet- en regelgeving)? Wat zal daarbij de inzet zijn van het demissionaire kabinet? Waarin ziet zij ruimte voor verbetering ten aanzien van coherentie met bestaande regelgeving? De leden van de Volt-fractie stellen dat de concept AI-verordening onduidelijk is over welke AI-systemen als hoog-risico moeten worden gezien (artikel 5). (114) Deelt het demissionaire kabinet deze mening? (115) Deelt het demissionaire kabinet de mening dat de concept AI-verordening een beperkte definitie van hoog-risico AI definieert? Zo ja, wat zou er volgens het demissionaire kabinet onder hoog-risico moeten vallen? Zo nee, waarom niet? (116) Hoe beoordeelt het demissionaire kabinet de restrictieve definitie van hoog-risico AI en de daardoor beperkte reikwijdte van de verordening? (117) Acht het demissionaire kabinet het beschermingsniveau voldoende? Zo ja, waarom? Zo nee, hoe zou de reikwijdte er volgens het demissionaire kabinet dan uit moeten zien en hoe gaat het demissionaire kabinet dit in Europa bewerkstelligen?

(113–117) Het kabinet vraagt tijdens bijeenkomsten met de Commissie om verduidelijking en ontwikkelt standpunten over verbeteringen aan definities en actoren in de conceptverordening. Daarbij is expliciete aandacht voor de coherentie met bestaande regelgeving. Hiervoor wordt in verschillende sectoren, en in het bijzonder de gebieden waar AI-systemen als hoog-risico worden gezien, gekeken naar consistentie terminologie. Zie de antwoorden op vragen 1–6 over definities en risicocategorieën, waarin is aangegeven dat het kabinet zich in algemene zin kan vinden in de voorgestelde reikwijdte en risicocategorieën en momenteel werkt aan het formuleren van verdere standpunten en aanscherpingen op basis van de inzichten uit de workshops en raadswerkgroepen en consultaties met belanghebbenden.

(118) Hoeveel bewegingsvrijheid zou de Europese Commissie moeten hebben om de lijst met hoog-risico AI-systemen in de toekomst aan te vullen (artikel 7)? Welke kaders ziet het demissionaire kabinet voor deze bewegingsvrijheid? (119) In hoeverre zal het demissionaire kabinet ervoor zorgen dat de lidstaten voldoende mogelijkheden behouden om de samenstelling van de lijst te kunnen controleren? (120) Wat wordt de inzet van het demissionaire kabinet in de wetsonderhandelingen en hoe, en in samenwerking met wie, is deze onderhandelingsinzet tot stand gekomen?

(118, 119, 120) In artikel 7 staan de voorgestelde voorwaarden en systematiek beschreven voor aanpassingen aan bijlage III. De Commissie stelt voor dit per gedelegeerde handeling vast te stellen, wat een beperkte rol voor lidstaten en het EP behelst. Het kabinet is van mening dat het van belang is om lidstaten en andere belanghebbenden een betekenisvolle rol te geven bij het aanpassen van de bijlagen van de conceptverordening en beraad zich op de manier waarop dit is verwoord in de conceptverordening, in consultatie met verschillende stakeholders.

(121) Wil het demissionaire kabinet het gebruiken van biometrische identificatie door politie en justitie in een beperkt aantal uitzonderingsgevallen toestaan? Zo ja, welke uitzonderingsgevallen betreft dit? (122) Is het demissionaire kabinet bekend met de open brief van Access Now, Amnesty International, European Digital Rights (EDRi), Human Rights Watch, Internet Freedom Foundation (IFF), en Instituto Brasileiro de Defesa do Consumidor (IDEC)³⁰? Onderschrijft het demissionaire kabinet de zorgen over de potentiële risico’s van de uitzonderingen voorgesteld in de AI-verordening, waarbij het gebruik van biometrische identificatie door politie en justitie wel is toegestaan? Zo ja, hoe gaat het demissionaire kabinet ervoor zorgen dat deze risico’s worden gemitigeerd? Zo nee, waarom niet? (123) Is het demissionaire kabinet van mening dat het gebruik van biometrische gegevens voor identificatie door private bedrijven geheel verboden moet worden? Zo ja, wat is daarvoor de onderbouwing? Zo nee, hoe is dit standpunt tot stand gekomen en wie waren er betrokken bij dit besluitvormingsproces? Welke afwegingen liggen daaraan ten grondslag en hoe heeft het demissionaire kabinet die afwegingen gemaakt?

(121, 122) Het kabinet benadrukt dat de conceptverordening op geen enkele wijze het gebruik van biometrische identificatie «toestaat»; het niet expliciet verbieden van een bepaalde praktijk betekent niet dat er a contrario een grondslag voor bestaat. Biometrische identificatie is in de door de wet omschreven gevallen toegestaan, bijvoorbeeld wanneer in een strafrechtelijk traject de identiteit van de verdachte of veroordeelde wordt vastgesteld en geverifieerd. Identificatie en verificatie kan plaatsvinden met of zonder biometrische gegevens. Een verdachte is verplicht hieraan mee te werken.³¹

Het kabinet is bekend met de genoemde open brief. De brief roept op tot een verbod op het gebruik van biometrisch herkenningstechnologie waarmee discriminerende massasurveillance mogelijk is. Het verwijst hiervoor naar de Kamerbrief over gezichtsherkenning, waarin de Minister van Justitie en Veiligheid de Tweede Kamer heeft laten weten dat een structurele inzet van een breed vertakt, real-time gezichtsherkenningstechnologie, waarbij mensen continu en overal in kaart worden gebracht, niet past bij de samenleving die hij voor staat.³²

De Wet politiegegevens (Wpg) en de Wet justitiële en strafvorderlijke gegevens (Wsjg) geven waarborgen die de verwerkingsverantwoordelijke na moet leven, waaronder bijvoorbeeld de verplichting een Data Protection Impact Assessment (DPIA) uit te voeren. Dat is het geval als een gegevensverwerking waarschijnlijk een hoog privacy risico oplevert voor de mensen van wie de organisatie gegevens verwerkt. Hierbij komt dat de conceptverordening additionele eisen stelt aan hoog-risico AI-systemen, die er onder meer op toezien om – in aanvulling op de daarvoor reeds geldende maatregelen onder de AVG, Wpg en Wsjg – maatregelen te nemen om onrechtmatige inbreuken op grondrechten, waaronder discriminatie, te voorkomen. Dergelijke systemen moeten tevens voordat zij in gebruik worden genomen een conformiteitsbeoordeling doorstaan. Ingevolge artikel 6 lid 2 jo. Annex III van de conceptverordening zullen ook biometrische identificatiesystemen aan deze aanvullende regels worden onderworpen. Dit vindt het kabinet een begrijpelijke keuze.

(123) Zie antwoord op vragen 92 en 93.

De Europese privacy waakhonden EDPS en EDPB roepen op tot een algeheel verbod op sociale scores, aangezien dit in strijd is met de fundamentele waarden van de EU en tot discriminatie kan leiden. (124) Deelt het demissionaire kabinet de mening dat het gebruik van sociale scoresystemen niet past binnen een vrije en open samenleving? (125) Deelt het demissionaire kabinet de mening dat social scores niet alleen verboden zou moeten worden voor overheidsinstanties, maar ook voor private partijen (zoals bijvoorbeeld verzekeraars)? Zo ja, met welke inzet zal het demissionaire kabinet dit in de EU bewerkstelligen? Zo nee, waarom niet? (126) Wat is de visie van het demissionaire kabinet ten aanzien van de rechtshandhaving voor social scores? Is het demissionaire kabinet voornemens hier op Europees niveau toezicht op te houden? Zo ja, hoe zal dit toezicht vormgegeven worden? Zo nee, op basis van welke overwegingen is deze keuze tot stand gekomen?

(124) Voor antwoord op deze vraag wordt verwezen naar het antwoord op vraag 37.

(125) Zie hiervoor het antwoord op vraag 38.

(126) Hier verwijst het kabinet graag naar de antwoorden op de vragen 16 tot en met 19.

(127) In het verlengde hiervan vragen de leden van de Volt-fractie welke vormen van onbewuste sturing van burgers (zoals micro-targeting) het demissionaire kabinet ongewenst acht en of het demissionaire kabinet van mening is dat de concept AI-verordening voldoende beschermingsniveau biedt om deze ongewenste sturing te voorkomen. Hoe is het demissionaire kabinet tot deze conclusie gekomen? (128) In het geval dat de concept AI-verordening onvoldoende bescherming biedt, hoe is het demissionaire kabinet voornemens dit op Europees niveau aan te kaarten en zich hiervoor hard te maken?

(127, 128) Het kabinet onderkent de risico’s van micro-targeting. Waar het gaat om micro-targeting van burgers is de AVG het wetgevend kader. De AVG bepaalt onder welke voorwaarden persoonsgegevens verwerkt mogen worden. Deze voorwaarden gelden ook voor de toepassing van micro-targeting. Aanvullend bevat deze verordening een verbod op AI-systemen die gebruik maken van subliminale technieken. In de beantwoording van vraag 32- 35 en de antwoorden op de vragen 86 tot en met 89 gaat het kabinet hier verder op in. Het kabinet hecht aan een helder verwoord verbod en neemt dit in algemene zin mee in de onderhandelingen over de conceptverordening. Er zijn ook andere manieren om de negatieve effecten van micro-targeting tegen te gaan. Het kabinet is bijvoorbeeld voorstander van het vergroten van transparantie rondom technieken die worden gebruikt door de internetdiensten. Daar waar het gaat om onbewuste sturing is het dan ook van belang dat gebruikers meer inzichten krijgen in welke techniek er gebruikt wordt om een bericht te tonen en op basis waarvan dit gebeurt. Alleen op die manier kunnen burgers zelf informatie op waarde schatten. Daarnaast wil de Commissie met het wetsvoorstel voor de Digital Services Act (DSA) onder andere bijdragen aan de bestrijding van systemische risico’s die de allergrootste online platformen met zich meebrengen. Om deze systemische risico’s tegen te gaan wordt onder andere gekeken naar transparantie over de werking van aanbevelingssystemen op de allergrootste online platformen.

Het kabinet beraadt zich nog op een standpunt en gaat daarover graag in gesprek met betrokken belanghebbenden uit de wetenschap, het bedrijfsleven, belangenorganisaties en de overheid.

Het Europees Parlement zal waarschijnlijk aandringen op een strenger verbod ten aanzien van het gebruik van technologieën voor voorspellend politiewerk (zoals biometrische surveillance). (129) Hoe denkt het demissionaire kabinet over de wens van het EP ten aanzien van het aandringen op een strenger verbod? Hoe zou dat verbod er volgens het demissionaire kabinet uit moeten zien? Is het demissionaire kabinet van mening dat er een algemeen verbod zou moeten komen voor het gebruik van technologieën voor voorspellend politiewerk? Welke afweging ligt daaraan ten grondslag en hoe heeft het demissionaire kabinet die afweging gemaakt? (130) Deelt het demissionaire kabinet het oordeel dat er een algemeen verbod moet komen voor biometrische surveillance in de publieke ruimte? Welke afweging ligt daaraan ten grondslag en hoe heeft het demissionaire kabinet die afweging gemaakt? Hoe weegt het demissionaire kabinet de daarbij betrokken grondrechten die mogelijk in het geding komen?

(129) Het idee achter «informatiegestuurd politiewerk» is dat een (verhoogde) aanwezigheid van de politie op plekken en tijdstippen waar een verhoogde kans is op bepaalde typen delicten kan bijdragen aan de voorkoming ervan. Dit is op zichzelf niet nieuw, het is al langer gangbaar voor de politie om inzet te concentreren op plekken waar dat nodig is. Predictive policing draagt bij aan de inzichten in het achterliggende probleem van een bepaald type criminaliteit en kan zo een bijdrage leveren aan de veiligheid. Tegelijkertijd is predictive policing niet een directief instrument en geeft het geen deterministische voorspelling. De uitkomsten van een data-analyse worden bovendien altijd via menselijke tussenkomst door de politie getoetst en geduid voordat zij worden toegepast. De Wet politiegegevens kent verschillende waarborgen om verwerkingen behoorlijk, rechtmatig en transparant te laten zijn.

(130) Het kabinet deelt dit oordeel niet en verwijst verder naar zijn brief aan uw Kamer d.d. inzake het bericht in De Volkskrant.

Het is voor de leden van de Volt-fractie onduidelijk hoe de risicoanalyse van aanbieders van AI-systemen met een hoog-risico die de markt willen betreden eruit moet komen te zien en welke actoren deze conformiteitsbeoordeling moeten uitvoeren. (131) Hoe oordeelt het demissionaire kabinet over het proces van zelfevaluatie voor aanbieders van hoog-risico AI-systemen? (132) Welke kaders zouden er volgens het demissionaire kabinet moeten worden gesteld voor dergelijke zelf risicoanalyses? Biedt de concept verordening volgens het demissionaire kabinet voldoende kaders? (133) Deelt het demissionaire kabinet de mening dat de administratieve lasten en complexiteit van de zelf risicoanalyses ervoor kunnen zorgen dat de betrouwbaarheid en kwaliteit van beoordelingen achteruitgaan, met als gevolg dat de (hoog-risico) AI-systemen alsnog beperkt betrouwbaar zijn? Zo ja, hoe gaat het demissionaire kabinet ervoor zorgen dat dit voorkomen wordt? Zo nee, waarom niet?

(131–133) Zie het antwoord op vragen 10 tot en met 13 en 83.

De leden van de Volt-fractie onderschrijven nogmaals het belang van regulering van AI, maar uiten ook zorgen over de implicaties voor midden- en kleine ontwikkelaars en publieke organisaties. De mogelijke administratieve lasten en complexiteit van de uitvoering kan toetreden tot de markt voor deze organisaties, zeker ten opzichte van grote technologiebedrijven, lastiger maken. (134) Welke maatregelen gaat het demissionaire kabinet nemen om ervoor te zorgen dat het de implicaties voor de uitvoering en implementatie van de uiteindelijke AI-verordening organisaties – in het bijzonder mkb-bedrijven en publieke organisaties – zo efficiënt en goed mogelijk beheerst? Op basis van welke afwegingen heeft het kabinet deze maatregelen opgesteld en is de keuze voor deze maatregelen definitief? Deze leden denken daarbij bijvoorbeeld aan: (i) tijdige en bruikbare voorlichtingscampagnes; (ii) handvatten om in aanloop naar de invoering van de AI-verordening al in lijn met de AI-verordening te ontwikkelen; (iii) het aanbieden of ondersteunen van organisaties bij het maken van impact assessments voor de implementatie van de AI-verordening; en (iv) financiële middelen om organisaties te ondersteunen, zodat de AI-verordening er niet voor zorgt dat de ontwikkeling van innovatie AI-toepassingen stopt en de markt niet langer toegankelijk wordt voor kleine ontwikkelaars.

(134) Zie de antwoorden op vraag 7–13. Het kabinet dankt de Volt-fractie voor de suggesties voor het ondersteunen van mkb en publieke organisaties. Het kabinet consulteert verschillende belanghebbenden, zoals het mkb (zie antwoord op de vragen 67–71) maar is ook voornemens rondetafelgesprekken te organiseren. Goede voorbeelden uit eerdere implementatietrajecten van Europese regelgeving worden meegenomen in de uiteindelijke uitvoering van deze conceptverordening.

Het beschermingsniveau dat de transparantieregels voor gebruikers van AI-systemen biedt, zoals omschreven in artikel 13 van de concept verordening, is beperkt. (135) Deelt het demissionaire kabinet het standpunt dat de bepalingen in de concept verordening onvoldoende mogelijkheden bieden voor gebruikers van AI-systemen om te controleren of de uitkomsten van het gebruik van AI-systemen juist en rechtmatig zijn? Zo ja, met welke inzet zal het demissionaire kabinet ervoor zorgen dat burgers die te maken krijgen met AI-systemen van private partijen, maar in het bijzonder ook overheidsorganisaties, de mogelijkheid krijgen om de uitkomsten van deze AI-systemen te controleren op rechtmatigheid en indien dit ontbreekt daartegenop te treden? Zo nee, waarom niet?

(135) Het kabinet verwijst graag naar het antwoord op vraag 45.

(136) Is het demissionaire kabinet een voorstander van het verplicht openbaar maken van broncodes van AI-software? Zo ja, welke afwegingen liggen hieraan ten grondslag? Zo nee, welke afwegingen liggen hieraan ten grondslag? (137) Is het standpunt van het demissionaire kabinet afgewogen tegen de positie van andere Europese lidstaten en is er in aanloop naar de vaststelling van de positie met hen overlegd? Zo ja, welke zaken zijn meegenomen in de positiebepaling en welke heeft het kabinet achterwege gelaten en waarom? Zo nee, waarom is dit niet meegenomen en in de positiebepaling? (138) Welke grondrechten heeft het demissionaire kabinet in die afweging meegenomen? (139) In hoeverre kunnen de leden van de Volt-fractie constateren dat de positie van het demissionaire kabinet is beklonken?

(136–139) Over het verplicht maken van broncodes van AI-systemen moet het kabinet nog verder in beraad. In april 2020 introduceerde het kabinet de beleidslijn «Open, tenzij» (Kamerstuk 26 643, nr. 676). Het leidende principe is dat software (waaronder dus alle AI) die met publieke middelen is ontwikkeld, zoveel mogelijk aan de samenleving wordt teruggegeven.

Ook wordt momenteel uitvoering gegeven aan de motie van het lid Kröger (Kamerstuk 27 529, nr. 245). Deze motie beoogt om het voornoemde kabinetsbeleid «Open, tenzij» te borgen in de aanbestedingspraktijk. Gewerkt wordt aan een handreiking voor inkopers die zij bijv. kunnen gebruiken om (bestaande of nieuw te ontwikkelen) AI onder een open source licentie te verwerven.

Ten aanzien van de wetsonderhandelingen hebben de leden van de Volt-fractie een aantal vragen. (140) Hoe is het demissionaire kabinet voornemens om tussentijds de Kamer te informeren ten aanzien van de wetsonderhandelingen die de komende jaren gevoerd zullen worden in de raadswerkgroepen? Kan het demissionaire kabinet toezeggen de Kamer tweemaandelijks te informeren over de onderhandelingspositie van het (demissionaire) kabinet, de overwegingen en eventuele nuanceringen op de positie of nadere detaillering volgend uit de wetgevingsonderhandelingen? (141) In hoeverre gaat het demissionaire kabinet bovenstaande overwegingen geopperd door deze leden meenemen in de onderhandelingen?

(140, 141) Het kabinet informeert uw Kamer via de reguliere kanalen over de onderhandelingen over de conceptverordening, zoals de geannoteerde agenda van Telecomraad die twee tot vier keer per jaar plaats vindt. De overwegingen van de Tweede Kamer worden door het kabinet meegenomen bij de onderhandelingen over de conceptverordening, met name wanneer er sprake is van standpunten die door de hele Kamer worden ondersteund.

Tot slot de toepassing van AI-systemen binnen en door de overheid. (142) Hoe gaat het demissionaire kabinet ervoor zorgen dat de capaciteit en kennis binnen alle overheidsorganen ten aanzien van het gebruik en de impact van AI-systemen op orde is? Welke concrete maatregelen zal het demissionaire kabinet hiervoor nemen? (143) Welk ministerie zal eindverantwoordelijke worden voor de implementatie, uitvoering en handhaving van de AI-verordening? Indien verschillende departementen verantwoordelijk zullen zijn voor de AI-verordening, hoe zal tussen deze departementen worden samengewerkt om coherentie, efficiëntie en effectiviteit te borgen?

(142) Voor wat betreft de vraag over capaciteit en kennis verwijzen we graag naar het antwoord op vraag 27. Voor een overzicht van de overheidsbrede maatregelen om AI verantwoord in te zetten wordt verwezen naar de Kamerbrief Voortgang AI en algoritmen (Kamerstuk 26 643, nr. 765).

Verder heeft de Algemene Rekenkamer (ARK) onderzoek gedaan naar het gebruik van algoritmen en AI door de rijksoverheid.³³ Hiervoor heeft de ARK een toetsingskader ontwikkeld. Momenteel werkt ARK aan een vervolgonderzoek waarbij ze haar toetsingskader verder beproeft en verdiepend onderzoek doet naar het verantwoord inzetten van algoritmen in de bedrijfsvoering en bij de uitvoering van beleid in de brede context van het beleidsproces. De ARK verwacht medio zomer 2022 dit rapport te publiceren.

(143) Het kabinet is de invulling van de ministeriële verantwoordelijkheid aan het inventariseren. Ook hierbij zal de invulling afhankelijk zijn van de uitkomsten uit de kabinetsformatie. Hiermee is er ook nog weinig te zeggen over eventuele andere of nieuwe coördinatie tussen departementen. Op dit moment wordt intensief samengewerkt aan de concept AI-verordening tussen de verschillende departementen waaronder in ieder geval EZK, BZK en JenV.

---

1 Zie Impact Assessment SWD(2021) 84 Final PART 1, paragraaf 6.1.3, pagina 65.

2 Privacyverklaring Autoriteit Persoonsgegevens | Autoriteit Persoonsgegevens.

3 Zie SWD (2021) 84.

4 Kamerstukken 30 821 en 35 165, nr. 118.

5 Kamerstuk 26 643, nr. 779.

6 https://hai.stanford.edu/news/offering-ai-expertise-policymakers-both-sides-atlantic.

7 https://docs.microsoft.com/en-us/learn/modules/ai-strategy-in-government/4-government-executive-qa?WT.mc_id=sitertzn_homepage_mslearn-card-aibusinessschool&ns-enrollment-type=LearningPath&ns-enrollment-id=learn.ai-business-school-government.

8 https://ecer.minbuza.nl/ecer/eu-essentieel/delegatie-uitvoering-comitologie/delegatie.html.

9 Kamerstuk 21 501-33, nr. 875.

10 COM(2021) 205.

11 Kamerstukken 30 821 en 35 165, nr. 118.

12 edpb_guidelines_201903_video_devices_nl.pdf (europa.eu) overweging 62 tot en met 86.

13 Artikel 35 AVG.

14 Artikel 5 AVG.

15 Kamerstuk 32 761, nr. 173.

16 Kamerstuk 34 926, nr. 11.

17 Kamerstuk 26 643, nr. 765.

18 Kamerstuk 26 643, nr. 726.

19 https://led.pleio.nl/files/view/9a19ccc1-65d7-44e7-a86c-c38a2d073eb9/richtlijnen-algoritmen.pdf.

20 Kamerstuk 26 643, nr. 765.

21 Kamerstuk 26 643, nr. 765; Kamerstuk 26 643, nr. 642.

22 Kamerstukken, 32 761 en 30 821, nr. 152.

23 Zie daarover ook overweging 32 bij de AVG.

24 Kamerstuk 35 510, nr. 54.

25 Kamerstukken 26 643 en 32 761, nr. 751.

26 Kamerstuk 26 448, nr. 652.

27 Ze zijn Europese Standaardisatie Organisaties (ESOs).

28 Zie voor meer informatie onder meer overweging 2 en artikel 5 van de EU Verordening Nr. 1025/2012.

29 COM(2020) 65.

30 Open letter calling for a global ban on biometric recognition technologies that enable mass and discriminatory surveillance d.d. 7 juni 2021 (Bron: Final version of ban biometric surveillance statement – ENG (accessnow.org).

31 Artikel 29a, tweede lid, Sv.

32 Kamerstukken 32 761 en 30 821, nr. 152.

33 Kamerstuk 26 643, nr. 737.