35 913 Mededeling van de Commissie aan het Europees Parlement, de Raad, het Europees Economisch en Sociaal Comité en het Comité van de regio's: Bevordering van een Europese benadering van artificiële intelligentie (COM(2021)205) | Voorstel voor een Verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de Unie (COM(2021)206) | Voorstel voor een Verordening van het Europees Parlement en de Raad betreffende machineproducten (COM(2021)202)

D BRIEF VAN DE VOORZITTER VAN DE VASTE COMMISSIE VOOR JUSTITIE EN VEILIGHEID

Aan vicevoorzitter Šefčovič van de Europese Commissie

Den Haag, 5 november 2021

De leden van de vaste commissie voor Justitie en Veiligheid hebben met belangstelling kennisgenomen van de mededeling van de Europese Commissie, d.d. 21 april 2021¹, betreffende het bevorderen van een Europese aanpak van artificiële intelligentie (2021) (hierna: mededeling). Zij willen de vragen van een aantal leden graag ter beantwoording aan de Europese Commissie voorleggen.

De fractieleden van GroenLinks onderschrijven de noodzaak voor en het belang van het voorstel voor de AI-verordening vanuit de Europese Unie. De fractieleden hebben wel de nodige aanvullende vragen aan de Europese Commissie. De fractieleden van de PvdA en SP sluiten zich graag bij deze vragen aan.

De Europese Commissie kiest ervoor om subliminale technieken en het wezenlijk verstoren van gedrag te verbieden als dit tot directe fysieke of psychologische schade aan individuen leidt. Waarom kiest de Commissie voor de voorwaarde van directe fysieke of psychologische schade, terwijl AI-systemen juist ook ernstige maatschappelijke gevolgen kunnen hebben zonder directe schade bij individuen? Is de Europese Commissie bereid om directe fysieke, psychologische schade uit te breiden naar een bredere maatschappelijke context? Zo nee, kan de Europese Commissie dan aangeven waarom zij dit gevaar niet ziet? En is het aan individuen om die subliminale verstoring van gedrag met schade tot gevolg te bewijzen? Kan de Europese Commissie in haar antwoord tevens ingaan op de aanbevelingsalgoritmen die nepnieuws en schokkende of extreme content promoten om individuele personen langer op het platform te houden ten einde meer advertenties te laten zien? Is de Europese Commissie van mening dat dit ook subliminale technieken zijn die het gedrag van personen en breder ook de maatschappij wezenlijk verstoren?

Waarom heeft de Europese Commissie er niet voor gekozen om AI-gedreven sociale score systemen ook binnen de private sector te reguleren? Is de Europese Commissie het met genoemde fractieleden eens dat EU-burgers die weigeren zichzelf in de private sector te laten «scoren», niet mogen worden uitgesloten van producten of diensten als zij deze keus maken? Zou de Europese Commissie zo breed mogelijk kunnen reflecteren op haar keuze van onderscheid en welke gevaren, waaronder ook rechtstatelijke aspecten inzake het recht op gelijke behandeling, hierdoor dreigen? Is de Europese Commissie bereid om de regelgeving op dit punt uit te breiden en te verstevigen vanuit het perspectief van burgers?

De Europese Commissie heeft ervoor gekozen om het verbod op biometrische surveillance in de openbare ruimte te beperken tot real-time identificatie. Kan de Europese Commissie uiteenzetten waarom zij deze keuze heeft gemaakt? Is zij het met de vragenstellers eens dat biometrische surveillance per definitie een schending van de persoonlijke levenssfeer inhoudt, real-time of niet? Hoe wordt real-time gedefinieerd door de Europese Commissie? Zou het gebruik van gezichtsherkenningstechnologie op live beelden, maar met 10 seconden vertraging, dan niet onder dit verbod vallen? Is de Europese Commissie bereid om de regelgeving op dit punt uit te breiden en te verstevigen vanuit het perspectief van burgers? Welke andere opties hebben bij het ontwerp van de verordening op tafel gelegen? Is in het huidige ontwerp eerder gekozen voor een variant waarbij de private sector nog veel speelruimte heeft inzake biometrie?

De genoemde leden dringen er bij de Europese Commissie op aan om zeer uitgebreid op dit punt en het politieke en ambtelijke proces tot dusver in te gaan. Zijn er private partijen geweest die bij de Europese Commissie hebben gelobbyd voor minder strenge regels omtrent biometrie? Zo ja, welke partijen? Zou de Commissie een exhaustieve lijst kunnen geven over zowel data en tijden als inhoud wat hierover gedeeld is? En kan de Europese Commissie tevens het conceptontwerp delen waarbij er sprake was strakke regie op biometrische gegevens en de toepassing van AI-systemen? Deze leden maken zich namelijk grote zorgen over de uitzonderingsruimte van het verbod die wordt geboden in artikel 5 (1)(d)². Met deze ruime formulering, zeker onder lid (iii), vrezen de leden dat er alsnog veelvuldig gebruik kan worden gemaakt van biometrische surveillance in de openbare ruimte. Graag een reactie van de Europese Commissie.

Wat vindt de Europese Commissie verder van de gezamenlijke oproep van de Europese privacy-toezichthouders, waaronder de Autoriteit Persoonsgegevens, om gezichtsherkenning, stemherkenning en gedragsherkenning in de openbare ruimte volledig te verbieden? Waarom heeft de Europese Commissie hier geen gehoor aan gegeven? Is zij bereid dit alsnog te doen? De Europese toezichthouders pleiten daarnaast voor een verbod op AI-systemen die mensen indelen in groepen op basis van etniciteit, geslacht, seksualiteit of politieke voorkeur, omdat dit discriminatie in de hand werkt. De leden van de vragen een appreciatie hiervan van de Europese Commissie. Tenslotte pleiten de Europese toezichthouders ook voor een verbod op alle vormen van kunstmatige intelligentie voor het herkennen van emoties. Genoemde leden vragen ook hierop een appreciatie van de Europese Commissie met het verzoek om in te zetten op een verbodsbepaling in deze verordening.

Deze leden begrijpen de logica achter de risicogerichte benadering. Zij hebben wel twijfels bij de uitvoering van deze benadering, die is gericht op sectoren en niet op toepassingen. Wat is in de ogen van de Europese Commissie het risico dat hoog-risico toepassingen in sectoren die niet als hoog-risico zijn geclassificeerd, nu zonder noemenswaardige regelgeving kunnen worden toegepast? Kan de Europese Commissie hierbij het gevaar van «function creep» meenemen, waarbij bepaalde hoog-risicotoepassing in laag-risico sectoren uiteindelijk elders worden toegepast? Graag een reactie. Is de Europese Commissie bereid om de risicogerichte benadering uit te breiden van sectoren, naar sectoren en toepassingen?

Deze leden vragen ook een reflectie op de nadruk die wordt gelegd in de verordening op de providers of ontwikkelaars van AI-systemen. Erkent de Europese Commissie dat het verkeerd gebruik van een goed ontworpen AI-systeem ook kan leiden tot de schending van mensenrechten? Zou de conformiteitsbeoordeling dan niet ook moeten worden vereist voor gebruikers van hoog-risico AI-systemen? Ook is het opmerkelijk dat personen die aan AI-systemen worden onderworpen amper voorkomen in de verordening. Is de Europese Commissie bereid zich in te zetten voor duidelijke rechten voor eenieder die wordt onderworpen aan AI-gedreven, zoals het recht op transparantie, het recht op uitleg over algoritmische besluiten en het recht om dergelijke besluiten aan te vechten?

Een wet wordt omgezet in een code. IT en AI maken het mogelijk dat alles per zin moet worden uitgeschreven. Is de Commissie het eens met de vragenstellers dat diegene die alles in IT-taal per woord en zin vertaalt, feitelijk de politieke intenties vertaalt? Momenteel doen in Nederland ambtenaren of softwareontwikkelaars dat werk, zonder dat ze weten of ze bij die uitwerking nog bezig zijn zoals de wetgever het heeft bedoeld en hoe de beginselen van behoorlijk bestuur zich hiertoe verhouden. Hoe adviseert de Europese Commissie dit politieke vertaalproces vorm te geven? Waarom heeft de Europese Commissie hier niet exhaustiever in de verordening over geschreven? Is zij bereid, gelet op de essentiële vertaalfunctie, dit alsnog te doen? Is de Europese Commissie het eens met de leden dat deze grond(rechtelijke) aspecten en beslissingen nu op een programmeertafel liggen, zowel ambtelijk als privé, en niet bij de kant van de wetgever? Wat wil de Commissie aan de uitvoerder overlaten en wat niet?

Genoemde leden maken zich zorgen over verschillende punten: Wie neemt er de verantwoordelijkheid om de discretionaire bevoegdheid in te vullen? Wie beslist uiteindelijk tot het tot de markt toelaten van een systeem? Is de Europese Commissie het met deze leden eens dat na ontwerp van het systeem er nog een controle moet zijn of de IT-vormgeving er zo uitziet dat het AI-systeem voldoet aan wat de wetgever heeft beoogd, zoals bijvoorbeeld door middel van een instantie die zegt dat de wet goed is geïnterpreteerd? Hoe ziet de Europese Commissie de rol van de rechter inzake het controleren van AI-output? Is de Europese Commissie het met de leden eens dat bedrijven zich nooit op intellectueel eigendom mogen beroepen als het de rechten van burgers raakt? Vindt de Europese Commissie dat zij hierin voldoende bescherming biedt?

De leden ondersteunen de inzet van deze verordening op verhoogde transparantie bij het gebruik van AI-systemen, maar vinden deze te beperkt. Zou het Europese model zich niet juist moeten toespitsen op een publiek model waar middels maximale open source gewerkt moet worden aan een nieuw «common» systeem? Hoe wordt «open source software» onder het voorstel gestimuleerd en waarom is er voor deze aanpak gekozen? De zelf-assessment van AI-systemen leggen grote verantwoordelijkheid en macht bij providers en ontwikkelaars, terwijl aan de kant van toezicht er veel ruimte wordt gelaten aan de lidstaten. Wat zijn in de optiek van de Europese Commissie de kwetsbaarheden van dit gekozen model? Welke andere modellen heeft de Europese Commissie overwogen? De leden maken zich zorgen dat een dergelijk systeem met industriestandaarden en zelf-assessment nakoming en handhaving van de wet niet garandeert en dat de bescherming van burgers te veel bij private bedrijven komt te liggen. Graag een appreciatie hiervan en de overweging om dit wel of niet verder aan te scherpen. Wat doet Europese Commissie eraan om ervoor te zorgen dat AI-systemen geen schade aanrichten aan het klimaat? Denkt de Europese Commissie aan milieustandaarden voor AI-systemen en software?

De leden van de vaste commissies voor Justitie en Veiligheid kijken met belangstelling uit naar de antwoorden van de Europese Commissie en ontvangen deze graag zo snel mogelijk, doch uiterlijk binnen drie maanden na dagtekening van deze brief.

De voorzitter van de vaste commissie voor Justitie en Veiligheid, De Boer

---

1 COM(2021)205; zie voor de behandeling in de Eerste Kamer dossier E210019 op www.europapoort.nl

2 COM(2021)206 Verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels betreffende Artificiële Intelligentie (Wet op de Artificiële Intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de Unie.