35 913 Mededeling van de Commissie aan het Europees Parlement, de Raad, het Europees Economisch en Sociaal Comité en het Comité van de regio's: Bevordering van een Europese benadering van artificiële intelligentie (COM(2021)205) / Voorstel voor een Verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de Unie (COM(2021)206) / Voorstel voor een Verordening van het Europees Parlement en de Raad betreffende machineproducten (COM(2021)202)

E VERSLAG VAN EEN SCHRIFTELIJK OVERLEG

Vastgesteld 16 december 2021

De leden van de vaste commissie voor Justitie en Veiligheid¹ hebben kennisgenomen van de mededeling van de Europese Commissie d.d. 21 april 2021, betreffende het bevorderen van een Europese aanpak van artificiële intelligentie COM(2021)205 en de twee daarbij gepubliceerde ontwerpverordeningen².

Naar aanleiding hiervan is op 28 oktober 2021 een brief gestuurd aan de Minister voor Rechtsbescherming.

De Minister voor Rechtsbescherming, de Minister van Economische Zaken en Klimaat, de Minister van Binnenlandse Zaken en Koninkrijksrelaties en de Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties hebben op 14 december 2021 gereageerd.

De commissie brengt bijgaand verslag uit van het gevoerde schriftelijk overleg.

De griffier van de vaste commissie voor Justitie en Veiligheid, Van Dooren

BRIEF VAN DE VOORZITTER VAN DE VASTE COMMISSIE VOOR JUSTITIE EN VEILIGHEID

Aan de Minister voor Rechtsbescherming

Den Haag, 28 oktober 2021

De leden van de vaste commissie voor Justitie en Veiligheid hebben met belangstelling kennisgenomen van de mededeling van de Europese Commissie d.d. 21 april 2021, betreffende het bevorderen van een Europese aanpak van artificiële intelligentie COM(2021)205 en de twee daarbij gepubliceerde ontwerpverordeningen³.

De leden van de VVD-fractie hebben met belangstelling kennisgenomen van de mededeling en de ontwerpverordeningen en hebben een aantal vragen. De fractieleden van GroenLinks onderschrijven de noodzaak voor en het belang van de Europese aanpak. Deze leden sluiten zich aan bij de vragen die op 10 september 2021 door Tweede Kamerfractie van GroenLinks zijn gesteld aan de regering. De leden van de fractie GroenLinks hebben wel de nodige aanvullende vragen aan de regering. De fractieleden van de PvdA en SP sluiten zich graag bij deze vragen aan.

Vragen en opmerkingen van de leden van de VVD-fractie

De leden van de VVD-fractie vinden het goed dat een Europese aanpak inzake kunstmatige intelligentie wordt voorgestaan en dat er een voorstel wordt gedaan voor geharmoniseerde regels. Het doel is om ervoor te zorgen dat AI-systemen die op de Europese markt gebracht en gebruikt worden, veilig en in overeenstemming zijn met de fundamentele rechten en waarden binnen de EU zoals onder andere neergelegd in de Europese verdragen, internationale mensrechtenverdragen en in wet- en regelgeving zoals de AVG. Tevens is het de bedoeling dat de verordening zorgt voor juridische zekerheid om investeringen en innovatie in AI te faciliteren. Deze leden zijn wel van mening dat de materie ingewikkeld is en derhalve lastig in regels is te vatten. De leden willen ook voorkomen dat de innovatiekracht van bedrijven wordt aangetast en dat er concurrentienadelen ontstaan, en daarom hebben zij een aantal vragen aan u. Bent u het met hen eens dat de definities wel erg breed zijn? Zo ja, dan zal dit kunnen leiden tot onduidelijkheid, terwijl de verordening juist bedoeld is om duidelijkheid te scheppen. De leden zouden graag inzicht krijgen in de samenhang van de verschillende regelingen die op Europees niveau worden/zijn gemaakt. Hoe kunnen de burgers en bedrijven gemakkelijk hun weg vinden in de regels? Is er voldoende aandacht voor de communicatie over de verschillende regels? Verder vragen deze leden wat er gebeurt als een land zich niet aan de verordening houdt en Nederland dit wel zou doen. Bent u het met hen eens dat dit een concurrentienadeel voor Nederlandse bedrijven met zich meebrengt? Hoe wordt er voorkomen dat de regeldruk door deze verordening te hoog wordt voor bedrijven die AI ontwikkelen of er mee werken waardoor de innovatiekracht, waar de verordening juist voor bedoeld is, achter zal blijven? Deze leden vragen u of het niet zo is dat het vooral om de data gaat waarop het systeem gebouwd is, in plaats van om het algoritme. Bent u van mening dat dat voldoende gewaarborgd is in de verordening? En zo ja, zou u dat willen toelichten? Zij vragen zich ten aanzien van de «deep learning» systemen af hoe er gewaarborgd zal worden dat discriminerende correlaties in data worden verwijderd. Bent u van mening dat het verwijderen ervan afdoende is? En is de verordening afdoende ten aanzien van de inzichtelijkheid waarop systemen worden gebouwd en de basis waarop wordt geprogrammeerd? Zijn de beslisregels duidelijk en inzichtelijk genoeg? De leden vragen zich af of er transparantie komt over welke data in het algoritme worden gebruikt. Is er een instantie die kan beoordelen of deze data bijvoorbeeld niet discriminerend zijn? Zijn er voldoende waarborgen om misbruik bij geautomatiseerde gezichtsherkenning en deepfakes in publieke ruimtes tegen te gaan?

Is er voor deze verordening gekeken naar wat er in Frankrijk en Duitsland op dit gebied al geldt en zijn deze landen als uitgangspunt genomen? Is er inzicht in de kosten die deze regels meenemen voor de ondernemers die AI-systemen bouwen en willen verhandelen? Kan u toelichten wat de taken worden van de nationale toezichthouder die aangesteld dient te worden?

Vragen en opmerkingen van de leden van de GroenLinks-fractie, mede namens de fracties van de PvdA en SP

De leden van de fracties van GroenLinks, PvdA en SP willen graag een reactie van de regering betreffende de voorbereidingen die zij treft met het oog op de implementatie van AI-verordening van de EC. Acht de regering dat de overheidsdiensten voldoende zijn geëquipeerd om deze extra verantwoordelijkheid aan te kunnen?

De regering overweegt om de toezichtfunctie bij de AP of het Agentschap Telecom of ACM te beleggen. In de verordening wordt gesteld dat de lidstaten een of meerdere nationale toezichthouders aanwijzen. De keuze voor een toezichthouder hangt af van de sector waarin een AI-systeem wordt ingezet en gebruikt. De regering schrijft: Net als bij de AVG zal toezicht op (de inzet van AI) door de gerechten voorbehouden blijven aan de rechtspraak. Daarnaast kan in voorkomende gevallen worden gekeken in hoeverre relevante andere inspecties en toezichthouders hier een verantwoordelijkheid kunnen hebben. Er zijn echter nog vragen die in overleg met Commissie (verder) moeten worden verduidelijkt om deze keuzes te kunnen maken. De verordening stelt in ieder geval dat voor AI-systemen die worden gebruikt voor rechtshandhavingsdoeleinden, de AP of de andere relevante inspectie of toezichthouder voor dit domein als de toezichthouder voor de AI-verordening zal worden aangewezen.⁴ Waarom kiest de regering voor deze overweging? Is zij het met de genoemde leden eens dat AI, nu al, maar in de nabije en verre toekomst nog veel meer fundamenteel van invloed zal zijn op het leven van mensen? Is zij het met deze leden eens, gelet op deze systeemveranderende ontwikkeling van AI, dat er eerder een speciaal daarop toegespitste toezichthouder zou moeten komen? En hoe kijkt zij aan tegen de verplichting voor techbedrijven om daar op enigerlei wijze aan bij te dragen zodat de toezichthouder qua resources voldoende geëquipeerd is en dit niet volledig met publieke middelen wordt vergoed? Hierbij zeggen deze leden niet dat deze per se moet bestaan naast de AP en Agentschap Telecom, maar wel dat het institutioneel zo wordt belegd dat de controle van AI een fundamenteel onderdeel wordt en niet, net zoals ten tijde van de AVG is gebeurd bij de AP, dat er gewoon een extra taak bijkomt zonder dat dit wordt vertaald in extra middelen en expertise. De AP gaf recentelijk zelf aan dat het toezicht op algoritmes die persoonsgegevens verwerken, niet van de grond komt⁵. Graag een uitgebreide reactie hoe de regering voornemens is dit vorm te geven? Is hier al over gesproken met de AP of Agentschap Telecom? Is de regering het eens met deze leden dat alleen al de benaming Agentschap Telecom stamt uit een tijd dat men nog niet in de verste verte kon overzien wat AI met het leven gaat doen? Graag een reactie over de inhoudelijke, procedurele, institutionele, politiek-bestuurlijke en rechtstatelijke aspecten van de toezichthoudende rol op nationaal niveau.

Tijdens een voorbereidende deskundigenbijeenkomst over AI op 18 mei 2021⁶ is het veel over de bestaande «legacy» van de IT-structuur in Nederland gegaan. Klopt het dat zo’n 70 procent van het budget voor IT opgaat aan oude systemen en onderhoud? Over hoeveel geld spreken we in Nederland? En waar wordt dit momenteel aan uitgegeven? Dus welk systeem, bij welk instituut, met welke kosten? Voorheen werden relatief eenvoudige beslisbomen door de Minister van Justitie niet getypeerd als AI-systemen. Bent u deze mening nog steeds toegedaan? En als dat zo is, hoe weegt het u dan dat de Europese Commissie heeft gekozen om deze beslisbomen, door u als eenvoudig gekwalificeerd, toch op te nemen in de AI-verordening? Bent u thans van oordeel dat u hierover in het verleden te makkelijk heeft gedacht? De leden wijzen in dit kader ook op de ontluisterende conclusies als vervat in het rapport Ongekend onrecht, waaruit de enorme gevolgen daarvan voor burgers blijken.⁷ Heeft de toeslagenaffaire niet laten zien dat regel gebaseerde algoritmen wel degelijk meer kunnen zijn dan een simpele beslisboom? Het is immers zo dat op basis van diezelfde beslisboom, op een ander niveau door een ander AI-systeem weer een andere beslissing wordt genomen, tot het moment dat er in contact wordt getreden, door een computer weliswaar, met een burger. Deze zogenoemde keteneffecten verdienen in de optiek van deze leden extra aandacht, omdat de optelsom van verschillende eenvoudige beslisbomen of regelgebaseerde algoritmen wel degelijk als een AI-systeem kunnen worden getypeerd, zonder dat er sprake is van een «machine of deep learning». Graag een reactie hierop. Onderschrijft de regering het risico dat een beslissing in het ene systeem doorwerkt in een ander systeem? Dit heeft mogelijk een uitkomst die de fundamentele rechten van burgers/de algemene beginselen van behoorlijk bestuur met voeten treden. Hoe beoordeelt de regering dit onderdeel uit de verordening?

Momenteel vertalen ambtenaren of softwareontwikkelaars, bij het implementeren van wetgeving in Nederland rondom digitale processen, wetgeving naar code en software, zonder dat ze weten of ze nog bezig zijn met implementatie zoals de wetgever het heeft bedoeld en hoe de beginselen van behoorlijk bestuur zich hiertoe verhouden. Hoe zou dit proces er idealiter uitzien, zodanig dat het politieke en wetgevende vertaalproces zo goed mogelijk wordt vormgegeven? En dat dit dermate transparant en herleidbaar is en daarop adequate controle kan worden uitgeoefend? Wat vindt de regering van de inzet van Europese Commissie op dit punt? Is zij bereid, gelet op de essentiële vertaalfunctie, erop aan te dringen bij de Europese Commissie om dit alsnog duidelijk op te nemen in de verordening? Zien de leden het goed dat deze grond(rechtelijke) aspecten en beslissingen nu aan een programmeertafel worden genomen, en niet een inzichtelijk onderdeel zijn van het wetgevingsproces? Kan de regering aangeven welke beslissingen zij op dit punt aan de uitvoerder willen overlaten en welke niet? En kan de regering aangeven hoe en in welke mate nationale parlementen kunnen toezien op de ontwikkeling van AI systemen na goedkeuring van een wet?

De genoemde leden maken zich zorgen over verschillende punten: Wie neemt er de verantwoordelijkheid om de discretionaire bevoegdheid in te vullen? Wie beslist uiteindelijk tot de ingebruikname van een systeem? Is de regering het met deze leden eens dat na ontwerp van het systeem er nog een controle moet zijn of de IT-vormgeving er zo uitziet dat het AI-systeem voldoet aan wat de wetgever heeft beoogd, zoals bijvoorbeeld een instantie die zegt dat de wet goed is geïnterpreteerd? Hoe ziet de regering de rol van de rechter inzake het controleren van AI-output?

Niet ieder AI-systeem kent een wettelijke basis. Zo valt het Criminaliteits Anticipatie Systeem (CAS) onder de bestaande wet Politiegegevens. Het CAS zelf is nooit in de Eerste Kamer aan de orde geweest. Is de regering het met de fractieleden eens dat AI-systemen, die impact hebben op grond- en mensenrechten, steeds onderworpen moeten zijn aan parlementaire controle? Zo nee, waarom niet?

De conceptverordening overweegt dat AI-systemen met een hoog risico op zodanige wijze moeten worden ontworpen en ontwikkeld dat natuurlijke personen toezicht kunnen houden op de werking ervan. De fractieleden vragen de regering of die verplichting tot een menselijke toets beperkt moet zijn tot systemen met een hoog risico. Zijn er beperkt of laag risico systemen denkbaar waar deze toets evenzeer zou moeten gelden?

Kan de regering aangeven hoe het recht op intellectueel eigendom zich verhoudt tot fundamentele rechten van de mens? Is de regering het met de fractieleden eens dat bedrijven zich nooit op intellectueel eigendom mogen beroepen als het de rechten van burgers raakt? Vindt de regering dat het voorstel hierin voldoende bescherming biedt?

De leden vragen zich af of bedrijven en overheden niet transparanter moeten zijn als het gaat om het verwerken van persoonsgegevens en het gebruik van algoritmen. Hoe staat de regering tegenover een openbaar algoritmen register waarin verantwoording wordt afgelegd over de wijze waarop persoonsgegevens worden gebruikt door algoritmen, zoals al in de gemeente Amsterdam bestaat?⁸

De leden zouden graag zien dat er een juridische uitvoeringstoets inzake AI wordt uitgevoerd zodat beter kan worden gewogen hoe de vertaling door de ambtenaren en IT-ontwikkelaars is gedaan. Ook op wetten.nl zou duidelijk moeten zijn wat de AI-basisregels zijn van een bepaald systeem uit het oogpunt van controleerbaarheid en transparantie. Is de regering bereid om dit in Nederland te gaan ontwikkelen en gedegen politiek en bestuurlijk te beleggen?

Hoe beoordeelt de regering de garanties inzake grondrechtenbescherming? Is de regering het eens dat het niet alleen gaat over hoe iets is ontworpen en getraind, maar ook hoe het daadwerkelijk wordt ingezet, gebruikt en gaandeweg de tijd verder ontwikkelt? De leden vinden dat de Europese Commissie te weinig oog heeft voor het moment van daadwerkelijk toepassing en de ontwikkelingen na ingebruikname. Hoe ziet de regering dit?

Deze fractieleden maken zich namelijk grote zorgen over de uitzonderingsruimte van het verbod die wordt geboden in Artikel 5(d)⁹. Met deze ruime formulering, zeker onder lid (iii), vrezen deze leden dat er alsnog veelvuldig gebruik kan worden gemaakt van biometrische surveillance in de openbare ruimte. Graag reactie van het kabinet. Klopt het dat lidstaten overwegen deze provisies te schrappen en op te roepen tot een nieuw voorstel rondom het gebruik van AI in de context van politie en handhaving, gezien de verschillen tussen de publieke en private sectoren? En klopt het dat het Sloveense Voorzitterschap op 30 september 2021 een workshop hierover heeft georganiseerd? Zo ja, zou het kabinet terug kunnen koppelen over de uitkomsten van deze workshop? Is het kabinet bereid zich in te zetten voor behoud van het voorstel en een verbod op biometrische surveillance in de publieke ruimte, zoals geadviseerd door de Europese privacy-toezichthouders, waaronder de Autoriteit Persoonsgegevens?

Verplichtingen liggen nu vooral bij de aanbieders en richten zich op «beoogd gebruik». Maar zelfs als een AI-systeem onbevooroordeeld is en perfect werkt, kan het worden gebruikt in strijd met fundamentele rechten (bijvoorbeeld herkenningssoftware die wordt gebruikt voor genderherkenning of frauderisicosystemen, met enorme gevolgen voor mensen). De waarborgen hieromtrent zijn voor de leden daarom ook van groot belang. Transparantie betekent in het huidige voorstel vooral dat je als burger weet dat je interactie hebt met een AI-systeem, maar niet wat het doet, met welke factoren rekening wordt gehouden en op welke basisprincipes het systeem is gegrond. Is de regering het met deze leden eens dat er sprake is van een te enge invulling van transparantie? Net zoals dat deze leden vinden dat er gezorgd moet worden dat niet alleen het beoogde gebruik van risicovolle systemen (bijlage VIII, onderdeel 5)¹⁰, maar het daadwerkelijke gebruik moet worden gedocumenteerd in de openbare database voor op zichzelf staande AI-systemen met een hoog risico. Is de regering dit met de leden eens?

De leden van de vaste commissie voor Justitie en Veiligheid zien uw reactie – bij voorkeur voor 1 december 2021 – met belangstelling tegemoet.

De voorzitter van de vaste commissie voor Justitie en Veiligheid, M.M. de Boer

BRIEF VAN DE MINISTER VOOR RECHTSBESCHERMING, DE MINISTER VAN ECONOMISCHE ZAKEN EN KLIMAAT, DE MINISTER VAN BINNENLANDSE ZAKEN EN KONINKRIJKSRELATIES EN DE STAATSSECRETARIS VAN BINNENLANDSE ZAKEN EN KONINKRIJKSRELATIES

Aan de Voorzitter van de Eerste Kamer der Staten-Generaal

Den Haag, 14 december 2021

Hierbij zenden wij u de beantwoording van uw schriftelijke vragen over de EU-verordening voor het bevorderen van een Europese aanpak van artificiële intelligentie.

De Minister voor Rechtsbescherming, S. Dekker

De Minister van Economische Zaken en Klimaat, S.A. Blok

De Minister van Binnenlandse Zaken en Koninkrijksrelaties, K.H. Ollongren

De Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties, R.W. Knops

De leden van de vaste commissie voor Justitie en Veiligheid hebben met belangstelling kennisgenomen van de mededeling van de Europese Commissie d.d. 21 april 2021, betreffende het bevorderen van een Europese aanpak van artificiële intelligentie COM(2021)205 en de twee daarbij gepubliceerde ontwerpverordeningen.

De leden van de VVD-fractie hebben met belangstelling kennisgenomen van de mededeling en de ontwerpverordeningen en hebben een aantal vragen. De fractieleden van GroenLinks onderschrijven de noodzaak voor en het belang van de Europese aanpak. Deze leden sluiten zich aan bij de vragen die op 10 september 2021 door Tweede Kamerfractie van GroenLinks zijn gesteld aan de regering. De leden van de fractie GroenLinks hebben wel de nodige aanvullende vragen aan de regering. De fractieleden van de PvdA en SP sluiten zich graag bij deze vragen aan.

Vragen en opmerkingen van de leden van de VVD-fractie

De leden van de VVD-fractie vinden het goed dat een Europese aanpak inzake kunstmatige intelligentie wordt voorgestaan en dat er een voorstel wordt gedaan voor geharmoniseerde regels. Het doel is om ervoor te zorgen dat AI-systemen die op de Europese markt gebracht en gebruikt worden, veilig en in overeenstemming zijn met de fundamentele rechten en waarden binnen de EU zoals onder andere neergelegd in de Europese verdragen, internationale mensrechtenverdragen en in wet- en regelgeving zoals de AVG. Tevens is het de bedoeling dat de verordening zorgt voor juridische zekerheid om investeringen en innovatie in AI te faciliteren. Deze leden zijn wel van mening dat de materie ingewikkeld is en derhalve lastig in regels is te vatten. De leden willen ook voorkomen dat de innovatiekracht van bedrijven wordt aangetast en dat er concurrentienadelen ontstaan, en daarom hebben zij een aantal vragen aan u. (1) Bent u het met hen eens dat de definities wel erg breed zijn? (2) Zo ja, dan zal dit kunnen leiden tot onduidelijkheid, terwijl de verordening juist bedoeld is om duidelijkheid te scheppen.

(Antwoord 1) Het kabinet ziet dat de Commissie in de conceptverordening een relatief brede definitie hanteert die meer omvat dan in de dagelijkse praktijk vaak wordt begrepen als AI-systeem. De reden daarvoor is dat de risico-benadering en de voorgestelde definitie beoogt diverse typen AI-systemen te omvatten waarbij er mogelijk schade op kan treden aan gezondheid en veiligheid of mogelijke schending van fundamentele rechten.

(Antwoord 2) Het kabinet begrijpt de aanpak van de Commissie maar deelt de zorgen dat de combinatie van de brede definitie van een AI-systeem, de uitgebreide lijst van technieken (bijlage I) en de brede definities van de risicogebieden (bijlage III) kan leiden tot (over)regulering van algoritmische systemen met een minimaal risico voor veiligheid en fundamentele rechten en daarmee een onevenredige belasting voor organisaties.

Het kabinet buigt zich over mogelijke aanscherpingen van de definitie van AI-systeem die de helderheid, uitvoerbaarheid en handhaafbaarheid van de conceptverordening kunnen versterken.

(3) De leden zouden graag inzicht krijgen in de samenhang van de verschillende regelingen die op Europees niveau worden/zijn gemaakt.

(Antwoord 3) Het is nog te vroeg om de samenhang van de verschillende regelingen die op Europees niveau worden gemaakt uiteen te zetten. In de conceptverordening wordt echter meerdere malen benadrukt, met name bij artikel 1, dat geharmoniseerde Europese wetgeving een vereiste is. Dit is het kabinet nog verder aan het bestuderen.

(4) Hoe kunnen de burgers en bedrijven gemakkelijk hun weg vinden in de regels?

(Antwoord 4) De concept AI-verordening stelt eisen aan AI-systemen en verplichtingen voor alle deelnemers in de waardeketen om ervoor te zorgen dat in de handel gebrachte en gebruikte AI-systemen veilig zijn en in overeenstemming zijn met bestaande wetgeving inzake grondrechten en Uniewaarden. De regels zijn dus primair gericht op bijvoorbeeld importeurs, ontwikkelaars en gebruikers van AI, niet op burgers.

Het kabinet acht het echter van belang dat burgers voldoende toegerust zijn om hun recht te halen als AI-producten onveilig zijn of strijdig met bestaande wetgeving op het gebied van grondrechten, en zal daarom vooral in de discussie over toezicht kijken waar mogelijkheden zijn om toezicht toegankelijk te maken voor burgers.

Eén van de doelstellingen van dit voorstel is het creëren van een wetgevend kader dat toekomstgericht, veerkrachtig en innovatievriendelijk is. Bedrijven zullen aan regels moeten voldoen indien een AI-systeem een hoog risico met zich meebrengt. De nakoming hieraan wordt middels een ex-ante conformiteitsbeoordeling vastgesteld. Bedrijven kunnen gebruik maken van experimenteerruimtes zoals regulatory sandboxes, digitale innovatiehubs (DIH) en test- en experimenteerfaciliteiten (TEF). In deze testomgevingen kunnen bedrijven volgens een specifiek plan hun AI-systeem verder ontwikkelen, testen en valideren voor een beperkte duur voordat zij in de handel worden gebracht of in bedrijf worden gesteld. De bedoeling is dat dit onder direct toezicht en met directe begeleiding van de bevoegde autoriteiten (oftewel de toezichthoudende instellingen) gaat vallen. Het voorstel is dat deze bevoegde autoriteiten erop toezien dat de eisen (waaronder een conformiteitsbeoordeling, zie artikel 43) van deze verordening worden nageleefd. Deelnemers worden zo ondersteund in het begrijpen en toepassen van de verordening.

(5) Is er voldoende aandacht voor de communicatie over de verschillende regels?

(Antwoord 5) Voor nu is het nog te vroeg om uitgebreid te communiceren over de verschillende regels die in de toekomst gaan gelden vanuit deze conceptverordening.

Wanneer het de implementatiefase in zal gaan, zal het kabinet de nodige maatregelen treffen om op een goede manier te communiceren welke impact deze verordening heeft op de economie en maatschappij én welke regels er gaan gelden. Het kabinet zal ook de Europese Commissie vragen hier voldoende aandacht aan te besteden.

(6) Verder vragen deze leden wat er gebeurt als een land zich niet aan de verordening houdt en Nederland dit wel zou doen. (7) Bent u het met hen eens dat dit een concurrentienadeel voor Nederlandse bedrijven met zich meebrengt?

(Antwoord 6) Wanneer een aanbieder in een lidstaat de verordening niet naar behoren uitvoert, staat in artikel 71 van conceptverordening dat sancties kunnen worden opgelegd, waaronder administratieve geldboetes, als niet wordt voldaan aan de in de verordening gestelde verplichtingen. De vastgestelde sancties moeten doeltreffend, evenredig en ontmoedigend zijn. Hierbij wordt met name rekening gehouden met de belangen van kleine aanbieders en start-ups en hun economische levensvatbaarheid. Als het vermoeden bestaat dat een lidstaat EU-wetgeving niet naar behoren toepast, kan de EC, zoals neergelegd in artikel 258 VWEU, een zogenaamde inbreukprocedure starten, met het doel de situatie recht te zetten. De EC kan het Hof van Justitie van de Europese Unie (HvJEU) uiteindelijk verzoeken de lidstaat in kwestie een financiële sanctie op te leggen. Als het vermoeden bestaat dat een bedrijf de (voorgestelde) AI-verordening niet naleeft, kan de toezichthouder optreden met maatregelen of sancties. Bij een maatregel (bijv. het «van de markt halen» van een AI-systeem, worden in voorkomende gevallen de EC en de andere lidstaten betrokken (zie art. 65 en 67 van de conceptverordening).

(Antwoord 7) Als Nederlandse bedrijven voldoen aan de verordening en andere bedrijven niet, heeft dit voor Nederland geen concurrentienadeel tot gevolg, omdat het land waarin de verordening niet naar behoren wordt uitgevoerd via bovenstaande sancties ertoe wordt gehouden dit wel te doen. Daarnaast kunnen niet-conforme AI-systemen niet op de markt worden toegelaten of in gebruik genomen. Door op Europees niveau optimale randvoorwaarden te creëren kan het potentieel van de Europese digitale economie verder ontsloten worden. Nederlandse en andere in de EU gevestigde Al-bedrijven kunnen zich onderscheiden door middel van een Europese, mensgerichte benadering, met juist concurrentievoordeel als gevolg.

(8) Hoe wordt er voorkomen dat de regeldruk door deze verordening te hoog wordt voor bedrijven die AI ontwikkelen of er mee werken waardoor de innovatiekracht, waar de verordening juist voor bedoeld is, achter zal blijven?

(Antwoord 8) Eén van de doelstellingen van dit voorstel is het creëren van een wetgevend kader dat toekomstgericht, veerkrachtig en innovatievriendelijk is. Het kabinet vindt het belangrijk dat striktere verplichtingen gelden voor hoog risico AI-systemen om veiligheid, gezondheid en fundamentele rechten te beschermen. Het kabinet zet zich ervoor in dat de verplichtingen met behoud van het beschermingsniveau zo lastenluw en effectief mogelijk worden vormgegeven en spant zich bij de implementatie ervoor in om door de regeling geraakte (kleine) ondernemers te ondersteunen.

De verplichtingen voor bedrijven en ondernemers hangen af van de rol die zij hebben t.o.v. het AI-systeem en in hoeverre het AI-systeem een risico met zich meebrengt. Zo geldt onder meer voor bedrijven en ondernemers die als aanbieder hoogrisico AI-systemen in de handel brengen dat een conformiteitsbeoordeling moet worden uitgevoerd, waarmee wordt aangetoond dat aan de verplichtingen is voldaan.

Om hoge nalevingskosten te vermijden en daarmee te voorkomen dat de verordening innovatie belemmert (in plaats van stimuleert) kunnen bedrijven, en specifiek mkb-bedrijven, waar mogelijk worden ontlast en te ondersteund door een toezichthoudende instelling. Zij kunnen gebruik maken van test – en experimenteerruimtes zoals Regulatory sandboxes, digitale innovatiehubs (DIH) en test- en experimenteerfaciliteiten (TEF). Zij kunnen hier hun AI-systeem verder ontwikkelen, testen en valideren voor een beperkte duur voordat zij in de handel worden gebracht of in bedrijf worden gesteld. De bedoeling is dat dit onder direct toezicht en met directe begeleiding van de bevoegde autoriteiten (oftewel de toezichthoudende instellingen) gaat vallen. In het voorstel is geregeld dat deze bevoegde autoriteiten erop toezien dat de eisen (waaronder een conformiteitsbeoordeling, zie artikel 43) van deze verordening worden nageleefd. De directe begeleiding van de toezichthoudende instellingen zullen naar verwachting het juridische risico van niet naleving beperken en zo de nalevingskosten voor het mkb (die aan deze testomgeving deelnemen) verlagen omdat er minder noodzaak is om technisch of juridisch advies aan derden te vragen. Het kabinet beziet momenteel tot welke reikwijdte dit kan worden toegepast en is in gesprek met de Commissie om specifieke criteria en condities voor deelname aan deze AI-testomgevingen te concretiseren.

De acties, gericht op investeringen en samenwerking, in het coördineerde plan voor AI dat tegelijk met de verordening is gepubliceerd, zijn een noodzakelijke aanvulling om het innovatiepotentieel van het voorstel te kunnen verzilveren.

(9) Deze leden vragen u of het niet zo is dat het vooral om de data gaat waarop het systeem gebouwd is, in plaats van om het algoritme. Bent u van mening dat dat voldoende gewaarborgd is in de verordening? En zo ja, zou u dat willen toelichten? (10) Zij vragen zich ten aanzien van de «deep learning» systemen af hoe er gewaarborgd zal worden dat discriminerende correlaties in data worden verwijderd. Bent u van mening dat het verwijderen ervan afdoende is? (11) En is de verordening afdoende ten aanzien van de inzichtelijkheid waarop systemen worden gebouwd en de basis waarop wordt geprogrammeerd? (12) Zijn de beslisregels duidelijk en inzichtelijk genoeg?

De leden vragen zich af of er transparantie komt over welke data in het algoritme worden gebruikt. (13) Is er een instantie die kan beoordelen of deze data bijvoorbeeld niet discriminerend zijn? (14) Zijn er voldoende waarborgen om misbruik bij geautomatiseerde gezichtsherkenning en deepfakes in publieke ruimtes tegen te gaan?

(Antwoorden 9 en 10) Het eenmalig verwijderen van discriminerende correlaties geeft geen garantie dat discriminerende patronen niet opnieuw kunnen ontstaan. Dat is inherent aan «deep learning»-algoritmen, die tijdens het gebruik blijven veranderen. Het is van groot belang maatregelen te nemen die het risico op discriminatie tegengaan. De conceptverordening stelt (kwaliteits)eisen aan de data en aan de datagovernance voor AI-systemen waarbij data is gebruikt om modellen te trainen. Hoog risico AI-systemen die gebruik maken van «deep learning» zullen dus ook aan deze eisen moeten voldoen. Deze eisen stellen onder andere dat de gebruikte data onderzocht moet worden om mogelijke vooroordelen te identificeren en hierop maatregelen te nemen. Het kabinet onderzoekt nog of deze eisen afdoende zijn. Daarnaast is het goed om te benadrukken dat discriminatie reeds verboden is onder bestaande nationale (Grondwet) en internationale wetgeving (e.g. EVRM) en dat één van de ideeën van de conceptverordening is om technische (kwaliteits)eisen te stellen om zo een kader te bieden dat kan helpen bij het voorkomen van inbreuken op fundamentele rechten. Andere (Europese) wetgeving zoals de AVG is in gevallen waarbij gebruik wordt gemaakt van persoonsgegevens ook onverminderd van kracht. Als persoonsgegevens worden verwerkt dienen risico’s die ontstaan bij of door het verwerken daarvan te worden geadresseerd. Dit geldt des te meer voor de inzet van algoritmes die geautomatiseerd persoonsgegevens verwerken waarbij discriminerende uitkomsten mogelijk zijn. Het is van uitermate groot belang maatregelen te nemen die het risico op discriminatie tegengaan. Daarom geldt voor vrijwel alle gevallen waarin een algoritme ingezet wordt bij de verwerking van persoonsgegevens de verplichting om voorafgaand een data protection impact assessment (DPIA) uit te voeren en deze tijdens de verwerking ook up-to-date te houden. Dit kan betekenen dat betrokkenen (vertegenwoordigers van burgers, consumenten, etc.), die te maken krijgen met het algoritme vooraf om hun mening moeten worden gevraagd om een goede risicoanalyse te kunnen uitvoeren. Daarnaast biedt het kabinet met andere beleidsinstrumenten zoals de handreiking non-discriminatie verdere handvaten om discriminatie te voorkomen. In de handreiking non-discriminatie die het kabinet heeft laten ontwikkelen worden enkele maatregelen genoemd om bias zoveel mogelijk te herkennen zoals het gebruik van verschillende naast elkaar bestaande (test)modellen (getraind model testen met input data om vast te stellen of er discriminerende correlaties lijken te worden gelegd), impact assessments met experts en tools die bias kunnen herkennen (b.v. AI Fairness 360).¹¹ In vervolg op de motie Van Baarle c.s. zal het kabinet onderzoeken hoe de handreiking meer onder de aandacht gebracht kan worden bij overheden.¹² Ook kan het zinvol zijn om gebruik te maken van zogenaamde «synthetische data»; data die – wanneer ze goed zijn gegenereerd – geen persoonsgegevens zijn maar die wel kunnen worden gebruikt om algoritmen «door te meten». Ook kan het – in sommige gevallen – mogelijk zijn om bias en discriminatie te bestrijden door de inzet van bijzondere persoonsgegevens tijdens het trainen en evalueren. De AVG biedt in concrete, zwaarwegende gevallen waarschijnlijk ruimte hiervoor, hoewel de verkenning daarvan in de praktijk nog niet heeft plaatsgevonden.

Tot slot is het is van belang om op te merken dat het voorkomen van discriminatie en met name het verwijderen van data, of variabelen die discrimineren gedurende de levenscyclus van AI-systemen, niet eenvoudig is. Bovendien als bias, of bepaalde onderscheid wordt gecorrigeerd of verbeterd in een algoritmisch model, introduceer je een nieuwe bias. Moreel/ethische vragen spelen continue een rol. De uitdagingen moeten daarom niet gezien worden als louter een technische aangelegenheid. Het is van belang om een open proces te organiseren waar (eind)gebruikers en experts met uiteenlopende achtergrond worden betrokken om het juiste gesprek te voeren en zo inclusief te modelleren. De uitkomst kan ook zijn dat gegeven de huidige stand van de techniek besloten wordt om AI-systemen niet in te zetten. Deze afweging moet gemaakt en gedocumenteerd worden om tot een rechtmatige verwerking te komen.

(Antwoorden 11 en 12) Bij de vereisten van hoog risico AI-systemen en dan met name bij artikel 10–18, wordt ingegaan op de inzichtelijkheid van systemen en de transparantie over het gebruik van data. De verordening gaat niet specifiek in op beslisregels en ziet bovendien ook op AI-systemen waarvan de beslisregels niet (volledig) zijn te achterhalen. Wel zegt de verordening dat hoog risico AI-systemen transparant moeten zijn naar gebruikers en dat menselijk toezicht mogelijk moet zijn (art. 13). Ook moeten systemen nauwkeurig zijn en moet daarop gecontroleerd kunnen worden. Bij «deep learning» AI waarbij modellen inherent onnavolgbaar zijn (black box), vormt de vereiste van transparantie een uitdaging. Er staan vele technieken en richtingen ter beschikking om de transparantie te vergroten. Transparantie kan worden verhoogd door de inzet van Explainable AI of door modellen simpeler te maken.¹³ In de beantwoording op vraag 10 en 11 is uitgebreid ingegaan hoe inzichtelijk gemaakt kan worden wanneer bias optreedt en welke maatregelen tegen genomen kunnen worden.

(Antwoord 13) De Autoriteit Persoonsgegevens (AP) kan op eigen initiatief onderzoek doen waarbij de AP met name naar de verwerking van gegevens kijkt: is er een grondslag om persoonsgegevens te verwerken en worden bijzondere persoonsgegevens verwerkt? Het College voor de Rechten van de Mens houdt toezicht op discriminatie. De conceptverordening biedt toezichthouders die belast zijn met de bescherming van grondrechten in artikel 64 lid 4 tevens de mogelijkheid om systemen te laten testen door de markttoezichthouder.

(Antwoord 14) In de AVG is een reeks aan waarborgen voor rechtmatige inzet van biometrische identificatie opgenomen. Het verwerken van bijzondere persoonsgegevens, waaronder biometrische gegevens bij de inzet van gezichtsherkenning, is in beginsel verboden. Op dat verbod zijn slechts beperkte uitzonderingen mogelijk. Het gebruik dient te voldoen aan de eisen van noodzaak, proportionaliteit en subsidiariteit. Ook wanneer sprake is van een dergelijke uitzondering en biometrische gegevens mogen worden verwerkt biedt de AVG een breed stelsel aan waarborgen, zoals de Data Protection Impact Assessment (DPIA) en het vereiste van dataminimalisatie.

Naar het oordeel van het kabinet zijn de in de conceptverordening voorgestelde uitzonderingsgronden voor het gebruik van real-time biometrische systemen duidelijk omlijnd en niet te breed. Het verbod en de uitzonderingsgronden gelden expliciet aanvullend op het bestaande juridisch kader voor biometrische gegevensverwerkingen.

Het kabinet laat door de Tilburg University onderzoek verrichten naar de volledigheid van het juridisch kader (onder meer het strafrecht en gegevensbeschermingsrecht) omtrent deepfakes en de daarmee geboden rechtsbescherming. Oplevering van het onderzoek wordt in januari verwacht. Het kabinet zal na oplevering van het onderzoek bezien of verdere wettelijke inkadering nodig is en zo ja, of de conceptverordening daarvoor het gepaste instrument is en/of aanvullende waarborgen gewenst zijn.

Zoals aangegeven in de Kamerbrief over het tegengaan van digitale dreigingen bij de Tweede Kamerverkiezingen van 2021 kan deepfaketechnologie ingezet worden door kwaadwillende actoren om het publieke debat en het democratische proces heimelijk te beïnvloeden.¹⁴ Het kabinet zet daarbij in op meer bewustwording over de werking van deepfakes en is voorstander van meer transparantie over het gebruik van deepfaketechnieken. Het uitgangspunt in het publieke debat blijft dat burgers zelf informatie op waarde kunnen schatten. Verplichte transparantie die aangeeft dat deepfaketechnologie gebruikt is, zoals de conceptverordening voorstelt, kan burgers hierbij helpen.

(15) Is er voor deze verordening gekeken naar wat er in Frankrijk en Duitsland op dit gebied al geldt en zijn deze landen als uitgangspunt genomen?

(Antwoord 15) Voordat een wetgevend voorstel tot stand komt, voert de Commissie gesprekken, onderzoeken, consultaties en impactassessments uit waarbij alle lidstaten betrokken zijn en naar bestaande wetgeving in de lidstaten wordt gekeken. Het kabinet neemt de aanwezige kennis over regulering van AI in Frankrijk en Duitsland mee bij standpuntbepaling over de conceptverordening.

(16) Is er inzicht in de kosten die deze regels meenemen voor de ondernemers die AI-systemen bouwen en willen verhandelen?

(Antwoord 16) De Commissie heeft een impact assessment laten uitvoeren waarin wordt ingegaan op de te verwachten implicaties voor het bedrijfsleven. Hieruit bleek dat meer dan driekwart van de ondervraagde bedrijven regeldrukkosten niet heeft genoemd als potentieel knelpunt.¹⁵ Minstens 14% van de ondervraagde kleine en middelgrote ondernemingen en 13% van de grote bedrijven gaf aan regeldrukkosten wel als een potentieel knelpunt te zien. De verschillende administratieve en inhoudelijke verplichtingen met betrekking tot het bijhouden van gegevens, documentatie en traceerbaarheid, informatieverstrekking en transparantie, menselijk toezicht en robuustheid en nauwkeurigheid van de AI-toepassingen brengen kosten met zich mee. In een uitgebreide studie zijn de verwachte kosten uitgewerkt, deze worden door het kabinet getoetst bij Nederlandse belanghebbenden.¹⁶

(17) Kan u toelichten wat de taken worden van de nationale toezichthouder die aangesteld dient te worden?

De regering overweegt om de toezichtfunctie bij de AP of het Agentschap Telecom of ACM te beleggen. In de verordening wordt gesteld dat de lidstaten een of meerdere nationale toezichthouders aanwijzen. De keuze voor een toezichthouder hangt af van de sector waarin een AI-systeem wordt ingezet en gebruikt.

De regering schrijft: Net als bij de AVG zal toezicht op (de inzet van AI) door de gerechten voorbehouden blijven aan de rechtspraak. Daarnaast kan in voorkomende gevallen worden gekeken in hoeverre relevante andere inspecties en toezichthouders hier een verantwoordelijkheid kunnen hebben. Er zijn echter nog vragen die in overleg met Commissie (verder) moeten worden verduidelijkt om deze keuzes te kunnen maken. De verordening stelt in ieder geval dat voor AI-systemen die worden gebruikt voor rechtshandhavingsdoeleinden, de AP of de andere relevante inspectie of toezichthouder voor dit domein als de toezichthouder voor de AI-verordening zal worden aangewezen.

(Antwoord 17) Volgens de conceptverordening zullen bestaande toezichthouders en aangemelde instanties (notified bodies) hun rollen om markttoezicht en conformiteitsbeoordelingen uit te voeren op producten in hun sectorale gebied behouden (zie bijlage II, deel A). Ook moeten de toezichthouders nauw samenwerken en worden hun taken uitgebreid met controles en toetsen op (hoog) risico AI-systemen. Daarnaast moet één van de toezichthouders (in de conceptverordening ook wel nationale bevoegde autoriteiten (NSA) genoemd) een coördinerende rol op zich nemen. De NSA is verantwoordelijk voor het informeren, kennis uitwisselen en rapporteren aan de Europese Commissie.

Hoe bovenstaande er precies uit gaat zien en welke toezichthouder er het meest voor geschikt is beziet het kabinet momenteel nog. Het kabinet heeft tevens de Commissie om een aantal verduidelijkingen gevraagd rondom de governancestructuur (hoofdstuk VI) waar het toezicht een belangrijke rol in speelt.

Vragen en opmerkingen van de leden van de GroenLinks-fractie, mede namens de fracties van de PvdA en SP.

De leden van de fracties van GroenLinks, PvdA en SP willen graag een reactie van de regering betreffende de voorbereidingen die zij treft met het oog op de implementatie van AI-verordening van de EC. (18) Acht de regering dat de overheidsdiensten voldoende zijn geëquipeerd om deze extra verantwoordelijkheid aan te kunnen?

(Antwoord 18)Op dit moment lopen de onderhandelingen over de AI-verordening met de lidstaten nog. Naar verwachting zal in 2022 meer duidelijkheid komen over de uitkomsten daarvan. In juni 2021 heeft het kabinet de Tweede Kamer geïnformeerd, via de «Voortgangsbrief Algoritmen en artificiële intelligentie», dat het kabinet in 2022 nogmaals een evaluatie van het toezichtlandschap op de inzet van algoritmen laat uitvoeren. Ook voor medeoverheden zal in 2022 een impactanalyse worden uitgevoerd, zoals te doen gebruikelijk op grond van artikel 6 van de Code Interbestuurlijke Verhoudingen en artikel 2 Financiële Verhoudingswet.

De regering overweegt om de toezichtfunctie bij de AP of het Agentschap Telecom of ACM te beleggen. In de verordening wordt gesteld dat de lidstaten een of meerdere nationale toezichthouders aanwijzen. De keuze voor een toezichthouder hangt af van de sector waarin een AI-systeem wordt ingezet en gebruikt.

De regering schrijft: «Net als bij de AVG zal toezicht op (de inzet van AI) door de gerechten voorbehouden blijven aan de rechtspraak. Daarnaast kan in voorkomende gevallen worden gekeken in hoeverre relevante andere inspecties en toezichthouders hier een verantwoordelijkheid kunnen hebben. Er zijn echter nog vragen die in overleg met Commissie (verder) moeten worden verduidelijkt om deze keuzes te kunnen maken. De verordening stelt in ieder geval dat voor AI-systemen die worden gebruikt voor rechtshandhavingsdoeleinden, de AP of de andere relevante inspectie of toezichthouder voor dit domein als de toezichthouder voor de AI-verordening zal worden aangewezen.»

(19) Waarom kiest de regering voor deze overweging? (20) Is zij het met deze leden eens, gelet op deze systeemveranderende ontwikkeling van AI, dat er eerder een speciaal daarop toegespitste toezichthouder zou moeten komen? (21) En hoe kijkt zij aan tegen de verplichting voor techbedrijven om daar op enigerlei wijze aan bij te dragen zodat de toezichthouder qua resources voldoende geëquipeerd is en dit niet volledig met publieke middelen wordt vergoed? Hierbij zeggen deze leden niet dat deze per se moet bestaan naast de AP en Agentschap Telecom, maar wel dat het institutioneel zo wordt belegd dat de controle van AI een fundamenteel onderdeel wordt en niet, net zoals ten tijde van de AVG is gebeurd bij de AP, dat er gewoon een extra taak bijkomt zonder dat dit wordt vertaald in extra middelen en expertise. De AP gaf recentelijk zelf aan dat het toezicht op algoritmes die persoonsgegevens verwerken, niet van de grond komt 3 (22). Graag een uitgebreide reactie hoe de regering voornemens is dit vorm te geven? (23) Is hier al over gesproken met de AP of Agentschap Telecom? (24) Is de regering het eens met deze leden dat alleen al de benaming Agentschap Telecom stamt uit een tijd dat men nog niet in de verste verte kon overzien wat AI met het leven gaat doen? (25) Graag een reactie over de inhoudelijke, procedurele, institutionele, politiek-bestuurlijke en rechtstatelijke aspecten van de toezichthoudende rol op nationaal niveau.

(Antwoord 19) Binnen de conceptverordening zijn er bepaalde taken die moeten worden belegd bij specifieke nationale toezichthouders vanuit hun rol in toezicht op specifieke wetgeving. Daarbuiten is er nog ruimte om een coördinerende autoriteit aan te wijzen en de resterende bevoegdheden te verdelen. In die zin lijkt het voorstel aan te sluiten bij, of ruimte te laten voor, het huidige Nederlandse standpunt op toezicht op AI dat toezichthouders vanuit hun eigen domein en expertise moeten toezicht houden en dat samenwerking en kennisdeling daarbij belangrijk is.

Daarnaast is het van belang dat het toezicht op de inzet van AI-systemen binnen de rechterlijke macht ook bij de rechterlijke organisatie ligt, conform het toezicht op gegevensverwerking door gerechten en andere rechterlijke autoriteiten. Dit om de onafhankelijkheid van de rechterlijke macht bij de uitoefening van haar rechterlijke taken te waarborgen. Het kabinet vindt het daarom positief dat binnen het voorstel de mogelijkheid bestaat om nationaal maatwerk te leveren bij het beleggen van de toezicht- en handhavingstaken en -bevoegdheden maar ziet graag dat ook voor de rechterlijke macht expliciet in de verordening wordt opgenomen dat deze zelf verantwoordelijk is voor het toezicht. Hiermee kan het toezicht op de verordening aansluiten bij het bestaande toezicht en kunnen toezichthouders vanuit hun eigen domein en expertise toezicht houden. Door deze aanvullende taken voor de verschillende toezichthouders, moet er ook aandacht zijn voor de benodigde middelen, capaciteit en expertise van de verschillende toezichthouders.

(Antwoord 2O) De concept-verordening introduceert geen afzonderlijke toezichthouder, omdat het toezicht op een algoritme onderdeel uitmaakt van het integrale toezicht per domein. Dit hangt nauw samen met het feit dat het gebruik van algoritmen een middel/instrument is om invulling te geven aan de taakuitoefening van (een onderdeel van) de overheid of een bedrijf en daarmee het toezicht op dat gebruik van algoritmen integraal onderdeel is van het toezicht op die taakuitoefening of de betreffende sector. In de concept-verordening is echter wel een «nationale toezichthoudende autoriteit» voorzien, die toezicht houdt op de toepassing en uitvoering van de verordening (en optreedt als toezichthouder, als een specifieke toezichthouder ontbreekt).

(Antwoord 21) De verwachting is dat AI-systemen steeds breder ontwikkeld en ingezet zullen worden, in allerlei sectoren en door allerlei typen organisaties – van grote ondernemingen tot kleine start-ups. Daarbij brengt de inzet van AI-systemen risico’s met zich mee, maar het kan ook kansen bieden voor onze maatschappij (denk aan verdere innovatieve ontwikkelingen). Van belang is dat het toezicht deze risico’s effectief adresseert en tegelijkertijd het benutten van deze kansen mogelijk maakt. Het is van belang om de wenselijkheid van bijdragen van onder toezicht gestelde organisaties te bezien in het licht van de totale administratieve lasten die de nieuwe toezichtstaken met zich meebrengen.

Deze lasten zijn op dit moment nog niet gedetailleerd in kaart gebracht. Hier dient verder onderzoek naar te worden verricht voordat er een beslissing over genomen kan worden.

(Antwoord 22) Het kabinet deelt de mening van de Eerste Kamer dat deze toezichtstaken structureel zijn, en dat hiervoor voldoende middelen en expertise moeten worden vrijgemaakt. In de conceptverordening staat ook aangegeven, dat afhankelijk van het reeds bestaande landschap op toezicht (met andere woorden: in hoeverre toezichthouders al uitgerust zijn voor dergelijk toezicht), 1 tot 25 FTE’s nodig zijn. Het kabinet verwacht dat meer FTE nodig zal zijn voor het toezicht en de handhaving.

(Antwoord 23) Het kabinet kan bevestigen dat er gesprekken worden gevoerd met verschillende toezichthouders, zo ook met AT, AP en het College voor de Rechten van de Mens (CvdRM). Het kabinet is aan het inventariseren op welke wijze toezicht op AI het meest optimaal kan worden belegd. Hierbij wordt ook de bestaande AI-werkgroep van toezichthouders geconsulteerd.

Op basis van actiepunt 8a uit de Kamerbrief voortgang AI en algoritmen van 10 juni 2021¹⁷ organiseert EZK nog dit jaar een ronde tafelgesprek met relevante toezichthouders. De normering van- en toezicht op algoritmische data-analyse in de private sector, het vergroten van de samenhang van het toezicht en hoe de samenwerking goed geborgd kan worden, zal o.a. worden besproken.

Verder zal het kabinet in 2022 nogmaals een evaluatie van het toezichtlandschap op de inzet van algoritmen uitvoeren. Hiermee geeft zij opvolging aan actiepunt 8b van de zojuist genoemde Kamerbrief.

(Antwoord 24) De naamgeving van het Agentschap Telecom dateert uit 2002, terwijl het huidige Agentschap zich in de afgelopen decennia heeft ontwikkeld tot een centrale toezichthouder met veel kennis en ervaring op het gebied van digitale veiligheid.

(Antwoord 25) AI is een technologie die mogelijk veel gaat veranderen. De verwachting is dat hij wordt ingezet in verschillende sectoren, op verschillende manieren en als onderdeel van verschillende producten en diensten. Deze verordening regelt daarom twee elementen: (1) een uitbreiding van het bestaande sectorale toezicht, en (2) centrale coördinatie van het toezicht op de bepalingen uit de verordening door een centraal aangewezen toezichthouder die uitwisseling en samenwerking mogelijk maakt (ook binnen de EU).

• (1) In de conceptverordening behouden de bestaande toezichthouders hun rol om markttoezicht uit te voeren op producten in hun sectorale gebied (zie bijlage II). Dat toezicht wordt uitgebreid als die producten ook gebruik maken van hoog risico AI-systemen. Het idee daarachter is dat AI straks in veel producten en diensten verwerkt zal worden. Die producten en diensten moeten al aan technische eisen voldoen, en daar worden nu technische AI-eisen aan toegevoegd.

• (2) Ook moeten de toezichthouders nauw samenwerken en worden hun taken uitgebreid met controles en toetsen op (hoog) risico AI-systemen. Daarnaast moet één van de toezichthouders (in de conceptverordening ook wel nationale bevoegde autoriteit genoemd) een coördinerende rol op zich nemen. Ook is deze toezichthouder verantwoordelijk voor het informeren, kennis uitwisselen en rapporteren aan de Commissie. Daarbij zal ook in EU verband samengewerkt worden.

Inhoudelijk zal dus het takenpakket van bestaande sectorale toezichthouders worden uitgebreid met nieuwe technische eisen waaraan producten moeten voldoen. Daarnaast is er een nieuwe set verplichtingen waarop de coördinerende markttoezichthouder zal toezien.

Procedureel vraagt dit om nieuwe samenwerking tussen bestaande toezichthouders onderling, tussen toezichthouders en de coördinerende toezichthouder, en tussen toezichthouders binnen de EU.

Hoe de samenwerking er precies uit gaat zien en welke toezichthouder het meest voor geschikt is beziet het kabinet momenteel nog. Het kabinet heeft de Commissie om een aantal verduidelijkingen over het toezicht op de conceptverordening gevraagd.

Rechtstatelijk kijkt Nederland met name naar de rol die de Europese Commissie op zich neemt in de voorgestelde AI-board. Het staat voor Nederland voorop dat toezichthouders hun werk onafhankelijk moeten kunnen uitvoeren.

Tijdens een voorbereidende deskundigenbijeenkomst over AI op 18 mei 20214 is het veel over de bestaande «legacy» van de IT-structuur in Nederland gegaan.(26) Klopt het dat zo’n 70 procent van het budget voor IT opgaat aan oude systemen en onderhoud? (27) Over hoeveel geld spreken we in Nederland? (28) En waar wordt dit momenteel aan uitgegeven? Dus welk systeem, bij welk instituut, met welke kosten? Voorheen werden relatief eenvoudige beslisbomen door de Minister van Justitie niet getypeerd als AI-systemen. (29) Bent u deze mening nog steeds toegedaan? En als dat zo is, hoe weegt het u dan dat de Europese Commissie heeft gekozen om deze beslisbomen, door u als eenvoudig gekwalificeerd, toch op te nemen in de AI-verordening?

(Antwoorden 26 en 27) De Algemene Rekenkamer heeft in haar «Verantwoordingsonderzoek 2019 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties» aangegeven dat in 2018 over de totale ICT-kosten van € 3,1 miljard ca. vijfenzeventig procent opging aan beheer en onderhoud van bestaande systemen.¹⁸ Een overzicht waar welke kosten worden gemaakt aan beheer en onderhoud van systemen is niet beschikbaar. Daarom heeft het kabinet in september 2021 in haar i-Strategie 2021–2025 aangegeven deze kosten structureel inzichtelijk te gaan maken.¹⁹

(Antwoord 28) De Europese Commissie neemt als vertrekpunt voor de werkingssfeer van haar verordening de risicoclassificatie van AI-toepassingen. Daar waar toepassingen een grotere impact kunnen hebben op het leven van natuurlijke personen, worden hogere eisen gesteld aan transparantie. Ook eenvoudiger algoritmes, die volgens sommigen buiten de definitie van AI zouden vallen, vallen hierdoor onder de werkingssfeer van deze verordening. De reikwijdte van deze definities is, met het oog op de administratieve lasten die voortkomen uit de verordening, onderwerp van gesprek tussen de lidstaten en de Commissie.

(Antwoord 29) Het kabinet constateert dat de Commissie in de conceptverordening een relatief brede definitie hanteert die meer omvat dan in de dagelijkse praktijk vaak wordt begrepen als AI-systeem. De reden daarvoor is dat de risicobenadering en de voorgestelde definitie beoogt diverse typen AI-systemen te omvatten waarbij er mogelijk schade op kan treden aan gezondheid en veiligheid of mogelijke schending van fundamentele rechten. Het kabinet kan deze redenering volgen maar heeft wel de zorgen over de gevolgen van een dermate brede definitie, zie verder de antwoorden op vraag 1 en 2.

(30) Bent u thans van oordeel dat u hierover in het verleden te makkelijk heeft gedacht? De leden wijzen in dit kader ook op de ontluisterende conclusies als vervat in het rapport Ongekend onrecht, waaruit de enorme gevolgen daarvan voor burgers blijken. (31) Heeft de toeslagenaffaire niet laten zien dat regel gebaseerde algoritmen wel degelijk meer kunnen zijn dan een simpele beslisboom?

(Antwoorden 30 en 31) In de conceptverordening is nu een brede definitie van AI opgenomen. In Annex I is zoals gezegd specifieker gemaakt welk type systemen onder deze definitie vallen, een AI-systeem dat werkt als een beslisboom – als ... dan ... – zou hieronder kunnen vallen. De conceptverordening hanteert een risicogebaseerde aanpak, hoe groter het risico op mogelijke schending van grondrechten dan wel een risico voor gezondheid of veiligheid, hoe strikter de verplichtingen zijn waaraan een AI-systeem moet voldoen. Een eenvoudig algoritme kan mogelijk een grote impact hebben terwijl een zeer complex AI-systeem in theorie weinig impact kan hebben. Dit betekent dat ook eenvoudige regelgestuurde algoritmes risicovol kunnen zijn. Dit is onder meer afhankelijk van de context waarin een AI-systeem wordt ingezet en het doel waarvoor het AI-systeem wordt gebruikt. Kortom de optelsom van factoren bepaalt de mogelijke impact van de inzet van een AI-systeem, dit heeft de toeslagenaffaire helaas ook laten zien. Het kabinet is er voorstander van dat niet zozeer de discussie over wat nu wel of geen AI-systeem is leidend is bij het opstellen van nieuwe regulering, maar dat het mogelijke risico dat moet worden ingeperkt of tegengegaan hierbij leidend is. In die zin kan het kabinet zich dus in de risicogebaseerde aanpak van de Europese Commissie vinden.

(32) Graag een reactie hierop. (33) Onderschrijft de regering het risico dat een beslissing in het ene systeem doorwerkt in een ander systeem?

(Antwoorden 32 en 33) Het kabinet is van mening dat de menselijke maat actief geborgd moet worden bij besluitvormende publieke processen, ook bij gebruik van nieuwe technologie. Dat betekent dat er steeds ruimte moet zijn voor een individuele afweging en controle op de rechtmatigheid van uitkomsten van besluitvorming. Het is met name van belang dat de ruimte die de wet biedt om rekening te houden met persoonlijke omstandigheden goed wordt meegenomen in het ontwerp en de inzet van elk AI-systeem. Ook zal in het ontwerp rekening moeten worden gehouden met de eisen die door de wet en in de rechtspraak worden gesteld aan de motivering van overheidsbesluiten (uitlegbaarheid).

Het gegevensbeschermingsrecht en het bestuursrecht stellen (ook) eisen aan overheidsbesluitvorming waarbij nieuwe technologie gebruikt wordt en de conceptverordening biedt versteviging daarvan door eisen te stellen aan hoog risico AI-systemen. Als overheidsbesluitvorming met AI-systemen plaatsvindt die als hoog risico AI-systeem zijn aangemerkt, verplicht de conceptverordening dat elk systeem een beoogd doel heeft, begrijpelijk moet zijn, transparant voor de gebruiker, dat de gebruikte datasets op orde zijn, dat mensen toezicht moeten kunnen houden op de uitkomsten van zo'n systeem, en dat nauwkeurigheid geborgd moet zijn. Daarnaast verplicht de conceptverordening toezicht op systemen achteraf en stelt het toezichthouders in staat AI-systemen te controleren. Dit komt de menselijke maat en de controle op de rechtmatigheid van besluitvorming ten goede en voorkomt doorwerking van beslissingen in andere AI-systemen omdat elk systeem aan de eisen moet voldoen.

Het is belangrijk dat juist AI-systemen met een hoog risico nauwgezet worden gecontroleerd op mogelijke schendingen van mensenrechten. Leveranciers (aanbieders) moeten een conformiteitsbeoordeling (laten) verrichten voordat een dergelijk AI-systeem op de markt wordt gebracht of in gebruik wordt genomen. Hiermee kunnen ze laten zien dat het AI-systeem voldoet aan de vereisten voor betrouwbare AI.

(34) Dit heeft mogelijk een uitkomst die de fundamentele rechten van burgers/de algemene beginselen van behoorlijk bestuur met voeten treden. Hoe beoordeelt de regering dit onderdeel uit de verordening?

Momenteel vertalen ambtenaren of softwareontwikkelaars, bij het implementeren van wetgeving in Nederland rondom digitale processen, wetgeving naar code en software, zonder dat ze weten of ze nog bezig zijn met implementatie zoals de wetgever het heeft bedoeld en hoe de beginselen van behoorlijk bestuur zich hiertoe verhouden. (35) Hoe zou dit proces er idealiter uitzien, zodanig dat het politieke en wetgevende vertaalproces zo goed mogelijk wordt vormgegeven? (36) En dat dit dermate transparant en herleidbaar is en daarop adequate controle kan worden uitgeoefend?

(Antwoord 34) Zowel binnen als buiten geautomatiseerde besluitvorming, bestaat er altijd een risico dat een (verkeerd) genomen besluit doorwerkt in een ander systeem. Mede daarom bestaan er op grond van de AVG transparantieverplichtingen rondom gegevensstromen. Daarnaast zet de regering in op een mogelijkheid voor burgers om fouten in overheidsregistraties centraal te kunnen herstellen. Het voornemen is om dit in de tweede tranche van de Wet digitale overheid te regelen. Dit wetsvoorstel is in de fase van ambtelijke voorbereiding. In de AI-verordening wordt geredeneerd vanuit het doel of de functie van een AI-systeem, niet vanuit de achterliggende techniek. De AI-verordening gaat daarom niet specifiek in op het effect van aaneenschakelingen van beslisbomen en mogelijke keteneffecten. De regering kan zich vinden in deze keuze. Ook zonder expliciete bepalingen uit de AI-verordening, blijft het hoe dan ook de verantwoordelijkheid van de overheid om te weten hoe een beslisalgoritme werkt, welke gegevens daarin op welke manier verwerkt worden, en om ervoor te zorgen dat besluiten met behulp van een algoritme rechtmatig en behoorlijk zijn.

(Antwoorden 35 en 36) De vraagsteller constateert terecht dat voor de uitvoering van bepaalde wetgeving een vertaling wordt gemaakt van die wetgeving in beslismodellen. Systematisch aandacht voor wetsanalyse en -interpretatie, met het oog op betere ICT-uitvoerbaarheid, en het transparant en controleerbaar vormgeven van wettelijke regels als specificaties voor systemen, processen en technologie, vereist een bruikbaar instrumentarium voor het opstellen van wet- en regelgeving en voor de «vertaling» daarvan in (geautomatiseerd uitvoerbare) beslisregels en gegevensspecificaties voor de uitvoeringspraktijk. Ook nieuwe ontwerpinstructies in de Aanwijzingen voor de regelgeving voor het op elkaar laten aansluiten van wetteksten en digitale systemen zijn mogelijk nodig. Met instrumenten en instructies zijn we er echter niet. Er zal ook een multidisciplinaire samenwerking moeten worden gerealiseerd, zodat in het proces kan worden geleerd van tussenresultaten en ervaringen, en kan worden bijgestuurd als dat nodig is.

Er zijn inmiddels nationaal en internationaal de nodige best practices voor de samenwerking rondom de omzetting van juridische regels naar geautomatiseerde beslisregels. Het kabinet financiert bijvoorbeeld het project «Calculemus-FLINT», waarin een systematiek wordt uitgewerkt om op transparante wijze wet naar algoritmeregels te vertalen. Deze aanpak is echter nog geen gemeengoed en de vertaling naar de Nederlandse wetgevingspraktijk vergt nadere uitwerking. In pilots als deze werkt het kabinet aan het verder brengen van deze samenwerkingsvormen. Hierin wordt beproefd welke wijzigingen dit vraagt in het wetgevingsproces, de ondersteuning van dit proces en van het wetgevingsproduct. Een voorbeeld van zo’n pilot is de in januari te starten pilot wetsanalyse. Hierbij betrekt het kabinet de in het rapport Digitalisering van wetgeving en rechtspraak door de Raad van State getrokken conclusies.

(37) Wat vindt de regering van de inzet van Europese Commissie op dit punt? (38) Is zij bereid, gelet op de essentiële vertaalfunctie, erop aan te dringen bij de Europese Commissie om dit alsnog duidelijk op te nemen in de verordening? (39) Zien de leden het goed dat deze grond(rechtelijke) aspecten en beslissingen nu aan een programmeertafel worden genomen, en niet een inzichtelijk onderdeel zijn van het wetgevingsproces? (40) Kan de regering aangeven welke beslissingen zij op dit punt aan de uitvoerder willen overlaten en welke niet? (41) En kan de regering aangeven hoe en in welke mate nationale parlementen kunnen toezien op de ontwikkeling van AI systemen na goedkeuring van een wet?

(Antwoorden 37 en 38) De grondslag van de verordening bestaat uit de artikelen 114 en, in mindere mate, 16 van het Verdrag betreffende de werking van de Europese Unie (VWEU). Deze grondslagen zien op het reguleren van de interne markt en niet op de wijze waarop lidstaten hun overheidsprocessen vormgeven. Het regelen van de wijze waarop overheden hun regelgeving vertalen naar code, valt dus buiten de bevoegdheid van deze verordening en, meer in het algemeen, buiten de bevoegdheid van de EU.

De vraag is of het, los van eventuele bevoegdheden, wenselijk zou zijn om dit in deze verordening te regelen. De regering meent van niet. Dergelijke regels zouden teveel in detail treden op een onderwerp dat nog sterk in ontwikkeling is. Het ligt meer voor de hand om binnen Nederland concrete best-practices en richtsnoeren verder te ontwikkelen.

(Antwoorden 39 en 40) Zoals is toegelicht bij het antwoord op vragen 35 en 36 is er op dit moment geen vaste manier van vertalen van wettelijke regels naar geautomatiseerde wetsuitvoering. Er bestaat op dit punt idealiter geen harde scheiding tussen het werk van uitvoerders en beleidsmakers, maar komt een en ander gezamenlijk tot stand. Dat geldt ook voor het waarborgen van grond(rechtelijke) aspecten en beslissingen. Overigens moet worden gewaakt voor het vereenzelvigen van algoritmen (code) en de wet. Code moet de juiste uitvoering van de wet ondersteunen.

(Antwoord 41) Hoe dat bij andere nationale parlementen is geregeld, is aan die lidstaten zelf. Het Nederlandse parlement kan gebruikmaken van diens informatierecht om inzicht te krijgen in de manier waarop wetgeving is vertaald naar een AI-systeem. De mate van inzicht is afhankelijk van de informatiebehoefte- en vraag van het parlement, maar wordt begrensd door andere belangen zoals die in de Wob of Woo worden beschermd. Mede om te voorkomen dat intellectuele eigendomsrechten en bedrijfsgeheimen in de weg staan aan transparantie, is het uitgangspunt dat systemen voor de overheid open source ontwikkeld worden.

De genoemde leden maken zich zorgen over verschillende punten: (42) Wie neemt er de verantwoordelijkheid om de discretionaire bevoegdheid in te vullen? (43) Wie beslist uiteindelijk tot de ingebruikname van een systeem? (44) Is de regering het met deze leden eens dat na ontwerp van het systeem er nog een controle moet zijn of de IT-vormgeving er zo uitziet dat het AI-systeem voldoet aan wat de wetgever heeft beoogd, zoals bijvoorbeeld een instantie die zegt dat de wet goed is geïnterpreteerd? (45) Hoe ziet de regering de rol van de rechter inzake het controleren van AI-output?

(Antwoord 42) De verantwoordelijkheid voor de invulling van een discretionaire bevoegdheid ligt altijd bij het (bestuurs)orgaan aan wie die discretionaire bevoegdheid is toegekend. De beslissing om een systeem in gebruik te nemen, zal in de regel ook liggen bij het (bestuurs)orgaan dat de (discretionaire) bevoegdheid heeft om van dat systeem gebruik te maken. Die mogelijkheid beperkt zich wel tot de ingebruikname van systemen die uitvoering geven aan diens taken of onderdeel zijn van de normale bedrijfsvoering van de organisatie. Een bestuursorgaan heeft in de regel niet de bevoegdheid om systemen in gebruik te nemen om taken uit te voeren die buiten diens taakomschrijving vallen. In zo’n geval zal het bestuursorgaan eerst die (nieuwe) taak moeten worden toegekend. De mogelijkheden om systemen in gebruik te nemen, worden ook begrensd door eventuele (wettelijke) regels die het bestuursorgaan verbieden om bepaalde (soorten) systemen in gebruik te nemen.

(Antwoord 43) Ieder ICT-systeem dat wordt ontwikkeld binnen de Nederlandse overheid kent een ambtelijke eigenaar. Dit eigenaarschap van het ICT-systeem is belegd bij het lijnmanagement van de overheidsorganisatie die opdracht heeft gegeven tot het ontwikkelen van het betreffende systeem. De eigenaar is tevens eindverantwoordelijk voor de ingebruikname van het systeem. De politieke verantwoordelijkheid ligt bij de betreffende bewindspersoon.

(Antwoord 44) Primair is de eigenaar van het ICT-systeem verantwoordelijk voor het toezicht op het systeem en het voldoen aan de wet-en regelgeving. Als tweedelijns controle is binnen de centrale overheid een CIO-stelsel in werking. Binnen dit CIO-stelsel heeft de departementale CIO als taak om een CIO-oordeel uit te brengen naar de haalbaarheid van het ICT-systeem. Het CIO-oordeel kan in alle fasen van een ICT-project plaatsvinden, van ontwerp tot oplevering van het systeem. Een Privacy en Security Officer voert een data protection impact assessment (DPIA) uit, dat als doel heeft om privacyrisico’s van verwerking van persoonsgegevens in kaart te brengen en te beoordelen. Binnen het bestaande CIO-stelsel kan een aanvullende juridische toets worden georganiseerd om te toetsen of het AI-systeem na de ontwerpfase nog voldoet aan hetgeen de wetgever heeft beoogd. Het kabinet ziet voldoende toezichtmogelijkheden binnen het bestaande stelsel en raadt het af om een aanvullende toets door een instantie te organiseren.

(Antwoord 45) In alle gevallen heeft de rechter de bevoegdheid om te controleren of een besluit rechtmatig is genomen, waarbij het motiveringsbeginsel van belang is. Het bestuursorgaan zal aan de rechter (en belanghebbende) moeten uitleggen waarom tot een bepaalde beslissing is gekomen. In sommige gevallen zal de beslissing simpel en helder genoeg zijn dat de waarom-vraag ook zonder technische informatie over het AI-systeem beantwoord kan worden. In andere gevallen is meer informatie over de werking van het algoritme nodig. In zo’n geval moet inzicht in die informatie worden geboden.

Niet ieder AI-systeem kent een wettelijke basis. Zo valt het Criminaliteits Anticipatie Systeem (CAS) onder de bestaande wet Politiegegevens. Het CAS zelf is nooit in de Eerste Kamer aan de orde geweest. (46) Is de regering het met de fractieleden eens dat AI-systemen, die impact hebben op grond- en mensenrechten, steeds onderworpen moeten zijn aan parlementaire controle? Zo nee, waarom niet?

(Antwoord 46) Elk proces en systeem, ongeacht of daarbij AI gebruikt wordt, dat een impact kan hebben op grond- en mensenrechten is in beginsel onderworpen aan parlementaire controle. Dat kan in de eerste plaats vooraf, via wetgeving die systemen en procedures moeten reguleren, omdat overheidsoptreden bijvoorbeeld een wettelijke basis nodig heeft en die wet binnen de kaders van de grond- en mensenrechten moet zijn. Het is dus belangrijk dat al in het wetgevingsproces de materiële grenzen aan het gebruik van technologie, zoals AI-systemen, worden meegenomen en dat procedures zijn ingericht om daarop toezicht te houden. Daarop is parlementaire controle. De huidige AI-verordening is een voorbeeld van wetgeving die grenzen stelt aan het gebruik van technologie, ook bij overheidsoptreden, en die ervoor moet zorgen dat technologie grond- en mensenrechten respecteert. Ook achteraf is parlementaire controle mogelijk, omdat het parlement gebruik kan maken van haar inlichtingenrecht.

De conceptverordening overweegt dat AI-systemen met een hoog risico op zodanige wijze moeten worden ontworpen en ontwikkeld dat natuurlijke personen toezicht kunnen houden op de werking ervan. (47) De fractieleden vragen de regering of die verplichting tot een menselijke toets beperkt moet zijn tot systemen met een hoog risico. (48) Zijn er beperkt of laag risico systemen denkbaar waar deze toets evenzeer zou moeten gelden?

(Antwoorden 47 en 48) Het kabinet staat achter een risicogebaseerde aanpak waarbij de eisen proportioneel zijn ten opzichte van het risico en kan in dit opzicht de vierdeling die de Commissie heeft voorgesteld goed volgen.

Het kabinet kan zich in algemene zin vinden in deze risicocategorieën en ziet op dit moment geen aanleiding om menselijk toezicht ook te verplichten voor AI-systemen met een beperkt of laag risico. Het kabinet heeft zorgen over de mogelijk onevenredige lasten als gevolg van de brede definitie van AI-systeem en de voorgestelde risicogebieden en buigt zich over aanpassingen om de conceptverordening te versterken.

(49) Kan de regering aangeven hoe het recht op intellectueel eigendom zich verhoudt tot fundamentele rechten van de mens? (50) Is de regering het met de fractieleden eens dat bedrijven zich nooit op intellectueel eigendom mogen beroepen als het de rechten van burgers raakt? (51) Vindt de regering dat het voorstel hierin voldoende bescherming biedt?

(Antwoord 49) Het intellectueel eigendomsrecht (IE-recht) wordt ook erkend als mensenrecht (zie artikel 17 van het Handvest van de grondrechten in de EU, en artikel 15 van het IVESCR).

(Antwoord 50) Het intellectueel eigendomsrecht is een belangrijk middel om innovatie en creativiteit te stimuleren, en om de integriteit van intellectuele producties te beschermen. In de praktijk betekent dat dat bepaalde informatie afgeschermd wordt en dat kan schuren met andere rechten, zoals het recht op informatie. De regering is het met de fractieleden eens dat eigendomsrechten echter geen ongerechtvaardigd beletsel mogen vormen voor de bescherming van andere fundamentele rechten. Dat is steeds een afweging, die afhangt van de context en het doel dat met het IE-recht botst.

(Antwoord 51) het voorstel kent enkele resultaatverplichtingen voor de ontwikkelaars van hoog risico AI-systemen waarmee een brug wordt geslagen tussen de bescherming van IE-recht enerzijds, en de bescherming van rechten anderzijds: er moet verplicht aan de gebruiker duidelijkheid gegeven worden over de werking van het systeem, menselijk toezicht moet mogelijk zijn, en er moet technische documentatie beschikbaar zijn. Daarnaast moeten toezichthouders toegang hebben tot documentatie en systemen kunnen testen en geldt voor hen een geheimhoudingsplicht.

(52) De leden vragen zich af of bedrijven en overheden niet transparanter moeten zijn als het gaat om het verwerken van persoonsgegevens en het gebruik van algoritmen.

(Antwoord 52) Het kabinet heeft eerder in een brief aan de Tweede Kamer het juridisch kader omtrent de transparantie van algoritmen in gebruik bij de overheid uiteengezet.²⁰ Voor zover bij gebruik van een algoritme persoonsgegevens worden verwerkt – en dit zal het geval zijn voor veel algoritmen met verstrekkende gevolgen voor burgers – is de Algemene Verordening Gegevensbescherming van toepassing. Deze verordening biedt het basiskader voor de verwerking van persoonsgegevens dat geldt voor overheden, bedrijven en burgers. In voorkomende gevallen bestaat er specifiekere gegevensbeschermingswetgeving zoals bijvoorbeeld de Wet politiegegevens. De AVG bepaalt dat verwerking rechtmatig, behoorlijk en transparant moeten zijn.²¹ Dit is één van de kernbeginselen die in acht moet worden genomen bij de verwerking van persoonsgegevens. Deze eisen zijn verder uitgewerkt in onder meer 13 en 14 AVG waarin informatieverplichtingen zijn opgenomen, welke ook specifiek toezien op geautomatiseerde besluitvorming.²² Daarnaast biedt de AVG betrokkene ook verschillende rechten waarmee transparantie kan worden afgedwongen zoals het inzagerecht (artikel 15) en het recht op «gegevenswissing» (artikel 17). Daarbij verdient opmerking dat deze transparantieverplichtingen voor zover het de relatie tussen burger en overheid betreft worden gecomplementeerd met de verschillende transparantievereisten die voortvloeien uit het bestuursrecht, en dat in de «Richtlijnen voor het gebruik van algoritmen door overheden» is bepaald dat de overheid geen algoritmen hanteert waarvan de uitkomsten niet navolgbaar en controleerbaar zijn.²³ Voor zover het de relatie tussen bedrijven en burgers betreft worden de AVG-bepalingen aangevuld middels verschillende transparantieverplichtingen, neergelegd in het consumentenrecht. Al met al constateert het kabinet dat er in bestaande wetgeving in beginsel voldoende transparantieverplichtingen bestaan, maar dat de praktische uitwerking en naleving hiervan door overheden en bedrijven wellicht nog beter vorm kan krijgen. Daarom werkt het kabinet voor overheden aan het instrument van een algoritmeregister. Dit is tevens neergelegd in de brief «Voortgang AI en algoritmen» van 10 juni jl. met daarin de «Beleidsagenda normering en toezicht algoritmen»²⁴ en de eerdere kabinetsreactie van 20 november 2020 op een drietal onderzoeken naar algoritmen.²⁵

(53) Hoe staat de regering tegenover een openbaar algoritmen register waarin verantwoording wordt afgelegd over de wijze waarop persoonsgegevens worden gebruikt door algoritmen, zoals al in de gemeente Amsterdam bestaat?

(Antwoord 53) Op 19 januari heeft de Tweede Kamer de motie Klaver c.s. aangenomen waarin de regering wordt verzocht een algoritmeregister op te zetten waarin beschreven wordt welke algoritmen de overheid gebruikt, voor welk doel en op basis van welke datasets. Op 28 oktober jl. heeft de Tweede Kamer de motie Dassen aangenomen, waarin het kabinet gevraagd wordt om dit algoritmeregister verplicht te stellen. De Staatssecretaris van BZK komt in januari 2022 met een brief aan de Tweede Kamer hierover.

Naast het algoritmeregister stelt de Europese Commissie in haar AI-verordening een zogeheten «EU Database» voor. Deze database lijkt veel gelijkenissen te hebben met het hierboven beschreven «algoritmeregister». Het kabinet zal gaan onderzoeken in hoeverre deze twee begrippen overlap met elkaar hebben en zal daarna gaan kijken in hoeverre deze samengebracht kunnen worden.

De leden zouden graag zien dat er een juridische uitvoeringstoets inzake AI wordt uitgevoerd zodat beter kan worden gewogen hoe de vertaling door de ambtenaren en IT-ontwikkelaars is gedaan. Ook op wetten.nl zou duidelijk moeten zijn wat de AI-basisregels zijn van een bepaald systeem uit het oogpunt van controleerbaarheid en transparantie. (54) Is de regering bereid om dit in Nederland te gaan ontwikkelen en gedegen politiek en bestuurlijk te beleggen?

(Antwoord 54) Het kabinet verwijst u voor dit antwoord naar het antwoord op vraag 35 en 36.

(55) Hoe beoordeelt de regering de garanties inzake grondrechtenbescherming? (56) Is de regering het eens dat het niet alleen gaat over hoe iets is ontworpen en getraind, maar ook hoe het daadwerkelijk wordt ingezet, gebruikt en gaandeweg de tijd verder ontwikkelt? De leden vinden dat de Europese Commissie te weinig oog heeft voor het moment van daadwerkelijk toepassing en de ontwikkelingen na ingebruikname. Hoe ziet de regering dit?

(Antwoord 55) Dit voorstel heeft tot doel de veiligheid, gezondheid en fundamentele rechten te beschermen. AI-systemen met een onacceptabele inbreuk op grondrechten worden verboden, en systemen met risico’s voor grondrechten gereguleerd om die risico’s te minimaliseren. Discriminatie en privacy worden bijvoorbeeld beschermd door eisen te stellen aan data governance, en de rechtsgang wordt beschermd door eisen te stellen aan de transparantie van systemen. Ook is menselijk toezicht als voorwaarde gesteld. Dat laatste is belangrijk: als de systemen kunnen worden gecontroleerd op hun functioneren, kan ook de impact ervan op grond- en mensenrechten beter gewogen worden.

Een belangrijk rol is daarin weggelegd voor toezicht. De regering beziet met expertsessies en een rondetafelgesprek hoe dat toezicht het beste vorm moet worden gegeven en welke rol toezichthouders en burgers/eindgebruikers daarin hebben.

(Antwoord 56) De regering is het ermee eens dat het niet alleen gaat over hoe iets is ontworpen en getraind, maar ook hoe het daadwerkelijk wordt ingezet. De toegevoegde waarde van de AI-verordening is gelegen in controle vooraf en monitoring van risicovolle systemen. De inzet en het gebruik van algoritmen wordt door bestaande wetgeving zoals de AVG – waarin veel aandacht is voor doeleinden, context en gebruik – reeds gereguleerd; ook na ingebruikname. Daarnaast werkt de Europese Commissie aan een aanpassing van de regels over productaansprakelijkheid, met als doel bij de herziening extra aandacht te besteden aan nieuwe technologie zoals AI.

Deze fractieleden maken zich namelijk grote zorgen over de uitzonderingsruimte van het verbod die wordt geboden in Artikel 5(d). Met deze ruime formulering, zeker onder lid (iii), vrezen deze leden dat er alsnog veelvuldig gebruik kan worden gemaakt van biometrische surveillance in de openbare ruimte. (57) Graag reactie van het kabinet. (58) Klopt het dat lidstaten overwegen deze provisies te schrappen en op te roepen tot een nieuw voorstel rondom het gebruik van AI in de context van politie en handhaving, gezien de verschillen tussen de publieke en private sectoren? (59) En klopt het dat het Sloveense Voorzitterschap op 30 september 2021 een workshop hierover heeft georganiseerd? Zo ja, zou het kabinet terug kunnen koppelen over de uitkomsten van deze workshop? (60) Is het kabinet bereid zich in te zetten voor behoud van het voorstel en een verbod op biometrische surveillance in de publieke ruimte, zoals geadviseerd door de Europese privacy-toezichthouders, waaronder de Autoriteit Persoonsgegevens?

(Antwoord 57) Het kabinet is voorstander van strenge regels en strikte voorwaarden voor de inzet van technologie die naar haar aard gemakkelijk inbreuk kan maken op grondrechten. Momenteel geldt niet voor niets al een uitgebreid juridisch kader waarin onder meer het verwerken van bijzondere persoonsgegevens (waaronder biometrische gegevens, zoals bij de inzet van gezichtsherkenning) in beginsel verboden is. Het feit dat een reeds verboden toepassing in de AI-verordening niet nogmaals wordt verboden betekent á contrario niet dat de toepassing ineens wél rechtmatig zou zijn. De verondersteld ruime formuleringen zorgen er dus niet voor dat er meer ruimte ontstaat dan er nu is; en die ruimte is wat het kabinet betreft beperkt. Wel is het kabinet van mening dat er ruimte moet blijven voor uitzonderingssituaties op het verwerkingsverbod van bijzondere persoonsgegevens en dat een inbreuk op de meeste grondrechten, zoals op de persoonlijke levenssfeer, in bepaalde gevallen kan voldoen aan de eisen van noodzakelijkheid, proportionaliteit en subsidiariteit die nodig zijn om zo’n inbreuk te rechtvaardigen.

(Antwoord 58) Er zijn momenteel geen officiële posities bekend van andere de lidstaten.

(Antwoord 59) Het verslag van deze workshop is als bijlage toegevoegd bij de beantwoording.

(Antwoord 60) Zoals vermeld is het kabinet voorstander van strenge regels en strikte voorwaarden voor de inzet van technologie die naar haar aard gemakkelijk inbreuk kan maken op grondrechten. Biometrische surveillance in de publieke ruimte is hier een voorbeeld van. Het kabinet is voorstander van het beperken van de inzet van biometrische surveillance in de publieke ruimte door rechtshandhaving, zoals voorgesteld in de conceptverordening. Echter, een absoluut verbod – waarbij de afwegingsruimte geheel verdwijnt – acht het kabinet niet wenselijk, zoals in een brief aan de Tweede Kamer is toegelicht.²⁶

Verplichtingen liggen nu vooral bij de aanbieders en richten zich op «beoogd gebruik». Maar zelfs als een AI-systeem onbevooroordeeld is en perfect werkt, kan het worden gebruikt in strijd met fundamentele rechten (bijvoorbeeld herkenningssoftware die wordt gebruikt voor genderherkenning of frauderisicosystemen, met enorme gevolgen voor mensen). De waarborgen hieromtrent zijn voor de leden daarom ook van groot belang. Transparantie betekent in het huidige voorstel vooral dat je als burger weet dat je interactie hebt met een AI-systeem, maar niet wat het doet, met welke factoren rekening wordt gehouden en op welke basisprincipes het systeem is gegrond. (61) Is de regering het met deze leden eens dat er sprake is van een te enge invulling van transparantie? (62) Net zoals dat deze leden vinden dat er gezorgd moet worden dat niet alleen het beoogde gebruik van risicovolle systemen (bijlage VIII, onderdeel 5), maar het daadwerkelijke gebruik moet worden gedocumenteerd in de openbare database voor op zichzelf staande AI-systemen met een hoog risico. Is de regering dit met de leden eens?

(Antwoord 61) Dit voorstel kent verschillende invullingen van transparantie: in de eerste plaats moeten hoog risicosystemen transparant zijn naar de gebruikers van die systemen, zodat die gebruikers weten hoe het systeem werkt, en in de tweede plaats zijn er overige systemen die eindgebruikers moeten informeren dat ze interacteren met een AI-systeem. Dat zijn verschillende invullingen van transparantie: met een verschillend doel en middel. Daarnaast is overige wetgeving van toepassing die transparantie kan afdwingen over het gebruik van AI-systemen, zoals de AVG.

(Antwoord 62) Voor de beantwoording van deze vraag verwijst de regering naar het antwoord beschreven onder vraag 53.

---

1 Samenstelling:

Backer (D66), De Boer (GL) (voorzitter), Van Dijk (SGP), Van Hattem (PVV), Rombouts (CDA), Baay-Timmerman (50PLUS), Adriaansens (VVD), arbouw (VVD), Bezaan (PVV), De Blécourt-Wouterse (VVD), Dittrich (D66), Doornhof (CDA), Janssen (SP), Karimi (GL), Meijer (VVD), Nicolaï (PvdD), Otten (Fractie-Otten) (ondervoorzitter), Recourt (PvdA), Rietkerk (CDA), Veldhoen (GL), Van Wely (Fractie-Nanninga), Nanninga (Fractie-Nanninga). Raven (OSF), Karakus (PvdA), Talsma (CU) en Hiddema (FVD).

2 COM(2021)205, COM(2021)202 en COM(2021)206; zie voor de behandeling in de Eerste Kamer dossier E210019 op www.europapoort.nl.

3 COM(2021)205, COM(2021)202 en COM(2021)206; zie voor de behandeling in de Eerste Kamer dossier E210019 op www.europapoort.nl.

4 Kamerstukken II 2020/21, 33 317, nr. 702, blz. 2.

5 Groei AP noodzakelijk voor bescherming burgers in digitaliserend Nederland.

6 Het verslag daarvan zal worden opgenomen in een nog te publiceren gebundeld verslag van de afzonderlijke deskundigenbijeenkomsten op 5, 12 en 26 oktober 2021, Kamerstukken I 2021/22, CXLVII.

7 Kamerstukken II, 2020/21, 35 510, nr. 2.

8 Zie algoritmeregister.amsterdam.nl.

9 COM(2021)206 Verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels betreffende Artificiële Intelligentie (Wet op de Artificiële Intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de Unie.

10 Waarnaar wordt verwezen in COM(2021)206 Verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels betreffende Artificiële Intelligentie (Wet op de Artificiële Intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de Unie (artikel 60, lid 2).

11 https://www.digitaleoverheid.nl/nieuws/handreiking-voor-ontwikkeling-niet-discriminerende-ai/.

12 Kamerstukken II 2021/22, 35 925 VII, nr. 39.

13 Explainable AI biedt inzicht in het denken en handelen van zelflerende oplossingen. Hierdoor kunnen organisaties hun beslissingen uitleggen, zowel intern als extern. Daarnaast biedt het de mogelijkheid de kaders voor de interpretaties aan te scherpen en toekomstige uitkomsten te verbeteren.

14 Kamerstuk II, 2021/22, 30 821, nr. 118.

15 Impact Assessment of the Regulation on Artificial intelligence https://digital-strategy.ec.europa.eu/en/library/impact-assessment-regulation-artificial-intelligence vanaf p. 65.

16 Study to Support an Impact Assessment of Regulatory Requirements for Artificial Intelligence in Europe, https://digital-strategy.ec.europa.eu/en/library/study-supporting-impact-assessment-ai-regulation.

17 Kamerstukken II 2020/21, 26 643, nr. 765.

18 Resultaten verantwoordingsonderzoek 2019 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties | Rapport | Algemene Rekenkamer.

19 Kamerstukken II, 2020/21, 26 643, nr. 779.

20 Kamerstukken II 2018/19, 26 643, nr. 570.

21 Artikel 5, eerste lid, onder a AVG.

22 Artikel 13, tweede lid, onder f AVG; artikel 14, tweede lid, onder g AVG.

23 https://www.rijksoverheid.nl/binaries/rijksoverheid/documenten/richtlijnen/2021/09/24/richtlijnen-voor-het-toepassen-van-algoritmen-door-overheden-en-publieksvoorlichting-over-data-analyses/Richtlijnen+Algoritmen+08032021.pdf.

24 Kamerstukken II 2020/21, 26 643, nr. 765.

25 Kamerstukken II 2020/21, 26 643, nr. 726.

26 Kamerstukken II, 2021/22, 32 761, nr. 198.