35 913 Communication from the Commission to the European Parliament, the Council, the European Economic and Social Committee and the Committee of the Regions: Fostering a European approach to Artificial Intelligence (COM(2021)205) | Voorstel voor een Verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de Unie (COM(2021)206) | Voorstel voor een Verordening van het Europees Parlement en de Raad betreffende machineproducten (COM(2021)202)

B BRIEF VAN DE MINISTER VAN BUITENLANDSE ZAKEN

Aan de Voorzitter van de Eerste Kamer der Staten-Generaal

Den Haag, 31 mei 2021

Overeenkomstig de bestaande afspraken ontvangt u hierbij 2 fiches die werden opgesteld door de werkgroep Beoordeling Nieuwe Commissie voorstellen (BNC).

Fiche 1: Mededeling Bevorderen Europese aanpak inzake Kunstmatige Intelligentie

Fiche 2: Verordening betreffende Kunstmatige Intelligentie

De Minister van Buitenlandse Zaken, S.A.M.A.M. Kaag

Fiche 2: Verordening betreffende Kunstmatige Intelligentie

1. Algemene gegevens

• a) Titel voorstel

  Voorstel voor een verordening van het Europees Parlement en de Raad betreffende geharmoniseerde regels voor kunstmatige intelligentie (Wet kunstmatige intelligentie) en tot wijziging van bepaalde Unie-wetgeving

• b) Datum ontvangst Commissiedocument

  21 april 2021

• c) Nr. Commissiedocument

  COM(2021) 206

• d) EUR-Lex:

  EUR-Lex – 52021PC0206 – EN – EUR-Lex (europa.eu)

• e) Nr. impact assessment Commissie en Opinie Raad voor Regelgevingstoetsing

  SWD(2021) 84

• f) Behandelingstraject Raad

  Telecomraad

• g) Eerstverantwoordelijk ministerie

  Gezamenlijke verantwoordelijkheid Ministerie van Economische Zaken en Klimaat, Ministerie van Justitie en Veiligheid en Ministerie van Binnenlandse Zaken en Koninkrijksrelaties

• h) Rechtsbasis

  Artikel 16 en artikel 114 Verdrag betreffende de Werking van de Europese Unie (VWEU)

• i) Besluitvormingsprocedure Raad

  Gekwalificeerde meerderheid

• j) Rol Europees Parlement

  Medebeslissing

2. Essentie voorstel

a) Inhoud voorstel

Op 21 april 2021 presenteerde de Commissie het voorstel voor een verordening voor kunstmatige intelligentie (AI), als onderdeel van het bredere AI-pakket¹. Het voorstel heeft als doel om ervoor te zorgen dat AI-systemen die op de Europese markt worden gebracht en gebruikt, veilig en in overeenstemming zijn met de geldende fundamentele rechten en waarden binnen de EU zoals onder andere neergelegd in de Europese verdragen en internationale mensenrechtenverdragen en in wet- en regelgeving zoals de Algemene Verordening Gegevensbescherming (AVG). Het streven is om zo een interne markt voor veilige en betrouwbare AI-systemen te faciliteren terwijl marktfragmentatie wordt voorkomen. Tevens wil de verordening zorgen voor juridische zekerheid om investeringen en innovatie in AI te faciliteren.

Het voorstel onderscheidt de volgende categorieën AI-systemen: Verboden praktijken waarbij bepaalde AI-systemen worden gebruikt met onacceptabele risico’s; Hoog-risico AI-systemen die moeten voldoen aan verplichtingen en de nakoming hieraan moeten aantonen door middel van een ex ante conformiteitsbeoordeling; AI-systemen waarvoor bepaalde transparantievereisten gelden; en voor AI-systemen met geen of minimale risico’s is een raamwerk voor vrijwillige gedragscodes voorzien.

Reikwijdte en definitie AI

De Commissie hanteert een definitie van AI die naast zogenaamde machine learning technieken² ook andere algoritmische systemen omvat. Het gaat hier dan bijvoorbeeld om besluitvormingssystemen op basis van klassieke statistiek, beslisbomen en zoekmethodes. Het voorstel is van toepassing op AI-systemen die in de EU op de markt worden gebracht of in gebruik worden genomen, in sectoren uiteenlopend van speelgoed tot vervoersmiddelen, infrastructuur, machines en software die besluitvorming ondersteunt, ongeacht waar de ontwikkeling heeft plaatsgevonden en ongeacht of sprake is van privaat of publiek gebruik. Het voorstel introduceert verschillende vereisten voor de ontwikkeling, het op de markt brengen en het in gebruik nemen van hoog-risico AI-systemen die kunnen gelden voor providers³, importeurs, distributeurs en gebruikers. AI-systemen exclusief ontwikkeld of gebruikt voor militaire doeleinden zijn uitgezonderd.

Verboden praktijken

Onder het verbod valt een aantal «praktijken» waarbij AI-systemen worden gebruikt: om menselijk gedrag, meningen of besluiten te manipuleren; om kwetsbaarheden van personen of groepen te exploiteren; en om personen sociaal te scoren (social scoring) of te beoordelen.

Daarnaast is er ook een verbod op het gebruik van real-time biometrische identificatie⁴ in de publieke ruimte ten behoeve van strafrechtelijke rechtshandhaving. Voor dit laatste verbod zijn er uitzonderingen mogelijk onder bepaalde omstandigheden. Om bij uitzondering real time biometrische identificatie in te mogen zetten door rechtshandhavingsautoriteiten is een ex ante autorisatieprocedure voorgesteld.

Risicobenadering

In het voorstel worden aanvullende, veelal procesmatige, verplichtingen gesteld aan de providers van hoog-risico AI-systemen en, zij het in mindere mate, aan de gebruikers van hoog-risico AI-systemen. De verplichtingen hebben onder andere betrekking op data, menselijke controle, technische documentatie, nauwkeurigheid en cyberveiligheid. Ook onderdeel hiervan zijn documentatievereisten om inzicht te bieden in de werking en gemaakte keuzes bij AI-systemen. Als hoog-risico worden in ieder geval aangemerkt bepaalde AI-systemen die als veiligheidscomponent onderdeel zijn van een product of zelf een product zijn die onder het toepassingsbereik van de door de Commissie opgestelde lijst van sectorale regelgeving valt. De Commissie heeft, naast de grote lijst producten, infrastructuur en machines, een lijst opgesteld van hoog-risico AI-systemen die met name een hoog risico vormen voor fundamentele rechten. Deze lijst bevat voornamelijk systemen die ingezet worden in de publieke sector (zoals onderwijs, rechtshandhaving, asiel en publieke dienstverlening), maar ook in de financiële sector en in de werving en selectie van personeel en inzet van AI bij o.a. de besluitvorming in het arbeidsrecht. De Commissie krijgt in het voorstel de bevoegdheid om deze lijst aan te vullen met AI-systemen die vallen binnen de op deze lijst genoemde toepassingsgebieden.

Conformiteitsbeoordelingen

Providers dienen de naleving van de aanvullende verplichtingen voor hun hoog-risico AI-systemen aan te tonen door middel van een ex ante conformiteitsbeoordeling. Na het uitvoeren van de conformiteitsbeoordeling, dient een provider een verklaring van conformiteit op te stellen en het AI-systeem zichtbaar voorzien van een CE-keurmerk (EU-productcertificeringskeurmerk). Bij iedere substantiële verandering aan het AI-systeem na introductie op de markt of ingebruikname, moet een nieuwe conformiteitsbeoordeling te worden uitgevoerd.

Transparantie voor overige AI-systemen

De Commissie heeft specifieke transparantieverplichtingen (anders dan de transparantieverplichtingen die gelden voor hoog-risico AI-systemen) gesteld voor AI-systemen die bedoeld zijn om interactie met natuurlijke personen te hebben (zoals chatbots) of content te genereren of het zich voordoen als een (bestaand) persoon (zoals deepfakes). Daarnaast gelden deze verplichtingen voor AI-systemen die gebruikmaken van emotieherkenningstechnologie of biometrisch categoriseren.⁵ De transparantieverplichtingen die gelden voor deze specifieke AI-systemen zien vooral op het duidelijk maken dat men te maken heeft met een AI-systeem, tenzij dit duidelijk is door omstandigheden of de gebruikscontext. Daarnaast geldt een verplichting om, als dat het geval is, duidelijk te maken dat een AI-systeem gebruik maakt van emotieherkenning en/of biometrische categorisatie. Wanneer deze systemen ook vallen onder een hoog-risico categorie, gelden deze verplichtingen aanvullend.

Toezicht en governance

Het voorstel creëert een systeem voor toezicht dat ziet op de toepassing en naleving van de in het voorstel opgenomen vereisten en verplichtingen. Elke lidstaat dient een nationale toezichthouder aan te wijzen of in te stellen die verantwoordelijk is voor het toezicht op de verordening in algemene zin. Daarnaast wordt het bestaande toezicht uitgebreid door het instellen van een «Europees Artificial Intelligence Board» (bestaande uit de hoofden van de toezichthouders van de lidstaten en de European Data Protection Supervisor). Lidstaten moeten verder toezichthouders aanwijzen, afhankelijk van de sector waar een AI-systeem in gebruik wordt genomen. In het geval van AI-systemen die voor de rechtshandhaving worden gebruikt, zal een lidstaat het toezicht moeten beleggen bij de nationale autoriteit voor gegevensbescherming of bij een nationale autoriteit die meer specifiek toezicht uitoefent op het gebied van rechtshandhaving, immigratie of asiel. Toezichthouders kunnen boetes uitdelen als organisaties zich niet aan de eisen van deze verordening houden. Verder krijgen toezichthouders de mogelijkheid om de gebruikte datasets en de verplichte documentatie, die providers van hoog-risico AI-systemen moeten produceren, in te zien. Wanneer deze documentatie ontoereikend is om te bepalen of Unie-verplichtingen zijn geschonden die fundamentele rechten beogen te beschermen, kunnen de systemen worden getest door de markttoezichthouder. Er gelden verder bepalingen met betrekking tot vertrouwelijkheid van de informatie die wordt ingezien. Het voorstel introduceert daarnaast een EU-brede database waar providers van hoog-risico AI-systemen zich moeten aanmelden.

Innovatie en regeldruk

Een van de doelstellingen van dit voorstel is het creëren van een wetgevend kader dat toekomstgericht, veerkrachtig en innovatie-vriendelijk is. De Commissie noemt een aantal maatregelen om hoge nalevingskosten te vermijden en daarmee te voorkomen dat de verordening innovatie belemmert (in plaats van stimuleert). Hierbij benadrukt de Commissie nadrukkelijk het belang voor kleine organisaties en bedrijven (bijv. mkb), zij krijgen daarom ook voorrang bij experimenteerruimtes. In experimenteerruimtes zoals regulatory sandboxes⁶, digitale innovatiehubs (DIH) en test- en experimenteerfaciliteiten (TEF), kunnen bedrijven en andere (publieke) organisaties testen of hun AI-systemen – nog voordat ze in gebruik worden genomen – aan de geldende verplichtingen voldoen. Directe begeleiding door de toezichthoudende instelling zou daarbij het juridische risico tot een minimum beperken en de nalevingskosten voor deelnemende organisaties verlagen. De Commissie geeft aan dat dit bedrijven zal helpen hun producten en diensten sneller op de markt te brengen. Als gevolg hiervan zouden de regelgevingsvereisten geen belemmering moeten vormen voor het betreden van de markt.

b) Impact assessment Commissie

Het impact assessment stelt dat AI als technologie enerzijds veel maatschappelijke en economische voordelen kan hebben, maar dat anderzijds bepaalde AI-systemen risico’s voor de veiligheid en fundamentele rechten van Europese burgers met zich mee kunnen brengen. De Commissie kiest voor een risicogerichte aanpak waarbij voor hoog-risico AI-systemen eisen zullen gelden als aanvulling op reeds bestaande wet- en regelgeving. Het vrijwillig opstellen van een gedragscode voor niet hoog-risico AI-systemen is tevens onderdeel van de gekozen richting. Hiermee streeft de Commissie ernaar om enerzijds ruimte te bieden voor innovatie en het benutten van de kansen van AI en anderzijds de risico’s voor veiligheid en fundamentele rechten te beperken.

3. Nederlandse positie ten aanzien van het voorstel

a) Essentie Nederlands beleid op dit terrein

Het Nederlandse beleid op het terrein van AI is in verschillende brieven aan de Tweede Kamer verwoord, zoals onder meer: het Strategisch Actieplan voor Artificiële Intelligentie (SAPAI)⁷, AI publieke waarden en mensenrechten en de brief over Waarborgen tegen risico’s van data analyse door de overheid⁸. Nederland zet in op AI-systemen die de mens dienen, veilig zijn en vertrouwd kunnen worden, die publieke waarden borgen en waarbij een goede rechtsbescherming verzekerd is. AI is nu niet ongereguleerd, immers wordt doorgaans niet de technologie zelf gereguleerd, maar bijvoorbeeld bepaald gedrag (bijv. verbod van discriminatie), een bepaalde activiteit (bijv. het nemen van overheidsbesluiten), bepaalde uitkomsten of wat er moet gebeuren bij schade (bijv. productaansprakelijkheid). Dit neemt niet weg dat ontwikkelingen en ervaringen met de inzet van AI en de effectiviteit en toepasbaarheid van bestaand beleid en wetgeving uitwijzen dat nieuwe regels en instrumenten nodig zijn. Waar mogelijk dient te worden aangesloten op bestaande kaders.

Het kabinet werkt ook aan de ontwikkeling en toepassing van instrumenten die overheden en bedrijven ondersteunen bij het nakomen van bestaande wettelijke verplichtingen en die (daarmee) helpen verantwoorde AI te ontwikkelen en in te zetten.

Naar aanleiding van de publicatie van het «Witboek AI»⁹ door de Europese Commissie heeft het kabinet haar appreciatie hiervan met de Tweede Kamer gedeeld.¹⁰ In de appreciatie wordt ingegaan op de gewenste samenhang tussen het – in het Witboek genoemde – Ecosysteem van excellentie en Ecosysteem van vertrouwen. Het kabinet heeft als vertrekpunt dat de twee ecosystemen van excellentie en vertrouwen hand in hand gaan en elkaar versterken. Het Ecosysteem van vertrouwen, waar de voorgestelde verordening invulling aan geeft, creëert de juiste randvoorwaarden voor mensgerichte en veilige AI-systemen, waardoor economische en maatschappelijke kansen van AI kunnen worden benut¹¹. Voor (aanvullend) beleid en wetgeving pleit het kabinet voor een «lerende aanpak», waarbij onderzoek, experimenten en pilots input opleveren voor nut, noodzaak, toepasbaarheid en impact van het instrumentarium.

b) Beoordeling + inzet ten aanzien van dit voorstel

Het kabinet verwelkomt het voorstel en staat positief tegenover de doelstellingen zoals beschreven in het voorstel. Het kabinet vindt het belangrijk dat striktere verplichtingen gelden voor hoog-risico AI-systemen. Het kabinet is verder positief over de doelstelling van de Commissie om leiderschap te tonen in het bevorderen van betrouwbare en veilige AI door wetgevende kaders te stellen, waarmee de EU wereldwijd de standaard kan zetten. Het kabinet acht het van belang dat zoveel als mogelijk aansluiting wordt gezocht bij bestaande (EU-)wettelijke kaders en dat daardoor bij nieuwe regels rechtszekerheid wordt geboden. Bij het huidige voorstel heeft het kabinet wel meerdere vragen en bezwaren. Op verschillende punten ontbreekt bij de gehanteerde definities en formuleringen in het voorstel de helderheid. Het gaat hier met name om de formulering van de verboden en de hoog-risico categorieën en de definities van provider, gebruiker en de «ingebruikname» van AI-systemen. Onduidelijke definities en formuleringen kunnen onzekerheid geven over wanneer een AI-systeem onder de reikwijdte van het voorstel valt en wanneer een organisatie kan worden aangemerkt als een provider. Daarnaast heeft het kabinet vragen in relatie tot de uitvoerbaarheid en haalbaarheid van de gekozen systematiek voor organisaties in de praktijk. Deze procedures vergen van de betrokken overheids- en uitvoeringsorganisaties en bedrijven aanpassing van werkwijze, aanvullende verplichtingen en extra capaciteit en specifieke kennis en expertise t.a.v. de huidige situatie. Het is vanwege de eerder geschetste onduidelijkheden over enkele bepalingen in het voorstel op dit moment nog niet mogelijk om een sluitend antwoord te geven op de vraag wat de implicaties exact zijn. Het kabinet roept de Commissie daarom op om zaken te verduidelijken waar het kan, en waar dat niet kan, voldoende ruimte te bieden voor de lerende aanpak waar Nederland voor staat. Zo is er voldoende ruimte voor evaluatie om daar waar nodig bij te sturen als de praktijk daar om vraagt. De initiële inzet van het kabinet is gericht op het verduidelijken en aanscherpen van de in het voorstel gehanteerde definities, de voorziene werking van de verordening in de praktijk, en de relatie tot bestaande wetgeving¹².

Reikwijdte en definitie

Het voorstel introduceert meerdere definities, waaronder een nieuwe¹³ definitie van AI. Het kabinet merkt op dat de hier gehanteerde definitie dusdanig ruim is dat potentieel alle algoritmische informatiesystemen onder het begrip AI vallen, waarmee de administratieve lasten mogelijk fors kunnen worden. Ook een groot aantal systemen dat nu al gebruikt wordt en die niet als AI beschouwd worden in de samenleving vallen namelijk onder deze nieuwe definitie. Het kabinet constateert dat – hoewel het begrijpelijk is dat de Commissie niet alleen zelflerende of redenerende systemen onder de reikwijdte van de verordening wil brengen – hiermee een definitie van AI wordt gehanteerd die niet correspondeert met wat doorgaans in de wetenschap en dagelijkse praktijk als AI wordt aangemerkt. De Commissie is bevoegd om de lijst met technieken en technische benaderingen, waarnaar wordt verwezen in de definitie van AI, te amenderen. Verder merkt het kabinet op dat de rolbeschrijving aanscherping behoeft. Zo is het onduidelijk wanneer organisaties, en in het bijzonder overheidsorganisaties, als provider kunnen worden beschouwd als zij systemen ontwikkelen voor eigen gebruik en daarmee aan aanvullende eisen moeten voldoen. Als laatste constateert het kabinet dat de verordening ook veel nieuwe definities introduceert, zoals die van «ingebruikname», om de geheel nieuwe systematiek te faciliteren. Het kabinet zal erop aandringen dat er aan het begin van de onderhandelingen duidelijkheid ontstaat over deze definities en actoren, zodat de coherentie met bestaande regelgeving kan worden geborgd.

Het verbod op bepaalde systemen en real-time biometrie in de publieke ruimte

Het kabinet merkt op dat de huidige formuleringen van de verboden voor bepaalde praktijken nog onduidelijk zijn. Het is voor meerdere interpretaties vatbaar welke AI-systemen precies onder het verbod vallen. Met betrekking tot het verbod op het gebruik van real-time biometrische identificatie systemen in de publieke ruimte ten behoeve van rechtshandhaving geldt dat het kabinet, net als de Commissie, van inziens is dat het gebruiken van real-time biometrische identificatie een zeer grote inbreuk maakt op de fundamentele rechten en dus zo veel mogelijk moet worden beperkt. Tegelijk erkent het kabinet net als de Commissie dat er een beperkt aantal uitzonderingsgevallen denkbaar is in de toekomst waarin de noodzaak van het gebruiken van deze technologie bestaat.

Conformiteitsbeoordelingen

Voordat hoog-risico AI-systemen op de markt worden gebracht of in gebruik worden genomen, dienen providers een conformiteitsbeoordeling uit te voeren. Door de eerdergenoemde onduidelijkheden in de definities van provider en ingebruikname, bestaat er nog onzekerheid over wanneer en door wie de beoordeling uitgevoerd dient te worden. Het kabinet merkt verder op dat moet worden bekeken of en hoe het instrument van conformiteitsbeoordelingen in alle gevallen werkbaar is voor zowel het op de markt brengen van hoog-risico AI-systemen als voor de ingebruikname (binnen de eigen organisatie) hiervan. Het kabinet hecht belang aan meer helderheid over de exacte implicaties van de conformiteitsbeoordeling voor bepaalde overheidsdiensten teneinde een zorgvuldige weging te kunnen maken van de noodzaak en de voor- en nadelen van een alternatieve systematiek. Daarnaast vindt het kabinet het van belang dat kritisch moet worden gekeken naar de formuleringen van een aantal verplichtingen en hoe de nakoming hiervan wordt beoordeeld. Het gaat hier met name om de verplichtingen die betrekking hebben op de gebruikte (training) data bij hoog-risico AI-systemen. Daarnaast verdient de mogelijke impact van een conformiteitsbeoordeling op innovatie(snelheid) verdere aandacht.

Transparantie voor overige AI-systemen

Het kabinet is in beginsel positief over het stellen van aanvullende transparantieverplichtingen voor bepaalde AI-systemen die niet altijd onder de hoog-risico categorieën vallen. De daarbij door de Commissie geïdentificeerde categorieën, te weten: interactie van AI-systemen met natuurlijke personen, gebruik van emotie-herkennende systemen of op basis van biometrie categoriserende systemen, en gemanipuleerde beelden (deepfakes), kan het kabinet goed volgen. Dergelijke toepassingen kunnen immers tot een schending van mensenrechten leiden, of anderzijds schade veroorzaken. Dit sluit ook aan bij de kabinetsinzet in het kader van de DSA en het adresseren van desinformatie¹⁴. Het voorstel is echter niet duidelijk over voor wie deze transparantieverplichtingen gelden: voor de ontwikkelaar van dergelijke AI-systemen, voor platformen waar een burger een dergelijke transparantie notificatie ziet of voor beiden. Dergelijke transparantie is alleen effectief als deze niet gemakkelijk omzeild kan worden, of een contraproductieve uitwerking heeft. Het kabinet stelt ook de vraag of een transparantieverplichting wel voldoende is om eventuele schade en schendingen van mensenrechten te vermijden, of dat de toepassingen in kwestie (bijvoorbeeld het zonder toestemming verwerken van biometrische gegevens) niet reeds verboden zijn. Het kabinet zal de Commissie vragen deze verplichtingen nader uit te werken alvorens hier een definitief oordeel over kan worden geveld.

Toezicht en governance

AI-systemen moeten veilig zijn en fundamentele rechten respecteren. De rol van (menselijk) toezicht is daarbij essentieel. In verschillende sectoren zijn er al regels die productveiligheid en fundamentele rechten beschermen en daar is toezicht op. In het voorstel worden de verplichtingen en het toezicht in het bestaande systeem geïntegreerd. Het kabinet zal aandacht vragen voor de verhouding tussen het huidige toezicht en deze nieuwe bepalingen: het moet duidelijk zijn welke toezichthouder bevoegd is, hoe het bestaande toezichtkader aansluit op nieuwe kaders en hoe toezichthouders zich tot elkaar verhouden en elkaar kunnen versterken. In het voorstel worden aanvullende regels gesteld aan toezicht, maar er worden geen nieuwe rechten voor burgers en consumenten geïntroduceerd. Het kabinet begrijpt dat deze verordening hier ook niet voor bedoeld is, maar benadrukt het belang dat dit in specifieke (consumenten)regelgeving alsnog gebeurt. Het kabinet vindt het belangrijk dat voor burgers en consumenten duidelijk is hoe zij hun recht kunnen halen. Als zij dat doen op basis van bestaande (EU- en nationale) wetgeving, die productveiligheid en fundamentele rechten beschermen, moet duidelijk zijn welke rol de aanvullende verplichtingen uit het voorliggende voorstel daarbij spelen. Dat geldt ook bij grensoverschrijdende zaken. In de herziening van de productaansprakelijkheidsrichtlijn, die naar verwachting later dit jaar gepubliceerd zal worden, wordt hier verder op ingegaan.

Daarnaast is het van belang dat het toezicht op de inzet van AI-systemen in de rechterlijke macht ook binnen de rechterlijke organisatie ligt, conform het toezicht op gegevensverwerking door gerechten en andere rechterlijke autoriteiten. Dit om de onafhankelijkheid van de rechterlijke macht bij de uitoefening van haar rechterlijke taken te waarborgen. Het kabinet vindt het daarom positief dat binnen het voorstel de mogelijkheid bestaat om nationaal maatwerk te leveren bij het beleggen van de toezicht- en handhavingstaken en -bevoegdheden. Hiermee kan het toezicht op de verordening aansluiten bij het bestaande toezicht en kunnen toezichthouders vanuit hun eigen domein en expertise toezicht houden. Door deze aanvullende taken die bij verschillende toezichthouders erbij komen, moet er ook aandacht zijn voor de benodigde middelen, capaciteit en expertise van de verschillende toezichthouders. Het kabinet vraagt zich af of de door de Commissie benoemde benodigde bezetting van 1 tot 25 FTE bij de toezichthoudende instantie voldoende is.

Innovatie en regeldruk

Het is de eerste inschatting van het kabinet dat de door de Commissie geschatte kosten en regeldruk voor de naleving aan de lage kant zijn en dus in de praktijk hoger zullen uitvallen. Dit geldt voor mkb-bedrijven, startups en kleine organisaties in algemene zin, en kunnen zo ook een drempel opwerpen voor de marktintroductie van innovatieve AI-systemen. Daarnaast zal de impact, van de verplichtingen uit het voorstel, op de publieke sector relatief groot zijn. Met het oog op het bovenstaande zet het kabinet zich er voor in dat de administratieve verplichtingen zo lastenluw en effectief mogelijk worden vormgegeven. Nederland verwelkomt dan ook de handreiking om onder meer mkb-bedrijven hierbij tegemoet te komen door hen toegang te geven tot regulatory sandboxes, in combinatie met begeleiding door de toezichthouder en ziet dit dan ook als eerste goede stap. Het kabinet moedigt de maatregelen aan die zich richten op de kleine ontwikkelaars en gebruikers van AI-systemen. Voor het kabinet is het belangrijk dat er concreet wordt gemaakt onder welke criteria en condities de deelname aan een regulatory sandbox mogelijk is. Zo worden juridische kosten en rechtsonzekerheid tot een minimum beperkt. Het valt verder te bezien in hoeverre de beoogde stimulerende werking van het voorstel voor innovatie met AI wordt afgenomen door de nalevingskosten. Het kabinet realiseert zich dat deze vraag complex is en mede afhangt van de concurrentieomgeving voor de specifieke toepassing en de technische specificiteit ervan. Het is voor het kabinet daarbij van belang dat de regeldruk geen belemmering zal zijn voor de innovatie op het gebied van AI binnen de EU. Een aspect dat in dit verband relevant is, is de verplichting om opnieuw een conformiteitsonderzoek te verrichten bij zogenaamde «substantiële» veranderingen aan een AI-systeem. De Commissie zou moeten verduidelijken wanneer precies sprake is van een substantiële verandering en of alle stappen opnieuw doorlopen moeten worden. De acties in de herziening van het coördineerde plan voor AI¹⁵ zijn een noodzakelijk complement om het innovatiepotentieel van het voorstel te kunnen verzilveren.

c) Eerste inschatting van het krachtenveld

De eerste reacties van de EU-lidstaten op het AI-pakket zijn overwegend positief. AI wordt door alle EU-lidstaten, waaronder Nederland, als relevante technologie gezien met veel potentieel.

In het Europees Parlement wordt de verordening naar verwachting behandeld in het IMCO-comité. De rapporteur in het speciale comité inzake kunstmatige intelligentie in het digitale tijdperk is Ibán García del Blanco. Eerder heeft het EP gepleit voor een kader voor ethische aspecten van kunstmatige intelligentie. In dat licht is de verwachting dat het EP positief zal staan tegenover het initiatief van de Commissie voor een raamwerk voor AI toepassingen.

4. Beoordeling bevoegdheid, subsidiariteit en proportionaliteit

a) Bevoegdheid

Het oordeel van het kabinet ten aanzien van de bevoegdheid is positief. Het voorstel vindt zijn rechtsgrondslag in de artikelen 16 en 114 VWEU. Artikel 114 geeft de EU de bevoegdheid tot harmonisatie van nationale wetgeving die de instelling en de goede werking van de interne markt betreft. Het kabinet kan zich vinden in deze voorgestelde rechtsbasis, aangezien met het voorstel de goede werking van de interne markt voor veilige en betrouwbare AI-systemen wordt gefaciliteerd en gewaarborgd. Verder kan het kabinet zich vinden in artikel 16 VWEU als rechtsbasis voor de voorgestelde regels met betrekking tot AI-systemen die gebruik maken van persoonsgegevens, specifiek ten aanzien van AI-systemen die gebruikmaken van biometrische identificatie. Artikel 16 VWEU geeft de EU immers de bevoegdheid om voorschriften vast te stellen betreffende de bescherming van natuurlijke personen ten aanzien van de verwerking van persoonsgegevens door de instellingen, organen en instanties van de Unie, alsook door de lidstaten, bij de uitoefening van activiteiten die binnen het toepassingsgebied van het recht van de Unie vallen, alsmede de voorschriften betreffende het vrij verkeer van die gegevens.

Subsidiariteit

Het oordeel van het kabinet ten aanzien van de subsidiariteit is positief. Het doel van het voorstel is het faciliteren van de interne markt waarin AI-systemen voldoen aan de in de EU geldende regels en waarden met betrekking tot veiligheid en fundamentele rechten. Gezien de mogelijke grensoverschrijdende risico’s voor veiligheid en fundamentele rechten die AI-systemen met zich mee kunnen brengen en het belang van een gelijk speelveld binnen de markt, zijn op EU-niveau geharmoniseerde regels wenselijk. Het kabinet onderschrijft daarbij de intentie van de Commissie om te voorkomen dat in de lidstaten verschillende aanvullende juridische kaders voor AI-toepassingen ontstaan, hetgeen leidt tot ongewenste fragmentatie, specifiek gelet op het grensoverschrijdende karakter van de ontwikkeling van AI-systemen, de daarvoor benodigde gegevens en de analyse daarvan. Om die redenen is optreden op het niveau van de EU gerechtvaardigd.

b) Proportionaliteit

Het kabinet oordeelt positief over de proportionaliteit van het voorstel. De voorgestelde vorm en inhoud van het voorstel staan in een evenredige verhouding tot het doel: ervoor zorgen dat AI-systemen die op de Europese markt worden gebracht en gebruikt, veilig en in overeenstemming zijn met de geldende fundamentele rechten en waarden binnen de EU. De benadering om striktere verplichtingen voor AI-systemen vast te leggen op basis van het risico dat zij vormen, acht het kabinet geschikt ter realisatie van de in het voorstel opgenomen doelstellingen met betrekking tot veiligheid en fundamentele rechten. Bovendien gaat het voorstel niet verder dan noodzakelijk en laat het voldoende ruimte aan de lidstaten, bijvoorbeeld doordat het mogelijk blijft om nationaal maatwerk te leveren bij het beleggen van de toezicht- en handhavingstaken en -bevoegdheden. Het kabinet stelt daarbij wel dat er een aantal verduidelijkingen plaats moeten vinden over de uitvoerbaarheid van onder meer de in het voorstel opgenomen verboden praktijken en categorieën hoog-risico AI-systemen en om ervoor te zorgen dat de regelgeving aansluit bij bestaande kaders en governance mechanismen. Hierbij gaat het over onder andere de AVG en de daarbij behorende Data Protection Impact Assessment (DPIA) en bestaande beoordelingen voor productveiligheid.

5. Financiële consequenties, gevolgen voor regeldruk, concurrentiekracht en geopolitieke aspecten

a) Consequenties EU-begroting

De Commissie geeft in het financieel memorandum van het voorstel aan dat er financiële gevolgen zijn voor de EU-begroting. De Commissie geeft aan dat het voorstel binnen de relevante rubrieken van het MFK kan worden gefinancierd en reserveert voor de periode 2023–2027 2,2 mln. euro in rubriek 1 van het meerjarig financieel kader (MFK) voor operationele en administratieve kosten voor DG CNECT en 7,7 mln. voor personele middelen in rubriek 7 administratie.

Het kabinet is van mening dat de benodigde EU-middelen gevonden dienen te worden binnen de in de Raad afgesproken financiële kaders van de EU-begroting 2021–2027 en dat deze moeten passen bij een prudente ontwikkeling van de jaarbegroting.

b) Financiële consequenties (incl. personele) voor rijksoverheid en/ of medeoverheden

In het door de Commissie opgestelde impact assessment van het voorstel, worden voor de lidstaten kosten met betrekking tot het toezicht en de handhaving van de verordening verwacht. Deze kosten zijn tweeledig, namelijk kosten voor toezichthoudende autoriteiten, en kosten voor de gebruiker van AI.

De eerstgenoemde kostensoort is het gevolg van het aanwijzen van een toezichthoudende autoriteit voor de implementatie, toezicht en handhaving op de verordening. De Commissie geeft aan dat hiervoor, afhankelijk van het reeds bestaande landschap op toezicht (met andere woorden: in hoeverre toezichthouders al uitgerust zijn voor dergelijk toezicht), 1 tot 25 FTE’s nodig zijn. Het is de voorzichtige inschatting van het kabinet dat dit verwachte aantal van de Commissie te optimistisch is en dat meer nodig zal zijn voor het toezicht en de handhaving.

De tweede kostensoort zijn kosten voor naleving en administratieve verplichtingen voor de gebruiker van de techniek. Overheidsorganisaties zullen kosten moeten maken voor de naleving van de aanvullende verplichtingen wanneer zij zelf AI-systemen, die onder dit voorstel vallen, ontwikkelen, als distributeur aanbieden aan medeoverheden en/of zelf gebruiken. Ook voor medeoverheden worden kosten verwacht voor de naleving van dergelijke aanvullende verplichtingen. Omdat nog niet voldoende duidelijk is welke AI-systemen onder dit voorstel vallen, kunnen bij een brede reikwijdte van het voorstel de kosten voor conformiteitsbeoordelingen van hoog-risicosystemen binnen de overheid mogelijk aanzienlijk zijn. Zoals aangegeven in het impact assessment, worden de kosten voor de naleving van de vereisten bij de ontwikkeling van hoog-risico AI-systemen geschat op ongeveer € 10.000. Door de gehanteerde criteria voor hoog-risico AI-systemen moet binnen de publieke sector bij toepassingen van AI-systemen al snel rekening worden gehouden met deze meerkosten. De totale kosten voor de verplichtingen die gelden voor de gebruikers van hoog-risico AI-systemen wordt geschat op € 5.000 tot € 8.000 op jaarbasis. Dit is exclusief de eenmalige en structurele auditkosten. Het impact assessment houdt echter geen rekening met impliciete kosten die voortvloeien uit eventuele vertraging die ontstaat door de conformiteitsbeoordeling en eventuele verificatie door derde partijen. Dit geldt voor zowel overheidsorganisaties als bedrijven.

De budgettaire gevolgen worden ingepast op de begroting van het/de beleidsverantwoordelijk(e) departement(en), conform de regels van de budgetdiscipline.

c) Financiële consequenties en gevolgen voor regeldruk voor bedrijfsleven en burger

Ook voor bedrijven die AI-systemen ontwikkelen en leveren, geldt dat het voorstel leidt tot verschillende administratieve en inhoudelijke verplichtingen zoals het opzetten en gebruiken van een systeem voor kwaliteits- en risicobeheersing, het bijhouden van gegevens (documentatieverplichtingen), informatieverstrekking en transparantie. Voor de ontwikkelaars van hoog-risico AI-systemen worden de kosten voor naleving van de aanvullende verplichtingen, net als eerder beschreven, door de Commissie geschat op ongeveer € 10.000. De Commissie probeert met name de eenmalige kosten enigszins in perspectief te plaatsen door deze af te zetten tegen de ingeschatte gemiddelde ontwikkelingskosten van een AI-systeem en door een vergelijking te maken met de nalevingskosten voor mkb-bedrijven die gepaard gingen met de implementatie van andere recente initiatieven van de Commissie. De gemiddelde ontwikkelingskosten van een AI-systeem worden door de Commissie ingeschat op € 170.000. Niet rekening houdend met de eenmalige en structurele auditkosten (aangezien deze lastig zijn in te schatten), kan gezegd worden dat er sprake is van grofweg 4 tot 5% extra eenmalige regeldrukkosten per AI-systeem. Verder voorziet het voorstel ook in de mogelijkheid om vrijwillige gedragscodes op te stellen voor systemen die niet als hoog-risico worden beschouwd. Wanneer een bedrijf vrijwillig kiest voor het voldoen aan een gedragscode, worden dezelfde kosten als hierboven beschreven verwacht.

d) Gevolgen voor concurrentiekracht en geopolitieke aspecten

Volgens het impact assessment verwacht de Commissie dat de totale geaggregeerde kosten van naleving voor de EU tussen de € 100 en € 500 miljoen zullen bedragen in 2025. Hiermee wordt nog geen rekening gehouden met de eventuele kosten van de vrijwillige gedragscodes.

Volgens de Commissie kan het voorstel leiden tot een groei in investeringen in AI binnen de EU. Een toename in vertrouwen in AI kan leiden tot meer vraag en potentiële juridische zekerheden voor bedrijven tot het creëren van nieuwe producten.

De Commissie geeft aan dat geen verschuivingen van de productie van (hoog-risico) AI-systemen naar buiten de EU kan worden verwacht. Dit komt doordat de aanvullende verplichtingen voor alle providers van hoog-risico AI-systemen gelden wanneer zij deze systemen op de Europese markt willen brengen of wanneer deze systemen burgers van de Europese Unie raken. Providers van deze systemen buiten de EU dienen dus ook aan alle verplichtingen te voldoen. Verder verwacht de Commissie niet dat bedrijven zich zullen onthouden van het brengen van hoog-risico AI-systemen op de Europese markt gezien de grootte van het aandeel van de Europese markt in de wereldwijde markt. Het kabinet verzoekt de Commissie om via een rapportage te evalueren wat de daadwerkelijke gevolgen voor concurrentiekracht en geopolitieke aspecten zijn.

Het kabinet is verder positief over de inzet van de Commissie voor een gemeenschappelijke en gecoördineerde Europese aanpak voor het opbouwen en versterken van strategisch leiderschap op het gebied van AI in sectoren van groot mondiaal belang, zoals op het gebied van gezondheidszorg, robotica, publieke dienstverlening, mobiliteit, en landbouw. Dit versterkt de weerbaarheid van deze sectoren en kan de strategische autonomie van de EU versterken.

6. Implicaties juridisch

a) Consequenties voor nationale en decentrale regelgeving en/of sanctionering beleid (inclusief toepassing van de lex silencio positivo)

Door de departementen zal geïnventariseerd moeten worden of op de voor hen verantwoordelijke domeinen met de verordening strijdig(e) beleid en/of regelgeving bestaat en in hoeverre deze moet worden aangepast. Op dit moment valt nog lastig in te schatten wat de exacte consequenties zullen zijn. Dit zal ook een belangrijk aandachtspunt zijn voor het kabinet tijdens de onderhandelingen.

b) Gedelegeerde en/of uitvoeringshandelingen, incl. NL-beoordeling daarvan

Het kabinet vindt het wenselijk om de Commissie de voorgestelde bevoegdheid tot het vaststellen van nadere regelgeving toe te kennen, zodat er flexibel kan worden ingespeeld op technologische ontwikkelingen op het gebied van AI.

Het voorstel geeft de Commissie de bevoegdheid om de volgende gedelegeerde handelingen vast te stellen: het in overeenstemming met de markt updaten van de lijst van technieken en methoden in bijlage I (artikel 4), het toevoegen van high-risk AI-systemen aan de lijst in bijlage III (artikel 7), het amenderen van bijlage IV om ervoor te zorgen dat de technische documentatie alle informatie blijft bevatten in het licht van de technologische ontwikkelingen (artikel 11), het toevoegen van nieuwe elementen van de conformiteitsbeoordeling aan bijlagen VI en VII (artikel 43, lid 5), het amenderen van artikel 43, lid 1 en 2, om ervoor te zorgen dat bepaalde high-risk AI-systemen onder de conformiteitsbeoordeling van bijlage VII vallen (artikel 43, lid 6), en het updaten van de inhoud van de EU-conformiteitsverklaring (artikel 48, lid 5). Het kabinet kan zich vinden in de keuze voor delegatie (in plaats van uitvoering), omdat de bevoegdheden strekken tot het aanvullen en wijzigen van niet-essentiële onderdelen van de verordening. Een bevoegdheid voor de Commissie tot wijziging van het basisinstrument, waartoe ook de bijlagen behoren, kan alleen via delegatie worden verleend. De voorgestelde bevoegdheden om gedelegeerde handelingen vast te stellen zijn naar de mening van het kabinet echter onvoldoende afgebakend met betrekking tot de duur ervan. Het kabinet kan daarom niet instemmen met de toekenning van de bevoegdheden voor onbepaalde tijd (artikel 73, lid 2). Het kabinet zal pleiten voor toekenning voor bepaalde tijd met de mogelijkheid van stilzwijgende verlenging waarbij de bevoegdheidsdelegatie naar behoren geëvalueerd kan worden.

Het voorstel geeft de Commissie de bevoegdheid om de volgende uitvoeringshandelingen met de onderzoeksprocedure vast te stellen: het nemen van een gemotiveerd besluit waarin notificerende lidstaat wordt verzocht sancties in te stellen als de Commissie vaststelt dat een genotificeerde instantie niet (meer) aan de vereisten van de notificatie voldoet (artikel 37, lid 4), het vaststellen van gemeenschappelijke specificaties als er geen geharmoniseerde standaarden zijn voor high-risk AI-systemen of als de Commissie deze onvoldoende vindt (artikel 41, lid 1), en het vaststellen van de modaliteiten en voorwaarden voor de werking van de regulatory sandboxes, inclusief de toelatingscriteria, de procedure om deel te nemen of te stoppen en de rechten en plichten van deelnemers (artikel 53, lid 6). Het kabinet kan zich vinden in de keuze voor uitvoeringshandelingen (in plaats van delegatie), omdat hiermee wordt gewaarborgd dat de verordening volgens eenvormige voorwaarden wordt uitgevoerd. Ook kan het kabinet zich vinden in de keuze voor de onderzoeksprocedure, omdat het voor de voorgestelde bevoegdheid tot het vaststellen van uitvoeringshandelingen in artikel 41, lid 1, en 53, lid 6, gaat om handelingen van algemene strekking in de zin van artikel 2, lid 2, sub a, van verordening 182/2011 (hierna: comitologieverordening). Ook voor de bevoegdheid tot het vaststellen van uitvoeringshandeling zoals voorgesteld in artikel 37, lid 4, ligt volgens het kabinet de onderzoeksprocedure voor de hand, aangezien deze uitvoeringshandelingen betrekking kunnen hebben op de veiligheid van mensen (artikel 2, lid 2 onder b) iii) comitologieverordening).

Daarnaast geeft het voorstel de Commissie de bevoegdheid om een uitvoeringshandeling vast te stellen voor het vaststellen van de details en een voorbeeld van een post-markt monitoring plan (artikel 61, lid 3). Bij dit voorstel is niet aangegeven met welke comitéprocedure de uitvoeringshandeling wordt vastgesteld hetgeen erop lijkt te duiden dat hier door de Commissie een zelfstandige uitvoeringshandeling wordt voorgesteld. Het kabinet is kritisch over deze keuze, omdat dit de handelingsruimte voor de Commissie vergroot en de invloed van de lidstaten beperkt. Bij een zelfstandige uitvoeringsbevoegdheid hebben de lidstaten geen rol. Het kabinet is van mening dat een comitologieprocedure zou moeten worden toegepast overeenkomstig de comitologieverordening. Volgens het kabinet zou de onderzoeksprocedure voor de hand zou liggen (artikel 2, lid 2, sub a, in samenhang met artikel 5 van de comitologieverordening). Het kabinet zal hier aandacht voor vragen om ervoor te zorgen dat de invloed en betrokkenheid van de lidstaten op de juiste manier gewaarborgd wordt.

c) Voorgestelde datum inwerkingtreding met commentaar t.a.v. haalbaarheid

De verordening treedt in werking 20 dagen na de publicatie en is van toepassing 24 maanden na die datum. Het kabinet zal nog onderzoeken of de inwerkingtredingstermijn haalbaar is. Hierbij moet rekening worden gehouden met een mogelijke terugwerkende kracht van deze verordening op bestaande AI-systemen.

De implementatietermijn kent een uitzondering voor Title III, Chapter 4 (notifying authorities en notified bodies) en Title VI (governance, national competent authorities); terzake wordt een termijn van 3 maanden voorgesteld. Het kabinet is terzake voorstander van een (veel) langere implementatietermijn, omdat aanwijzing, toedeling taken en bevoegdheden, werkwijze etc. van deze instanties tijd kost en bovendien niet los gezien kan worden van de werkzaamheden die ze verrichten (conformiteitsbeoordeling, toezicht, handhaving etc.). Hiertoe ligt een nationale uitvoeringswet in de rede. Bezien moet worden of hierin ook andere bepalingen van de verordening moeten worden uitgewerkt.

d) Wenselijkheid evaluatie-/horizonbepaling

De Commissie stelt voor om de verordening drie jaar na inwerkingtreding en daarna iedere vier jaar te evalueren. Daarnaast stelt de Commissie voor om elk jaar te beoordelen of de lijst met hoog risico AI-systemen moet worden aangepast. Het kabinet steunt dit.

e) Constitutionele toets

Kunstmatige intelligentie (AI) is een algemeen toepasbare technologie met voor- en nadelen voor grondrechten. Het gebruik ervan kan de uitoefening van sociale grondrechten ondersteunen, zoals het recht op onderwijs (artikel 23 Grondwet) en het recht op gezondheid (artikel 22 Grondwet), en bijdragen aan belangrijke doelen zoals veiligheid. De specifieke eigenschappen van bepaalde AI-systemen (ondoorzichtigheid, complexiteit, afhankelijkheid van data, autonoom handelen) kunnen echter risico’s betekenen voor vrijwel alle grondrechten en de daarmee samenhangende waarden.

Slimme algoritmes creëren bijvoorbeeld diverse manipulatiemogelijkheden. Dat is een risico voor menselijke waardigheid en autonomie, kernwaarden van de Nederlandse maatschappij. Zo kan een AI-systeem zich als een mens voordoen en zo misleiden, of kan subliminale beïnvloeding menselijk gedrag sturen.

De data afhankelijkheid van sommige AI-systemen is een risico voor databescherming en privacy (artikel 10 Grondwet). Daarnaast creëren AI-systemen meer mogelijkheden voor grootschalige surveillance en het op grote schaal beoordelen van (groepen) mensen. Vooral biometrische identificatiesystemen op afstand zoals gezichtsherkenning zijn een gevoelig onderwerp, net als systemen van stem- en emotieherkenning.

AI-systemen kunnen vooroordelen bevatten en daardoor leiden tot ongewenst onderscheid en discriminatie (artikel 1 Grondwet). Dat heeft ook impact op de uitoefening van andere rechten, zoals het recht op sociale zekerheid (artikel 20 Grondwet), het recht op onderwijs (artikel 23 Grondwet) en de vrijheid van vereniging (artikel 8 Grondwet), en de handhaving van het recht door de politie.

De complexiteit en ondoorzichtigheid van sommige AI-systemen kunnen een negatief effect hebben op de rechtsbescherming en tot een ongelijke procespositie (artikel 6 EVRM).

Dit voorstel beoogt juist grondrechten te beschermen. Niet alleen worden de meest kwalijke AI-systemen verboden, maar ook komen er voor hoog-risico AI-systemen verplichtingen om van tevoren die systemen te testen, en bevat de verordening bepalingen over risicomanagement en menselijk toezicht. Zo kunnen vooroordelen en verkeerd toegepaste AI-beslissingen voorkomen worden in belangrijke velden, zoals in het onderwijs, op de arbeidsmarkt, bij overheidsdienstverlening, handhaving van het recht door de politie, en bij de uitoefening van de rechterlijk macht. Daarnaast beoogt dit voorstel de rechtsbescherming van fundamentele rechten beter te beschermen, door eisen die AI-systemen transparant en navolgbaar moet maken, met toezicht achteraf.

Bepaalde fundamentele rechten zijn in wetgeving uitgewerkt. Dat geldt met name voor het data beschermingsrecht (AVG, de wet politiegegevens), de gelijke behandelingswetgeving, het consumentenrecht, wetgeving op het gebied van asiel, migratie, en wetgeving over platforms. Het kabinet zet er op in dat de verhouding tussen deze regels en die uit de voorgestelde AI-verordening duidelijk is en dat zij elkaar versterken.

7. Implicaties voor uitvoering en/of handhaving

Het voorstel vereist dat lidstaten bevoegde autoriteiten aanwijzen voor het houden van toezicht op de naleving van het bepaalde in dit voorstel. Daarnaast worden deze autoriteiten in staat gesteld om, in geval van het nalaten van het voldoen aan de gestelde verplichtingen en/of overtreden van het gestelde in deze conceptverordening te sanctioneren. Dit betekent voor de nog aan te wijzen autoriteiten een uitbreiding van hun wettelijke taken.

Daarnaast is in dit voorstel onder meer voorzien in een verplichte conformiteits-beoordeling voor hoog risico AI-systemen en in een autorisatieprocedure teneinde toestemming te verkrijgen voor het inzetten van specifieke hoog risico AI-systemen. Deze procedures vergen van de betrokken overheids- en uitvoeringsorganisaties en bedrijven aanpassing van werkwijze, aanvullende verplichtingen en extra capaciteit en specifieke kennis en expertise t.a.v. de huidige situatie. Gezien de reikwijdte van de verordening, de gehanteerde definitie van AI, opgenomen verplichtingen en het benodigde toezicht hierop, kan gesteld worden dat de implicaties voor de uitvoering en handhaving aanzienlijk kunnen zijn. Het is vanwege de eerder geschetste onduidelijkheden over enkele bepalingen in het voorstel op dit moment nog niet mogelijk om een sluitend antwoord te geven op de vraag wat de implicaties exact zijn. Dit is voor het kabinet in het vervolgproces een zeer belangrijk aandachtspunt.

8. Implicaties voor ontwikkelingslanden

Geen implicaties voor ontwikkelingslanden

---

1 Dit pakket bevat het voorstel voor een verordening voor AI, een herziening van het Gecoördineerd plan inzake kunstmatige intelligentie en een herziening van de Machinerichtlijn.

2 In dit fiche worden de begrippen AI (veelal gekenmerkt door het gebruik van machine learning technieken) en algoritmen beide gebruikt. Hoewel deze termen van elkaar verschillen, omvat de voorgestelde definitie van de Commissie beide termen.

3 Onder de term provider verstaat de Commissie in het voorstel iedere natuurlijke- of rechtspersoon, publieke autoriteit, agentschap of andere instelling die een AI-systeem ontwikkelt of laat ontwikkelingen met als doel om het op de markt te brengen of in gebruik te nemen.

4 Systemen die biometrische data vastleggen en daarmee personen vergelijken met een dataset en identificeren zonder significante vertraging.

5 De Commissie definieert biometrisch categoriseren als het toewijzen aan personen van een specifieke categorie, zoals geslacht, leeftijd, haar/oogkleur, tatoeages, etniciteit, seksuele of politieke oriëntatie, op basis van biometrische gegevens.

6 Regulatory sandboxes zijn gecontroleerde omgevingen waar de ontwikkeling, het testen en het valideren van AI-systemen worden gefaciliteerd voordat deze op de markt worden gebracht of in gebruik worden genomen.

7 SAPAI bevat de overkoepelende AI-aanpak van het kabinet. Kern hiervan is om de maatschappelijke en economische kansen van AI te verzilveren, en de publieke belangen bij AI te borgen.

8 In de brief over AI publieke waarden en mensenrechten heeft het kabinet kansen en risico’s geschetst voor het borgen van publieke waarden en mensenrechten bij de inzet van AI. In dat kader zijn het afgelopen jaar verschillende initiatieven ondernomen of ondersteund.

9 https://ec.europa.eu/digital-single-market/en/news/white-paper-artificial-intelligence-public-consultation-towards-european-approach-excellence.

10 https://www.rijksoverheid.nl/documenten/kamerstukken/2020/04/20/kabinetsappreciatie-witboek-kunstmatige-intelligentie.

11 Dit sluit aan bij de motie Leijten/Bosman. Kst. 21 501-20, nr. 1658

12 Specifiek de AVG, de implementatie van en de Richtlijn gegevensbescherming in de opsporing in de Wet Politiegegevens gegevensverwerking rechtshandhaving (2016/680), de Verordening betreffende voor medische hulpmiddelen (MDR 2017/745) en de Verordening betreffende medische hulpmiddelen voor in-vitrodiagnostiek (IVDR 2017/746), de in ontwikkeling zijnde wetgeving zoals de Digital Services Act (DSA) en de Data Governance Act (DGA) en de herzieningen zoals die van de Machinerichtlijn en de verwachte Productaanprakelijkheidsrichtlijn.

13 Tot op heden wordt door de Europese Commissie als definitie van AI de definitie van de High Level Expert Group on Artificial Intelligence gehanteerd https://digital-strategy.ec.europa.eu/en/library/definition-artificial-intelligence-main-capabilities-and-scientific-disciplines.

14 Zie onder meer het BNC-fiche Europees democratie actieplan, TK 2020–2021, 22 112, nr. 3028.

15 Het BNC-fiche over de mededeling wordt tegelijkertijd naar uw Kamer gezonden.