Vragen van de leden Stoffer (SGP) en Drost (ChristenUnie) aan de Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties over het bericht «Nieuwe functie Snapchat wil met kinderen afspreken: Zie ik je vanavond? Ik ben een echt persoon!» (ingezonden 20 april 2023).

Antwoord van Staatssecretaris Van Huffelen (Binnenlandse Zaken en Koninkrijksrelaties) mede namens de Staatssecretaris van Volksgezondheid, Welzijn en Sport en de Minister voor Primair en Voortgezet Onderwijs (ontvangen 13 juni 2023).

Vraag 1

Bent u bekend met het bericht «Nieuwe functie Snapchat wil met kinderen afspreken: Zie ik je vanavond? Ik ben een echt persoon!»?1

Antwoord 1

Ja, hiermee ben ik bekend.

Vraag 2

Wat vindt u van deze nieuwe functie?

Antwoord 2

Ik vind het zeer onwenselijk wanneer chatbots zich voordoen als echte mensen. Ik vind het belangrijk dat zeker kwetsbare groepen zoals kinderen voor wie het nog moeilijker is om dat onderscheid te maken hiertegen worden beschermd.

In de AI-verordening (die nog in onderhandeling is) staat dat aanbieders ervoor moeten zorgen dat AI-systemen die voor interactie met natuurlijke personen zijn bedoeld (zoals chatbots), zodanig worden ontworpen en ontwikkeld dat natuurlijke personen worden geïnformeerd dat zij met een AI-systeem te maken hebben, tenzij uit de omstandigheden en gebruikscontext al blijkt dat sprake is van een AI-systeem.

Vraag 3

Bent u ervan op de hoogte dat de nieuwe functie van Snapchat, «My AI», een speelse variant is op ChatGPT, maar daarbij verdergaat dan ChatGPT, omdat de functie van Snapchat zich voordoet als een echt persoon/een echte vriend, die daarnaast ingaat op voorstellen voor fysiek afspreken?

Antwoord 3

Ja, daarvan ben ik op de hoogte. Snap Inc., het bedrijf achter Snapchat, heeft in een gesprek met de Staatssecretaris van VWS en mij inmiddels aangegeven dat de functionaliteit is aangepast waardoor de chatbot zich niet langer voordoet als een echt persoon en expliciet wordt vermeld dat het gaat om een chatbot. Desalniettemin vind ik het kwalijk dat er bij de introductie van deze nieuwe functie in Snapchat onvoldoende rekening is gehouden met de impact die dit kan hebben op kinderen. Ik wil bedrijven zoals Snap Inc. dan ook oproepen de Code Kinderrechten Online toe te passen, waarvan het eerste beginsel luidt: «zet het belang van het kind voorop bij het ontwerp». Ook met het oog op de aankomende AI-verordening vind ik het belangrijk dat ontwerpers die gebruik maken van een chatbot duidelijk en transparant zijn richting de eindgebruiker dat er sprake is van een AI-systeem.

Vraag 4

Bent u ervan op de hoogte dat My AI inspeelt op de behoeften en problemen van jongeren, waardoor jongeren eenzijdige input krijgen, wat gevaarlijk kan zijn voor de ontwikkeling van de jongeren?

Antwoord 4

Op basis van de beschikbare informatie is het niet te zeggen of «My AI» inspeelt op de behoeften en problemen van jongeren en daardoor eenzijdige input verschaft. Het is hoe dan ook belangrijk dat aanbieders van online diensten, wanneer er gebruik wordt gemaakt van een bot, hierover transparantie bieden. Dit wordt zoals in vraag 2 toegelicht geregeld in de AI-verordening.

Bovendien dienen aanbieders van zogenaamde zeer grote online platforms, waaronder Snapchat, TikTok, Facebook en Instagram, op grond van de Digital Services Act (DSA), die op 25 augustus 2023 op hen van toepassing wordt, jaarlijks de zogenaamde systeemrisico’s die voortvloeien uit het ontwerp of uit de werking van hun diensten in kaart te brengen en maatregelen te nemen om deze risico’s te verminderen. Tot deze systeemrisico’s behoren nadrukkelijk ook eventuele werkelijke of voorzienbare negatieve effecten op de uitoefening van grondrechten, waaronder de rechten van kinderen, en negatieve effecten met betrekking tot minderjarigen. Dit betekent dat deze partijen ook maatregelen zullen moeten nemen om kinderen te beschermen tegen chatbots wanneer deze (potentieel) een negatief effect hebben op de rechten of het welzijn van kinderen.

Vraag 5

Deelt u de mening dat Snapchat met deze nieuwe functie een grens overschrijdt, omdat het zich voordoet als echt persoon, en herkent u de zorgen van ondermeer 113 Zelfmoordpeventie en de Kindertelefoon dat er gevaarlijke situaties kunnen ontstaan voor jongeren, zeker voor jongeren die kampen met suïcidale gedachten?

Antwoord 5

Ik deel de mening dat het onwenselijk is als een chatbot zich tegenover kinderen voordoet als echt persoon. Het is belangrijk dat kinderen zich realiseren of zij tegen een echt persoon praten of tegen een bot. Het is daarom goed dat deze functie in Snapchat is aangepast, zodat My AI zich niet meer voordoet als een echt persoon. Maar zoals ik hierboven ook al schreef, had Snap Inc. al bij de introductie van deze functie duidelijk moeten maken dat het om een AI-functionaliteit gaat en niet om een echt persoon. Het is kwalijk dat dat niet is gebeurd.

Vraag 6

Wat vindt u ervan dat My AI voor verbetering van hun eigen product en voor reclamedoeleinden in beginsel alle berichten bewaart, is dit in lijn met fingerende wet- en regelgeving? Kunt u hierbij specifiek ook ingaan op het kader voor minderjarigen van 16–17 jaar en kinderen jonger dan 16?

Antwoord 6

Het geldende juridische kader voor de verwerking van persoonsgegevens wordt hoofdzakelijk vormgegeven door de Algemene Verordening Gegevensbescherming (AVG) en de bijbehorende Uitvoeringswet (UAVG). Dit kader stelt verschillende voorwaarden aan het verwerken van persoonsgegevens. Zo is het verwerken van persoonsgegevens alleen toegestaan op basis van de verwerkingsgrondslagen, of redenen, die de AVG daarvoor biedt. Een van de verwerkingsgrondslagen uit de AVG is de «toestemming» van een betrokkene voor het verwerken van de persoonsgegevens voor een specifiek doel. Zo kan een betrokkene toestemming geven voor het verwerken van persoonsgegevens, bijvoorbeeld ter verbetering van de dienst die hij afneemt, of voor reclamedoeleinden. Als de betrokkene jonger is dan 16 jaar oud, dient de toestemming te worden gegeven door zijn of haar wettelijke vertegenwoordiger.

Bij de verwerking van deze persoonsgegevens dient ook aan andere voorwaarden uit de AVG te worden voldaan, waaronder beginselen van behoorlijke gegevensverwerking, zoals het beginsel van dataminimalisatie. Dit beginsel bepaalt dat niet meer gegevens mogen worden verwerkt dan strikt noodzakelijk voor het doel waarvoor de verwerking plaatsvindt.

De vraag of My AI aan de AVG voldoet, kan ik als bewindspersoon echter niet beoordelen. Dit is ook niet aan mij. De Autoriteit Persoonsgegevens (AP) is aangewezen als onafhankelijke toezichthouder om toe te zien op de naleving van de AVG en waar nodig handhavend op te treden.

Vraag 7

Wat vindt u ervan dat Snapchat deze functie introduceert voor commerciële doeleinden en deze ook voor kinderen beschikbaar stelt?

Antwoord 7

Bedrijven mogen functies als een chatbot bij hun online dienst beschikbaar stellen. Daarbij dient evenwel altijd te worden voldaan aan toepasselijke regelgeving, waaronder de AVG. Als persoonsgegevens worden verwerkt op basis van toestemming, dient deze bij kinderen onder de 16 jaar bijvoorbeeld steeds te zijn gegeven door een wettelijke vertegenwoordiger. Bij dergelijke functies dienen de kinderrechten te allen tijde te worden geborgd en dienen de belangen van het kind in ogenschouw te worden gehouden. Commerciële belangen wegen uiteraard nooit zwaarder dan de rechten van kinderen. Het is belangrijk dat technologiebedrijven zoals Snap Inc. bij het ontwerp van apps en games de Code Kinderrechten Online toepassen, waarvan een belangrijk beginsel luidt: «voorkom te allen tijde economische exploitatie van kinderen».

Vraag 8

Bent u bereid om met Snapchat in gesprek te gaan over deze functie en de effecten hiervan op kinderen in het bijzonder, met als doel deze functie te schrappen of in elk geval aan te laten passen zodat kinderen beschermd worden? Bent u op zijn minst van mening dat daarbij duidelijk moet worden aangegeven dat het hier gaat om een fictief persoon?

Antwoord 8

Ik heb met Snap Inc., het bedrijf achter Snapchat, gesproken. Toen bleek dat Snap Inc. deze functie inmiddels heeft aangepast waardoor de chatbot zich niet langer voordoet als echt persoon en wordt vermeld dat het een chatbot betreft. Ik vind het belangrijk dat aanbieders van online diensten transparant zijn over het gebruik van bots, zeker wanneer het kinderen betreft.

Vraag 9

Hoe bent u van plan om jongeren, ouders en scholen in bredere zin bewuster te maken van deze en andere AI-ontwikkelingen?

Antwoord 9

De opkomst van AI is een gegeven en heeft impact op de maatschappij en het onderwijs. AI kan het onderwijs verbeteren door het leren motiverender en meer op maat te maken en docenten te ondersteunen. Tegelijkertijd zijn er risico’s en kan de inzet van AI bijvoorbeeld door biases leiden tot grotere verschillen tussen groepen leerlingen en studenten waardoor groepen leerlingen en studenten onterecht benadeeld kunnen worden.2 De ontwikkeling van AI zal dan ook een aanpassing vragen van docenten en leerlingen en studenten om goed met intelligente technologieën in het onderwijs om te gaan.

De ontwikkeling van AI vraagt van zowel docenten als leerlingen om op een doordachte manier met deze technologie in het onderwijs om te leren gaan. Daarbij is het belangrijk dat scholieren, leraren en de brede maatschappij in gesprek blijven over het gebruik van AI in de klas. Van docenten vraagt dit ook meer op het gebied van didactische en digitale vaardigheden. OCW draagt hieraan bij door het inrichten van een expertisepunt voor digitale geletterdheid in 2023, waar leraren, schoolleiders en bestuurders terecht kunnen voor hulp en informatie over digitale geletterdheid. Van onderwijsinstellingen vraagt dit om te doordenken hoe zij vanuit hun visie op goed onderwijs dit binnen hun instellingen willen vormgeven.

Vraag 10

Deelt u de mening dat er hele grote stappen worden gezet in de ontwikkeling van kunstmatige intelligentie, waardoor een zorgvuldige aanpak noodzakelijk is?

Antwoord 10

Ja, daarmee ben ik het eens. Het kabinet onderneemt daarom op dat gebied acties. Het kabinet gaat in de beantwoording van de vragen van Kamerlid Leijten hierop nader in.3

Vraag 11

Vindt u ook dat technologische ontwikkelingen momenteel sneller gaan dan de kaders van wet- en regelgeving? Deelt u de mening dat dit geen wenselijke situatie is en dat idealiter vóór de introductie van nieuwe ingrijpende digitale technologieën een afweging is gemaakt over de maatschappelijke impact en of, en zo ja onder welke voorwaarden, dergelijke technologieën kunnen worden geïntroduceerd?

Antwoord 11

Er bestaan al verschillende algemene regelgevende kaders, zoals de AVG, de herziene richtlijn audiovisuele mediadiensten (AVMSD) en binnenkort de DSA en de AI-verordening. Daarbij wordt zoveel mogelijk gekozen voor technologie neutrale bepalingen zodat de wetgeving toekomstbestendig is. Wel is het zo dat technologische ontwikkelingen elkaar snel opvolgen. Hierdoor kan het voorkomen dat de kaders van wet- en regelgeving niet meer geheel passend zijn bij de nieuwste ontwikkelingen. Ik acht het echter wel van het grootste belang dat publieke waarden juist ook bij nieuwe ontwikkelingen goed worden geborgd. Daarom zet ik, zoals aangegeven in de Werkagenda Waardengedreven digitalisering, in op het opstellen van techniek neutrale voorwaarden en impact assessments voor de borging van publieke waarden bij de toepassing van nieuwe digitale technologieën. Een voorbeeld hiervan is het bestaande Impact Assessment Mensenrechten en Algoritmen (IAMA)4 en het Kinderrechten Impact Assessment (KIA) dat ik momenteel ontwikkel en in het najaar gereed zal zijn. Ook stel ik ten aanzien van nieuwe technologieën beleidsagenda’s op. In zo’n agenda staan concrete acties om kansen van een nieuwe technologie te benutten en risico’s te adresseren. In het najaar zal ik een beleidsagenda immersieve technologie lanceren.

In het geval van AI vind ik het van belang dat de AI-verordening niet te lang op zich laat wachten. Daarin wordt onder meer geregeld dat hoog risico AI-systemen pas op de Europese markt gebracht mogen worden als deze goedgekeurd zijn op het gebied van veiligheid en mensenrechten. Daarmee zorgen we ervoor dat die afweging vooraf gemaakt wordt.

Vraag 12

Hoe beoordeelt het kabinet de stappen die de Italiaanse privacy-autoriteit heeft gezet om ChatGPT te blokkeren, ondermeer vanwege de slechte bescherming van kinderen? Kan het kabinet zich voorstellen dat ook in Nederland tot een dergelijke stap wordt overgegaan?

Antwoord 12

Zoals ik hierboven reeds opmerkte bij het antwoord op vraag 6, is het aan de onafhankelijke toezichthouder (de Autoriteit Persoonsgegevens) om te beoordelen of OpenAI met ChatGPT aan de AVG voldoet, en indien er sprake blijkt te zijn van onrechtmatig handelen handhavend op te treden. Ik kan als bewindspersoon niet beoordelen of My AI aan de AVG voldoet, en of, en zo ja hoe, in dat verband handhavend dient te worden opgetreden.

De Italiaanse toezichthouder heeft overigens inmiddels het verbod opgeven nadat OpenAI heeft toegezegd enkele wijzigingen te zullen doorvoeren die de zorgen van de Italiaanse toezichthouder met betrekking tot gegevensbescherming moeten wegnemen. OpenAI heeft tot 30 april de tijd gehad om deze aanpassingen door te voeren.5 Sindsdien is er geen nieuw verbod op ChatGTP uitgevaardigd door de Italiaanse toezichthouder.

Het kabinet gaat nader in op dit onderwerp in de beantwoording van de vragen van Van Raan.6

Vraag 13

Deelt u de mening dat niet alleen op korte termijn met een visie op nieuwe AI-producten moet worden gekomen – zoals door de Kamer verzocht7 – maar ook met nadere wet- en regelgeving waarin in elk geval aandacht is voor de bescherming van kwetsbare groepen zoals kinderen en jongvolwassenen?

Antwoord 13

Net als de vragenstellers vind ik het enorm belangrijk dat kinderen en jongvolwassenen goed worden beschermd. Er bestaan daarvoor al veel regels. De AVG en de DSA kennen bijvoorbeeld specifieke regels voor de bescherming van deze groepen. In de EU wordt momenteel gewerkt aan de AI-verordening, zoals ook benoemd in vraag 2 en 11. Deze stelt eisen aan bepaalde AI-systemen, zoals een transparantieverplichting voor chatbots. In het kader van de kabinetsvisie op nieuwe AI-producten, waaronder generatieve AI, zal het kabinet bestuderen of er aanvullende wet- en regelgeving nodig is, en daarbij ook aandacht besteden aan de bescherming van kwetsbare groepen zoals kinderen en jongvolwassenen.

Toelichting:

Deze vragen dienen ter aanvulling op eerdere vragen terzake van het lid Kathmann (PvdA), ingezonden 20 april 2023 (vraagnummer 2023Z07266).

X Noot
1

«Nieuwe functie Snapchat wil met kinderen afspreken: «Zie ik je vanavond? Ik ben een echt persoon!»», AD, 18-04-2023, Nieuwe functie Snapchat wil met kinderen afspreken: «Zie ik je vanavond? Ik ben een echt persoon!» | Tech | AD.nl.

X Noot
2

Wetenschappelijke Raad voor het Regeringsbeleid (2021) Opgave ai. De nieuwe systeemtechnologie, wrr-Rapport 105, Den Haag: wrr.

X Noot
3

Aanhangsel Handelingen II 2022/23, nrs. 5597.

X Noot
6

Aanhangsel Handelingen II 2022/23, nr. 7754.

X Noot
7

Kamerstuk 26 643, nr. 1003.

Naar boven