Vragen van het lid Buitenweg (GroenLinks) aan de Minister van Justitie en Veiligheid over het gebruik van kunstmatige intelligentie in zedenzaken (ingezonden 20 september 2019).

Antwoord van Minister Grapperhaus (Justitie en Veiligheid) (ontvangen 4 november 2019). Zie ook Aanhangsel Handelingen, vergaderjaar 2019–2020, nr. 332.

Vraag 1

Kent u het bericht over onderzoekers van de Universiteit Maastricht die een chatbot hebben ontwikkeld voor slachtoffers van aanranding, verkrachting of andere vormen van seksuele intimidatie?¹

Antwoord 1

Ja.

Vraag 2

Acht u het mogelijk dat de overheid gebruik gaat maken van een dergelijke chatbot voor het helpen van slachtoffers van seksueel geweld?

Antwoord 2

In zijn algemeenheid wil ik opmerken dat digitale mogelijkheden de bestaande wijzen van hulpverlening kunnen aanvullen. Het kan er niet voor in de plaats komen, maar wel vanuit slachtofferperspectief ondersteunend werken.

Van de Universiteit van Maastricht heb ik begrepen dat de chatbot, waar uw vragen naar verwijzen, als doel heeft om geanonimiseerd meldingen te ontvangen, de melder te steunen en een advies te geven over het opnemen van contact met de bij de melder passende instantie. Dit kan bijvoorbeeld een psycholoog zijn. De ontwikkelingen op dit gebied zijn interessant en die volg ik. Het is echter te vroeg om voor dit concrete geval te zeggen of het door de overheid gebruikt kan worden.

Vraag 3

Klopt het dat deze chatbot draait op een algoritme dat emoties van burgers interpreteert? Zo ja, wat vindt u ervan als de overheid met algoritmes gaat werken die emoties analyseren?

Antwoord 3

Het systeem is gemaakt door de Universiteit Maastricht. Zij hebben mij laten weten dat er geen emotie-herkenningsmodule in het systeem zit.

Vraag 4

Welke data zijn gebruikt om het algoritme te ontwikkelen? Zijn dat data van Nederlandse meldingen? Waren de indieners van de gebruikte meldingen ervan op de hoogte dat deze gebruikt konden worden voor het ontwikkelen van een algoritme?

Antwoord 4

De Universiteit van Maastricht heeft mij laten weten dat de meldingen grotendeels afkomstig zijn uit India, maar ook uit enkele andere landen komen, zoals de Verenigde Staten van Amerika en Zuid-Afrika. Het betreft anonieme meldingen, die tevens ontdaan zijn van gegevens over eventuele daders.²

Vraag 5

Welk juridisch en ethisch kader is op een dergelijke bot van toepassing? Vindt u dat dit huidige kader voldoet? Zo nee, waarom niet en welke voorwaarden bent u voornemens aan dit soort bots te stellen?

Antwoord 5

Belangrijk element van het juridische kader dat op een dergelijke bot van toepassing zal zijn is het gegevensbeschermingsrecht. Hieraan moet in eerste instantie worden voldaan bij het verkrijgen en gebruiken van de reeds in de beantwoording bij vraag 4 genoemde trainingsdata. Zoals ik vernam waren deze in dit geval reeds geanonimiseerd toen zij door de Universiteit werden verkregen, waardoor er voor de training van het algoritme in beginsel geen persoonsgegevens zijn verwerkt. Indien de chatbot echter in gebruik zou worden genomen voor een concrete doelgroep dan ligt het voor de hand dat er persoonsgegevens verwerkt gaan worden, waaronder naar alle waarschijnlijkheid ook bijzondere persoonsgegevens. Bij de ontwikkeling en het gebruik van een dergelijke bot zal men zich moeten houden aan alle vereisten die de Algemene Verordening Gegevensbescherming stelt aan het verwerken van de desbetreffende persoonsgegevens. Daarbij zal speciale aandacht uit moeten gaan naar de vraag of die bijzondere persoonsgegevens verwerkt mogen worden.

In algemene zin geldt dat AI zich in hoog tempo ontwikkelt en dat er nationaal en internationaal wordt bezien of daar gevolgen aan moeten worden verbonden voor regelgeving. Zo is de verwachting dat de nieuwe Europese Commissie op korte termijn een voorstel gaat doen voor een verordening op het gebied van AI.

Het kabinetsstandpunt over de omgang met Artificial Intelligence is recent verwoord in een drietal publicaties, namelijk het Strategisch Actieplan AI,³ de Beleidsbrief AI,⁴ publieke waarden en mensenrechten, en de brief over Waarborgen tegen risico’s van data-analyses door de overheid.⁵

Vraag 6

Wie is er verantwoordelijk wanneer een dergelijke bot een fout zou maken in de beoordeling van een melding?

Antwoord 6

Als een chatbot in gebruik wordt genomen, dan is de partij die de bot beschikbaar stelt verantwoordelijk voor de deugdelijkheid van het systeem. Voor eventuele vragen van aansprakelijkheid gelden de algemene regels uit het Burgerlijk Wetboek. Aansprakelijkheid vraagt een beoordeling van de omstandigheden van het geval. De deugdelijkheid van het systeem, de informatie over de werking daarvan en de wijze waarop de gebruiker er gebruik van heeft gemaakt zijn aspecten die in dat licht van belang kunnen zijn.

---

1 Het Financieele Dagblad, 18 september 2019, «Nederlandse #MeToo-chatbot biedt misbruikslachtoffers luisterend oor»

2 https://safecity.in/about/, geraadpleegd op 14 oktober 2019.

3 Kamerstuk 26 643, nr. 640.

4 Kamerstuk 26 643, nr. 642

5 Kamerstuk 26 643, nr. 641.