26 643 Informatie- en communicatietechnologie (ICT)

Nr. 726 BRIEF VAN DE MINISTER VOOR RECHTSBESCHERMING, DE STAATSSECRETARIS VAN ECONOMISCHE ZAKEN EN KLIMAAT EN DE MINISTER EN STAATSSECRETARIS VAN BINNENLANDSE ZAKEN EN KONINKRIJKSRELATIES

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 20 november 2020

1. Inleiding

Het kabinet hanteert bij het beleid rond algoritmen en AI een lerende aanpak. Hierbij past, mede op instigatie van uw Kamer, ook onderzoek naar de vraag of beleid en regelgeving voldoende zijn toegesneden op actuele en toekomstige kansen en risico’s van algoritmen. In dit verband zenden we uw Kamer een reactie op de volgende onderzoeken:

• «Juridische aspecten van algoritmen die besluiten nemen»¹ (hierna: besluitvormingsonderzoek);

• Onvoorziene effecten van zelflerende algoritmen» (hierna: effectenonderzoek);

• «De modernisering van het Nederlandse Procesrecht in het licht van big data» (hierna: procesrechtonderzoek)².

Elk van de onderzoeken houdt verband met een toezegging aan uw Kamer, dan wel een motie die door uw Kamer is aangenomen.

Met de casestudy «Overheidsincasso bij verkeersboetes» in het besluitvormingsonderzoek is gevolg gegeven aan een toezegging die werd gedaan in het kader van de kabinetsreactie³ op het WRR-rapport «Weten is nog geen doen».

Aanleiding tot het effectenonderzoek was de motie van de leden Van den Berg en Wörsdörfer⁴.

Met het procesrechtonderzoek is uitvoering gegeven aan de motie van het lid Buitenweg⁵.

2. Kabinetsreactie

2.1 Algemene conclusies

De snelle technologische ontwikkelingen roepen de vraag op of beleid en wetgeving voldoende toegesneden zijn op de kansen en de risico’s rondom algoritmen. Naar aanleiding van de onderhavige onderzoeken trekt het kabinet de volgende algemene conclusies.

Grondoorzaken van onvoorziene (en ongewenste) effecten

Het besluitvormingsonderzoek en het effectenonderzoek bieden een gedegen analyse van risico’s van algoritmen voor individuen, groepen en de samenleving als geheel⁶.

Een belangrijke uitkomst van het effectenonderzoek is dat onvoorziene effecten van algoritmen (die kunnen resulteren in ongewenste gevolgen) een drietal grondoorzaken hebben die gelden voor alle typen algoritmen (dus zowel voor regelgebaseerde als zelflerende algoritmen). Deze grondoorzaken zijn:

• 1. Er is een onvolledig of verkeerd begrip van de probleemruimte⁷.

• 2. Het (zelflerende) algoritme is niet goed toegerust op de complexe omgeving waarbinnen het wordt ingezet.

• 3. Het (zelflerende) algoritme wordt niet goed ingepast in een bredere (socio-technische) context.⁸

De onderzoekers lichten duidelijk toe hoe zelflerende algoritmen de kans vergroten op onvoorziene effecten. Om de kans op onvoorziene effecten van algoritmen te verkleinen, is het zaak om bovengenoemde grondoorzaken in te perken.

Het kabinet onderschrijft het belang van goede consumentenbescherming daarbij en zal nader verkennen welke maatregelen kunnen bijdragen aan het tegengaan van eventuele negatieve effecten van algoritmen op consumenten.

Het onderzoek biedt hiertoe tal van aanknopingspunten. Daarnaast is binnen de Europese Unie hier al aandacht voor.

De Europese Commissie benadrukt onder andere in het Witboek over AI⁹ dat consumentenbescherming ook een plaats moet krijgen bij het ontwikkelen van beleid op het terrein van AI.

De toekomstbestendigheid van de algemene juridische kaders op het gebied van non-discriminatie, gegevensbescherming en rechtsbescherming

In het besluitvormingsonderzoek is aan de hand van vier casestudy’s (contentmoderatie door online platformen, zelfrijdende auto’s, de rechtspraak en overheidsincasso bij verkeersboetes) verkend of de algemene juridische kaders op het gebied van de waarden non-discriminatie, gegevensbescherming en rechtsbescherming voldoende zijn toegesneden op de (toekomstige) kansen en risico’s van algoritmen. Dit onderzoek indiceert¹⁰ dat de bedoelde algemene kaders op hoofdlijnen toekomstbestendig zijn. Wel noemt het onderzoek een aantal knelpunten/aandachtspunten. Het gaat hier om de uitleg van het begrip «geautomatiseerde besluitvorming», de mogelijkheid om te testen met «bijzondere persoonsgegevens» en om de bewijspositie in de context van productaansprakelijkheid. Hierop reageert het kabinet in par. 2.2.

In deze paragraaf zal tevens worden ingegaan op de waarneming van het kabinet dat het besluitvormingsonderzoek en het procesrechtonderzoek ieder een ander gevolg van de invloed van de veranderende stand van de techniek op de uitleg van het begrip «persoonsgegevens» belichten, waardoor het begrip «persoonsgegevens» lijkt te vervagen.

Met betrekking tot de toekomstbestendigheid van genoemde kaders onderschrijft het kabinet dat algoritmen niet in een juridisch vacuüm vallen. Wel signaleert het kabinet het volgende. Om normen toekomstbestendig(er) te maken, worden ze vaak breed en open geformuleerd. Maar daardoor kan ook onzekerheid ontstaan over hoe ze in een concrete situatie precies moeten worden uitgelegd. Dit is waarom het besluitvormingsonderzoek benadrukt dat wel rechtsontwikkeling moet plaatsvinden.

Uiteraard ziet het kabinet de belangrijke rol die de rechter (en de toezichthouder) in dit verband spelen. Maar het ziet hier zeker ook een rol voor zichzelf. Thans wordt bijvoorbeeld ingezet op nadere normering van algoritmen via de richtlijnen voor data-analyse door overheden. In het eerste kwartaal van 2021 zal, mede aan de hand van de ervaringen hiermee, worden bezien in hoeverre het nodig en wenselijk is dat onderdelen van deze richtlijnen worden omgezet in aanvullende wettelijke waarborgen. De overwegingen die het procesrechtonderzoek aandraagt m.b.t. de mogelijkheid om de analysefase van grootschalige data-analyses nader te reguleren, zullen hierbij worden meegenomen.

Het kabinet wijst er tot slot nog op dat de Europese Commissie (EC) met genoemd Witboek over AI de discussie heeft gestart of, aanvullend op de bestaande wettelijke kaders, nieuwe wettelijke regels nodig zijn voor zogenoemde hoog risico toepassingen van AI. Het kabinet heeft n.a.v. dit Witboek een appreciatie uitgebracht.¹¹

Sectorspecifieke interventies kunnen nodig zijn

Als gezegd, indiceert het besluitvormingsonderzoek dat de algemene wettelijke kaders op het gebied van non-discriminatie, gegevensbescherming en rechtsbescherming op hoofdlijnen toekomstbestendig zijn.

Het onderzoek geeft echter ook aan dat de kansen en risico’s van algoritmen voor publieke belangen en waarden sterk afhankelijk zijn van de toepassing, de sector en de organisatorische context. Het kan dus zo zijn dat in een specifieke context noch de algemene juridische kaders, noch de specifiek voor die sector geldende juridische kaders voldoen.

In dit verband signaleert genoemd onderzoek in de casestudy’s de nodige knelpunten/spanningen. Zo vinden de onderzoekers de huidige vormen van zelfregulering tekort schieten om discriminatie te voorkomen bij het modereren van content op on line platformen (zie casestudy Contentmoderatie door online platformen). In bijlage 1 wordt op elke casestudy afzonderlijk gereageerd¹².

Beleid is meer dan regels stellen

Een verantwoorde inzet van algoritmen vergt naast een adequaat juridisch kader ook beleid. Het kabinet zet actief in op het borgen en versterken van mensenrechten en het voorkomen en mitigeren van onvoorziene en ongewenste gevolgen bij de inzet van algoritmen.

Dit doet het kabinet onder meer door: communicatie en voorlichting, het doen van onderzoek, het uitvoeren van experimenten, het ontwikkelen/bevorderen van standaarden, toezicht en audits en het stimuleren van het maatschappelijk debat. Voor een overzicht van het gevoerde beleid ten aanzien van algoritmen en AI verwijst het kabinet naar de drie op 8 oktober 2019 naar uw kamer verzonden brieven over dit onderwerp, te weten het Strategisch Actieplan voor AI (SAPAI)¹³, de Beleidsbrief AI, publieke waarden en mensenrechten¹⁴ en de Brief «Waarborgen tegen risico’s van data-analyses door de overheid»¹⁵.

Ook is uw Kamer op 20 april jl. de kabinetsreactie¹⁶ toegezonden op de initiatiefnota Middendorp («Grip op algoritmen»)¹⁷ en het onderzoek over het toezicht op overheidsalgoritmen.

Dit jaar worden in opdracht van het kabinet technische ontwerpprincipes opgeleverd om risico’s op discriminatie door AI systemen al in de ontwikkelfase te mitigeren. In het eerste kwartaal van 2021 volgt een model voor een impact assessment dat overheidsorganisaties in een vroegtijdig stadium helpt bij het ondervangen van risico’s van algoritmen voor mensenrechten.

Geen lacunes in het huidige procesrechtelijke kader m.b.t. grootschalige data-analyses.

Met betrekking tot het procesrechtonderzoek concludeert het kabinet dat er geen lacunes worden geconstateerd ten aanzien van het huidige procesrechtelijke kader. Dit laat onverlet dat de mogelijkheden in het procesrecht altijd kunnen worden verruimd. Ten aanzien van de voorstellen daartoe concludeert het kabinet dat een aantal achterliggende vraagstukken de aandacht verdienen. (Zie nader par. 2.3.)

2.2 Knelpunten/aandachtspunten m.b.t. de algemene juridische kaders

Zoals in de vorige paragraaf aangegeven¹⁸, vloeit uit het besluitvormingsonderzoek en het procesrechtonderzoek een aantal knelpunten/aandachtspunten voort m.b.t de algemene juridische kaders op het gebied van non-discriminatie, gegevensbescherming en rechtsbescherming. Hierop gaat het kabinet hieronder in.

Verbod van geautomatiseerde besluitvorming (AVG)

Volgens art. 22 AVG mag een persoon niet worden onderworpen aan een uitsluitend op geautomatiseerde verwerking, waaronder profilering, gebaseerd besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem anderszins in aanmerkelijke mate treft. Als sprake is van menselijke tussenkomt, is geen sprake van geautomatiseerde besluitvorming.

Naar aanleiding van de casestudy Contentmoderatie door online platformen wordt in het besluitvormingsonderzoek de meer algemene vraag opgeworpen of dit wel terecht is, in gevallen waarin die tussenkomst onvoldoende betekenis heeft.

Volgens het kabinet is het evident dat het verbod op geautomatiseerde besluitvorming prevaleert, in die gevallen waarin menselijke tussenkomst niet adequaat is. Het zou echter goed zijn als het Europees Comité, dat toeziet op de consequente toepassing van de AVG, meer duidelijkheid verschaft hierover. De AP heeft AI en algoritmen in ieder geval als focusgebied voor de komende jaren aangemerkt.

Testen met behulp van bijzondere persoonsgegevens (AVG)

Volgens artikel 9 AVG is het verwerken van bijzondere persoonsgegevens (zoals bijvoorbeeld betreffende iemands etnische afkomst, politieke opvattingen of religieuze overtuiging) in beginsel verboden. Volgens het besluitvormingsonderzoek zou het verwerken van zulke gegevens echter juist kunnen helpen bij het voorkomen van discriminatie in het model van de werkelijkheid dat besloten ligt in een algoritme.

Het kabinet heeft dit punt al bij de evaluatie van de AVG in Europa naar voren gebracht. Omdat dit geen resultaat opleverde, zal het kabinet bekijken of een nationale wettelijke grondslag kan worden gecreëerd om zo nodig van genoemd verbod af te wijken.

De vervaging van het begrip persoonsgegevens (AVG)

In de regulering van algoritmen speelt de AVG een cruciale rol. De AVG geldt alleen als «persoonsgegevens» worden verwerkt. Het besluitvormingsonderzoek en het procesrechtonderzoek indiceren dat door de veranderende stand van de techniek onzekerheid ontstaat over de vraag of de AVG op bepaalde gegevenssets van toepassing is.

De onderzoeken komen echter tot andere conclusies ten aanzien van de toepasselijkheid van de AVG. Volgens het besluitvormingsonderzoek zullen gegevenssets door de inzet van algoritmische modellen eerder persoonsgegevens bevatten, omdat verbanden in voorheen anonieme gegevenssets kunnen worden gevonden. Het procesrechtonderzoek wijst juist op technische mogelijkheden om persoonsgegevens te anonimiseren, waardoor de AVG niet meer zou gelden. Om hier klaarheid in te brengen, zal het kabinet nader onderzoek laten verrichten (zie ook: Bijlage 2, onder reguleringsoptie I)¹⁹.

In afwachting daarvan zet het kabinet al meerdere stappen om te bevorderen dat bepaalde normen van zorgvuldigheid en transparantie in acht worden genomen, ook wanneer formeel weliswaar geen persoonsgegevens worden verwerkt, maar wel impact van de verwerking van gegevens op burgers te verwachten valt.²⁰

Rechtsbescherming bij productaansprakelijkheid: aandacht nodig voor bewijspositie

De productaansprakelijkheidsregels regelen wanneer de producent aansprakelijk is voor een gebrekkig product. Het besluitvormingsonderzoek geeft naar aanleiding van de casestudy over de Zelfrijdende auto in overweging om – daar waar zelflerende algoritmen het zicht ontnemen op de toedracht van een ongeluk – de bewijslast te verlichten, of om te keren.

Mede in verband met deze vraag wordt thans in Europees verband verkend of de richtlijn productaansprakelijkheid (85/374/EEG) aanpassing behoeft met het oog op nieuwe technologie, waaronder het gebruik van software. Deze verkenning strekt vanzelfsprekend verder dan alleen de zelfrijdende auto, om de brede toepassing van de richtlijn te waarborgen.

2.3 Rechtsbescherming tegen grote dataverwerkingsprocessen

Zoals eerder in deze brief benoemd, constateert het procesrechtonderzoek geen lacunes in het huidige procesrechtelijke kader. Met name door de ruime mogelijkheden die het civiele recht biedt, is een gang naar de rechter mogelijk bij de onrechtmatige inzet van data-analyse en het onrechtmatig gebruik van big data.

Belanghebbenden lijken de rechtsingangen ook als voldoende effectief te ervaren voor rechtszaken in het collectief of algemeen belang. Dit beeld wordt bevestigd door het groeiende aantal (collectieve) rechtszaken dat de laatste jaren is gevoerd en door zaken die recent zijn aangebracht.²¹

Het kabinet constateert dat er al wordt gewerkt aan het verruimen van de mogelijkheden voor procedures in overeenstemming met de voorstellen uit het procesrechtonderzoek.²²

Een deel van de opties uit het procesrechtonderzoek neemt het kabinet echter niet over:

• Reguleringsopties VIII en XIII, die raken aan een bredere staatsrechtelijke discussie, waarbij de aangevoerde argumenten over de «big data context» onvoldoende overtuigen om de eigen argumenten te heroverwegen;

• Reguleringsopties die een te grote inbreuk zouden vormen op de onafhankelijkheid van de rechter of procespartijen, zoals bijvoorbeeld reguleringsoptie VI die ziet op het vergroten van de voegingsmogelijkheden voor rechtspersonen in het strafproces;

• Reguleringsopties waarvan het kabinet betwijfelt of die het beoogde effect kunnen verwezenlijken. Dit betreft onder meer reguleringsoptie IX betreffende het uitbreiden van de mogelijkheden voor het stellen van prejudiciële vragen.

• Het kabinet vindt echter wel dat drie achterliggende problemen die het onderzoek signaleert nadere aandacht vragen:

• Vermeende gebrekkige kennis en kunde bij procespartijen of de rechter in bepaalde zaken. Voldoende kennis en kunde over data-analyse, maar ook bijvoorbeeld algoritmegebruik, zou de rechtspleging ten goede komen.

  Het kabinet zou het dan ook toejuichen als meer deskundigen zich zouden inschrijven in het Nederlands Register Gerechtsdeskundigen. Het kabinet zal de komende jaren bezien of er signalen zijn dat procespartijen onvoldoende geëquipeerd zijn om processen te voeren over (big) data-analyses.

• Burgers weten niet altijd dát er een big data-analyse wordt uitgevoerd, laat staan wát die behelst. Dan kunnen ze ook niet overwegen of een analyse onrechtmatig is, om eventueel (collectief) naar een rechter te stappen.

• Het kabinet vindt transparantiebevordering van groot belang en heeft onder paragraaf 2.1 verwezen naar reeds ingezette trajecten om transparantie te bevorderen.

• Het financieren van procedures, met name in het algemeen belang, is soms moeilijk en kan leiden tot het uitblijven van procedures. Dat vormt voor het kabinet geen reden om het procesrecht aan te passen, maar wél om, in lijn met reguleringsoptie XI, onderzoek te doen naar de noodzaak, kosten en vormgeving van een processenfonds.

3. Afsluiting

Met deze onderzoeken en de kabinetsreactie daarop kan het gesprek met uw Kamer over het beleid en de juridische kaders rondom algoritmen worden voortgezet, mede in het licht van de reguleringsvoorstellen naar aanleiding van het Witboek Kunstmatige Intelligentie, die de Europese Commissie naar verwachting in het begin van 2021 zal publiceren, en het haalbaarheidsonderzoek van de Raad van Europa naar een juridisch raamwerk voor kunstmatige intelligentie.

De Minister voor Rechtsbescherming, S. Dekker

De Staatssecretaris van Economische Zaken en Klimaat, M.C.G. Keijzer

De Minister van Binnenlandse Zaken en Koninkrijksrelaties, K.H. Ollongren

De Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties, R.W. Knops

---

1 Dit onderzoek is aangeboden aan uw Kamer op 26 juni jl. Bij deze gelegenheid is toegezegd dat in het najaar van 2020 een kabinetsreactie zou volgen. Zie Kamerstuk 26 643, nr. 169.

2 Raadpleegbaar via www.tweedekamer.nl.

3 Toegezegd was om onderzoek te doen naar de kansen die artificiële intelligentie kan bieden voor een tijdige signalering, vooral in massale besluitvormingsprocessen, van mensen die door omstandigheden (tijdelijk) mogelijk niet zelfredzaam zijn. Dit om (tijdiger) te identificeren waar een standaardbenadering niet op zijn plaats is en maatwerk meer voor de hand ligt. Zie Kamerstuk 34 775 VI, nr. 88, p. 9. Overigens is in de genoemde casestudy formeel geen sprake van «incasso», maar van «inning».

4 De motie roept de regering op om na te gaan welke ongewenste effecten zich kunnen voordoen in algoritmen die worden ingezet door bedrijven en hoe deze voorkomen kunnen worden. Hierbij dient in het bijzonder aandacht te worden besteed aan die algoritmen waarvan niet eenduidig te volgen en te achterhalen is hoe een uitkomst tot stand komt. Zie Kamerstuk 21 501-33, nr. 748.

5 In de motie werd de regering gevraagd om in verband met dataverwerkingsprojecten die de belangen van individuen overstijgen de mogelijkheden voor het verruimen van collectieve procedures bij de rechter te onderzoeken en de Kamer hierover te informeren. Zie Kamerstuk 32 761, nr. 119.

6 Raadpleegbaar via www.tweedekamer.nl.

7 De probleemruimte is de omgeving waarbinnen kunstmatige intelligentie wordt ingezet en waarbinnen het specifieke doelstellingen moet bereiken.

8 Zie bijlage 3 voor een nadere uitleg van deze «grondoorzaken». Raadpleegbaar via www.tweedekamer.nl.

9 https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf.

10 Zie over de generaliseerbaarheid van het onderzoek nader: p. 24 van het rapport.

11 Kamerstuk 26 643, nr. 680.

12 Raadpleegbaar via www.tweedekamer.nl.

13 Kamerstuk 26 643, nr. 640.

14 Kamerstuk 26 643, nr. 642.

15 Kamerstuk 26 643, nr. 641. (Met de bijbehorende richtlijnen voor algoritmische data-analyse door de overheid.)

16 Kamerstuk 35 212, nr. 3.

17 Kamerstuk 35 212, nr. 2.

18 Zie onder kopje «De toekomstbestendigheid van de algemene juridische kaders op het gebied van non-discriminatie, gegevensbescherming en rechtsbescherming».

19 Raadpleegbaar via www.tweedekamer.nl.

20 Zie Kamerstuk 35 212, nr. 3, pp. 6–7.

21 Zoals bijvoorbeeld: https://www.consumentenbond.nl/acties/facebook en https://www.parool.nl/amsterdam/uber-chauffeurs-beginnen-rechtszaak-over-privacyrechten~b2691fe8/.

22 De voorgestelde opties die raken aan materiële normering (I en II) zijn reeds in de vorige paragrafen aan bod gekomen. Opties waar reeds aan wordt gewerkt betreffen verder onder meer de verbeterde mogelijkheden voor het voeren van collectieve acties in het civiele recht (reguleringsoptie IV); de introductie van de amicus curiae in het bestuursrecht (reguleringsoptie X) en; het monitoren van de capaciteiten van de toezichthouders (XII).