CXLVII Grip op algoritmische besluitvorming bij de overheid

A VERSLAG VAN DRIE DESKUNDIGENBIJEENKOMSTEN

Vastgesteld 10 november 2021

De vaste commissie voor Justitie en Veiligheid (J&V)¹ heeft op 5, 12 en 26 oktober 2021 gesprekken gevoerd over artificiële intelligentie en de rol van de Eerste Kamer bij het controleren en medevormgeven van algoritmische overheidsbesluitvorming. De verslagen van deze bijeenkomsten zijn samengevoegd tot één verslag.

Ter voorbereiding op deze bijeenkomsten heeft er op 18 mei 2021 een verdiepingsbijeenkomst van de werkgroep Artificiële Intelligentie² plaatsgevonden. Het verslag van deze bijeenkomst is als bijlage toegevoegd.

De werkgroep Artificiële Intelligentie heeft zich laten bijstaan door het Rathenau Instituut bij de voorbereiding van deze bijeenkomsten. Een notitie van dit instituut «Grip op algoritmische besluitvorming door de overheid: de rol van de Eerste Kamer» is tevens als bijlage bij dit verslag gevoegd.

Van deze gesprekken brengt de commissie bijgaand geredigeerd woordelijk verslag uit.

De voorzitter van de vaste commissie voor Justitie en Veiligheid, De Boer

De griffier van de vaste commissie voor Justitie en Veiligheid, Van Dooren

VERSLAG VAN EEN DESKUNDIGENBIJEENKOMST OP 5 OKTOBER 2021

Vastgesteld 8 november 2021

De vaste commissie voor Justitie en Veilligheid (J&V) heeft op 5 oktober 2021 gesprekken gevoerd over:

• Grip op algoritmische besluitvorming bij de overheid. De rol van de Eerste Kamer (Rathenau Instituut);

• Een blik op de toekomst van verantwoorde AI: mens over AI over AI (presentatie Catholijn Jonker);

• Eisen aan AI (presentatie dr. Melanie Rieback).

Voorzitter: Recourt

Griffier: Van Dooren

Aanwezig zijn acht leden der Kamer, te weten: Crone, Dittrich, Faber-van de Klashorst, Jorritsma-Lebbink, Kluit, Nanninga, Nicolaï en Stienen,

alsmede mevrouw Jonker en mevrouw Rieback.

Aanvang 09.00 uur.

Technische ontwikkelingen AI: wat is AI, wat kan met AI, kansen en risico's / uitlegbare AI, eisen aan data

De voorzitter: Goedemorgen. Welkom bij deze eerste bijeenkomst van de Eerste Kamer over kunstmatige, of artificiële, intelligentie. Het is een technische briefing, de eerste van drie. Vandaag is de inleidende briefing. Ik heet iedereen van harte welkom, mede namens Gala Veldhoen, die hier vandaag helaas niet kan zijn. Ik ben vereerd op deze plek te mogen zitten, waar normaal de Voorzitter zit. Die zit nu in de zaal en ik mag zijn plek innemen. Dat is een voorrecht.

Het gaat vandaag over mens en machine. De grootste samenvatting, met name voor de Eerste Kamer, is vooral: welke regelgeving moet er nu komen om mens en machine op een goede manier samen te laten werken, op een manier die niet discriminerend is en werkt voor burgers? We willen dus inzicht geven in de aard en uitdagingen van kunstmatige intelligentie. Er wordt bijzondere aandacht gegeven aan het streven om uitlegbare, veilige, privacyvriendelijke en onbevooroordeelde AI-systemen te bouwen en te gebruiken. Deze briefing dient ter voorbereiding van de twee verdiepende sessies, een volgende week en een in de week na het reces, over de rol van de Eerste Kamer bij het «controleren en medevormgeven van algoritmische overheidsbesluitvorming», zoals hier staat genoteerd.

De eerste spreker vandaag is mevrouw Catholijn Jonker. Zij is hoogleraar interactieve engineering aan de Technische Universiteit Delft. Zij zal uitleggen wat artificiële intelligentie precies is, welke soorten systemen er bestaan en wat we van verantwoorde AI mogen verwachten. Ook licht ze toe waarom het complex is om sommige AI-systemen uit te leggen en hoe ze daar in haar onderzoek oplossingen voor ontwikkelt. Ik weet niet precies hoelang dit gaat duren, maar we hebben er in ieder geval ongeveer het eerste uur voor gereserveerd. Mogelijk zal het iets korter duren.

Deze bijeenkomst duurt formeel tot 11.00 uur, maar ik denk dat we iets eerder moeten stoppen, vanwege de verplichtingen die we allemaal elders hebben. De tweede spreker is mevrouw Melanie Rieback. Zij is CEO van Radically Open Security, zeg ik met mijn steenkolenengels, een non-profit computer security consultancy. Zij zal spreken over de eisen die de samenleving aan kunstmatige intelligentie mag stellen, bijvoorbeeld ten aanzien van vooroordelen, veiligheid en privacy, en over de politieke, maatschappelijke en technische uitdaging om aan die eisen te voldoen.

Dan ben ik door mijn introductie heen, ware het niet dat ik ook nog onze externe gasten van de Rekenkamer, de Raad van State en de Tweede Kamer moet welkom heten, die hier fysiek dan wel via de livestream aanwezig zijn. Tot slot zeg ik nog dat wij zeer veel dank verschuldigd zijn aan het Rathenau Instituut, dat ons heel goed heeft geholpen bij de inhoudelijke en praktische voorbereiding van deze bijeenkomst. Mevrouw Jonker, mag ik u het woord geven?

Presentatie 1: Een blik op de toekomst van verantwoorde AI: mens over AI over AI

Gesprek met:

• mevrouw Catholijn Jonker (hoogleraar aan de TU Delft en Universiteit Leiden)

Mevrouw Jonker: Dank u wel, meneer de voorzitter. Het is natuurlijk een voorrecht om in deze illustere zaal zulk illuster publiek toe te mogen spreken. Ik ben inderdaad hoogleraar kunstmatige intelligentie, zowel in Delft als in Leiden. Ik houd mij bezig met interactieve intelligentie en met explainable AI, zoals we dat noemen. Ik laat u maar gelijk wennen aan de termen waarmee ik tussendoor waarschijnlijk steeds zal gooien. Ik ben iemand die kunstmatige intelligentie en artificial intelligence rustig als AI afkort, maar ik zie dat in de maatschappij tegenwoordig vaker gebeuren, dus ik denk dat u dat wel redt.

Ik wil u een blik op de toekomst geven, op het onderzoek dat natuurlijk niet alleen ik, maar vele anderen met mij proberen te doen om verantwoorde kunstmatige intelligentie te creëren. De visie die ik vandaag aan u presenteer, is: mens over AI, en AI over AI, dus mens over AI over AI. Dus ik maak een stapeling. Als u de slides van tevoren al bekeken heeft, zult u dat misschien zien.

Ik wil hierbij graag ook even noemen dat we in Delft een Design for Values Institute hebben opgericht, precies met dit doel, namelijk om technologie die we ontwikkelen tot ondersteuning te maken van de normen en waarden van onze maatschappij, ten dienste van sociale waarden.

Daarnaast wil ik nog even wijzen op het embleem rechtsboven op de eerste slide, dat staat voor: Hybrid Intelligence. Hybrid Intelligence is een Zwaartekrachtprogramma. Dat is een groot onderzoeksprogramma dat tien jaar duurt, waarin we ons precies richten op dit soort vraagstellingen. Hoe kunnen we intelligentie maken die de mens ondersteunt bij zijn taken en daarin zelfs als een soort partner fungeert?

Ik ga door naar de tweede slide, waarin dat toekomstbeeld opnieuw is neergezet. U kunt dat natuurlijk niet zien, maar dit was ooit een geanimeerde presentatie. Aan de rechterkant stonden er allemaal van die akelige dingen, waarvan u zich zeker ook bewust bent, die ook met AI worden bereikt. Denk aan het produceren van fake news, het kunnen manipuleren van opinies op sociale media en het bekende trollingeffect, waarbij mensen via het internet, via sociale media, worden gepest en getreiterd. Daar zitten aspecten onder die ook met kunstmatige intelligentie te maken hebben.

Daarnaast zijn er natuurlijk voorbeelden te over van kunstmatige intelligentie die wordt ingezet met alle beste bedoelingen, maar waarbij zich ineens side-effects voordoen die helaas toch een heel akelige uitwerking hebben. Dat is de discriminerende werking van AI. Ik zal het voorbeeld noemen van een experiment waarin een chatbot werd gelanceerd door een van de grotere techreuzen. Ik geloof dat die binnen twee dagen in staat was om fascistische taal uit te slaan en iedereen uit te schelden die in de buurt kwam. Dat is natuurlijk niet de bedoeling. Zij zijn zich ook rot geschrokken en hebben het natuurlijk teruggetrokken. Het geeft wel aan dat er nog heel veel te doen is op het gebied van kunstmatige intelligentie.

Op deze slide staan de uitgangsprincipes van The Hybrid Intelligence Centre, dat we hebben opgericht om de autonomie van de mens te versterken, om de mens rijkere ervaringen te geven, om de mens in staat te stellen nieuwe activiteiten te ontwikkelen die hij daarvoor niet kon ontwikkelen en om de democratie te versterken en niet te ondermijnen. Kortom, wij streven naar een AI die is afgestemd op onze menselijke waarden. Met dat toekomstbeeld wil ik u graag iets meer gaan vertellen over kunstmatige intelligentie als partneridee. Op de volgende slide ziet u daar een aantal voorbeelden van, eigenlijk om het begrip van AI als partner langzaam op te bouwen. Deze voorbeelden zijn heel bewust gekozen, omdat we de intelligentie van AI willen benadrukken, maar ook de mogelijkheid om autonome systemen te ontwikkelen met eigen intelligentie. Hoe kan dat dan goed samenwerken met de mens?

Het voorbeeld linksboven is een ruiter te paard. Het paard heeft duidelijk een eigen intelligentie en een eigen wil. Het is in staat om hard te lopen, hoog te springen en grote lasten te dragen en te trekken. Het heeft zijn waarde in de duizenden jaren in het verleden voor ons bewezen. Maar het interessante van dit beeld, van die ruiter op dat paard, is wel heel bijzonder. U ziet een paar kleine teugels lopen. Als u die op dit plaatje wilt zien, moet u wel goed kijken. Met die teugels en met de knieën kan de ruiter het paard sturen. Als het paard echt niet wil, heeft de ruiter een enorme klus om dat paard de goede kant op te krijgen. Het gaat eigenlijk niet met geweld. Op het moment dat we een paard met geweld trainen, zal het minder goed functioneren dan wanneer we een echt partnerschap met dat paard ontwikkelen. Dan gebeurt er iets moois. Dan krijg je een situatie waarin het paard met ruiter hoger springt dan een paard zonder ruiter, omdat de intelligentie van mens en dier samengevoegd worden. De mens heeft een beter vermogen om diepte te zien en kan daarmee de afstand tot het object en de hoogte van het object beter inschatten dan het paard. Dat is natuurlijk het soort voorbeelden waarvan we denken: daarmee leg je uit wat een partnerschap tussen twee echt essentieel verschillende stukken intelligentie zou kunnen behelzen.

Het middelste voorbeeld is aan de ene kant schattig, maar aan de andere kant geeft dit een kind dat bijvoorbeeld een epileptische aandoening heeft een stuk vrijheid in leven. Het verrijkt de mogelijkheden, omdat het veilig is voor het kind om zijn leven te voeren en de hond er is om aan te duiden: nu moet je gaan zitten, want er komt een aanval. Dat is voor het kind zelf niet mogelijk en voor de hond wel. De hond als partner hoef ik niet verder uit te leggen.

Met dat beeld gaan we naar het beeld rechtsonder. Rechtsonder ziet u een robotje, een NAO, in interactie met een kind. Er worden op het moment veel onderzoeken gedaan om kinderen bijvoorbeeld bij te staan die in het ziekenhuis verblijven om te leren omgaan met diabetes, een aandoening die ze op jonge leeftijd kunnen krijgen. Ze moeten leren hoe ze met gezonde voeding om moeten gaan, hoe ze met hun activiteiten om moeten gaan. Maar ze zitten in een ziekenhuis. Niet iedereen heeft altijd tijd voor ze. Het zou toch wel heel fijn zijn als er een buddy voor ze is. Dit robotje wordt dan ingezet als een buddy in de zin dat het spelletjes met ze kan spelen, ook spelletjes gerelateerd aan diabetes, en daarbij extra kennis kan overdragen aan het kind. Echter, de robot zelf is een zeer wankel stukje techniek. Echt goed lopen is er echt nog niet bij voor deze NAO. Goed kijken waar hij is, vindt hij ook erg lastig. Dat kan het kind veel beter. Ook daar hebben we voorbeelden gezien dat het kind zich ontfermt over de robot en zorgt dat de robot op de juiste plekken komt te staan om spelletjes met ze te spelen en niet omvalt. Zo ontstaat er een band tussen twee verschillende vormen van intelligentie die allebei wat aan elkaar hebben. Dat is het beeld dat we voor ogen hebben.

Maar wat is kunstmatige intelligentie dan eigenlijk? Het bestaat al heel lang. Op de volgende slide ziet u een voorbeeld waarbij een brein is afgebeeld. Vanuit het menselijke brein zijn er twee paden ontwikkeld, al vanaf de jaren zestig en zelfs wat eerder. Het ene is gebaseerd op de boekenkennis, dus de kennis die wijzelf in een vorm hebben gegoten waarin die voor ons leesbaar en toegankelijk is. Dat is de zogenaamde kennistechnologische benadering. De andere benadering is geweest dat we kijken naar wat ons brein nou zo bijzonder maakt, hoe dat in elkaar zit, of we dat kunnen namaken, kunnen simuleren en of we dan ook intelligentie krijgen, maar dan in een kunstmatige vorm. Dat blijkt inderdaad zo te zijn. Als u het pad daarboven bekijkt en inzoomt, dan ziet u een enorm netwerk van neuronen, knopen in onze hersens, die een ontzettend hoge graad van verbinding hebben met andere knopen in ons brein. Dat kun je namaken. Aan de rechterkant ziet u zo'n gestileerd voorbeeld. Het blijkt dat die kunstmatige neurale netwerken inderdaad het vermogen hebben om associaties te leren. Dat is iets waar ons brein fantastisch goed in is, terwijl het formuleren van kennis voor ons brein best lastig is, tenminste in een vorm dat we het in boeken kunnen opschrijven.

Als we het zo in die boeken opschrijven en daar regels uit trekken, dan komen we aan de rechterkant bij de kennisgebaseerde systemen. In de jaren zestig waren de computers niet krachtig en waren er weinig data beschikbaar. Onze hele maatschappij was nog niet gedigitaliseerd. Op dat moment was het gewoon onmogelijk om te komen tot kunstmatige neurale netwerken die sterk genoeg waren om complexere vraagstukken te leren begrijpen, terwijl we heel snel aan de slag konden gaan met die kennisgebaseerde systemen. In die tijd ging de ontwikkeling van de kennisgebaseerde systemen veel harder dan die van de kunstmatige neurale netwerken. Het heeft jaren geduurd voordat we zover waren dat we een doorbraak konden bereiken in de kunstmatige intelligentie. Nu ik toch in jullie midden ben, wil gelijk een pleidooi houden voor fundamenteel onderzoek; je weet vaak niet waar kennis op den duur toe leidt.

We gaan naar de volgende slides. Ik weeg die twee nog even tegen elkaar af. Aan de ene kant is het voordeel van de kunstmatige neurale netwerken dat we ze met gewone computers kunnen simuleren. We konden ze al maken voordat we speciale hardware daarvoor gingen maken. Ze zijn adaptief. Dat is natuurlijk het karakteristiek waaraan we het meest hebben. Ze kunnen nieuwe associaties maken. Daarmee hebben ze het vermogen om continu bij te leren. Aan de andere kant waren de computers in de jaren zestig niet krachtig genoeg om er echt voortgang mee te bereiken. Het laatste stuk is nog steeds een issue: het is toch wel heel erg lastig om ze te ontwerpen. Dat vraagt op zich een eigen discipline, een eigen kunde.

Dan kijken we naar de kennisgebaseerde kunstmatige intelligentie. Het voordeel was dat we ter plekke wisten hoe we verder moesten. We hadden de computers en we konden hiermee aan de slag. Ze waren effectief, ze zijn efficiënt en een groot voordeel is: je weet wat ze weten, want we hebben er precies dat zelf in gestopt. Ze zijn controleerbaar en stuurbaar. Het vervelende is alleen – dan komen we bij de tegenargumenten – dat het uitvragen van experts duur is en langzaam. Ik zal er een voorbeeldje van geven dat zich al in de jaren negentig, eind jaren tachtig, voordeed.

Twee teams hadden de taak gekregen om te leren een vliegtuigje te besturen. Het ene ging aan de slag met een aantal piloten en experts om deze mensen uit te vragen en de kennis op te schrijven, dus via de onderste weg. Het andere koppelde de besturing van het vliegtuigje aan een computer en zette daar de piloot gewoon achter: gaat u maar vliegen. Drie weken waren 30 mensen bezig met het eerste systeem, het kennisgebaseerde systeem, en het ding vloog nog niet. Het andere vloog binnen een dag. Dat zijn natuurlijk de voordelen waar we vandaag de dag onze vruchten van plukken, maar ook onze lasten van hebben. Dus je weet wat ze weten, maar het uitvragen van experts is duur, het kost heel veel tijd, het onderhoud is dan ook arbeidsintensief en het vervelende is dat ze niet per se adaptief zijn. De doorbraak van machinelearning hebt u allemaal meegemaakt in uw leven. U kent de verschillende spelen waarin dit ineens naar voren kwam met als laatste het winnen van het spel Go, wat geleid heeft tot de ontwikkeling van deep learning, de diepe neurale netwerken die we nu zien. Dat kunt u rustig doorlezen. Ik ga door naar de volgende slide.

Gaan we met behulp van die diepe neurale netwerken aan de slag, dan hebben we de kracht van het snel kunnen leren als we voldoende correcte data hebben. Die «als» is wel een hele grote en belangrijke «als». Dan kan je snel fantastische resultaten bereiken. Maar de tegenvoorbeelden, de voorbeelden waarin het fout gaat, ziet u op de volgende slide. Dit is een plaatje van een panda. Als je er een kleine ruisfactor overheen legt, is het voor ons nog steeds een panda, maar wordt het door het algoritme ineens geclassificeerd als een gibbon. Hetzelfde gebeurt met een spraaksignaal daarboven dat er toch behoorlijk hetzelfde uitziet links en rechts, maar ineens van «how are you» «open the door» wordt. Het voorbeeld rechtsboven is van het stopbord: een paar plakkertjes erop en helaas, de zelfrijdende auto's zijn in de war en negeren het stopbord. Nou ja, ze negeren het niet; ze zien het niet. Daaronder ziet u nog het bekende voorbeeld van Amazon. Die probeerden hun selectieproces van nieuwe medewerkers te automatiseren en eigenlijk ook te verbeteren. En wat bleek: een onderselectie van minderheden bij sollicitaties, in feite op basis van historische onderselectie. Rechtsonder is het voorbeeld dat wij in computer science noemen «bullshit in, bullshit out», excusez le mot: onzin erin, dan komt er ook onzin uit. Dat is precies wat daar aan de hand was. Maar als je er goede data in stopt, je blijft bevestigen wat het algoritme doet en je de data die je op die manier gekozen hebt terug in het algoritme voert, blijft het algoritme leren. Het kan zich daarmee op den duur toch op andere paden gaan begeven dan je eerst bedoeld hebt. Om er een zeilterm bij te gebruiken: het algoritme kan verlijeren.

Ik ga naar de volgende slide om het laatste punt nog even duidelijk te maken. Ik heb met het Rathenau wat discussie gehad over de vraag of we deze slide moesten laten staan. Ik zei dat ik de slide belangrijk vond, en wel om het volgende: ik heb u een paar minuten geleden verteld dat het zo lastig is om uit ons brein op te halen welke kennis erin zit. Er is geen knop waarop u kunt drukken, waarna onze kennis eruitrolt. Onze kennis extraheren gaat alleen maar door heel intensief met de mens om te gaan, door voorbeelden voor te leggen, uit te vragen, de mens er zelf over na te laten denken, nieuwe associaties te laten maken en zo de kennis van die persoon te eliciteren.

Dat is ook het probleem van de neurale netwerken. Bij neurale netwerken is het heel erg ingewikkeld om te achterhalen waar kennis is opgeslagen en welke kennis dat dan eigenlijk is. Dat is hier het voorbeeld van. De kennis over zo'n netwerk van honderdduizenden knopen zit gedistribueerd opgeslagen. Je kunt niet een knoop aanwijzen die zegt: dit is het stukje waarin de kennis zit die hier leidt tot deze classificatie. Sterker nog, het is ook een voordeel. Dat geldt voor ons brein ook. Als je een kleine hersenbeschadiging oploopt, dan kunnen je hersens dat eigenlijk nog heel goed opvangen. Zo geldt het in zo'n neuraal netwerk ook. Het gedistribueerd opslaan van kennis heeft ook z'n voordelen, maar het heeft ook dat nadeel van «hoe weet je wat erin staat?». Hoe weet je op grond waarvan dat netwerk beslist? Dat weten we dus niet.

We gaan naar de volgende slide. Daarin is nog even voor u opgesomd welke AI-systemen er in grote lijnen zijn. Je ziet aan de linkerkant de kennisgebaseerde systemen en aan de rechterkant de zelflerende systemen. Binnen die zelflerende systemen kun je weer klassiek leren en diep leren hebben. Daar kom ik straks nog wel op terug. Dat diep leren hebben we in feite net behoorlijk besproken.

We gaan naar de volgende slide. Als we het hebben over zelflerende systemen, dan zijn dat systemen die verbanden in grote hoeveelheden data ontdekken en op basis daarvan een kans berekenen dat er een bepaald patroon in zit of dat het systeem, of het bord, waar het naar kijkt, binnen een bepaalde klasse valt. Voorbeelden van vragen die wij aan die systemen voorleggen zijn de volgende. Wat is de kans dat iemand geschikt is voor een baan vanuit het Amazonvoorbeeld? Wat is de kans dat iemand borstkanker heeft? Wat is de kans dat iemand gefraudeerd heeft? Et cetera. Die vragen zijn in grote lijnen gebaseerd op kansberekening. Ouderwetse statistiek is enorm belangrijk voor het ontwikkelen van kunstmatige intelligentie.

Als je kijkt naar het klassieke voorbeeld van machinelearning, dan bepalen wij als mensen van tevoren welke aspecten, welke features zoals dat in ons vakgebied genoemd wordt, belangrijk zijn. Als een systeem bijvoorbeeld zelf moet leren om geschreven taal te herkennen, dan zijn er elementen waarvan mensen hebben gezegd dat je zou kunnen kijken naar hoeveel kromming er in dat symbool zit waar je naar kijkt, hoeveel rechte lijnen daarin zitten, en wat dan de kans is dat het een 0 of dat het een 1 is. Op die manier leer je die systemen, met behulp van je eigen idee over hoe je naar dat soort symbolen kan kijken, wat de aspecten zijn, wat de symbolen zijn, die ze moeten leren. Daar is natuurlijk ook heel veel gebruik van gemaakt. Het voordeel daarvan is dat die enigszins stuurbaar en controleerbaarder zijn, want er staat toch meer op kennisniveau geschreven kennis in.

We gaan naar de volgende slide. Als we dat alles afzetten tegen deep learning, dan gaat het er dus om dat de machine bij deep learning zelf bepaalt welke aspecten worden meegenomen, welke features van belang zijn. Zo zie je hier een voorbeeld staan van gezichtsherkenning voor risicoclassificaties. Welke features worden er dan gebruikt? Is dat de huidskleur, de bril, haardracht, een hoofddoek, of is het de achtergrond? Als je iemand bijvoorbeeld altijd voor een blauw scherm zet als ze iets gedaan hebben, dan krijg je er ook een andere uitkomst uit.

Het vervelende van die deep-learningmachines is dat ze zowel moeilijk stuurbaar als niet uitlegbaar zijn. Ik hoop u dat net aan de hand van het voorbeeld van dat ingewikkelde schema uitgelegd te hebben. We hebben geen idee waarom die systemen zeggen wat ze zeggen, maar we weten wel dat we er preciezere of betere successcores mee halen dan met die kennisgebaseerde, zelflerende systemen. We hebben dus een beetje het probleem dat voor ons het formuleren van kennis erg lastig is. Als je dat dan weer op dat voorbeeld terugzet, zie je dat als je naar die verschillende AI-systemen kijkt, niet elke vorm van AI even zorgelijk is qua uitlegbaarheid en stuurbaarheid, maar dat je daar dan wel weer op inlevert qua prestaties. Dat is ook een belangrijk aspect. De kennisgebaseerde systemen zijn dus stuurbaar, controleerbaar en uitlegbaar, en de deep-learningmachines zijn moeilijk stuurbaar, moeilijk controleerbaar en grof gezegd ook niet uitlegbaar.

Ik hou het tempo erin. Als ik te snel ga, dan mag u mij interrumperen. Dat ben ik bij colleges ook gewend, dus aarzelt u niet.

Ik ga verder met datavraagstuk, met het voorbeeld dat ik net aanhaalde over die classificatie. Rechtsboven ziet u een foto van een hond die wel wat wolfachtige kenmerken heeft. Het vraagstuk ging over een systeem dat getraind werd in het herkennen van wolven. Deze husky werd daarbij geclassificeerd als wolf. Dat is niet zo heel gek, want er zijn zat mensen die dat ook zouden doen. Je zou daar dus bij kunnen zeggen: nou, dat snap ik eigenlijk wel; het lijkt er best op, dus ik laat het erbij zitten. Maar het loont toch echt om door te graven waarop het nou misging. In dit geval bleek het helemaal niet te gaan over het plaatje dat erop stond, maar over de hoeveelheid sneeuw die achter het dier zichtbaar was. Die hoeveelheid sneeuw maakte dat de hond geclassificeerd werd als wolf. Dat zijn de pijnlijke voorbeelden op grond waarvan je je bewust wordt van het punt dat als je geen idee hebt wat het algoritme doet, je mogelijk te maken krijgt met beslissingen van zo'n systeem waar je echt niet blij van wordt.

Dus als we kijken naar het datavraagstuk, dan moet je gewoon heel simpel vaststellen dat het machinelearning algoritme de systematische fouten die in de trainingsdata zitten reproduceert. Is het nou een fout om bij zo'n plaatje sneeuw op de achtergrond te hebben? Dat zien wij toch niet? Daar denk je als mens toch niet aan? Dus hoe weet je nou wat goede data zijn? De enige manier waarop je daar uiteindelijk achter kan komen, is door dit soort experimenten tot in den treure uit te voeren, uit te werken en te blijven analyseren.

Dan is er nog het aspect dat niet-relevante maar wel gecorreleerde patronen onterecht betekenis krijgen. Dat is zeker het geval als we het hebben over discriminatie. En zeker bij overheidssystemen is dat natuurlijk van groot belang.

Nou weet ik vanuit mijn eigen leven als wetenschapper dat je als vrouw toch vaak een nadeel hebt ten opzichte van je mannelijke collega's. Het is herhaaldelijk vastgesteld dat papers geschreven door bijvoorbeeld Marie Jonker – om maar even mijn eigen naam een beetje te verbasteren – toch een aanzienlijk lagere kans hebben om geaccepteerd te worden dan de artikelen van mijn collega Pieter Jonker. Pieter Jonker bestaat trouwens echt. Is dat eerlijk? Dan kunnen we zeggen: dat geeft niet, dan mag je alleen maar je voorletters gebruiken; dan doen we dat. Dat werkt niet. Het blijkt dat de mannelijke collega's rustig de naam Pieter Jonker blijven gebruiken en ik dan fijn met mijn C.M. Jonker aan kom zetten. Nou, dat heeft dat algoritme helaas zo door. En dat algoritme is ons algoritme in ons brein. Daar kunnen we niets aan doen. We weten het niet eens. Mijn collega's zijn echt niet van plan om te discrimineren, maar dat zit gewoon in het onderbewuste. Dus: hoe wil je dat aanpakken? Lastig. Dan kun je ook nog zeggen: nou, dan halen we hele namen weg. Maar ja, als ik één keer over een bepaald onderwerp heb geschreven, is de kans groot dat ik weer over dat onderwerp schrijf. De kans dat dat paper van mij is, is dan relatief groot.

Zo zit het ook met de data over persoonsgegevens. Het is niet voldoende om een voornaam of een postcode weg te laten. Als je wilt voorkomen dat iemand direct identificeerbaar is als behorend tot een bepaalde categorie, dan moet je naar zo veel factoren kijken. Het is echt mind-boggling.

Dus waar staan we nu? Laten we maar naar de volgende slide gaan, want u heeft nog meer te doen vandaag: de AI anno nu. We hebben kunstmatige neurale netwerken. Die zijn mogelijk geworden door de toegenomen rekenkracht van computers. Maar we hebben het fenomeen dat bekendstond onder de term «black box AI»: we weten niet wat erin zit. En we hebben de kennistechnologische AI, die haar waarde in de loop van de decennia bewezen heeft, maar ook haar beperkingen. Langzamerhand zijn we bewust van de kracht van die black box AI en beginnen we ons ook bewust te worden van de beperkingen.

Dus hoe kunnen we nu verder? We gaan naar de volgende slide. Ik en mijn collega's zijn op weg naar uitlegbare machinelearning, dus naar kunstmatige neurale netwerken op een uitlegbare manier. Een van de manieren waarop wij dat nu proberen te doen, en ook anderen, is om te kijken of we een leesbaar model uit die black box kunnen trekken. Want laten we wel wezen: dat black-boxalgoritme is zeer krachtig; het doet het echt beter, ook op die classificatietaken, dan wanneer we puur met kennisgeoriënteerde systemen aan de slag gaan. Maar ik wil wel weten waar die classificatie op gebaseerd is, dus dan kan ik machinelearning gebruiken, en dan de kennisgebaseerde machinelearning, om er een kennismodel uit te trekken, iets wat ik wel kan lezen en waardoor ik weet op welke regels en op welk niveau die machine beslissingen neemt.

We gaan naar de volgende slide. Daarvoor hebben we een experimentje opgezet. Spelletjes zijn voor kunstmatige intelligentie zeer belangrijk, zoals u misschien aan dat schaakvoorbeeld en het go-voorbeeld al gezien had, omdat je het eindeloos vaak kan herhalen. Tja, dit is ook weer zo'n voorbeeldje: «geode strategie». Dit heb ik niet getikt, hoor. Ik heb echt «goede» getikt, maar de kunstmatige intelligentie maakt daarvan dan, omdat ik meestal Engels schrijf, «geode» van. Goed, interessant. We nemen dus zo'n spelletje, we laten er een black-boxmachinelearningalgoritme op los, en dat leert dan hoe het dat spelletje het beste kan spelen. In dit geval moet het rode muntjes verzamelen en de blauwe en groene zien te vermijden. Daar heb je natuurlijk data voor nodig. Nou, dat is het leuke van spelletjes: die kun je eindeloos genereren om te gaan spelen.

Kunnen we dan – zie de volgende slide – daaruit leren wat dat algoritme weet? Wat we doen, is daar een algoritme op zetten dat in drie fasen leert. In de eerste fase leert het de hoofdlijnen van de strategie. Daar staan een paar van die regeltjes onder. Grof gezegd gaat het over in welke gevallen je moet springen, de jump, en dat je dan naar rechts moet gaan; dat zijn zo'n beetje de aspecten waar het hier over gaat. En daar staan herkenbare dingen in: er staan bricks in de weg, en ik zie een rood muntje enzovoort. Dat kan ik lezen, terwijl het netwerk dat daarboven afgebeeld staat, dat nu natuurlijk maar een symbolische representatie is, voor ons absoluut niet te lezen is. Ik heb dan in hoofdlijnen een idee van wat het algoritme doet, maar is dat dan ook wat het algoritme doet? Hoe goed is die samenvatting dan? Zo komen we tot een vorm van hybride intelligentie: we koppelen menselijke intelligentie aan kunstmatige intelligentie, om op een interactieve manier die kennis te verfijnen. We gaan samen met de machine op zoek naar uitzonderingen op de samenvatting: in welke omstandigheden moet het dan toch net anders? En daar kun je interactief heel lang op doorvragen, natuurlijk. Dat kun je door de mens laten doen, maar daar kun je natuurlijk ook wel weer intelligentie op zetten. Ik kan wel degelijk intelligentie trainen om naar de uitzonderingen te gaan zoeken. Zo gebruik ik AI om vat te krijgen op AI.

We komen bij de voorlaatste slide. Zo komen we dus tot een situatie waarin het mogelijk wordt dat mensen samen met AI naar AI kijken, en over AI kunnen beslissen en het sturen. Dus de kennisgebaseerde AI bouw ik boven op de black box AI, en op grond van de kennisgebaseerde AI kan ik een interactie met de mens aangaan. Dus die geeft de classificatie door van het black-boxalgoritme, en als de mens zegt «waarom denk je dat ik dit zou moeten doen?», dan kan er een uitleg komen op basis van die kennisgebaseerde AI. Het kan dan zijn dat die mens zegt: nee, niet in dit geval; dat is niet correct. Nou, dan kan het algoritme gelijk terug gaan leren en vragen: waarom dan? Als de mens daar dan een uitleg over geeft, dan kan de machine dat nog een keer samenvatten en op grond daarvan nieuwe data genereren, waarmee het black-boxalgoritme weer wordt aangestuurd en gaat bijleren. Er wordt nu gevraagd: is het dan nog een black-boxalgoritme? Ik zou zeggen: ik heb een raam gemaakt in de black box, en daar komt licht in.

Goed, de takeaway message. Door die manier van hybride intelligentie kun je combinaties maken van de kunstmatige neurale netwerken, die machinelearningalgoritmes, de kennisrepresentatie en de menselijke intelligentie. En daarmee komen we tot een punt dat ook centraal ligt onder het Hybrid Intelligence Centre, namelijk eentje waarin kunstmatige intelligentie een intelligentie is die samenwerkt met mensen, en niet gericht is op het vervangen van mensen. Door AI over AI te zetten, kunnen we de black box openmaken, er een raam in zetten, en door de mens daarmee samen te laten werken, kunnen we het bestuurbaar en controleerbaar gaan maken. Maar daar zijn we nog niet.

Voor uw verdere interesse kunt u terecht op de websites die hieronder staan, of natuurlijk bij een van onze onderzoekers.

Dank u wel.

De voorzitter: Dank ú wel, professor Jonker. Er is nu ruimte voor vragen over de presentatie, voordat we mevrouw Rieback het woord geven. En dat zijn dan ook weer vragen aan u, maar het is misschien ook nog mogelijk dat u onderling opmerkingen of aanmerkingen heeft. Ik kijk nu naar de aanwezigen voor het stellen van vragen. Dat moet bij de interruptiemicrofoon, anders kunnen de mensen thuis niet meeluisteren.

De heer Nicolaï (PvdD): Dank u wel. Ik probeer het te begrijpen. Ik zag de eerste sheets en dacht «daar begrijp ik niks van», maar na het verhaal begreep ik het een stuk beter. Er is een ding dat ik nog steeds niet begrijp, en dat is de sheet waarin u het heeft over de machine die zelf bepaalt welke aspecten belangrijk zijn. Want daar zit volgens mij de kern van het hele vraagstuk. Ik kan me nog voorstellen dat je dingen ergens in het systeem stopt. Dan ben je ook verantwoordelijk voor welke kenmerken je erin gestopt hebt, en kan je vervolgens, als er dingen uit komen waar je vragen over hebt, denken: heb ik er wel de goede kenmerken in gestopt? Het gevaar ontstaat voor mijn gevoel op het moment dat zo'n machine zelf gaat bepalen welke kenmerken bepalend zijn. Hoe moet ik het zien dat de machine dat zelf kan bepalen?

Mevrouw Jonker: Ja, dat is een uitstekende vraag. Het punt is natuurlijk, zoals ik in het begin al zei: het ontwerpen van die diepe neurale netwerken is een lastige zaak; om dat goed in elkaar te zetten, heb je echt kennis van zaken nodig. Maar kennis van zaken is niet genoeg; het is ook een kwestie van intelligent proberen, zoeken, uitproberen en kijken hoe het algoritme zich ontwikkelt, dan weer op stop kunnen drukken en een ander feature aangeven. Mensen zijn natuurlijk op de manier begonnen, door zelf die features, die aspecten, aan te geven, en op die manier het algoritme te trainen en daar bepaalde successen mee te halen. Maar ja, als je er een paar maanden mee bezig bent geweest om dat algoritme beter te krijgen en je hebt dus honderd keer een andere feature bedacht en je bent weer aan het trainen geslagen, dan ga je je als mens natuurlijk op een gegeven moment afvragen: kan dat niet slimmer? En aan een kunstmatige-intelligentieonderzoeker is dat een heel logische vraag om te stellen. Dit zijn dan ook typisch de mensen die dan denken: oké, ik schrijf daar een ander algoritme op, dat zorgt dat het zelf alle mogelijke features gaat exploreren. Dat betekent dat na enig zoeken en denken die architectuur dusdanig werkt, dat de machines inderdaad zelf gingen bepalen wat ze deden.

Nou, wat doe je dan in feite? Je traint ze door aan te geven: dit was een correcte classificatie of geen correcte classificatie. Dat is, zeg maar, de eerste tussenstap; het gaat nog verder. En dan kun je een reinforcement-backpropagationalgoritme gebruiken om tegen het algoritme te zeggen: daar zat je fout, dus je moet de manieren waarop je jezelf veranderd hebt om deze conclusie te bereiken, achteruitdraaien. En als je een goede conclusie hebt getrokken, dan komt daar een zelfversterkend element in, dus dan worden die verbindingen in die neurale netwerken verstevigd. Maar ja, die manier van leren gaat best aardig, maar we willen natuurlijk eigenlijk ook weten wat er in grote hoeveelheden data zit waarvan we niet eens weten of er patronen in zitten. Van daaruit is de volgende stap gemaakt door te zeggen: kijk maar of je een patroon kunt vinden; elk patroon dat jij kunt vinden, vinden wij interessant. Dat is de meest vrije vorm van machinelearning. En ja, dan weet je niet wat ie doet, maar aan de andere kant weten wij als mensen dat eigenlijk ook niet. Ook de menselijke systemen – die heeft u zien staan in de voorbeelden – waarbij de mensen de features bepaald hebben, maken fouten. En waar ligt dat nu aan? Ligt dat aan de data die we ingevoerd hebben, ligt dat aan de features die wij daar als ontwerpers hebben neergezet, of ligt dat aan de manier waarop het algoritme ingezet wordt? Dat zijn natuurlijk allemaal aspecten waar we met elkaar naar moeten kijken, om die te verbeteren.

Mevrouw Kluit (GroenLinks): Ik borduur hier een beetje op voort. Ik werk zelf in de mobiliteitswereld. Daar wordt al langer gewerkt met algoritmes en artificial intelligence, met geluk en minder geluk. De data veranderen, de omvang verandert ook, de manier waarop we omgaan met de data in artificial intelligence verandert. Dus dat zijn allemaal moving targets. En als je weet hoeveel alleen al één auto aan informatie de datawolk in stuurt, dan vraag ik me weleens af: als we dat gele blokje nou willen laten meedenken met die black box, wat heb je dan nodig aan uitvoeringskracht om dat goed te kunnen doen, dus om die patronen te herkennen, maar ook om snel door te hebben dat er iets in die dataontwikkeling anders gaat? En voor degenen die het niet weten: een auto stuurt elke seconde tienduizenden informatiepunten naar leveranciers toe; dat is echt enorm.

Mevrouw Jonker: Dat is een hele goede vraag. Er zitten twee stukken aan uw vraag. Het eerste stuk betreft de ontwikkeling van de goed functionerende yellow box: het kennissysteem. Ook die zal uit moeten vragen aan het deepmachinelearningssysteem om die kennis te achterhalen. Dat uitvragen kost tijd en dus rekenkracht. Een ruwe schatting is dat het er nog een keer bovenop komt. We zullen ofwel de benodigde tijd om zo'n algoritme te ontwikkelen moeten verdubbelen ofwel de machine krachtiger moeten maken om dat in dezelfde tijd uit te rekenen. Het energiegebruik gaat dus ook nog steeds omhoog. De bijbehorende opwarmingsfactor van de aarde speelt dus wel degelijk mee. Het andere stuk is het moment waarop het systeem staat. Op dat moment is de efficiëntie van de algoritmes prima, zowel van het gele boxje als van het black-boxalgoritme. Dus daar zit de pijn niet meer, maar wel in de ontwikkeling.

Mevrouw Kluit (GroenLinks): Misschien moet ik de vraag iets anders stellen. Mijn vraag is meer gericht op de menskant of op de beheersbare, controleerbare kant: hoe zorg je ervoor dat er aan de publieke kant voldoende kennis en instanties zijn die kunnen meedenken of kunnen toetsen in de black boxen, zodat we ongelukken voorkomen? Het is waar dat mensen ook fouten maken, maar mensen zijn voor mensen wel makkelijker te volgen dan een black box waarin er elke seconde zoveel data bij komt.

Mevrouw Jonker: Ja, dat is een hele goede vraag. De vraag had ik niet goed begrepen. Het Design for Values Institute richt zich precies op die vraag. Als je weet dat je zo'n soort systeem zou willen maken, wil je dat vanaf dag één ontwerpen op een manier dat het dat makkelijker maakt. Het ontwerp voor waarden en het ontwerp voor betrouwbaarheid en voor transparantie moet je vanaf het eerste moment meenemen. Dat is één. Ten tweede moet je zorgen voor voldoende experts om mee te blijven kijken in de teams die zo'n algoritme toepassen.

Mevrouw Kluit (GroenLinks): Stel dat we het grijze gebied tussen Facebook – dat is een actueel thema – en de overheid een beetje willen managen en monitoren of dat we daar zelfs op kunnen ingrijpen. Hoeveel mensen in Nederland, om het daartoe te beperken, moeten wij dan hierop zetten? In de kabinetsonderhandelingen wordt gesproken over miljarden. Ik kan me voorstellen dat investeringen hierin broodnodig en heel handig zouden zijn, maar waar hebben we het dan over?

Mevrouw Jonker: Miljarden, niet alleen van ons, maar ook van onze buurlanden. We moeten samen hierin optrekken. Wat dat betreft is de EU toch een heel mooi samenwerkingsverband waarin sociale normen en waarden en de rechten van het publiek en het individu in een grotere balans staan dan in sommige andere werelddelen. Dit betekent dat het onderzoek naar het verantwoord ontwerpen van kunstmatige-intelligentiesystemen echt prioriteit moet krijgen. Dat gaat heel veel tijd en energie kosten.

De voorzitter: Dank u. Het is nu 9.45 uur. Ik wil om 9.50 uur verder met de volgende inleiding. Meneer Crone.

De heer Crone (PvdA): Ik hoorde toevallig gisteren op een congres dat heel veel wetenschappers geen geld meer krijgen voor onderzoek, tenzij ze het onder het labeltje AI plakken. «AI» wordt een trefwoord om geld uit de potten te krijgen.

Mevrouw Jonker: Ja, dat klopt.

De heer Crone (PvdA): In dit huis geldt gelukkig de traditie dat wij domme vragen mogen stellen, maar dat Ministers naar huis moeten als ze domme antwoorden geven. Zover bent u gelukkig nog niet.

Mevrouw Jonker: Misschien moet ik dan ook wel naar huis!

De heer Crone (PvdA): Ik wilde vragen naar een heel ander aspect van deep learning. Ik hoorde dat er nu al zo veel rekenkracht mogelijk is dat als je een verslag wil hebben van een voetbalwedstrijd, bijvoorbeeld Ajax tegen Cambuur, je tijdens de wedstrijd al makkelijk via alle netwerken kunt bijhouden hoe laat er een doelpunt viel, wie het heeft gemaakt enzovoorts. Eén minuut na de wedstrijd kan er al een verslag zijn, dat zelfs in de stijl van Mart Smeets geschreven kan zijn.

Mevrouw Jonker: Ja, dat klopt.

De heer Crone (PvdA): De machine kan zowel de stijl van Mart Smeets leren als hoe de wedstrijd is afgelopen. Maar weet ik dan thuis nog of het artikel van Mart Smeets of van een ander is? Dat geldt natuurlijk ook voor overheidsdocumenten. Kan iemand een overheidsdocument ontvangen dat niet door de overheid is geschreven, maar door een ander? Gaat iemand dus foute dingen doen? Kunnen we daar een keurmerk voor verzinnen? Het gaat mij nu niet om een oplossing, maar dat we iets doen. Kan dit inderdaad al? Ik hoor dat dit vrij simpel is.

Mevrouw Jonker: Ja, dit kan en behoort tot de huidige stand van zaken. De eerste die serieus een automatische samenvatting maakte, was een jongen van een jaar of 12. Hij was binnen de kortste keren miljonair.

De heer Crone (PvdA): Wordt er aan keurmerken gedacht? Nu krijg je al mailtjes van banken, maar in de toekomst denk je: ik open er nooit meer een. Dat gaan we natuurlijk niet doen. Wordt er gedacht aan keurmerken? Dit komt misschien later nog terug, want we hebben nog veel hoorzittingen.

Mevrouw Jonker: In onze technologie speelt natuurlijk navenant het hele punt van blockchaining een rol. Hopelijk komt er op den duur ook kwantum computing, waarmee we veel meer grip gaan krijgen op dit soort fenomenen. Maar certificering heeft zeker onze aandacht. Als je het niet structureel aanpakt, blijft het een wapenwedloop tussen de boeven en goeieriken. Zeker.

De voorzitter: Dank u wel. Nog een hele korte vraag van mij. Wanneer zou het venster in die black box waar u naar op zoek bent, operationeel worden? Want de black box is er al en gaat niet meer weg. Wanneer zouden we daar een venster in kunnen hebben dat ook toepasbaar is?

Mevrouw Jonker: Dat is altijd moeilijk te zeggen. Het is eigenlijk zoals we altijd met kunstmatige intelligentie hebben: als het voor één specifiek systeem is, zullen we het relatief snel kunnen, maar het wordt lastig als we het in algemene zin moeten doen. De veralgemeniseerbaarheid van een oplossing naar meerdere problemen is moeilijk. Voor een specifiek probleem zal het vrij snel zijn. Ik denk dat we er ook rustig op moeten blijven inzetten om zowel onderzoek te doen naar wat het in directe zin voor een bepaalde situatie mogelijk maakt als fundamenteler onderzoek te doen naar wat het in algemenere zin mogelijk maakt.

De voorzitter: Dank u.

Presentatie 2: Eisen aan AI

Gesprek met:

• mevrouw Melanie Rieback (CEO/medeoprichter van Radically Open Security)

De voorzitter: Dan kom ik bij u, mevrouw Rieback. Ik wil u vragen om uw presentatie te geven.

Mevrouw Rieback: Goedemorgen iedereen. Ik ben Melanie Rieback. Ik ben CEO en medeoprichter van Radically Open Security, een sociale onderneming op het gebied van computerbeveiliging. Trouwens, jullie horen het vast: ik ben Amerikaanse van afkomst, maar ik woon wel al twintig jaar in Nederland. Ik ben begonnen als academicus en ben voormalig universitair docent informatica bij de Vrije Universiteit. Ik heb een jaar of zeven gewerkt aan security en privacy, met name van «radio frequency identification»-technologie. Tussen ongeveer 2006 en 2010 was ik bezig met onderwerpen als privacy van de ov-chipkaart. Voor jullie is dat waarschijnlijk ook a blast from the past. Ik werk ook voor de faculteiten van Singularity University, zowel in Silicon Valley als in Nederland. Mijn bedrijf doet eigenlijk iets heel bijzonders. Wij doneren 90% van onze winst aan het goede doel. De laatste 10% is onze cashflowbuffer. Zo houd ik een goedlopend bedrijf.

We zijn een consultancy van ongeveer 40 mensen en hebben meer dan 150 klanten gehad, inclusief de overheid. Bijvoorbeeld het Ministerie van VWS heeft ons ingehuurd om een pentest uit te voeren op de CoronaMelder. Jullie zijn daar vast mee bekend. Volgens mij hebben jullie mijn bedrijf in die ene sessie 22 keer genoemd. Ook hebben we werk gedaan voor de Europese Commissie. We hebben pentesten uitgevoerd op andere contact tracing apps in het kader van COVID-19, zoals Immuni in Italië en ProteGO in Polen. Dat hebben we ook gedaan voor de European Framework Gateway Services, dus het EU Interoperability Framework. Daarnaast hebben dat gedaan voor de Google/Apple Exposure Notification API. Verder hebben we laatst een security audit losgelaten op de digitale vaccinatiepaspoorten van de EU. We zijn dus bezig met nogal wat hoogprofielopdrachten. Wij werken met Google, met Mozilla, met het Open Tech Fund in de Verenigde Staten en met Wikimedia Foundation. In Nederland werken we voor energiebedrijven als TenneT, Eneco en Stedin. We doen daar pentesten, van power transformers tot websites. Voor de rest doen we ook veel ander werk, van internet exchanges in de core internet infrastructure tot en met non-profitorganisaties waarvoor wij werken op een non-profitbasis, tegen kostprijs. Dat doen we voor non-profit ngo's en civil society.

In de eerste zes jaar van mijn bedrijf hebben we meer dan een half miljoen gedoneerd aan de stichting NLnet, die open source en digitaleburgerrechtenorganisaties ondersteunt, zoals de Bits of Freedoms en IFF's van deze wereld, en technologie zoals Tor, WireGuard, Jitsi en DNSSEC, eigenlijk alles voor een beter open internet. Ik heb mijn best gedaan om een bedrijf te maken dat geoptimaliseerd is voor sociale impact. Dat komt natuurlijk ook vanuit mijn achtergrond als academicus. Ik probeer erachter te komen hoe wij business kunnen gebruiken als een vorm van positief activisme. Ik heb veel prijzen gewonnen voor mijn werk. CIO Magazine heeft mij de meest innovatieve IT-leider van Nederland genoemd. Ik was ook een van de finalisten voor de EU Prize for Women Innovators. De KvK heeft Radically Open Security het 50ste meest innovatieve mkb-bedrijf van Nederland genoemd. Dat is allemaal validatie voor onze manier van bedrijfsvoering, die toch een beetje vreemd is. Ik denk dat ik daardoor ook een ander perspectief heb en een iets ander verhaal kan vertellen.

We gaan nu naar de volgende slide. Ik hoef jullie niet te vertellen dat onze levens steeds digitaler worden. Dat komt ook nog in een stroomversnelling terecht door covid. We deden al veel online, van winkelen en boodschappen doen tot een date vinden, en natuurlijk e-mailen en sociale media. Maar nu komt met het work from home natuurlijk ook nog bijna alle bedrijfsvoering online. Dat verhoogt natuurlijk wel de stakes, met de beveiliging en de privacy van onze data. Governance blijft ook wel een puntje. Internet of things is natuurlijk ook wel langer aan de gang. Maar ook met AI – en daar gaat het gesprek van vandaag over – komt het een beetje in de knel.

De overheid wordt ook digitaal. Dat gebeurt natuurlijk ook al langer. De overheid gebruikt ook AI, voor alles van verkeersboetes tot fraudeopsporing. Het is natuurlijk geen toeval dat ik hier op de slide een foto van een toeslagenenvelop van de Belastingdienst heb. Ik hoef jullie daar ook niks over te vertellen. AI wordt ook gebruikt bij risicobeoordeling van ex-gevangenen of huidige gevangenen, voor de vraag of zij losgelaten mogen worden of met parole mogen. Denk ook aan de controle van immigratie: wie laten we toe en wie niet? Bij militaire wapens, inclusief drones, worden beslissingen die gemaakt zijn door AI echt een kwestie van leven en dood. AI wordt ook gebruikt voor voorspellend politiewerk. Sommige van deze punten zijn best controversieel, maar goed.

De volgende slide gaat over de eerste dreiging: gebrek aan transparantie. Daar heeft Catholijn het ook over gehad. AI is vaak, niet altijd, maar wel soms een black box, een volledige black box. Dat is natuurlijk ook wel een probleem. Catholijn heeft het natuurlijk ook wel gehad over dat voorbeeld van Amazon met de hiring criteria, die uiteindelijk alleen maar bestaande vooroordelen hebben ondersteund. Inderdaad, garbage in, garbage out. De makers van de systemen hebben bij Amazon geprobeerd om dat probleem uit het hiringsysteem te halen, maar uiteindelijk hebben ze dat systeem volledig weggegooid omdat de makers van het systeem het probleem niet eens op konden lossen.

We gaan naar de volgende slide. De volgende dreiging is gegevensverzameling, ofwel datahonger. Natuurlijk heb je met deeplearningsystemen een goede trainingset van data nodig. Het probleem is dat zowel de overheid als bedrijven erg happig zijn om data te verzamelen en te houden. We zijn een beetje hoarders, want we denken altijd: misschien heb ik het ooit nodig. Bovendien wordt wel vaker gezegd dat voor de kern van onze businessmodellen data de nieuwe olie vormen. Hoe verwachten wij dan dat we gaan doen aan dataminimalisatie als data juist in de kern van ons businessmodel zitten?

Dat geeft natuurlijk wel een aantal problemen, want met zo veel data krijg je natuurlijk ook kans op een datalek. Dat komt tegenwoordig bijna elke dag voor. Als je de krant leest, dan zie je dat. Het beveiligen van alle data is bijna onmogelijk. Statistisch gezien zijn er 16 bugs per 1.000 lines of code. Wij zwemmen natuurlijk in een zee van complexiteit. Er is zo veel software om ons heen dat er statistisch gezien altijd kwetsbaarheden in zullen zitten. Uiteindelijk is de enige manier om een datalek te voorkomen de data niet hebben. Ik zeg dit natuurlijk ook als iemand die nu al zevenenhalf jaar de leiding heeft over een pentestbedrijf. Het is ons nog niet één keer niet gelukt om in een systeem in te breken. Het enige waar wij niks mee kunnen, is iets wat trivial, klein, is of iets wat bijna totaal geen functionaliteit heeft. Voor de rest zijn systemen altijd stuk te maken.

Natuurlijk is er ook een spanningsveld tussen de datahonger en de GDPR, ofwel de AVG. Er worden natuurlijk eisen gesteld aan bedrijven, en ook aan overheidsinstanties, en er is een aantal verplichtingen. Wij moeten kijken hoelang we de gegevens bewaren. We moeten ook toegang geven tot die gegevens aan mensen, aan burgers, zodat zij de data kunnen bekijken en ook veranderingen aan kunnen brengen. Maar goed, hoe vaak denk je dat dat in de praktijk daadwerkelijk gebeurt? Als ik wil weten wat voor data een data broker over mij heeft verzameld, dan zijn er wel blogposts of media te vinden die over dat onderwerp gaan. Maar uiteindelijk is het bijna onmogelijk om daar toegang toe te krijgen, laat staan om er ook nog echt verbeteringen in aan te brengen. Daarnaast is het met GDPR bijna onmogelijk om compliant te zijn.

Daar zijn een paar redenen voor. Ten eerste omdat vooral kleine bedrijven bijna geen resources hebben. Als je af en toe een pentest uit kan voeren, dan is dat natuurlijk wel fijn. Bovendien worden de regels bijna niet nageleefd. Wie gaat van mkb naar mkb om te vragen: hoeveel data heb je nog?

Er is ook heel weinig jurisprudentie, omdat de wetgeving er relatief nog niet zo lang is. Zonder die jurisprudentie weten bedrijven niet precies waar de grens is van wat ze wel en niet kunnen. Er zijn niet genoeg voorbeelden waardoor ze echt 100% weten hoe ze compliant kunnen worden. Uiteindelijk krijgen wij wel consultancybedrijven die met een checklist komen. Ze denken een beetje: als je dit, dit en dit doet, dan ben ik compliant, check! Maar uiteindelijk is dat ook een beetje bullshit. Het is wel een goed businessmodel, maar ... Wat GDPR wel goed heeft gedaan, is de discussie aanwakkeren onder het bedrijfsleven en binnen de overheid. Ik denk dat mensen zich nu meer bewust zijn van dataverzameling en dataminimalisatie. Het is mooi gespreksvoer, maar uiteindelijk moeten we iets aan de enforcement doen.

De voorzitter:

Mevrouw Rieback, ik heb een korte interruptie. Deze bijeenkomst is voor iedereen om op niveau te komen, maar u steekt op sommige punten hoog in. Een pentest, zo begrijp ik, is een penetratietest. Dan kijkt u of u in de systemen kunt komen. Vat ik dat goed samen?

Mevrouw Rieback:

Ja, penetratietest is vaktaal voor ethisch hacken. Ik heb een bedrijf met hackers. Overheden en bedrijven betalen ons om dingen stuk te maken, en hun daarna uit te leggen wat wij hebben gedaan en hoe zij die fouten kunnen herstellen.

De voorzitter:

AVG kent, denk ik, iedereen, maar GDPR is, denk ik, ook niet voor iedereen een bekende afkorting. Of ga ik nou te ver?

Mevrouw Rieback:

Dat is de Europese privacywetgeving.

De voorzitter:

Dank u. Gaat u verder.

Mevrouw Rieback: Ik werk al twintig jaar in computerbeveiliging. Ik kan zeggen dat er op het gebied van privacy al best wat privacy enhancing technologieën ontwikkeld zijn. Gedurende mijn eigen carrière heb ik ook VPN's ontwikkeld. Toen ik op de VU werkte, was iedereen bezig met technieken om data te pseudoanonimiseren en dat soort zaken. Het zit allebei op het gebied van pseudoanonimisering, zoals dataminimalisatie. De technieken zijn er. Die zijn er eigenlijk al tien, vijftien, twintig jaar, maar het probleem is dat die technieken ook toegepast moeten worden. Daar zie ik het gebrek. Volgens mij hebben we de tools, maar de motivatie en de wil om ze te gebruiken missen af en toe.

Volgende slide. Vooroordelen, dus bias, vormen een andere bedreiging. Ik weet niet of jullie de geweldige documentaire Coded Bias op Netflix hebben gezien. Als jullie die niet gezien hebben: het is echt een aanrader. Het gaat over een AI graduate student op MIT in de Verenigde Staten. Zij is African American en probeert met AI een gezichtsherkenningsalgoritme te trainen, maar uiteindelijk werkt dat algoritme niet goed, omdat zij zwart is. Uiteindelijk doet zij een blank masker op en opeens doet dat algoritme het veel beter. Het geeft natuurlijk al aan dat de mensen die die systemen ontwikkelen, een bepaald wereldbeeld hebben. Dat wereldbeeld wordt verwerkt in die software. Ze doen het niet eens expres. Soms proberen ze zelfs bewust om dat wereldbeeld eruit te halen, maar het is moeilijk tot onmogelijk om dat te doen. Uiteindelijk worden de vooroordelen verwerkt in de broncode, maar ook in de algoritmes en de training data sets. Die vooroordelen, die biases, uiten zich op verschillende manieren, bijvoorbeeld op basis van ras, economische toestanden, geslacht of geografie. Je ziet het ook met predictive policing. We proberen de bias op ras er wel uit te halen, maar als ik ga kijken naar de Bijlmer of Geuzenveld in Amsterdam, kom ik toch een beetje op dezelfde plek uit.

Volgende slide. Nog een dreiging. Als wij over ethiek in kunstmatige intelligentie praten, dan hebben mensen het al snel over het bekende trolleyprobleem. Voor degenen die dat niet kennen, geef ik een voorbeeldje. Je hebt een trolleybus. Op het ene spoor staan drie oude mensen en op het andere spoor staat één jonge persoon. Je moet dan kiezen welke persoon je doodrijdt. Maar goed, dit is wel een behoorlijk contrived voorbeeld. Je maakt je er een beetje makkelijk van af als je naar die theoretische voorbeelden gaat kijken en zegt: o ja, dit is AI-ethiek. Nee, dat is het eigenlijk niet. Naar mijn mening gaat het echte probleem over bedrijfsvoering. De hele wereld heeft last van de problematiek rondom bedrijven. Burgers hebben er last van. Overheden hebben er last van. Bovendien zijn overheden afhankelijk van bedrijven voor hun eigen bedrijfsvoering. Uiteindelijk komen die businessproblemen terug bij de overheid en daar hebben wij ook heel veel last van. Het probleem is dat bedrijven niet transparant zijn en niet democratisch zijn, maar wel een rol spelen in de democratie. Ik weet niet of jullie de krant hebben gelezen. Een whistleblower van Facebook heeft net een heleboel data en documenten aan de Wall Street Journal geleverd. Haar conclusie is dat niemand buiten Facebook weet wat er binnen Facebook aan de hand is. Die vrouw, die klokkenluider, is een expert in algoritmes, net als academici zoals Catholijn. Zij heeft kennis van zaken, maar toch is zij weggegaan bij Facebook om klokkenluider te worden.

De kennis is wel in huis, maar toch beslist de leiding om het anders aan te pakken. Dat komt natuurlijk door de perverse prikkels van de commercie. Zelfs aandeelhouders kunnen dit soort bedrijven, zoals Facebook, niet besturen. Zij oefenen bijna geen controle uit. Specifiek bij Facebook zie je dat Mark Zuckerberg een soort supervotingconstructie met A- en B-aandelen heeft. Mark Zuckerberg heeft tien stemmen voor elke stem die de andere aandeelhouders hebben. Dat betekent dat Mark Zuckerberg bij elkaar controle heeft over 60% van de stemmen binnen Facebook, al heeft hij waarschijnlijk maar zo'n 30% van de aandelen. De aandeelhouders, inclusief hedge funds, hebben geprobeerd een aandeelhoudersresolutie in te dienen om dat votingstelsel te veranderen naar «één aandeel, één vote». Mark Zuckerberg heeft dat zelfstandig weggestemd. Zelfs de aandeelhouders kunnen het gedrag van Facebook niet sturen. Dat betekent dat niemand het kan. Zelfs de mensen die daar werken, zien dat de enige manier om daar verbeteringen in aan te brengen, is om naar de Wall Street Journal te stappen met een lading documenten. Dit is naar mijn mening het grote probleem met kunstmatige intelligentie. Dus nee, dat is inderdaad geen technologieprobleem. Maar goed, ik ga even verder.

Volgende slide. Ik wil ook even praten over mijn eigen ervaring met het spanningsveld tussen de grote techbedrijven en de Europese Commissie. Ik heb eerder verteld dat ik door de Europese Commissie gevraagd ben om werk te doen voor COVID-19 contact tracing apps. Ik noemde even de Google/Apple Exposure Notification API. Als pentestbedrijf hebben wij toestemming nodig om iets te testen. Dat heet een vrijwaringsverklaring. Wij noemen het in vaktaal een «get out of jail free card». Als die niet getekend is, zijn wij voor de computercriminaliteitswetten natuurlijk strafbaar. Wij blijven een klein computerbeveiligingsbedrijf, dus we zijn met de Europese Commissie naar Google en Apple gestapt om te zeggen: wij willen de Google/Apple Exposure Notification API testen en wij willen graag dat jullie deze pentestwaiver gaan tekenen. Van Apple hebben wij helemaal niks teruggehoord. Van Google hebben we wel iets teruggehoord, maar ze wilden even intern overleggen. Een maand later hadden we nog niets gehoord, dus pingden we weer even met de vraag hoe het zat. «O ja, wij moeten het escaleren naar het management. We komen er later op terug.» Toen waren we weer een paar maanden verder. Uiteindelijk hadden wij er een gesprek met de Europese Commissie over, want deze Google/Apple Exposure Notification API komt op de telefoons van iedereen in de wereld. Dit is echt een kwestie van groot civiel belang, want er wordt continu data verzameld. We hebben totaal geen inzicht erin. Bovendien zit het echt in de kern van het besturingssysteem, dus het is ook heel gevoelig voor fouten en beveiligingsproblemen. Het is belangrijk voor de maatschappij om deze toepassing, deze software, te testen. We kunnen het wel reverse engineeren, maar dan komen wij mogelijk legaal, wettelijk, in de problemen. We hebben de Europese Commissie dus gevraagd: als Google een rechtszaak tegen ons gaat aanspannen, komen jullie dan op voor de legale kosten? Zij hadden zoiets van: het is een politieke en ingewikkelde kwestie; we willen natuurlijk wel onze goede relatie met Google behouden.

Er zijn natuurlijk uitzonderingen op reverse-engineering-wetten, bijvoorbeeld interoperability. Ik heb dus ook even gesnuffeld bij het Ministerie van VWS en dezelfde vraag gesteld: jullie kunnen wel reversen bij de coronamelder, maar kunnen wij misschien bij jullie aanhaken om dit te doen? Politiek! Ingewikkeld! We zijn op die manier dus ook niet verder gekomen. Uiteindelijk hebben we overlegd hoe wij nu verder moeten, omdat wij op zo'n belangrijk stuk technologie niet legaal een security audit kunnen uitvoeren. Niemand wil ons hierbij ondersteunen. Het enige wat ik kan bedenken, is dat we het toch gewoon moeten doen en dat we, als er uiteindelijk een rechtszaak komt, maar moeten hopen dat alle advocaten van de EFF onze kant op springen en dat wij misschien jurisprudentie kunnen maken. We hebben echt letterlijk dat gesprek gehad binnen mijn bedrijf. Maar goed, ik wilde de relatie tussen de EU en big tech natuurlijk niet beschadigen, dus ik ben uiteindelijk toch naar achteren gestapt. Maar dit zijn voor mij pijnpunten. Dit zouden voor jullie ook pijnpunten moeten zijn. Dit laat heel goed zien wat de machtsverhoudingen zijn tussen big tech en overheden, zelfs op Europees niveau.

Goed. De volgende slide: oplossingen. Ik denk ten eerste aan open source. De Nederlandse overheid is daar eigenlijk al jaren mee bezig. Het komt en het gaat. Het is natuurlijk niet volledig opensourcevriendelijk, maar Linus Torvalds zegt: «Many eyes make bugs shallow.» Dus hoe meer mensen kunnen kijken naar software, hoe groter de kans dat daar uiteindelijk problemen uit gaan komen. Maar dit gaat niet altijd goed in Nederland.

Ik ga nog een leuk voorbeeld geven vanuit mijn eigen ervaring. Ik ben een keer gevraagd voor een RFP (request for proposal) om mee te doen om een offerte in te dienen voor het pentesten van een stemcomputer, die uiteindelijk stemmen van Nederlanders in het buitenland moest registreren. Het bedrijf dat dat systeem heeft gemaakt, heeft ook de scope van die penetratietest bepaald en is naar ons toegekomen met de vraag of wij een offerte kunnen indienen voor een pentest van één week. Ze wilden ook een hackathon maken. Ik wilde een belafspraak maken en toen ik de persoon van dat consultancybedrijf aan de lijn had, vroeg ik: we hebben het nu over stemmachines, maar vind je niet dat er méér nodig is dan een pentest van één week en een amateuristische hackathon?

Dit zou promotieonderzoek moeten zijn. Dit heeft echt jarenlang onderzoek nodig. Maar het probleem is dat ze aan mij vragen om iets in te dienen. Stel dat ik een offerte indien en daarop een penetratietest uitvoer, dan is de scope zo klein dat ik in een week bijna niks ga vinden. Dat is niet genoeg tijd. Ze kunnen dan wel zeggen dat Radically Open Security naar hun stemmachine heeft gekeken en niks heeft gevonden, maar ik doe niet mee met dat soort dingen. Ik heb een e-mail gestuurd naar die bedrijven, waarin ik zei dat ik weiger om een offerte in te dienen, want ik vind het uiteindelijk niet respectvol voor de democratie. Ik was bijna geneigd om naar een reporter te stappen met de hint om een Wob-verzoek op dit systeem in te dienen, maar dat heb ik uiteindelijk gelaten. Maar het punt is dat dit vaak is hoe het gaat met de automatisering en IT-systemen van de overheid.

Het komt steeds weer terug op die bedrijfsproblemen, dus het komt dan ook vaak terug bij bedrijven. Wij kunnen ook kijken naar die supervotingconstructies. Bedrijfsproblemen hebben bedrijfsoplossingen nodig, dus we moeten weg van dat soort aandelenconstructies. Als wij meer sociale ondernemingen kunnen stimuleren, dan denk ik dat wij ook beter gedrag gaan krijgen van bedrijven. Want als zij gecommitteerd zijn om minder winst te maken, dan denk ik dat impact uiteindelijk de key motivator gaat zijn. Het klinkt een beetje contra-intuïtief, maar ik denk dat wij, in plaats van ons te hard te focussen op de technische oplossingen, ook kunnen kijken naar die bedrijfsoplossingen.

Het vierde punt op deze slide, technologie, kan ook een oplossing zijn. Ik zeg, als iemand die al twintig jaar in de computerbeveiliging werkt, ook als voormalig assistant professor informatica: ik denk dat bijna alle technologieën die wij nodig hebben waarschijnlijk al bestaan. Het probleem zit hem veel meer in hoe zij toegepast worden.

Als conclusie bij deze laatste slide wil ik het volgende zeggen. Ik heb de laatste twintig jaar van mijn carrière privacy-enhancing technologies (PETs) ontwikkeld. Uiteindelijk ben ik gefrustreerd geworden, omdat ik het echt helemaal zat was om technologische pleisters te ontwikkelen en te plakken op businessproblemen. Ik ben daar een beetje van weg gestapt, want ik denk dat businessproblemen businessoplossingen nodig hebben. Daarom heb ik Radically Open Security gestart als non-profit-business. Daarom heb ik drie jaar geleden Nonprofit Ventures opgericht om als incubator andere non-profit-bedrijven te starten. Ik ben ook helemaal gedoken in economische filosofieën zoals post-growth en degrowth, omdat ik denk dat daar de oplossing in zit. Ik zou heel graag willen dat zowel de Eerste als de Tweede Kamer en alle politieke partijen meer aandacht zouden richten op die nieuwe economische gedachtestromen, want ik denk dat ook voor AI daar de oplossing in zit.

Ik heb mijn punt gemaakt. Laten wij in die laatste twee sessies niet tevreden zijn met technische oplossingen. Technische oplossingen zijn populair omdat zij relatief gezien makkelijk te maken zijn en omdat het «do something syndrome»-meespeelt, zoals wij dat in de computerbeveiliging noemen. Dat is het gevoel dat we iets hebben gedaan. Een technologie lijkt heel sexy, maar het is veel moeilijker om die bedrijven aan te pakken. Het is ook politiek moeilijker om de bedrijven aan te pakken. Maar dat is volgens mij de oplossing.

Dank je wel.

De voorzitter: Dank u wel voor dit perspectief, het zeker aanvullende perspectief. Ik kijk naar de aanwezigen of er vragen zijn aan mevrouw Rieback. Meneer Dittrich van D66.

De heer Dittrich (D66): Hartelijk dank voor uw inbreng en uw visie. Ik begrijp dat u zegt dat er een politieke oplossing, of eigenlijk politieke sturing, nodig is voor de tekortkomingen die u ziet. In de Eerste Kamer houden wij ons natuurlijk met name met wetten bezig. Mijn vraag aan u is: kunt u aangeven op welke manier een wet de tekortkomingen die u ziet, zouden kunnen sturen of beperken in de problematiek? Begrijpt u mijn vraag? Ik vind hem zelf erg ingewikkeld. Nog één keer: hoe kan de wet u helpen om de problemen die u ziet op te lossen?

Mevrouw Rieback: Ik ga nu praten vanuit mijn eigen uitzichtpunt. Ik ben natuurlijk geen politicus, dus ik denk niet zo vaak na over wetgeving. Het probleem met wetten is dat, als je ze maakt, ze ook nageleefd moeten worden. Ik denk wel dat de wetten prikkels kunnen geven, maar je ziet het nu ook met die CoronaCheck-app. Ik ben best vaak uit eten geweest en ik ben niet één keer in een restaurant gecontroleerd. Ik denk het meer een kwestie is van de informele politieke invloed, die jullie uit kunnen oefenen. Ik denk dat er meer vragen en discussies moeten komen over bijvoorbeeld het start-up-ecosysteem. Dat klinkt als heel iets anders dan kunstmatige intelligentie. De start-ups van vandaag zijn de grote bedrijven van morgen. Het probleem is dat wij vanaf het begin de verkeerde normen en waarden in onze bedrijven proppen.

Het probleem is dat we mensen hebben helemaal aan de top in Nederland, zoals bij Techleap – dat is een beetje de organisatie tussen het start-up-ecosysteem en de overheid – mensen zoals Prins Constantijn, die continu roepen dat Nederland een land moet worden van unicorns. Jullie moeten beseffen hoe ongelooflijk problematisch dit is, maar daar is echt bijna geen discussie over. Er is een econoom, Mariana Mazzucato, die praat over wat zij noemt «the entrepreneurial state». Uiteindelijk is die overheid dus dé grootste durfkapitalist die er bestaat. Als je bijvoorbeeld kijkt naar alle subsidies, dan gaan die naar mooie onderzoeken zoals die van Catholijn, maar ook naar veel andere dingen. Het probleem is dat wij de kosten externaliseren naar de overheden en uiteindelijk naar de belastingbetalers, maar dat de winsten allemaal worden geprivatiseerd. Dat zit in de kern van het Silicon Valley-businessmodel van capital-scale-exit. Dat wordt echt overal geleerd.

Het eerste wat ik zou willen – dat heeft niets met wetten te maken – is dat iemand even met Techleap gaat praten over de problemen van dit schadelijke businessmodel. Het eerste probleem is dat aan alle oprichters wordt verteld dat kapitaal verplicht is, dat je gewoon helemaal geen bedrijf kunt starten zonder investeerder. Ik ben zevenenhalf jaar geleden natuurlijk ook door een incubator heen gegaan met mijn bedrijf. Uiteindelijk is onze definitie van succes het verkopen van het bedrijf. Denk even na, ook qua data governance, over wat voor impact dit heeft. De Nederlandse overheid heeft dit bijvoorbeeld gezien bij Fox-IT, een bekende grote speler in de computerbeveiliging in Nederland. Wat is er gebeurd? Er zijn monitoring black boxes met AI geweest in alle hoeken van de overheid, in Defensie en in alle grote Nederlandse bedrijven. Wat is er uiteindelijk gebeurd? Fox-IT is overgenomen door de Britse NCC Group. Op een gegeven moment hebben de hele Nederlandse overheid en het bedrijfsleven zoiets van: o shit, al onze data zijn nu eigendom van de Britten.

Dus wat gebeurt er? We kijken naar de eerste de beste Nederlandse start-up die toch nog Nederlands is. RedSocks is een spin-off geweest van Fox-IT en heeft ook investeerders gehad. Uiteindelijk zijn alle partijen overgestapt naar RedSocks, want ze dachten: dat is een mooie, prachtige Nederlandse start-up. Dat bedrijf is exponentieel gegroeid. Twee jaar later lees ik in de krant: gefeliciteerd, RedSocks is overgenomen door de Roemenen. Wij zijn ons niet bewust van tot hoever wij Nederland aan het verkopen zijn aan buitenlandse investeerders. Ik woon in Amsterdam. Dat is ook voor mij natuurlijk een pijnpunt. Als ik een telewinkel in de stad zie en nadenk over hoe onbetaalbaar woningen hier zijn, dan denk ik: hier moet discussie over komen.

Laatst was er dat Nationaal Groeifonds. Ze zochten groeiplannen voor Nederland. De bekende Britse econoom Tim Jackson, die post-growth heeft bedacht, heeft samen met mij en Fair Capital Partners een proposal ingediend voor het Groeifonds, dat we het «Post Growth Plan» hebben genoemd. In ons proposal zeggen wij: «Kunnen jullie even nadenken over de vraag of groei eigenlijk wenselijk is voor Nederland? Zo niet, dan zijn er hier een paar alternatieven.» Ik had gehoopt dat we in ieder geval tot de tweede ronde zouden komen, zodat ik een gesprek zou kunnen voeren met de Ministeries van Economische Zaken en Financiën. Verrassend genoeg zijn we niet eens door de eerste ronde gekomen, maar ze hebben wel de commitment gemaakt om alle proposals op de website te publiceren. Dus dat is wel gebeurd. Ik doe nu de open uitnodiging aan alle Ministers en Kamerleden en iedereen van het ministerie: ik heb hier een heleboel ideeën over en ik wil heel graag met jullie praten.

De voorzitter: Dank, we hebben het gehoord.

Mevrouw Stienen (D66): Dank aan jullie allebei voor jullie inleiding. Ik moet zeggen dat ik een beetje het gevoel heb dat ik nu in een computergame zit met allerlei informatie en draadjes. Ik wil met de commissie en de collega's iets delen vanuit mijn rol als vertegenwoordiger in de delegatie naar de Parlementaire Assemblee van de Raad van Europa. We hebben daar vorig jaar een hele dag gehad over artificial intelligence. Daar is de conclusie getrokken dat «the Assemblee strongly beliefs that there is a need to create a crosscutting regulatory framework for AI with specific principles based on the protection of human rights, democracy and the rule of law». Dat is een aanvulling op de vraag van mijn collega Boris Dittrich, namelijk dat we een internationaal framework nodig hebben, dus niet alleen maar in de Nederlandse wetgeving. Ik ben benieuwd of u daarmee bekend bent. Ik zal u straks even linken via LinkedIn en u in verbinding brengen met de mensen die daar in Straatsburg mee bezig zijn. Maar de «regulatory frameworks» lijken ook een beetje op internationaal maatschappelijk verantwoord ondernemen: wil je het aanmoedigen of heb je echt regelgeving nodig op internationaal vlak?

Mevrouw Rieback: Ik denk dat we het van alle kanten moeten proberen. Ik vind het zeker een goede zaak dat de Europese Commissie nu bezig is met AI en ethiek in wetgeving. Ter voorbereiding had ik even gekletst met Catelijne Muller, die ook bezig was met het maken van... Ik denk dus dat er experts zijn in Nederland die jullie kunnen helpen met het voorbereiden van dat soort wetgeving. Natuurlijk ben ik geen advocaat en ook geen politicus, dus dat is niet mijn area of expertise, maar ik vind wel dat daar ook wetgeving voor moet zijn. Dat geeft natuurlijk ook prikkels aan de rest van de maatschappij om dingen na te leven. Maar voor de rest kijk ik meer vanuit het perspectief van een voormalig academicus en van iemand uit het bedrijfsleven.

Mevrouw Jonker: Ik wil graag iets aanvullen. Ik denk dat jullie beider perspectief daarbij van groot belang is. Er komt Europese regelgeving op dit gebied, die AI Act. Inderdaad hebben wij aan Catelijne Muller een hele goede om daar samen naar te kijken. In het kader van de aanstaande wetgeving vraag ik mij af in hoeverre die wetgeving niet uiteindelijk met name een killer is voor onze eigen kleinere industrie, terwijl de grote giganten er gewoon overheen kunnen lopen omdat ze in staat zijn om de boetes van zich af te houden en de rechtszaken dermate lang uit te spinnen dat ze daar gewoon mee wegkomen. Ik ben bang dat we met name de kleine industrie, de opkomende eigen industrie, daarmee belemmeren, en dat de grote AI-giganten in staat zijn om daar gewoon mee weg te komen. Zij kunnen die rechtskosten immers wel betalen.

De voorzitter: Dank voor deze aanvulling en zorg. Ik zie in eerste instantie mevrouw Faber van de PVV.

Mevrouw Faber-van de Klashorst (PVV): Ten eerste bedankt voor uw interessante inbreng, maar ik werd ook enigszins getriggerd toen u begon over de coronanotificatiemelder, over die API. Die is hier namelijk uitvoerig besproken. U geeft aan dat u die bedrijfsstructuur enzovoort zat bent, maar wij zijn de overheid soms ook een beetje zat. Daar bedoel ik mee dat die API gratis aangeboden is door Google en Apple. Als iets gratis is, ben jij het product, zeg ik altijd. Dan moet je altijd een beetje opletten. Er zijn zelfs overeenkomsten gesloten. Die waren zodanig dat Google en Apple die eenzijdig konden wijzigen, zonder dat de overheid daar iets over te zeggen had. Moet de overheid niet eens op haar hoofd gaan krabben en zich afvragen of er wel dergelijke overeenkomsten gesloten moeten worden met Google en Apple? Dit zijn namelijk wel hele grote jongens. Moet je wel jouw lot in hun handen leggen? Is het ook niet een mentaliteitsprobleem, niet alleen van de bedrijven maar ook van de overheden? Overheden faciliteren het namelijk. Deze Kamer is erop geattendeerd dat deze API gratis was en dat dat een risico is. Toch wordt daarmee ingestemd. Moeten we daarbij dan ook niet naar onszelf kijken? Hoe ziet u dat, vraag ik u via de voorzitter.

Mevrouw Rieback: Ik ben het op heel veel punten met u eens. Ik denk dat overheden het een beetje moeilijk hebben met deze onderwerpen. Ik denk namelijk dat de overheid relatief gezien weinig verstand heeft van technologie. Soms ziet de overheid weinig alternatieven. Er wordt gezegd dat het gratis wordt aangeboden, maar ik vind dat het meer gedwongen op onze telefoons is gekomen. Het is niet opt-in geweest. Het is gepushed door een update, of wij het nou wilden of niet. De CoronaMelder en dat soort applicaties zijn wel opt-in, maar uiteindelijk is de onderliggende basis dat niet.

Ik kom even terug op die machtsverhouding tussen de grote techbedrijven en de overheid. Ik denk dat de overheid heel vaak meegaat met die techbedrijven, omdat het heel vaak een situatie van onmacht is. Jullie willen het misschien anders, maar zien geen andere manier. Ik denk dat het daarop neerkomt.

De voorzitter: Mevrouw Jonker, ook op deze vraag?

Mevrouw Jonker: Ja, gerelateerd aan de hele automatisering op zich en vooral ook aan robotisering, dat een verwant vraagstuk is. Het klinkt zo mooi, maar uiteindelijk is die software van bedrijven. Ik denk dat dat aansluit bij jouw opmerking, Melanie. Als je mensen vervangt door kunstmatige intelligentie, robotisering of automatisering, dan geef je daarmee de macht direct weg aan die bedrijven. Die krijgen we niet meer terug.

De voorzitter:

Dank u wel. Mevrouw Kluit, GroenLinks.

Mevrouw Kluit (GroenLinks) (GroenLinks):

De boodschap over degrowth en postgrowth triggerde mij wel een beetje. Als ik het goed begrijp, accepteren wij via ons scale-upmodel, start-upmodel en verkoop-de-boelmodel eigenlijk dat bedrijven kunnen groeien en dat strategische posities worden weggegeven zonder dat wij dat doorhebben. Daarnaast is het belangrijk om te vermelden dat wij bedrijven zo ver laten groeien dat wij als overheid onze grip daarop kwijt zijn. U zegt ook dat wij eigenlijk onvoldoende kennis en kunde hebben als politici of als politiek om dat goed te kunnen volgen. Kunt u daar nog wat meer over zeggen? Postgrowth en degrowth worden al snel aan links gelabeld, maar dat hoeft niet per definitie. Kunt u misschien iets meer zeggen over hoe wij dit anders zouden moeten doen? En zijn er ook bepaalde groottes bij bedrijven die wij nog kunnen accepteren of momenten waarop we weten dat we de grip op die bedrijven als overheid kwijtraken? Dat vraag ik mijzelf af als ik dit hoor.

De voorzitter: Dank. Ik wil u vragen te antwoorden in relatie tot AI.

Mevrouw Rieback: Wat zei u, sorry?

De voorzitter: In relatie tot artificial intelligence, om te voorkomen dat we een algemeen economisch debat gaan voeren.

Mevrouw Rieback: Helaas vind ik toch wel dat een grotere context voor artificial intelligence heel veel uitmaakt. Dit betreft alweer de populaire discussie over hoe belangrijk die unicorns zijn. Een unicorn is natuurlijk een bedrijf met een valuatie van 1 miljard dollar. Je moet die unicorns als plofkippen zien. Als start-up ga je natuurlijk heel veel investeringsgeld in je bedrijf pompen, zodat het er kunstmatig, snel, juicy, lekker en aantrekkelijk uitziet, totdat de «liquidatie» van het bedrijf plaatsvindt – zo noemen ze dat echt. Dat is het woord voor de exit, als je het aan investeerders vraagt. Op dat moment wordt die plofkip doodgemaakt. De waarde wordt uit het bedrijf gehaald en uiteindelijk blijft er een soort van karkas over. Het probleem is dat 90% van die unicorns verliesmakend is. 90%! Heel veel politici beseffen dat niet. Op een gegeven moment hebben ze zo'n economische schaal dat ze wel winstmakend worden, maar dat gebeurt maar in 10% van de gevallen.

Het probleem is dat er bij verliesmakende bedrijven zonder een echt businessmodel eigenlijk sprake is van het subsidiëren van een monopolie. Dit gebeurt trouwens ook met overheidsgeld en door onze pensioenfondsen, die wegens lage rentes nu heel wanhopig op zoek zijn naar betere investeringen. Het is dus allemaal een beetje complex. Er is dus een soort van pump-and-dumpscheme op de openbare markten. Die plofkippen worden gehypet, zo van «o, dit is echt geweldig», maar uiteindelijk wordt dat verliesmakende ding gedumpt aan mensen die het verkopen. Dat zijn niet alleen retailinvesteerders, maar ook pensioenfondsen en investeringsfondsen. Als we in een groeiende economie zitten komt het allemaal goed, maar stel dat het maart 2020 is en de economie in een dip komt, dan is het altijd de laatste investeerder die de schade oploopt. We moeten kijken naar de manier waarop dat hele systeem in elkaar zit. Zo'n pump-and-dumpscheme zou eigenlijk illegaal moeten zijn. In andere landen zijn daar ook proposals voor. Als politicus zou ik mij dus ook focussen op dat soort punten, want ik denk dat daar concrete dingen uit te halen zijn.

De voorzitter: Mevrouw Jonker op dit punt.

Mevrouw Jonker: Ik zal het vanuit een iets andere hoek proberen te bekijken. Technologie is nooit waardevrij. Bij artifical intelligence, zeker daar waar het wordt ingezet voor besluitvorming, gaat het er natuurlijk om in hoeverre die besluitvorming aansluit bij onze normen-en-waardensystemen. Als je je realiseert dat AI vanaf de oorsprong al beïnvloed is door de waarden van de makers, zonder dat ze daar negatieve bedoelingen bij hebben, dan hebben we hier te maken met een wicked problem. Technisch kun je het misschien voor een heel eind voor elkaar krijgen, maar mijn collega heeft absoluut gelijk dat het probleem niet alleen daar zit. Als je nieuwe technologie wilt introduceren, zeker op dit soort besluitvormingsprocessen, dan moet je je realiseren dat je je hele proces opnieuw moet ontwerpen, dat je je hele proces van stap 1 af moet ontwerpen op een manier die aansluit bij de impact die die technologie gaat hebben op je besluitvormingsproces en op de mensen die ermee omgaan.

De voorzitter: Dank voor deze stevige conclusie, waarover we kunnen doordenken.

Mevrouw Jorritsma-Lebbink (VVD): Daar ben ik zeer voor. Laat daar geen misverstand over bestaan. Ik ben tegen monopolies. Door de technologie zijn hele grote monopolies ontstaan. Het zal wereldwijd moeten gebeuren, want als Europa alleen lukt dat niet, laat staan als Nederland alleen. Er zal nieuwe competitiewetgeving moeten komen. Eigenlijk is het een beetje hetzelfde als we hebben gezien aan het begin van de vorige eeuw. Toen zijn er allerlei bedrijven opgesplitst, omdat men toen ook monopolies kreeg door nieuwe technologische ontwikkelingen. Ik denk dat dit moet gebeuren, maar we moeten niet de illusie hebben dat wij dat in Nederland in ons eentje kunnen doen. Maar we kunnen wel helpen bij het op gang krijgen van de discussie.

Ik heb niet zo veel last van die covidchecker, ik heb veel meer last van de desinformatie die ertoe leidt dat heel veel mensen zich niet laten vaccineren. Wat doen we daaraan? Wat kunnen we daar nou nog meer aan doen dan we nu al doen?

Mevrouw Jonker: Dat is recht in mijn hart geschoten; ik kan het niet anders zeggen. Het onderzoek waar ik mij mee bezig hou, gaat met name over het ondersteunen van deliberatieve processen. Wij bekijken of we mensen met behulp van eerdergenoemde samenvattingstechnologie snel toegang kunnen geven tot waar de kern van een debat zit. Bovendien willen we samenvattingen waardegebaseerd maken: vanuit welke waarden, vanuit welke achterliggende belangen zegt iemand iets en wil iemand een oplossing bereiken? We zien heel vaak dat mensen het op lange termijn best wel met elkaar eens zijn, maar er is onenigheid over het pad ernaartoe. Hoe komt dat? Wat zijn daar de onderliggende waardes van? Kunnen we met behulp van onze kennistechnologische AI en onze machinelearningtechnologie de mensen de middelen geven om snel toegang te krijgen tot waar de kern van dit debat zit?

Mevrouw Rieback: Ik wil ook een antwoord op deze vraag geven. De klokkenluider heeft hierover meer informatie gegeven. Facebook had intern een nieuw algoritme geïntroduceerd om kwalitatief betere sociale interacties te bevorderen. Uiteindelijk betekende dat dat er meer reacties komen op bepaalde posts. Hoe controversiëler, hoe meer ruziemakend de content is, hoe hoger die content wordt gepromoot. Facebook heeft gekozen om dat algoritme te maken en te implementeren, omdat het meer interactie betekent en meer reclameverkoop, dus uiteindelijk meer geld. We zien heel duidelijk dat winstmaximalisatie hierbij conflicteert. Dit is het probleem van inflammatory content. De enige manier die wij hebben om Facebook te laten luisteren, is het introduceren van maatregelen waardoor het bedrijf financieel pijn lijdt. Dat kan anticoncurrentiewetgeving zijn, dat kunnen hele hoge boetes zijn. Hoe meer boetes jullie dat soort bedrijven opleggen, hoe meer jullie het bedrijfsbestuur kunnen verbeteren. Dat is uiteindelijk de oplossing.

De voorzitter: Dank u wel. Mevrouw Nanninga, u bent de laatste in de rij.

Mevrouw Nanninga (Fractie-Nanninga): Dank, voorzitter. Ik dank de aanwezigen voor het delen van hun tijd en kennis met ons. Die technologie gaat natuurlijk altijd veel sneller dan wij hier besluiten kunnen nemen. Voordat iets door de Eerste Kamer is, laat staan voordat iets Europees geregeld is ... Wetgeving maken is een ontzettend stroperig en traag verhaal. Tegen de tijd dat die wetgeving er is, is de hele technologie misschien alweer drie stappen verder. Is het dan niet zinvoller om meer in te zetten op economische wetgeving voor bepaalde bedrijfsmodellen? Wilt u daar een reflectie op geven?

Mevrouw Jonker: Het idee is meestal snel daar. Een proof of concept, een prototype, kunnen we meestal heel snel maken. Maar sommige zaken vragen echt meer tijd, op z'n minst een promotieonderzoek. Andere zaken kosten nog veel meer tijd om echt goed door te akkeren, om echt uit te vinden hoe je die technologie tot in de details moet beheersen en hoe je de effecten ervan moet begrijpen. Kunstmatige intelligentie heeft het vermogen om zelf testen te genereren en om zelf data te creëren waarop het zichzelf kan trainen. Daarmee wordt de versnellingsfactor er bovenop gezet. Aan de andere kant is het dermate complex dat er erg veel tijd nodig is om echt uit te zoeken wat die complexiteit teweegbrengt. Nogmaals, het proof of concept gaat razendsnel, maar zorgen dat we echt weten waar we het over hebben, kost heel veel tijd en onderzoek.

Mevrouw Rieback: Technologie gaat soms snel, maar soms ook niet. Vaak gaat het om bouwstenen die er al sinds de jaren 70 zijn. Of technologie nou zo snel beweegt, weet ik dus niet. De toepassingen wel. Het is hetzelfde met wetgeving. Jullie hebben hele mooie bouwstenen. Het gaat meer om de toepassing van die wettelijke bouwstenen. Dat is wat telt. Het gaat uiteindelijk om de compliance rondom die wetten. De interpretatie beïnvloedt heel vaak het gedrag. Ja, jullie kunnen natuurlijk aan wetgeving werken, maar ik denk dat jullie veel meer kunnen op cultureel niveau. Denk aan compliance officers. Die zijn vaak conservatief. Ze vinden zichzelf een beetje saai en willen echt de regels naleven. Maar denk aan het doel van wetten. Vaak zijn wetten er om mensen en de maatschappij te beschermen. Als jij bezig bent met compliance, heb je uiteindelijk de regels en de geest van de regels. Denk aan het concept van social compliance. Stel je neemt een aantal kunststudenten die je dropt in een compliance-afdeling. Wie gaat nou echt kijken waar een wet over gaat? Het is hetzelfde met security.

De voorzitter: Mag ik u vragen af te ronden?

Mevrouw Rieback: Heel kort. Culturele problemen hebben culturele oplossingen nodig. Jullie zitten in een prachtige positie in het publieke oog om een culturele verandering te bewerkstelligen.

De voorzitter: Dank u wel voor de mooie laatste woorden van u beiden. Dank dat u ons op vliegniveau heeft gekregen, zodat wij volgende week verder kunnen. Volgende week om 9.00 uur gaan we verder. Over de manier waarop, krijgt u nog bericht. Waarschijnlijk wordt het een combinatie van fysieke en digitale aanwezigheid.

Nogmaals heel veel dank. Ik wens u een goede dag.

Sluiting: 10.52 uur.

VERSLAG VAN EEN DESKUNDIGENBIJEENKOMST OP 12 OKTOBER 2021

Vastgesteld 8 november 2021

De vaste commissie voor Justitie en Veiligheid (J&V) heeft op 12 oktober 2021 gesprekken gevoerd over:

• Grip op algoritmische besluitvorming bij de overheid. De rol van de Eerste Kamer (Rathenau Instituut);

• Algoritmische besluitvorming door de overheid: naar een (betere) wettelijke verankering? (notitie van Johan Wolswinkel);

• Notitie van Mariette Lokin ten behoeve van de deskundigenbijeenkomst van de Eerste Kamer op 12 oktober 2021;

• De noodzaak van omvattende raamwerken voor begrip van, én grip op, datagedreven werken (notitie van E.H.A. van de Sandt);

• Noodzakelijke informatie om risico's, baten en effectiviteit van AI-systemen te beoordelen (notitie van Heleen Janssen).

Voorzitter: De Boer

Griffier: Van Dooren

Aanwezig zijn zes leden der Kamer, te weten: De Boer, Crone, Dittrich, Nicolaï, Prins en Recourt,

alsmede mevrouw Janssen, mevrouw Lokin, de heer Van de Sandt en de heer Wolswinkel.

Aanvang 09.03 uur.

AI: proportionaliteitstoetsing – betere wettelijke verankering AI-systemen

De voorzitter: Welkom allemaal. Het is voor mij ook bijzonder om hier te zitten. Welkom bij onze tweede bijeenkomst over AI, over overheidsbesluitvorming en de rol van de Eerste Kamer. Het gaat over de wettelijke verankering van AI-systemen en de proportionaliteitstoetsing daarvan. De basis is gelegd in beknopte notities, die jullie allemaal van tevoren gehad hebben. Vorige week was er al een bijeenkomst, die ook de basis biedt voor deze bijeenkomst.

We hebben twee presentaties van tien minuten in dit eerste uur. Daarna doen we een vragenronde. We stoppen stipt om 10.00 uur, omdat daarna iedereen de gelegenheid krijgt om een plekje te zoeken voor het tweede deel, dat digitaal zal plaatsvinden. We beginnen met twee presentaties. De eerste gaat over de wettelijke regulering van de AI-systemen. Prof. Johan Wolswinkel is hoogleraar Bestuursrecht, Markt & Data aan de Universiteit van Tilburg. Hij gaat het hebben over de nationale wetgever, die de normering van de AI-systemen niet over kan laten aan de rechter, het bestuur of andere wetgevers. En we krijgen ook tips voor hoe wij dit ter hand kunnen nemen. Ik geef het woord aan de heer Wolswinkel.

Presentatie 1

Gesprek met:

• de heer Wolswinkel (hoogleraar bestuursrecht, markt & data aan de Universiteit van Tilburg)

De heer Wolswinkel: Dank u wel voor de uitnodiging om hier te spreken en een toelichting te geven op wat begon als een twopager en wat is geworden een threepager. Ik wil het met u gaan hebben over de vraag naar wetgeving rond AI-besluitvorming. De titel was «Naar een betere wetgeving». Althans, die opdracht was mij meegegeven, maar het is überhaupt de vraag of er AI-wetgeving moet komen.

In mijn presentatie, die u ook mee heeft gekregen, kunt u zien dat er momenteel veel te doen is rond AI, rondom algoritmische besluitvorming. Je zou kunnen zeggen dat het op een gegeven moment duizelt door wie zich hier niet allemaal mee bezighouden. Ik heb hier de initiatieven genoemd van de afgelopen jaren. Het Ministerie van Justitie en Veiligheid is gekomen met richtlijnen. De VNG heeft daar een impactanalyse op uitgevoerd. De Ombudsman heeft zich geroerd in het debat met de publicatie Een burger is geen dataset. De Tweede Kamer is in actie gekomen, de Rekenkamer, de Raad van State. Er was er eigenlijk eentje die nog niet meedeed, en dat was u, de Eerste Kamer. Dus eigenlijk voegt u zich nu in het spectrum van al die mensen die actief zijn met de vraag: hoe moeten wij omgaan met AI, met geautomatiseerde besluitvorming?

Als ik al de publicaties zie die de afgelopen periode zijn verschenen, dan valt het mij op dat vaak het begrip «algoritme» centraal staat, terwijl in uw gedachtevorming eigenlijk AI de boventoon voert. Dat vraagt dan misschien om wat begripsafbakening van waar ik het over wil hebben en van waar we het over gaan hebben. Dat ziet u bij de uitdrukking «AI geen eenduidig fenomeen». Ik denk dat er heel veel te doen is over AI, en met name ook de meer geavanceerde vorm van AI, zoals u die op de sheet ziet: deep learning, machine learning. Tegelijkertijd kan die discussie ook wel breder worden ingebed, in de vraag van «hoe gaan wij om met geautomatiseerde besluitvorming?», want misschien zijn we nog niet zo ver in de gedachtevorming daaromtrent en houden we ons nu vooral bezig met de zeer geavanceerde vormen. Maar ik denk dat het verstandig is om meer in algemene zin na te denken over algoritmische besluitvorming, het gebruik van algoritmen bij de besluitvorming, en dat je eigenlijk dat hele palet, dat spectrum aan toepassingen daarbij kunt betrekken, van misschien relatief eenvoudig tot zeer geavanceerd. En we hebben vorige week gezien dat er rond AI ook een spectrum aan toepassingen is. Dus je zou eigenlijk kunnen zeggen dat het geen eenduidig fenomeen is, maar wel is een constante de rol van algoritmen, de rol van de computer in de besluitvorming, en daarmee misschien de afnemende rol van de mens.

De vraag die ik centraal wilde stellen in het paper, en ook nu, is: wat is nou de beste juridische reactie op dit fenomeen? Je zou kunnen zeggen: de beste reactie is er een van de rechter, hier gesymboliseerd door de hamer. Je zou ook kunnen zeggen: de beste juridische reactie is er een van wetgeving, hier geïllustreerd door de wetboeken.

Dan is de eerste vraag: wat hebben wij te bieden vanuit het recht als het gaat om de normering van AI? Zeker als je aan bestuursrecht hebt gedaan, is een gangbare reflex dat je eerst kijkt naar het algemene bestuursrecht, de algemene wet die het handelen van bestuursorganen normeert. En het valt me dan op dat daar eigenlijk niks staat over geautomatiseerde besluitvorming, laat staan AI-besluitvorming. Het is eigenlijk heel opvallend dat we wel regels hebben in de Algemene wet bestuursrecht over elektronisch bestuurlijk verkeer, van het communiceren tussen burgers en bestuursorganen. Maar juist waar het gaat om besluitvorming, zwijgt de Algemene wet bestuursrecht over het fenomeen, terwijl ik toch vermoed dat het in toenemende mate het openbaar bestuur is gaan beheersen. De algemene beginselen van behoorlijk bestuur zijn deels verankerd in de Awb, maar deels ook nog ongeschreven; en zeker in hun toepassing is het echt rechtersrecht. Die algemene beginselen doen het momenteel wel aardig. Je ziet daar dat bijvoorbeeld de Raad van State geautomatiseerde besluitvorming probeert te normeren, te begrenzen, door te zeggen: geautomatiseerde besluiten, het zal wel, maar we hebben nu eenmaal bepaalde beginselen die je in acht moet nemen omtrent zorgvuldigheid, omtrent motivering. Dus daar zit wel een aanknopingspunt in de rechtspraak. In de rechtspraak zien we ook dat grondrechten en het EVRM een rol spelen. Ik verwijs naar de SyRI-uitspraak, en daarbij naar artikel 8 EVRM, en naar dat het recht op privacy de reden was dat het SyRI-systeem sneuvelde. En natuurlijk is er de Algemene verordening gegevensbescherming, u ook bekend, maar die heeft een inherente beperking, namelijk tot persoonsgegevens. Dus er is wel iets. Het is wat gefragmenteerd, en soms is het wat meer neergelegd in specifieke wetgeving. U heeft misschien ook wel dat soort wetgeving zien langskomen; soms staat er iets expliciets in over geautomatiseerde gegevensverwerking, soms helemaal niks.

De stelling die ik heb ingenomen, ziet op de rol van de wetgever, en misschien in het bijzonder ook op uw rol als Eerste Kamer, omdat de wetgever dat niet kan overlaten aan de rechter, de wetgever dat niet kan overlaten aan het bestuur, en de wetgever dat ook niet kan overlaten aan andere wetgevers die hier ook op zijn gedoken, en dan denk ik met name aan de Europese wetgever. Nou, die stelling heb ik beschreven in mijn paper. Maar ik kan me dan voorstellen dat uw vraag vervolgens is: ja, dat kan u wel zeggen, meneer, maar wat moet dan de inhoud van die wetgeving zijn als wij daarmee aan de slag zouden moeten gaan? Dat wilde ik eigenlijk in deze presentatie kort belichten: wat zou er dan in die wetgeving kunnen komen, als wij zeggen dat geautomatiseerde besluitvorming, AI, ook wettelijk moet worden genormeerd?

Ik begin dan maar even met het verlanglijstje van de Raad van State. Zo heb ik dat maar even genoemd, maar er is onlangs een publicatie verschenen van de Raad van State over digitalisering, zowel vanuit het perspectief van wetgeving als het perspectief van bestuursrechtspraak. Als je die goed leest tussen de regels door, dan schetst de Raad van State eigenlijk het dilemma waar hij zelf in zit, met name als bestuursrechter: we zouden misschien als rechter kunnen zeggen dat er een recht op informatie bestaat, en dat zouden we dan kunnen afleiden uit de algemene beginselen van behoorlijk bestuur, maar het zou natuurlijk ook de wetgever kunnen zijn, die aan de voorkant bekendmaakt dat dat recht bestaat. En dan zie je in een aantal passages in die publicatie dat de Raad van State zegt: de wetgever zou het misschien kunnen oppakken; en als hij het niet oppakt, dan kunnen wij het ook nog doen, maar dat leidt dan natuurlijk wel tot rechtsonzekerheid voor diegenen die in de tussentijd worden geconfronteerd met AI-besluitvorming. Dus ik denk dat die publicatie echt een interessante is, ook omdat de Raad van State probeert een soort van kader te ontwikkelen voor de beoordeling van wetgeving, dat niet alleen relevant is voor hem als Raad van State, maar ook voor andere actoren.

Maar hier dan het verlanglijstje. Wat zou je kunnen regelen omtrent AI? Ik denk dat dan een hele belangrijke is, en dat zie je ook wel terugkeren in andere publicaties: een recht op informatie voor de burger, dus dat de burger weet dat hij wordt geconfronteerd met geautomatiseerde besluitvorming, met de toepassing van AI. En ook dat het bestuur moet informeren, dus dat dat niet iets is waar je zelf achteraan moet gaan, maar waar je als bestuur in zekere zin ook proactief moet handelen. Het is allemaal een beetje in de sfeer van transparantie, uitlegbaarheid et cetera.

Het tweede wenspuntje is een soort van wettelijke verplichting tot het uitvoeren van een algorithm impact assessment: zou je niet, zoals je ook een privacy impact assessment hebt, moeten voorschrijven dat overheden, voordat zij aan de slag gaan met een algoritme, een soort van assessment uitvoeren, juist om recht te doen aan het zorgvuldigheidsbeginsel?

En dan wat open geformuleerd: zouden bepaalde AI-besluiten misschien altijd menselijke tussenkomst moeten vergen? En, wat indirecter: moeten we ook niet de bestuursrechter en het bestuur wat hulpmiddelen bieden, dus als het ware indirect helpen in die normering van AI? Denk aan de toegang tot de rechter, denk aan bepaalde bevoegdheden die hij krijgt om bepaalde geautomatiseerde besluitvorming te beoordelen. Dit even als een soort van vertrekpunt voor wat men zou kunnen regelen, en waar er een wensenlijstje bestaat vanuit het perspectief van de Raad van State.

Dan wil ik tot slot nog enkele voorbeelden noemen waaraan je kunt zien wat voor wetgeving er in omloop is voor hoe je AI zou kunnen reguleren. Dat noemen we even de «Bronnen van inspiratie». De AVG noemde ik al, de Algemene verordening gegevensbescherming. Die wordt vaak genoemd als bron van inspiratie, omdat dat een van de weinige bindende documenten is, zo zou je kunnen zeggen, waarin expliciet wordt ingegaan op het fenomeen van geautomatiseerde besluitvorming. Enerzijds is daarin een verbod neergelegd op volledig geautomatiseerde besluitvorming, en anderzijds is er inderdaad zo'n informatieverplichting voor het bestuur neergelegd, c.q. een informatierecht voor de burger, die niet alleen moet worden geïnformeerd over het bestaan van geautomatiseerde besluitvorming, maar ook over de onderliggende logica. Want als het gaat om uitlegbaarheid voor de burger: als jij weet dat er sprake is van geautomatiseerde besluitvorming, dan slaat de schrik je misschien wel om het hart, en wil je ook weten hoe dat systeem werkt.

Dat verbod is ook wel even interessant. Er staat dus een verbod in de AVG op volledig geautomatiseerde besluitvorming, maar de nationale wetgever kan anders bepalen. En ik weet niet of u weet wat u dan heeft bepaald, maar u heeft bepaald in artikel 40 van de Uitvoeringswet AVG, eigenlijk heel algemeen, dat bestuursorganen daarvan kunnen afwijken zonder daar heel specifieke richting aan te geven, behoudens het fenomeen van profilering.

Het tweede voorbeeld, daar is ook best wel veel aandacht voor op EU-niveau: de AI- verordening, ook wel aangeduid als de Wet op de artificiële intelligentie. Dat is eigenlijk een kunststukje, zo zou je kunnen zeggen, waarbij best gedetailleerd wordt gekeken of wij specifiek AI-systemen kunnen reguleren, door enerzijds bepaalde praktijken volledig te verbieden, bijvoorbeeld het fenomeen social scoring, anderzijds door AI-systemen met een hoog risico te onderwerpen aan een aantal voorschriften op het terrein van menselijke tussenkomt en uitlegbaarheid. Daarbij moet u denken aan AI-systemen die worden gebruikt in de sfeer van de sociale zekerheid, dus dat mensen hun hele leven op tafel moeten leggen om die uitkering te kunnen verkrijgen; tja, daarbij wil je bepaalde waarborgen hebben ten aanzien van het systeem. Ook op het terrein van asiel en toegang tot opleidingen, is dit regime van AI-systemen met een hoog risico dan, beoogd, van toepassing. En voor overige AI-systemen is er een vrijwillig systeem omtrent transparantie.

Een interessant stuk wetgeving. Het is een voorstel van de Commissie. De Nederlandse regering heeft hierbij ook een positiebepaling geschreven. Een van de grote vragen bij dit voorstel is: wat is AI eigenlijk volgens de Commissie? Want AI is in de termen van de Commissie eigenlijk alles, zou je kunnen zeggen. Het is eigenlijk geautomatiseerde besluitvorming. En dat is een van de kritiekpunten van de regering, die zegt: als je dat op al die items gaat toepassen, dan wordt het wel wat intensief.

Het laatste voorbeeld, dat zijn de buurlanden. België heeft een voorstel gezien waarin werd gezegd: kun je niks met de Wet openbaarheid van bestuur, waarbij je eigenlijk de overheid verplicht om actief bekend te maken dat er gebruik wordt gemaakt van geautomatiseerde besluitvorming? Ik dacht dat dat voorbeeld wel aardig was, aangezien het vorige week de Wet open overheid heeft aangenomen. Een ander voorbeeld is Frankrijk. Dat is wat gedetailleerder, zou je kunnen zeggen. De «Franse Awb», zou je kunnen zeggen, de Code des relations entre le public et l'administration, bevat zowel een actieve als een passieve informatieverplichting; dus het bestuursorgaan moet uit eigen beweging bepaalde informatie bekendmaken, en ook op verzoek aanvullende informatie bekendmaken. Nou, dit even als voorbeeld, waarbij je kunt denken: die richting zou ik kunnen bewandelen.

Tot slot. Ik heb het gehad over de of-vragen: of de wetgever in actie moet komen. Over hoe die in actie kan komen. En de vraag is nu dan ook: waarom zou hij in actie willen komen? Ik denk dat in de eerste plaats wetgeving – en daar dringt de Raad van State ook op aan – meer houvast kan bieden dan de algemene rechtsbeginselen. In het kader van de toeslagenaffaire is er veel gezegd over het «vangnet», over het «stootkussen», over de «warme deken» die de algemene beginselen zijn. Dat zijn ze wel, maar wetgeving kan als het ware wel een upgrade geven van de eisen die gelden voor algoritmische besluitvorming. Het vergt wat keuzes, wetgeving. Die algemene beginselen, zo zou je kunnen zeggen, zijn nog een beetje keuzeneutraal; dat is echt zo'n bodem. Maar als je wilt gaan voor human centered AI, de mensgeoriënteerde AI die in Europa wordt gepropageerd, dan betekent dat misschien ook wel bepaalde keuzes op het terrein van menselijke tussenkomt, op het terrein van uitlegbaarheid, die je bij een andere visie op AI niet zou maken.

En tot slot denk ik dat het goed is om te bedenken dat wetgeving ook een aanjager kan zijn voor die technologische ontwikkelingen. Als wij zeggen «die AI-systemen zijn zo ondoorgrondelijk, zo'n black box; nou ja, dat is nou eenmaal zo», dan zal de vooruitgang in de technische wereld ook daarbij blijven steken. Dan zal er geen prikkel zijn – zou je kunnen zeggen – om het systeem uitlegbaar te maken. Op het moment dat wetgevers of rechters zeggen «het systeem moet uitlegbaar zijn, anders kunnen we het niet toepassen», dan kan dat ook een prikkel zijn voor technische ontwikkelaars om inderdaad die vervolgstap te zetten, om inderdaad over te gaan tot wat wordt genoemd «explainable AI».

Ik heb de tijd niet bijgehouden, maar hier wil ik het in ieder geval bij laten.

De voorzitter: Dank u wel. We zijn inmiddels een kwartiertje verder, maar we begonnen iets te laat, dus dat lijkt mij helemaal goed. De vragenronde doen we straks in gezamenlijkheid. Onze tweede spreker van vandaag is Mariette Lokin. Zij is juridisch adviseur bij de Belastingdienst en heeft een aantal relevante boeken geschreven die we hier hebben liggen: «Wendbaar wetgeven», «De wetgever als systeembeheerder» en «Wetsanalyse. Voor een werkbare uitvoering van wetgeving met ICT». Die komen in elk geval ter inzage in de bibliotheek te liggen. Wie heel geïnteresseerd is, kan ze vast ook bestellen. Mariette Lokin zal ingaan op de relatie tussen algoritme en wetgeving. Zij zal ook uitleggen welke verandering dit vereist in het departementale en parlementaire wetgevingsproces. Er is geen presentatie voorbereid, dus wij gaan allemaal heel aandachtig luisteren. U heeft het woord.

Presentatie 2

Gesprek met:

• mevrouw Lokin (juridisch adviseur bij de Belastingdienst)

Mevrouw Lokin: Op sommige punten ben ik vrij ouderwets. Ik heb een vulpen en een schriftje. Ik heb er ook voor gekozen om voor vandaag geen slides te maken.

In de eerste plaats natuurlijk heel veel dank dat ik hier mag spreken. Het is natuurlijk een heel belangwekkend onderwerp. Dat was het in feite jaren geleden al. Het is altijd een beetje flauw om te zeggen. Ik heb een jaar of twintig als wetgevingsjurist gewerkt. Een jaar of vijftien geleden werd ik erg getriggerd door ontwikkelingen op het gebied van de elektronische overheid en de grote verwachtingen van de inzet van ICT voor administratieve lastenverlichting. Ik werd getriggerd door het volgende feit. Als we nog veel meer geautomatiseerd willen werken bij de overheid en we bedrijven in staat willen stellen om de merites van ICT te gebruiken, vergt dat ook wat van wetgeving, als proces én als product, en van alle actoren in dat speelveld. Ik ben me toen gaan toeleggen op wat dat dan zou vergen en wat daarvoor nodig was.

Langzamerhand ben ik van het wetgevingspad naar het uitvoeringspad gegaan, eigenlijk dus van de wet in wording naar de wet in werking. Toen ik bij de Belastingdienst terechtkwam in 2011, keek een groep mensen daar al hoe je de verbinding tussen de wetgeving die wij moeten uitvoeren en wat er uiteindelijk aan codes in onze systemen zit beter kan verankeren en ook voor onszelf duidelijk kan maken. Dat was aanvankelijk nog met name een soort eigenbelang wat betreft de wendbaarheid. Er moeten ieder jaar ik weet niet hoeveel maatregelen worden ingevoerd. Het is dus heel fijn als je makkelijk in je systeemcode kunt terugvinden en traceren waar wijzigingen in de wetgeving impact hebben op de rekenregels die in je systemen zitten. Dat wilde men dus graag explicieter maken.

Dat geldt overigens niet alleen voor de Belastingdienst. Alle uitvoerders hebben dat natuurlijk: DUO, het UWV, de SVB en de IND. Ze hebben allemaal wetgeving waarin een hoop regels zitten, beslisregels en rekenregels, eigenlijk dus algoritmen. Ik zeg altijd: de wet is het algoritme. Het algoritme is dan ook de wet of moet de wet zijn. Voor allemaal geldt dus dat ze een grotere wendbaarheid wilden om ook tegemoet te komen aan politieke en beleidsmatige wensen om nieuwe wetgeving, nieuwe maatregelen, te realiseren. Die aanvankelijke drijver van de wendbaarheid zie je de afgelopen jaren steeds meer omkeren, onder invloed van jurisprudentie over black boxes zoals SyRI en zoals de AERIUS-uitspraken die u misschien ook kent. Je ziet dat die zich eigenlijk ook ontwikkelen als een drijver van uitlegbaarheid, transparantie en verantwoording over hoe de uitvoering zijn werk doet. Dat is zeker het geval als bijvoorbeeld ook de belastinginspecteur niet meer een mens van vlees en bloed is, maar een zwarte, zoemende doos.

Daar zijn wij eigenlijk op voort gaan borduren met de ontwikkeling van de werkwijze die ook in het boek is beschreven dat ik nu heb overhandigd. Het principe daarvan is eigenlijk best heel simpel. De wetgeving wordt opgebouwd uit allerlei kleine legoblokjes van juridische concepten. Die bepalen hoe de beslissingen genomen worden. Wetgeving is algoritmisch van aard. Daar zitten veel als-danbepalingen in met voorwaarden. Die moet je dus zo nauwkeurig mogelijk zien te vertalen naar die softwarecode. In het paper van het Rathenau Instituut, en ook in de publicatie van de Raad van State, waar de heer Wolswinkel naar verwees, wordt gezegd dat die vertaalslag nu eigenlijk volledig is «overgeleverd» aan de ICT'ers. Dat is denk ik maar deels het geval. Er is wel degelijk sprake van samenwerking daarbij, want ICT-mensen zijn niet altijd juridisch onderlegd genoeg om een wet te kunnen doorgronden.

Maar we hadden dat uiteenrafelen van die wetgeving om tot die algoritmen te komen voor de machine nog niet zo gestructureerd en methodisch aangepakt. Dat is wat we geprobeerd hebben te doen met die methode die we ontwikkeld hebben. In de eerste plaats gaat dat om het maken van een gestructureerde analyse, het uiteenrafelen van alle blokjes waaruit die wetgeving bestaat en waarmee de beslissingen worden opgebouwd en het vastleggen van de gegevens die daarvoor nodig zijn en alle keuzes en de interpretatie daarbij. Dat is de basis voor de formele vorm, de algoritmische regels en de gegevensspecificaties waarmee de systemen gaan redeneren. Essentieel is dat het traceerbaar is, van de allerlaatste vertaalslag naar de juridische bron. Essentieel is ook dat je dat met alle partijen in de keten doet, van de jurist tot aan de ICT-ontwikkelaar, en dat je een soort taal, een interface, ontwikkelt, waarin je met elkaar kunt praten over die betekenissen en over die vertaalslag. Dat hebben we in de notitie beschreven in de vorm van regelspraak. U heeft daar ook een voorbeeld van gezien.

Idealiter doen we dat eigenlijk niet pas als de wetgeving klaar is, maar trekken we dat naar voren in dat proces. Op het moment dat uitvoerders aan tafel zitten met de wetgevingsjuristen, willen we de analyse al verrichten op de concepttekst om te valideren of die regels straks gaan doen wat wij verwachten en of we daarin kunnen bijsturen als dat niet het geval is. Dat is waarmee nu ook op kleine schaal proeven zijn geweest binnen het Ministerie van Financiën. Daarmee worden aansprekende resultaten geboekt. Ook wetgevingsjuristen zeggen daarover: we komen nu wel op andere vraagstukken uit dan waar we normaal gesproken aan toe zouden komen als wij gewoon zelf ons wetsvoorstel zouden schrijven.

Het zou het allermooiste zijn als we dat ook nog kunnen doortrekken naar de politieke behandeling van wetgeving in dit huis en in de Tweede Kamer, die nu aan de Bezuidenhoutseweg zetelt. Ik denk namelijk dat het ook heel belangrijk is dat er hier een echt diepgaande discussie gevoerd wordt over wat deze wetgeving dadelijk gaat betekenen voor de mensen die eraan onderworpen zijn. Het is belangrijk dat de methode die we hebben daar de mogelijkheid toe biedt. Zoals ook in de recente publicatie van de Raad van State wordt genoemd, bestaat er dan namelijk een mogelijkheid om, parallel aan het maken van de wetgeving, een soort specificatiedossier te ontwikkelen. Daarin zie je hoe die vertaalslag heeft plaatsgevonden en hoe de regels uit de wet, die in mooie juridische volzinnen zijn geformuleerd, neerslaan in de algoritmische regels en in de geformaliseerde weergave waar een machine uiteindelijk mee kan redeneren. Dat is misschien niet iets voor een plenair debat. Maar het biedt wel de gelegenheid om daar bijvoorbeeld in technische briefings en in de schriftelijke behandeling, bijvoorbeeld door specifieke rapporteurs in te zetten op dat aspect, veel meer aandacht voor te vragen. Het biedt ook de gelegenheid om er het gesprek over te kunnen voeren met de indiener, of met de ambtenaren die namens hem aan die wetgeving hebben gewerkt en die dadelijk ook meewerken aan de vertaling naar de ICT-systemen. Dat is de crux.

Ik heb me toegespitst op de algoritmes zoals we die bij de Belastingdienst en bij andere uitvoerders hebben. De vraag is natuurlijk ook hoe het zit met de toezichtskant. Dat is voor mij als onderzoeker – want ik werk naast de Belastingdienst ook aan de VU om dit soort gedachten verder te brengen – nog een onderwerp van nader onderzoek. Maar ik zie dat wel als twee kanten van dezelfde medaille. We moeten transparant en accountable kunnen zijn over de manier waarop de regels uit de wet zich hebben vertaald naar de regels en de gegevensspecificaties in de systemen. De andere kant van de medaille is dat het bij alle partijen in de keten, van beleid tot aan wetgeving, belangrijk is om de manier van werken die we nastreven breed uit te rollen en toe te passen, om mensen daar goed voor op te leiden, om daar al mee te beginnen bij juridische opleidingen aan universiteiten en om daar in de uitvoering, de beleidsontwikkeling en de wetgeving de tijd voor te nemen. Ik denk dat we daarmee de discussies, die we moeten voeren over de manier waarop wetgeving impact heeft op burgers en bedrijven in de vorm van geautomatiseerde besluitvorming, naar de juiste fase van het proces verplaatsen. Dan kunnen we ons ook langzamerhand vrijwaren van de heel vervelende situaties waarin we verzeild raken op het moment dat het niet goed gaat met die geautomatiseerde besluitvorming. Ik wil daar dus graag een lans voor breken. Ik vind het wat dat betreft erg fijn dat u dit onderzoek doet en dat u zich oriënteert op de rol van de Eerste Kamer daarin. Want als het gaat over uitvoerbaarheid en juridische kwaliteit is dat hier denk ik heel erg op zijn plaats. Ik hoop dat het de gelegenheid biedt om verder te krijgen waar wij mee begonnen zijn.

Dank u wel.

De voorzitter: Dank u wel voor deze inleiding. We hebben een halfuur de tijd voor vragen van de leden en de beantwoording daarvan. Ik ga precies om 10.00 uur afsluiten, omdat we ons dan moeten verspreiden om om 11.00 uur weer klaar te zijn voor het vervolg. Vragen kunnen gesteld worden bij de interruptiemicrofoon. Mijn voorstel is om steeds drie vragen te stellen en die dan te laten beantwoorden. Zo houden we het een beetje behapbaar, zonder dat de kans bestaat dat één vraag alle tijd op gaat snoepen. Meldt u zich dus bij de interruptiemicrofoon.

De heer Crone (PvdA):

Ik heb een vraag die denk ik op beide van toepassing is op een andere manier. Transparantie over al die besluiten, die al dan niet via algoritmes genomen zijn, en controle daarvan onderweg is heel prima. Maar meestal huurt de overheid private bedrijven in die die algoritmes maken. In hoeverre kun je die controleren? In hoeverre krijgen een aantal bedrijven daardoor een monopolie, waardoor je er niet meer van af kan?

In hoeverre kunnen we burgers het vertrouwen geven dat ambtenaren, laat staan politici, dit een beetje controleren? I speak for myself.

De voorzitter: Dank u wel. Even voor de livestream: dit was een vraag van Ferd Crone. Peter Nicolaï.

De heer Nicolaï (PvdD): Mijn eerste vraag is aan Wolswinkel en dan heb ik ook een vraag aan mevrouw Lokin. Wij zijn beiden in het bestuursrecht grootgebracht en hebben de hele ontwikkeling van de Algemene wet bestuursrecht meegemaakt. Mijn vraag is de volgende. Als je kijkt naar de Algemene wet bestuursrecht en bijvoorbeeld naar artikel 3:4, zie je dat, als er afwegingsruimte is, in het individuele geval de belangen afgewogen moeten worden. Als we kijken naar 4:84 en naar beleidsregels, dan staat er dat in bijzondere gevallen van beleidsregels moet worden afgeweken. De hele onderliggende gedachte bij de Algemene wet bestuursrecht is nu juist dat ook het individu als zodanig tot zijn recht moet kunnen worden gebracht bij bestuursrechtelijke besluitvorming. Betekent dat dan dat we eigenlijk moeten constateren dat die AI, op het moment dat er afwegingsruimte is, niet gehanteerd zou kunnen worden als model voor het uiteindelijke resultaat van de toepassing van de wet? Dat was mijn vraag aan de heer Wolswinkel.

Mevrouw Lokin, u had het over wat u gedaan heeft. Als ik het goed begrijp, is dat wat wij allemaal als juristen en ook als rechter ... Je hebt een wettelijke bepaling. Dan ga je die interpreteren. Dan ga je kijken naar de feiten en ga je die feiten ordenen. Dan ga je kijken wat bij welke feiten het resultaat moet worden van de wetstoepassing. Als er in de wet 70% staat, dan hebben we daar niet zo veel discussie over. Daar zijn we het over eens. Maar dat staat er meestal niet. Meestal zijn het open normen, nog even los van de afwegingsnormen. Maar er zou kunnen staan: in overwegende mate. Dat is een open norm. Die moet ingevuld worden. Wat er nu gebeurt in het bestuur, is dat het bestuursorgaan daar regels, criteria, voor gaat ontwikkelen. Eigenlijk is dat hetzelfde als wat u met de beslisregels beoogt te doen. Zou je nou niet moeten zeggen dat je, voordat je überhaupt aan AI toekomt, van tevoren moet proberen te achterhalen welke verschillende beslisregels je moet opstellen bij de toepassing van zo'n open norm? Zo heb ik u ook begrepen. Dan is even de vraag of dat regels zijn die techneuten vaststellen. Ik denk zelf van niet. Ik hoop het niet. Zijn het regels die onderdeel gaan zijn van het recht? Dan krijg je de vraag of je die beslisregels niet eigenlijk moet aanmerken als beleidsregels in de zin van de Awb, bijvoorbeeld. Of hoor je ze vervolgens te formuleren in een uitvoeringsvoorschrift waar wij als Staten-Generaal over kunnen meepraten? Als het beleidsregels zijn, komt toch ook weer die vraag, gezien de Awb, waarin staat dat je in een individueel geval altijd moet kunnen afwijken van een beleidsregel: hoe kun je dat in die beslisregel opnemen? Hoe kunnen we garanderen dat de mens als mens niet verloren gaat?

De heer Dittrich (D66): Ik heb een vraag aan professor Wolswinkel. Uw stelling is: de wetgever is aan zet. U had het over die algemene beginselen van behoorlijk bestuur. Ik heb nog niet helemaal helder in hoeverre, als wij als wetgever algemene normen in de wet gaan brengen, die dan specifieker en helderder zijn voor de burger dan wanneer ze zijn vervat in de algemene beginselen van behoorlijk bestuur. Als we dit in de vorm van een wet gieten, zijn er natuurlijk altijd uitzonderingen mogelijk. Collega Nicolaï had het daar ook over. Dus mijn vraag is: hoe kan dit zo specifiek worden gemaakt dat men er echt wat aan heeft?

De voorzitter: Dank. Misschien mag ik gewoon weer dezelfde volgorde aanhouden en eerst Johan Wolswinkel het woord geven?

De heer Wolswinkel: Dank u wel voor de vragen. Allereerst de vraag van de heer Crone over de rol van de private partijen die met allerlei software aankomen waar de overheid gebruik van maakt. Hoe valt dat nou te controleren? Ik denk dat er in de eerste plaats inderdaad een verantwoordelijkheid berust bij het bestuur zelf. In die zin kun je je niet verschuilen achter: de private partij heeft het ontwikkeld en wij hebben daar geen inzage in. Wat in die zin wel interessant is, is dat de voorgestelde AI-verordening op Europees niveau zegt: «Je hebt de aanbieder van het systeem en je hebt de gebruiker van het systeem. Ze hebben beiden verantwoordelijkheden.» Je kunt je voorstellen dat het bestuur de documentatie moet nagaan over dat AI-systeem dat een private partij heeft ontwikkeld. Dus daar ligt een rol, denk ik.

Tegelijkertijd zie je dat er in de rechtspraak bijvoorbeeld wat jurisprudentie is rond de WOZ-vaststelling. Dat gebeurt op gemeentelijk niveau vaak met allerlei private partijen die software hebben en die al die huizen kennelijk getaxeerd hebben. Dat wordt dan ten grondslag gelegd aan de waardevaststelling. De Hoge Raad zegt dan: «Prima dat jij met private partijen werkt, maar dat neemt niet jouw verantwoordelijkheid weg om inzage te bieden in keuzes, gegevens en aannames die je als burger moet kunnen betwisten.» Dus zelfs als je met een private partij in zee gaat, is het belangrijk dat je als bestuur nagaat hoe het systeem werkt. Als rechter moet je tegen het bestuur zeggen: we houden jullie scherp daarin. Je kunt niet de verantwoordelijkheid afschuiven. Dat zou in extremis kunnen betekenen dat je bepaalde toepassingen eigenlijk niet extern kunt laten ontwikkelen, omdat je zo veel van het systeem moet weten om een besluit erop te kunnen baseren dat je het in huis haalt, of dat het opensourcecode moet worden. Dat kan bij bepaalde toepassingen betekenen dat je het als overheid dichter bij jezelf moet houden.

Dan de tweede vraag van de heer Nicolaï, over de rol van het individu, de mens in de Algemene wet bestuursrecht en misschien wel de onmogelijkheid om dan AI toe te passen. Dat is een interessante gedachte, met name wanneer de AI verder voortschrijdt. De gedachte is natuurlijk dat je bij AI in categorieën en regels wordt gestopt. Hebben we dan nog wel oog voor het individu? Daar zit inderdaad een risico dat we mensen in categorieën stoppen en daarmee de individuele omstandigheden van het geval uit het oog verliezen. Tegelijkertijd gebeurt het in zekere zin ook in wetten. In die zin vond ik het wel aardig wat collega Lokin zei. Ook in wetten maken we categorieën van mensen. Iedereen zit dan in een categorie. Daarbij wordt de individuele omstandigheid soms ook wat uit het oog verloren, omdat de gevolgen daarvan ook niet zodanig zijn dat we die totaal onevenredig vinden. Het probleem kan zich dus voordoen bij AI, maar kan zich ook voordoen bij wetgeving in het algemeen.

Ten tweede, als het gaat over de beloftes van AI, die we nog niet kennen: misschien is AI wel beter in staat om de individuele omstandigheden van een persoon te identificeren dan de algemene regel. Dan draai je het helemaal om. Misschien liggen er wel kansen voor AI om de mens als mens te benaderen. Dat klinkt misschien een beetje als toekomstmuziek, maar de gedachte is dat je, als je een meer geavanceerde methode hebt, juist voorbij die grove categorisering kunt gaan en meer recht kunt doen aan de mens. Er zijn dus twee perspectieven denkbaar op die kwestie, denk ik.

Tot slot de vraag van de heer Dittrich over de wetgever die aan zet is. Wat kan hij meer doen dan wat eigenlijk al gebeurt in de algemene beginselen? In de eerste plaats is het denk ik al winst als datgene wat uit de algemene beginselen voortvloeit, wordt gecodificeerd. Je ziet nu al dat het bestuur worstelt met de vraag: «Dat is wel in die zaak uitgemaakt, maar geldt dit ook in andere zaken?» In die zin denk ik dat er in de codificatieslag al winst te halen is. Maar ik denk dat je als wetgever ook een stap verder kunt gaan. Als er bijvoorbeeld jurisprudentie is over dat je op passende wijze informatie bekend moet maken, kan ik me best voorstellen dat dit betekent dat je zegt: dat gaat via dit medium. Als je tijdig informatie bekend moet maken – dat is dan de norm uit de jurisprudentie – weet je dan dat zo ver van tevoren is. Je kunt daar volgens mij ook keuzes in maken. Als je geen keuzes wilt maken, blijf je op het niveau van de algemene beginselen. Maar ik denk dat het vooral goed zou zijn om niet alleen keuzes te maken om het recht duidelijker, zekerder en voorspelbaarder te maken, maar om ook echt kleur te bekennen: zo moet je het wel doen en zo moet je het niet doen. Je kunt zeggen: «Er is nu een ongeschreven norm die zegt dat je mensen moet informeren over het bestaan van geautomatiseerde besluitvorming.» Ik denk dat men ermee geholpen is als men weet dat die norm inderdaad bestaat. Het hangt nu soms een beetje boven de markt. Het gaat een beetje van geval tot geval. Als we steeds moeten wachten tot de rechter richting geeft, zijn we vaak te laat. We zien eigenlijk heel weinig zaken bij de rechter over geautomatiseerde besluitvorming. We zien een beetje het topje van de ijsberg, dus je laat het ook wel erg afhangen van de toevallige zaken die bovenkomen en de rol die de rechter dan wil nemen: wil hij een algemene lijn uitzetten of gaat hij toch weer een heel casuïstische beoordeling geven?

De voorzitter: Dank. Mevrouw Lokin.

Mevrouw Lokin: Dank. Laat ik beginnen met de vraag van de heer Crone. Ik spreek in ieder geval met zicht op ervaring bij grote uitvoeringsorganisaties. Daar wordt het algoritme, de software, niet buiten de deur ontwikkeld. We hebben natuurlijk wel platforms waarop we allerlei dingen hebben draaien, grote systemen en hardware die buiten ingekocht worden. Maar de specificaties voor wat daar uiteindelijk in rondgaat aan regels, beslissingen en gegevens, worden in huis gemaakt. Er zijn soms wel externe partijen bij betrokken, maar het is wel in eigen hand, om het zo maar te noemen. Ik denk ook dat dat heel erg belangrijk is. Mocht het idee bestaan om zaken helemaal uit te besteden, dan denk ik dat het heel belangrijk zou zijn om daarbij altijd eigen mensen uit de organisatie te hebben zitten die mede de interpretatieslag kunnen doen en om ook met een soortgelijke methode te werken als die je zelf gebruikt, zodat wat een externe partij oplevert, controleerbaar en valideerbaar is voordat je het gaat uitvoeren.

Wat betreft de vraag over open normen: dat is een steeds terugkerende discussie. Open normen lenen zich inderdaad niet voor een machine, want die machine kan niet zo heel veel meer dan «waar of niet waar» of «nul of een» zeggen. Dus dat zal inderdaad geobjectiveerd moeten worden. Ik heb in mijn notitie het voorbeeldje genoemd van de overwegende mate. Als bestuursorgaan kun je zeggen: de belastinginspecteur of de mensen bij de SVB kunnen het vastzetten op 70%. Die 70% kun je in een beleidsregel neerleggen en bekendmaken. Die moet vervolgens de basis zijn voor wat je in je machine implementeert. Het is bijna onmogelijk – het is gewoon onmogelijk – om iedere individuele afweging in een machine te stoppen. Dan loopt het systeem natuurlijk helemaal vast. De heer Wolswinkel zei al: dat doen we in wetgeving ook niet.

Ik denk wel dat we het proces van het maken van de beleidsregels en de invulling daarvan nog weleens zouden kunnen heroverwegen en bezien, ook binnen uitvoeringsorganisaties. Daar heb ik ook wat over opgeschreven in mijn notitie. Want je ziet, eigenlijk misschien ook wel onder invloed van die digitalisering, dat wat ik altijd maar noem de goede soort bureaucratie, de ordening, die disciplineert wat je uiteindelijk doet en hoe je je daarover kunt verantwoorden, misschien wel door vernetwerking en dergelijke een beetje onder druk komt te staan. Dus ik denk dat we dat terug moeten brengen. Dan moet je in je beleidsregels ook heel duidelijk hebben staan: zo gaan wij als bestuursorgaan die wet invullen. Je moet ook weer kunnen verantwoorden dat dat op die manier in je beslisregels terecht is gekomen. Dat maakt niet dat je er niet ook een politiek en een parlementair debat over kunt voeren, maar ik denk dat dat niet anders is dan toen we het allemaal nog met de hand en op papier achter onze bureaus deden, want ook toen was er natuurlijk invulling van interpretatieruimte in de wetgeving en van discretionaire ruimte door bestuursorganen. Dit werd ook in beleidsregels vastgelegd en vroeger ook in allerlei pseudowetgeving. Daarom hebben we ook de titel beleidsregels in de Awb gekregen, om dat meer transparant en verantwoord waar te maken. Maar ik denk niet dat je eraan ontkomt dat er een zekere mate van vrijheid van de bestuursorganen nodig is. Ik denk dat daarbij altijd de rol van het parlement als medewetgever en als controleur heel belangrijk blijft. Ik denk ook dat de rechtsbescherming die we hebben hierbij een belangrijke rol speelt. Want je ziet vaak dat er een individuele afweging nodig is als iemand vindt dat hij door de letterlijk normale toepassing van de wetgeving iets tekortkomt en daar dan ook tegenop wil komen. Op dat moment moet je inderdaad die menselijke beoordeling hebben in alle ketens, tot aan de laatste rechter, die hem letterlijk recht kan doen.

Ik weet niet of er nu nog een vraag over was. Ik dacht dat de tweede vraag ... Nee, die was voor jou.

De heer Nicolaï (PvdD): Mijn vraag was of je de beslisregels als beleidsregels in de zin van de Awb zou moeten uitleggen.

Mevrouw Lokin: Voor mij zijn die beslisregels er pas als er eerst ofwel een wet ofwel een beleidsregel is, als u begrijpt wat ik bedoel.

De heer Nicolaï (PvdD): Dus het is eigenlijk hetzelfde?

Mevrouw Lokin: Ja, het moet eigenlijk een een-op-eenvertaling zijn. Waar het dat niet is, moeten we eerst vaststellen waar we een keuze hebben gemaakt; vervolgens moeten we die keuze implementeren.

De heer Recourt (PvdA): Dank aan de inleiders. Ik heb twee vragen. De eerste gaat toch over deep learning. Dat is nu nog klein, maar zou in de toekomst misschien veel groter kunnen worden. Als ik het goed begrijp, zien uw inleidingen vooral op rekenregels, op het systeem, zodat we nog enigszins kunnen begrijpen wat er gebeurt, ook als het gaat om de eis van uitlegbaarheid. Maar is deep learning eigenlijk wel uitlegbaar? Kan je de eis van uitlegbaarheid dan nog wel stellen? Dat is mijn vraag. Wat doen we op het moment dat ook de uitvoerders niet meer weten wat er gebeurt? Dat geldt voor de door u beiden gekozen oplossingsrichting.

De tweede vraag gaat over de rol van de rechter. De rechter toetst het individuele geval aan de hand van de wet. Welke verwachtingen mogen we van de rechter hebben voor het controleren van het systeem zelf? Is het eigenlijk niet de taak van de rechter om de hele uitvoering in de vorm van automatisering over te slaan en gewoon te kijken: wat is het besluit geworden voor deze individuele burger en kan dat besluit gerechtvaardigd worden aan de hand van de wet? Daarmee komt de rechter niet toe aan het toetsen van het systeem.

Mevrouw Prins (CDA): Dank u beiden voor de informatie en de toelichting. Ik heb nog wel een vraag die ietsje verdergaat dan waar u het net over had, mevrouw Lokin, namelijk over de zogenaamde menselijke maat en het maatwerk. We worden steeds meer geconfronteerd met het feit dat maatwerk gewenst is. In hoeverre kan je in het systeem maatwerk inbouwen? Want om dat allemaal later bij de rechter te doen, is voor veel burgers een stap te ver. Wat zou je dus kunnen doen om maatwerk in de uitvoering toch een plek te geven? In hoeverre kan AI daarbij juist wel of juist niet helpen?

De voorzitter: Dank. Ik zie geen verdere vragen meer. Dan doe ik er even een vraag van mezelf bij, die aansluit op de laatste vraag. Ik denk dat in deze hele discussie de toeslagenaffaire toch een beetje een olifant in de Kamer is. Wat kunnen we daarvan leren? Een vraag die ik daarbij had, gaat over de algoritmen. Er wordt steeds gevraagd om een hardheidsclausule, om de menselijke maat. Kunnen algoritmen, behalve dat ze daarvoor problemen veroorzaken, op de een of andere manier ook helpen bij de oplossing ervan? Kun je een deel van die hardheidsclausule in een algoritme gieten?

Ik denk dat de meeste vragen aan mevrouw Lokin gesteld zijn, maar misschien kunnen we toch gewoon de volgorde aanhouden, voor het geval meneer Wolswinkel er ook iets over te melden heeft.

De heer Wolswinkel: Was de vraag over deep learning aan mevrouw Lokin of aan mij gericht? Aan ons beiden, begrijp ik. Oké, dan zal ik beginnen. Bij deep learning is AI de meest geavanceerde vorm en misschien ook de meest futuristische; daar loop je misschien wel aan tegen de grenzen van uitlegbaarheid. De vraag is hoe we daarmee om moeten gaan. Zoals ik al wilde schetsen: je kunt zeggen dat wij die deeplearningtechnieken ook moeten toepassen; dan doen we een concessie aan de uitlegbaarheid. Je kunt ook zeggen: zolang een systeem niet uitlegbaar is, is er een soort red line; maak het eerst maar uitlegbaar en tot die tijd kun je deze techniek nog niet toepassen. Ik zet het nu een beetje tegenover elkaar, maar zoals ik aan het einde van mijn presentatie aangaf, is het recht, wetgeving, ook wel een aanjager geweest voor het inzetten op explainable AI. Ook al zijn de technieken complex, je moet toch kijken of je niet een betere uitleg kunt geven dan die we voorhanden hebben. Ik weet niet of het de aangewezen route is om direct te zeggen: we geven die eis van uitlegbaarheid op en we laten die technieken zomaar toe.

Daar komt bij dat het ook kan afhangen van de toepassing die aan de orde is. Dat valt ook binnen het discussieveld: is het volledig geautomatiseerde besluitvorming, is het deels geautomatiseerde besluitvorming, hoe grijpt het in in de fundamentele rechten van mensen? Maar het lijkt me een goed aanknopingspunt, juist bij mensgeoriënteerde AI, om te zeggen, ook bij deep learning: laten we eens kijken hoever we kunnen komen met uitlegbaarheid; laten we dat niet zomaar opgeven om maar die techniek mogelijk te maken.

Over de rol van de rechter zijn terecht dingen opgemerkt. Zeker de bestuursrechter komt aan het einde van de rit met een individueel besluit in aanraking en zal zich daarover een oordeel moeten vormen. Hij heeft wel het instrumentarium om het hele proces van totstandkoming van dat besluit mee te nemen. Het zorgvuldigheidsbeginsel komt dan in beeld. Dat gaat eigenlijk over het hele proces. Dan ontkomt hij er niet aan om ook te kijken naar de vraag: hoe heeft het geautomatiseerde systeem dat is gebruikt, doorgewerkt in het individuele besluit? Hij zal zich daar een oordeel over moeten vormen, maar inderdaad wel in het licht van het genomen besluit. Dat is zijn vertrekpunt. Daarom zegt bijvoorbeeld de Raad van State: dat systeem is prima, of niet prima, maar ik wil in ieder geval dat je de onderliggende keuzes bekendmaakt, zodat mensen op basis daarvan hun zaak kunnen aanvechten. Dan hoeven ze niet het hele systeem openbaar te maken, maar wel datgene dat voor hen nodig is om het besluit te kunnen aanvechten.

Tegelijk zie je bij de SyRI-uitspraak dat niet de bestuursrechter aan zet was, maar de civiele rechter werd gevraagd om in zijn algemeenheid een oordeel te vellen over het systeem SyRI. Die weg kan natuurlijk ook bewandeld worden. Er zijn dus ook wel voorbeelden waarin het systeem als zodanig is aangevochten, maar als je het hebt over de weg van de bestuursrechter: die zal vanuit het individuele besluit kijken naar het systeem en zal dus niet per se het hele systeem op z'n kop zetten of erin duiken, maar hij zal wel datgene beoordelen wat nodig is voor de beoordeling van het individuele besluit.

Dan de toeslagenaffaire. In de eerste plaats hangt daar nog een beetje boven de markt wat nou de rol is geweest van geautomatiseerde besluitvorming in dat hele proces. Volgens mij is dat nog niet echt boven tafel. Er was een soort tunnelvisie, maar kwam die nou voort uit de mens of uit de computer? Dat moet nog boven tafel komen.

Kunnen algoritmen helpen bij de oplossing? Je zou eigenlijk willen dat het systeem als het ware vlagt: hé, dit zijn bijzondere gevallen; kijk daar eens naar. Algoritmen zouden een onderdeel van de oplossing kunnen zijn als een systeem kan vlaggen: hé, dit zijn bepaalde kenmerken die met zich zouden kunnen brengen dat de toepassing van de algemene regel disproportioneel uitpakt. Het zou natuurlijk heel mooi zijn om dat soort toepassingen te ontwikkelen. Daar is volgens mij ook wel aandacht voor bij uitvoeringsorganisaties. Het kan een red flag of een green flag zijn, maar ik meen dat het een red flag is; dan wordt er gevlagd: hé, dit is een bijzonder geval; neem eens contact op met deze persoon; benader deze persoon eens even proactief. Ik denk dat dat wel mogelijk is, omdat er inderdaad echt twee kanten zitten aan AI: de regel waar niemand van kan afwijken, maar ook juist de regel die helpt om het individu te identificeren.

De voorzitter: Dank. Mevrouw Lokin.

Mevrouw Lokin: Ik heb er eigenlijk bijna niets aan toe te voegen. Over deep learning: bestuursorganen nemen een hoop beslissingen over mensen, dus besluiten met rechtsgevolg, zeg ik dan maar even, zoals het opleggen van aanslagen en het toekennen van uitkeringen, puur op basis van een geavanceerde statistische analyse van een grote bak gegevens. Dat vind ik nog steeds moeilijk voorstelbaar, omdat die gegevens vaak over een groep gaan en niet over dat individu. Daar wordt deep learning nu wel voor ingezet. Het zijn eenvoudigweg niet de gegevens van die persoon. We kunnen niet een aanslag opleggen met de gegevens van iemand anders dan de persoon in kwestie. Ik denk dus dat het voor de initiële besluitvorming sowieso moeilijk voorstelbaar is om dat toe te passen. Het kan natuurlijk wel om analyses te maken van selecties, om te controleren. Het zou ook kunnen gaan om de vraag: welke springen eruit om bijvoorbeeld dienstverlening aan te bieden en mensen te ondersteunen? In die zin spreek ik altijd liever over analysemodellen dan over risicomodellen. Maar misschien moeten we als Nederland – samenleving, overheid, parlement, politiek, ambtenarij – ook ergens een grens trekken; die discussie moet de komende tijd denk ik gevoerd worden. Dit traject is daar input voor. Misschien moeten we zeggen: hier ligt ergens een grens; als we het niet meer kunnen uitleggen, laten we het dan ook gewoon maar helemaal niet doen. Misschien is dat wel iets om in een AI-wet te verankeren. Ik zeg het een beetje voorzichtig, want het is natuurlijk een hele discussie, maar persoonlijk denk ik dat je daar wel een keer een grens in zou moeten trekken. Je moet er in ieder geval duidelijkheid in creëren.

Is het de taak van de rechter om het systeem te toetsen? Nee, ik denk niet dat het de taak van de rechter is om het systeem te toetsen. Je moet inderdaad kijken of de wet in een bepaald geval op de goede manier is toegepast. Daarvoor heeft de rechter wel inzicht nodig, meer dan voorheen, in wat het systeem doet. Dat inzicht moeten overheidsorganisaties die dat systeem z'n werk hebben laten doen in zaken die spelen, dus ook kunnen bieden.

Over de maatwerkmogelijkheid en de hardheidsclausules heeft de heer Wolswinkel ook al iets gezegd. Je kunt de techniek inderdaad ook gebruiken om indicaties te krijgen van waar je zaken handmatig zou moeten behandelen, waar je nog naar zou moeten kijken of waar je een uitzondering zou moeten maken. Ik denk ook dat we bij bepaalde wetgeving eerder de conclusie zouden moeten trekken: hé, dit is niet automatiseerbaar. Maar dat betekent wel dat in het politieke discours de realisatie er moet zijn dat er dan dus meer mensen nodig zijn om bepaalde processen af te handelen. Dat is een afweging tussen het efficiencystreven en de veelgenoemde rechtsstatelijkheid. We zien in de analyse die we doen wel dat we op een gegeven moment op het spoor komen: hé, hier moeten wij eigenlijk de afslag gaan nemen naar een handmatig proces; dit is niet meer zo te formaliseren dat we het geautomatiseerd kunnen afdoen. Die keuzes kunnen in dat proces dus wel helderder worden.

De voorzitter: Dank. Ik denk dat dat laatste een opdracht aan ons is om bij wetsbehandelingen de vraag te stellen of het automatiseerbaar is en zou moeten zijn of niet. Ik zie geen vragen meer en het is 09.57 uur; dat is heel netjes. Ik wil meneer Wolswinkel en mevrouw Lokin heel hartelijk danken voor hun bijdrage. Ik spreek de verwachting en de hoop uit dat we daar goed gebruik van gaan maken in de Eerste Kamer. We gaan zo meteen digitaal verder met het tweede deel van deze bijeenkomst. Die is van 10.15 uur tot 11.15 uur. De leden hebben de tijd om naar het Eerste Kamergebouw te lopen, maar wie wil kan eventueel ook hier blijven om hier een rustig plekje te zoeken. Nogmaals dank aan de deskundigen. Voor de overigen: tot zo meteen.

De bijeenkomst wordt geschorst van 10.00 tot 10.17 uur.

De voorzitter: [...] Ik heb problemen gehad en ik hoorde van anderen dat het ook zo was, maar we gaan het proberen. Wij hebben tot 11.15 uur de tijd en gaan kijken hoe snel we het kunnen doen. Ik weet dat er na 11.00 uur ook andere vergaderingen zijn en dat misschien mensen gaan afhaken. We gaan snel van start. We hebben in het tweede deel twee deskundigen en beginnen met de heer Erik van de Sandt. Hij is onder andere van het Team High Tech Crime van de nationale politie. U heeft het woord en tien minuten de tijd voor uw presentatie.

Presentatie 3

Gesprek met:

• de heer Van de Sandt (Team High Tech Crime van de nationale politie, Korps Politie Caribisch Nederland, University of Bristol en National Research Centre on Privacy, Harm Reduction and Adversarial Influence Online)

De heer Van de Sandt: Allereerst wil ik u hartelijk danken voor de uitnodiging. Ik zat natuurlijk de stukken door te nemen en heb gezien wat u de afgelopen tijd op u af hebt zien komen. Ik herkende heel erg veel. Er zijn zo veel ideeën, er is zo veel input en er komen zo veel methoden langs: hoe ga je dat structureren, op een manier zodat het ook nog eens gekoppeld is aan de praktijk en recht doet aan de juridische, technische en organisatorische werkelijkheid? In 2016 gingen wij als Team High Tech Crime van de nationale politie ons richten – het klinkt heel erg mooi in het Engels – op de critical security infrastructure van de georganiseerde criminaliteit. Hier ziet u een aantal voorbeelden van wat wij deden rond die tijd. Dit soort criminele facilitators, die de beveiliging voor de georganiseerde criminaliteit regelen, hebben ontzettend veel klanten. Op het moment dat je in hun netwerk een positie krijgt, komt er heel veel data vrij. Wij kwamen erachter dat die data niet alleen ontzettend groot zijn, maar ook nog eens heel erg abstract. Op die ruwe data zitten nog allemaal beveiligingsmaatregelen. Mensen zeggen niet hun echte naam. Je schrijft niet op: ik ben Henk van Ingrid en dit is het adres waar ik woon. Data kan ook nog encrypt zijn et cetera. Alles bij elkaar opgeteld: als wij niet die ruwe data tot feiten kunnen verwerken als politie, dan draagt dat verder bij aan de beveiliging van criminelen. Wij kwamen erachter dat wij een andere discipline nodig hebben dan alleen tactische en digitale opsporing, namelijk datagedreven opsporing. We hebben data science – dat zijn de methoden en technieken die erbij horen – nodig voor de verwerking van wat wij dan even noemen «big evidence».

Maar wij doen, zoals u ook kunt zien op dit plaatje, al die opsporingsonderzoeken met partners, in binnen- en buitenland. Dan is één gedeelde taal ontzettend belangrijk om uit te leggen wat je doet, en wat de weg voorwaarts is. Dan heb je een omvattend raamwerk nodig. Dus gingen wij samenwerken met academici, met onze internationale partners en wij ontwikkelden een raamwerk dat wij CSAE noemden. Dat hebben we gepubliceerd in een whitepaper. CSAE bestaat uit een aantal componenten. We leggen uit hoe disciplines bij elkaar komen. Wat er in het verleden gebeurde met betrekking tot opsporen en wat vandaag gebeurt, maar waarschijnlijk ook waar we als opsporing in de toekomst naartoe gaan. We volgden eigenlijk de transformatie van gegevens van ruwe data tot uiteindelijk feiten en hoe we in elke stap steeds van kwantiteit naar kwaliteit gaan. Die transformatie koppelen we ook aan een bedrijfsproces. Een heel simpel bedrijfsproces dat bestaat uit vier stappen en ook recht doet aan de juridische en organisatorische werkelijkheid. Want Collect and Engage, zoals u ziet, is gekoppeld aan Politiewet en strafvordering bijvoorbeeld, terwijl Store and Analyze veel meer gekoppeld is aan de Wet politiegegevens. Ik heb in de twopager uitgelegd hoe die stappen in elkaar zitten. We hebben daar ook een verfijning op aangebracht per stap. Dan leggen we ook uit wat onze methodologie is, want wij hebben het niet zo zeer alleen maar over AI. Wij hebben het over het mixen van kwalitatieve methoden en technieken, dus waar de mens centraal staat, met meer statistische en dus kwantitatieve methoden en technieken. Die methodologie kun je op elke stap in het bedrijfsproces loslaten. Dat zult u straks ook wel zien.

Daarnaast hebben wij aandacht voor wat wij «de harmonisatiedoelstelling» noemen. Dat is dat er niet alleen ruimte moet zijn voor juridische en organisatorische harmonisatie. Wij geven in de two-pager en de whitepaper ook voorbeelden van wat dat betekent. Wat nodig is voor datagedreven werken is technische harmonisatie, en dan gaat het over gedeelde ontologieën, gedeelde dataschema's et cetera. Dat is zeker in de aanpak van de ondermijnende criminaliteit, waarin overheidsinstanties veel meer gaan samenwerken, ontzettend belangrijk om de kwaliteit van de data waarmee je werkt, te waarborgen. Die juridische, organisatorische en technische harmonisatie zijn ook communicerende vaten. Die hebben invloed op elkaar. We leggen ook uit wat de ondersteunende beleidsagenda's zijn om te komen tot datagedreven werken, bijvoorbeeld met wat nodig is voor hr. Maar de kern van dit alles, wat al deze componenten met elkaar verbindt, is een publieke waardenfilosofie. Dat is ook de reden waarom wij naar buiten zijn getreden met een whitepaper, omdat we in een bepaalde mate transparant willen zijn over wat wij doen.

Hoe zetten wij dat raamwerk als Team High Tech Crime in om die zware en georganiseerde cybercriminaliteit in dit geval aan te pakken tijdens de covidpandemie. Ik ga u straks een aantal voorbeelden geven uit een bepaald onderzoek dat wij deden, dat van DoubleVPN. Ik heb ook toestemming gekregen om een tipje van de sluier op te lichten. We hebben namelijk tijdens het hoogtepunt van de covidpandemie, toen we deze criminele facilitator gingen aanpakken, bijvoorbeeld een ziekenhuis kunnen waarschuwen en informeren dat ze waren gehackt. Je moet er toch niet aan denken dat daar ransomware op was geplaatst. Dit soort dingen kunnen we alleen maar doen als we gebruikmaken van data science. Wat u gaat zien in de voorbeelden die ik ga geven, is dat datagedreven werken, datagedreven opsporing in dit geval, veel meer validiteit en betrouwbaarheid kan aanbrengen met betrekking tot het creëren van zicht. En met zicht bedoelen we: overzicht, inzicht, vooruitzicht en terugblik, met betrekking tot wat we moeten verzamelen, rechtmatig natuurlijk, wat we rechtmatig moeten opslaan, wat we rechtmatig moeten analyseren en wat we rechtmatig moeten bestrijden. Stelt u zich eens voor dat we uit voorgaande onderzoeken allemaal ruwe data hebben verzameld, dat we die ruwe data hebben genormaliseerd, dat dat informatie is geworden dat we die hebben opgeslagen. Informatie betekent dus dat we over die ruwe data zeggen: deze letters achter elkaar, dat is een plaatsnaam en deze cijfers achter elkaar, dat is een IP-adres en deze letters achter elkaar is bijvoorbeeld de domeinnaam van een website. Die willen we analyseren in het vooronderzoek en die willen we bij elkaar brengen. De vraag is dan in die analysefase: hoe komen we dan tot DoubleVPN en waarom is dat zo'n belangrijke target in de bestrijding van georganiseerde cybercriminaliteit?

Normaal gesproken maken we dit soort kwalitatieve analyses op een strategisch, hoog abstract niveau. Dat is een kwalitatief product, in dit geval een crime script die we voorleggen tijdens een round table discussion. We nodigen bijvoorbeeld mensen van banken uit vragen hen bijvoorbeeld: welke dienst binnen de ondergrondse economie valt u nu het meeste lastig? Daar komt dan uit: VPN's, want in ons opsporingsonderzoek lopen wij tegen zo'n beveiligde internetverbinding aan en kunnen we niet verder met ons onderzoek. By the way, dit zijn niet de VPN's die Henk en Ingrid gebruiken of ikzelf. Nee, het zijn echt VPN's die exclusief zijn gericht op de cybercriminele markt. Maar nu ziet u rechts opeens een strategische datagedreven analyse, waarbij we algoritmes gebruiken die antwoord geven antwoord op de vraag: waar praat de top van de Russischtalige cybercriminele ondergrondse economie over? Welke thema's bespreken zij wanneer ze het over Nederland hebben? Dat was voor ons verrassend. Een van de grootste thema's zijn VPN's, die kennelijk in ons land worden gehost.

Nu ziet u al meteen dat statistieken alleen maar beschrijven, maar ze verklaren niets. Dus je hebt altijd input nodig van mensen om te verklaren wat hier staat. Het is niet alleen de mens die zegt welke dataset we hiervoor moeten gebruiken. Het is niet alleen de mens die deze algoritmes maakt, maar het is ook de mens die verklaart wat dan vervolgens het resultaat is. We gingen toen kijken in de criminele VPN-wereld. Ook daartoe gebruiken we allemaal verschillende algoritmes, waarbij we er opeens achterkwamen, bijvoorbeeld, dat DoubleVPN eigenlijk in al onze onderzoeken die wij in het verleden hebben gedaan, telkens terugkwam, dat de klanten van DoubleVPN regelmatig aanvallen uitvoerden op Nederland. We kunnen bijvoorbeeld ook een analyse doen door middel van algoritmes welke criminelen er over VPN's aan het praten zijn. We hebben het nu over criminelen die het taalgebruik bezigen van VPN-providers en dan ziet u ook dat rechercheurs echt teruggaan naar de bron en ook checken: he, klopt het wat het algoritme zegt dat deze bijnaam daadwerkelijk criminele VPN's aanbiedt? We gaan altijd terug naar de bron. We checken het altijd en kunnen daardoor het model robuuster maken. Er kunnen false positives tussen zitten. Er kunnen ook false negatives tussen zitten, dus dat een rechercheur verwacht dat Pietje Puk ertussen zou zitten, maar dat dit niet zo is.

Als laatste is het ook zo dat we dieper in het hele netwerk kunnen duiken van DoubleVPN, omdat we eigenlijk al heel veel losse entiteiten hadden uit voorgaande die we nu tijdens het vooronderzoek kunnen koppelen en relateren aan de organisatie achter deze criminele VPN en ook hoe hun eigen bedrijfsnetwerk in elkaar zit. Dat hele bedrijfsnetwerk bleek in Nederland te zitten. Dan is het niet alleen meer valide en betrouwbaar, maar we kunnen eigenlijk ook veel proportioneler handelen. Nu hebben we in een vooronderzoek al veel meer inzicht in hoe die organisatie in elkaar zit en hoe hun technische bedrijfsnetwerk in elkaar zit en hoeven we onze opsporingsbevoegdheden minder breed in te zetten. We kunnen veel gerichter te werk gaan. Maar we zetten dit raamwerk niet alleen in ter versterking van de democratische rechtsstaat, omdat ondermijnende criminaliteit de democratische rechtsstaat aantast. Nee, CSAE kan ook bijdragen aan het voorkomen en herstellen van de fouten die een overheid maakt of door te veel overheidsbemoeienis. Omvattende raamwerken bevorderen transparantie et cetera.

Om u een voorbeeld te geven van hoe CSAE dat doet, neem ik privacy. Privacy is iets wat alle kanten op kan gaan, vrij abstract. CSAE kan dan helpen het begrip «privacy» verdieping te geven door het te koppelen aan het bedrijfsproces van datagedreven opsporen. Dan kunnen we vragen: goh, als u het over privacy heeft, bedoelt u dan dataminimalisatie in die Collectfase? Of wanneer we van die ruwe data informatie maken en dat opslaan, doelt u dan op retentie dus bewaartermijnen? Of wanneer we die informatiepunten bij elkaar willen brengen, uit verschillende onderzoeken, en daar intelligence van willen maken en die analyseren, bedoelt u dan doelbinding? Of is het zo dat, wanneer we politiegegevens willen verstrekken aan derden het dus hebben over verstrekking? Zodat ook onze partners bijvoorbeeld maatregelen kunnen nemen, denk aan de haven van Rotterdam en drugshandel, om weerbaarder te worden. Dit raakt ook het belang van een veel verfijndere Wet politiegegevens. Het roept de vraag op of de toekomstige datagedreven bestrijding van ondermijnende machtsstructuren in Nederland wel uit de voeten kan met de huidige invulling van dataminimalisatie, retentie, doelbinding en verstrekking. Het einde van mijn pleidooi is dus dat CSAE een omvattend raamwerk is dat allerlei componenten heeft en waarbij de publieke waardenfilosofie centraal staat. Het helpt om al die ideeën, al uw input te structureren en te koppelen aan de praktijk.

Tot zover mijn presentatie over de noodzaak van omvattende raamwerken voor het begrip van en grip op datagedreven werken.

De voorzitter: Dank u wel. Ik ben ervan overtuigd dat er nogal wat vragen zijn, maar die stellen wij na de volgende spreker. Ik hoop dat u in de gelegenheid bent om nog even bij ons te blijven? Dat kan? Fijn. Dan geef ik graag het woord aan Heleen Janssen, onderzoeker bij de Universiteit van Amsterdam en Universiteit van Cambridge. Zij heeft eerder gewerkt bij de Directie Constitutionele Zaken en Wetgeving en gaat ons iets vertellen over de mensenrechtenimpactassessment en hoe de Eerste Kamer dat zou kunnen gebruiken.

Presentatie 4

Gesprek met:

• mevrouw Janssen (onderzoeker bij de Universiteit van Amsterdam en Universiteit van Cambridge)

Mevrouw Janssen: Hartelijk dank, mevrouw de voorzitter. Dank ook aan de Eerste Kamer voor de uitnodiging voor deze deskundigenbijeenkomst. Ik ga u wat vertellen over ideeën en suggesties hoe de Eerste Kamer meer grip op wetgeving en beleid met focus op AI zou kunnen krijgen. Daarvoor een kleine agenda. Ik ga iets zeggen over de ontwikkelingen rondom de toetsing van AI-systemen op grondwettigheid, over mensenrechtenimpactassessments voor overheden en over hoe de Eerste Kamer die kan inzetten voor de eigen grondwettoets. En tot slot zal ik wat zeggen over de mogelijkheden voor kennisverbreding en -verdieping en een aantal key takeaways meegeven.

We hebben vorige week al gehoord van de twee personen die een presentatie hielden, dat we onderscheid maken tussen zelflerende systemen en niet-zelflerende systemen. Bij de zelflerende systemen bepaalt de machine welke features relevant zijn voor de associaties die leiden tot gewenste uitkomsten. Bij de niet-zelflerende bepaalt de mens welke features relevant zijn. Prof. Jonker uit Delft zei ook dat zelflerende machines veel succesvoller zijn dan niet-zelflerende systemen en dan mensen.

Succesvoller? Dat kun je op verschillende manieren uitleggen. Inderdaad, AI is vaak veel efficiënter – en dan heb ik het over de zelflerende systemen – efficiënter, sneller en goedkoper dan een mens en niet-zelflerende systemen. Daarmee vormen zij ook hele sterke drijfveren voor overheden en bedrijven om AI-systemen te willen gebruiken.

Maar als je naar de overheid kijkt, dan rijst de vraag: hoe kun je nou de publieke waarden en met name ook die grondrechten in AI-systemen van de overheid adequaat borgen? Vandaag staat ook de vraag centraal hoe de Eerste Kamer haar grip op AI-systemen in wetgeving en overheidsbeleid kan verstevigen.

De bekende voorbeelden in de dagelijkse praktijk zitten met name in het ontdekken van nieuwe inzichten, efficiency van processen verbeteren, aandacht van consumenten trekken en vasthouden – dat is in de kern het bedrijfsmodel van Facebook en YouTube – en gedrag en fenomenen voorspellen. Daar zijn ook al vele voorbeelden van voorbijgekomen in de presentaties van vorige week en van hedenochtend.

Als je dan gaat kijken naar wat typisch in die AI-systemen grondrechtenrisico's meer in den brede oplevert, komt bij de meeste mensen al snel het begrip «bias» naar boven; de vooringenomenheid die in data zit, in de toegekende features die bij die data komen, in de wijze waarop algoritmen worden ingericht of de wijze waarop met uitkomsten wordt omgegaan. Bias brengt vaak een hoog risico op discriminerende toepassingen met zich mee.

Een tweede punt, dat vorige week ook al kort is besproken, zijn de ondoorzichtige associaties en het onbekende gebruik van gegevens. Een voorbeeld dat genoemd is, is dat het systeem een husky herkent, niet omdat het de snoet van de husky herkent, maar omdat het de sneeuw op de achtergrond herkent. Die black box beperkt de menselijke interpretatie en ook de mogelijkheden om tijdig te corrigeren en maakt het opsporen van risico's en schade erg ingewikkeld of onmogelijk, dat is ook al een paar keer gezegd. Dat is niet alleen bij organisaties, maar dat geldt met name ook voor burgers, die lijden onder beslissingen die hun grondrechten aantasten.

We zien ook dat zelflerende systemen vaker afwijkingen gaan vertonen. Dat is inherent aan die systemen, want zij kennen tenslotte zelf waarden toe aan data en features. Daardoor kunnen door mensen onvoorziene effecten te laat worden gedetecteerd en/of op waarde geschat. Als je dat combineert met de black box, dan zie je daar ook die complexiteit.

Ook versterkende effecten kunnen gemakkelijk optreden, omdat AI vaak op grote schaal wordt toegepast en gebruikt, waardoor veel mensen kunnen worden geraakt door die uitkomsten.

De vraag is vervolgens: welke grondrechten komen met name onder druk te staan? We hebben in het EVRM, in onze Grondwet en in IVBPR een hele catalogus aan grondrechten. Als we even scherp kijken, dan zien we dat non-discriminatie, privacy en een eerlijk proces en recht op behoorlijk bestuur, dat is ook al een aantal keren genoemd, behoorlijk onder druk kunnen komen te staan. Uitingsvrijheden eveneens. Dan praten we niet alleen maar over die vrijheden en de negatieve vrijheid, maar ook over een mogelijk chilling of ook wel verkillend effect, bijvoorbeeld als de overheid algoritmes zou gaan inzetten om haatcontent op te sporen. En dan hebben we nog de sociale grondrechten. Dit wordt allemaal goed uitgelegd in het boek van Janneke Gerards, Max Vetzo en Remco Nehmelman, Algoritmes en grondrechten, dat in 2018 is verschenen, een erg informatief boek, waarvan ik ook zou zeggen: zet het in jullie bibliotheek neer.

Dan gaan we kijken naar wat er binnen de departementen is gebeurd. De Minister van Binnenlandse Zaken heeft in juni een brief over de voortgang van AI-systemen verzonden aan de Tweede Kamer. Daarin heeft zij de handreiking non-discriminatie-by-design voor ontwerpers van algoritmische systemen uitgebracht. Dat is een belangrijke handreiking, ontwikkeld door de Universiteit van Tilburg. En zij heeft ook aangekondigd dat er een mensenrechtenimpactassessment (MIA) op algoritmes aankomt. Dat is aangekondigd, maar nog niet uitgebracht. Dat MIA staat verder centraal in deze presentatie. Dat zou moeten worden uitgevoerd bij de rijksoverheid, op het moment dat een departement voornemens is om een AI-systeem te ontwikkelen voor beleid of wetgeving. Het idee is dat daarvan een verslag komt in een MIA-rapport.

Het MIA-team dat het impactassessment moet gaan uitvoeren wordt het liefst wat breder samengesteld; met de opdrachtgever, projectleider, de ontwikkelaar van het algoritme, de Functionaris Gegevensbescherming, juristen, datawetenschappers en statistici. Dat is een diverse groep mensen die zich buigt over de verstandige ontwikkeling van een AI-systeem. Dat doe je bij voorkeur al in het ontwerp en het ontwikkelstadium en niet pas achteraf. Een MIA biedt deze groep mensen die het AI-systeem gezamenlijk moet gaan ontwikkelen, een goede structuur om die dialoog over de impact op grondrechten als gevolg van het systeem goed te kunnen voeren. Je ziet dus dat er mensen met verschillende pluimage of achtergronden bij elkaar zitten, die tot verstandige beslissingen moeten komen. Vervolgens wil je dat er op grond van die disciplines een gewogen en gebalanceerde inbreng komt. En daarnaast biedt dat stapsgewijze proces ook een hele goede mogelijkheid om de gemaakte keuzes vervolgens te kunnen uitwerken naar de verantwoordelijke bewindspersoon. De vraag is nog wel of het MIA verplicht gaat worden. Dat is op dit moment nog niet duidelijk.

Hoe ziet dat MIA er nou uit? Ik kan alleen maar heel kort highlighten hoe dat stappenproces eruitziet. Allereerst beschrijft dat MIA-team het beleidsdoel en waarom het AI-systeem juist geschikt is om dat doel te bereiken. Daarbij moeten ook al de publieke waarden worden benoemd die daarin een rol spelen. Bij de tweede stap gaat het team het systeem bouwen. Tijdens de bouw van dat systeem wordt het AI-systeem ook getest in een gecontroleerde omgeving, dus er wordt geëxperimenteerd en getest. Daarbij worden ook de mogelijke risico's voor de grondrechten geïdentificeerd, en zo mogelijk ook al getaxeerd.

Op het moment dat het systeem in de grondverf staat, komt de derde stap in zicht. Daarbij moet het team beoordelen of het AI-systeem wel proportioneel is in relatie tot mogelijke grondrechtelijke inbreuken. Op basis van de proportionaliteitstoets die hier dus moet worden verricht, kan het team achterhalen of een systeem mogelijk beperkingen op grondrechten met zich meebrengt. Maar het kan ook zijn dat een systeem een grondrecht echt geweld aandoet. Op het moment dat een beperking of een schending wordt vastgesteld in die proportionaliteitstoets, zal het MIA-team terug moeten naar stap 1, en moeten kijken naar het beleidsdoel, en misschien moet het voor een ander systeem kiezen. Het kan heel goed zijn dat het niet noodzakelijk is om een AI-systeem te gebruiken, maar dat er ook andere mogelijkheden zijn. Op het moment dat je door stap 3 heen bent, ga je naar stap 4 en dan neem je maatregelen om restrisico's te mitigeren.

Het doel van het hele impactassessment is om te voorkomen dat je met systemen gaat werken terwijl je niet goed in beeld hebt wat de grondwettelijke risico's zijn. Dat is verschrikkelijk belangrijk, juist om het vertrouwen in overheidsgebruik van AI-systemen toch zo veel mogelijk te borgen.

Het MIA moet telkens worden verricht wanneer de overheid overweegt om een AI-systeem te ontwikkelen, in te zetten of aan te kopen; met name dat laatste, het aankopen, is van belang, dat is voorheen ook al even aangestipt. Op het moment dat de overheid iets koopt bij een bedrijf – off the shelf, zoals de Engelsen dat zeggen; het ligt op de plank en de overheid koopt het aan – of de overheid het laat ontwikkelen door private ontwikkelaars, dan komt juist ook weer de vraag boven wat er wordt ingebouwd in die algoritmes. Het idee is om dan juist ook het MIA te laten verrichten en bijvoorbeeld ook in de contractvoorwaarden te laten opnemen dat dat MIA wordt verricht, in gezamenlijkheid met de overheid en het bedrijf dat het AI-systeem eventueel gaat ontwikkelen, juist om te voorkomen dat een overheid of een bewindspersoon kan zeggen: ik ben niet verantwoordelijk, dat is het bedrijf. Daarover zijn nog niet de laatste woorden gezegd, maar je zou niet willen dat je een systeem koopt waarvan je niet weet hoe dat zit. Maar goed, mevrouw Lokin heeft daar net ook al verstandige woorden over gezegd. Het is wel iets om goed in de gaten te houden, zeker ook als het andere overheden betreft.

Het MIA-rapport waar ik het over had, zou per stap de antwoorden en overwegingen en de gemaakte keuzes moeten vastleggen. Dan kan het dienen als naslagwerk en als verantwoordingsinstrument. Dat laatste is erg belangrijk, omdat op het moment dat een beleidsdepartement en een bewindspersoon dat MIA hebben verricht, ze dat ook kunnen verantwoorden naar de Raad van State, naar de Tweede Kamer, naar uw Kamer, naar toezichthouders en in voorkomende gevallen ook naar de rechter. Hoe werkt het systeem, hoe zit het in elkaar? Waarom is er gekozen voor dit systeem, op deze manier?

Ik realiseer me dat het MIA ook geen silver bullet is, maar het is een onderdeel van infrastructuur die groeiende is en die de grondrechten en andere publieke waarden bij de inzet van AI-systemen moet helpen borgen.

De vraag rijst vervolgens of zo'n MIA een heel nieuw instrument is. Moeten we nou weer iets nieuws gaan doen, als overheid? Nou, ik zie een hele goede aansluiting bij artikel 35 van de Algemene verordening gegevensbescherming, dat overheden verplicht om een gegevensbeschermingseffectbeoordeling te doen, kortweg een DPIA, op het moment dat een risico bestaat van inbreuken op rechten en belangen van betrokkenen. En als je kijkt naar de vier stappen die artikel 35(7) AVG voorschrijft, dan zie je ook dat die stappen heel erg overeenkomen met de stappen die ik zojuist gepresenteerd heb over het MIA. Het dringende advies van mij zou dan ook zijn dat het MIA gelet op die overeenkomstige stappen in veel gevallen met de DPIA mee kan lopen. Er zullen gevallen zijn waarin dat niet kan, maar dan kan het MIA ook afzonderlijk, onafhankelijk van een DPIA worden verricht.

Wat betekent dit alles voor de Eerste Kamer? Het MIA kan de Eerste Kamer een goed kader bieden om beleids- en wetsvoorstellen waarin AI-systemen zitten te toetsen op die grondwettigheid, lijkt mij. Daarbij is die proportionaliteitstoets in stap 3 heel erg belangrijk. Het stappenschema zoals hier gepresenteerd, is natuurlijk verkort gepresenteerd, maar dat wordt dus nog nader uitgewerkt met praktische en verdiepende vragen. Die vragen en die stappen tezamen zullen de Eerste Kamer behulpzaam zijn bij het bevragen van de verantwoordelijke bewindspersoon die een AI-systeem presenteert en bij de beoordeling van de grondwettigheid van het voorgestelde AI-systeem.

Naast het MIA is het ook van belang dat er goed zicht ontstaat op de impact van die AI-systemen van de overheid. Daar komt die verplichting van het MIA om de hoek. Het zou heel mooi zijn als de rijksoverheid daar als eerste mee gaat experimenteren, zoals destijds in 2013 ook met het DPIA is gebeurd. De Eerste Kamer zou er bij de regering op aan kunnen dringen om die MIA verplicht te maken. Het openbaar maken van het MIA-rapport zou ook heel goed zijn, omdat je dan samen over hetzelfde kunt discussiëren.

Daarnaast kan ook de kennis over die grondrechtelijke aspecten van AI goed worden georganiseerd en verspreid, intern en extern. Op dit moment kijkt de Eerste Kamer ook naar het ontwikkelen van een vaste Kamercommissie. Ik denk op zich dat dat kan werken, maar je wil absoluut voorkomen dat er een soort silo ontstaat waarin kennis komt te zitten die niet naar andere vaste Kamercommissies gaat, die andere publieke sectoren bestrijken. Je kunt ook niet zeggen dat lezen en schrijven bij één Kamercommissie zitten; iedereen moet dat kunnen. Daar wil je op enig moment naartoe. Je kunt die kennis extern organiseren, zoals vorige week en vandaag is gebeurd. Je kunt de samenwerking met de Tweede Kamer opzoeken. Die zijn al een stapje verder. En verder heeft het Rathenau er verstandige dingen over gezegd. Dat heeft met name gekeken naar hoe dit soort zaken in buitenlandse parlementen is geregeld.

Dan enkele key takeaways. Ik zou zeggen: Eerste Kamer, maak gebruik van het mensenrechtenimpactassessment, als het er straks is, om de regering bij haar voorstellen het vuur aan de schenen te leggen, als het gaat om AI-systemen. En dring er bij de regering op aan om het MIA zo veel mogelijk mee te laten lopen met DPIA. Laat het verplicht worden voor de rijksoverheid en koppel er een vorm van publicatieplicht aan vast; dat zou mooi zijn. Ik realiseer me dat er absoluut ook veel begrenzingen aan een publicatieplicht zitten, maar het zou mooi zijn als je op dat niveau kunt starten met een gestructureerde discussie. En tot slot: breng kennis over systemen niet samen in één silo, maar zorg dat die in de haarvaten van de Eerste Kamer terechtkomt.

Daar wilde ik het bij laten. Dank u wel.

De voorzitter: Dank u wel. Een hoop praktische tips voor ons. Er is nog tijd om vragen te stellen. Het woord is aan Jeroen Recourt.

De heer Recourt (PvdA): Dank, voorzitter, en dank aan de inleiders. Mijn eerste vraag is een vraag aan de heer Van de Sandt van de nationale politie. De presentatie was mooi en helder, maar ik miste de basisafweging die iedere politieorganisatie heeft, die tussen efficiency en grondrechten. De publieke waarden kwamen in de inleiding terug. Daarmee was alles verbonden. Maar wie bepaalt die publieke waarden? Hoe is het zicht daarop? Hoe blijkt de intrinsieke spanning in de opsporing tussen efficiency en publieke waarden?

De voorzitter: Dank. Eigenlijk is de vraag: zou er geen mensenrechtenimpactassessment moeten zijn op uw werk, meneer Van de Sandt?

De heer Van de Sandt: Ik moet zeggen dat er op dit moment juridisch al veel mogelijk is. Ik geef in de two-pager tevens een aanzet door aan te geven waar algoritmes aan moeten voldoen. Ze moeten gekoppeld worden aan de rechtsstaat, aan de waarden van de democratische rechtsstaat. Ze moeten voldoen aan goed, valide en betrouwbaar wetenschappelijk onderzoek. De resultaten moeten worden vertaald in de juridische context, dus normatief. Ik noem het voorkomen van prosecutor fallacy et cetera. Er komen ook nieuwe waarden bij kijken, zoals human-in-command. De politie investeert op dit moment enorm in ethiek. De portefeuillehouder AI binnen de politie, de heer Van der Plas, heeft al veel onderzoek laten doen en stimuleert dit thema op verschillende niveaus. We hebben ethiektafels et cetera, waarbij we dit allemaal bespreken. Daarin zijn wij voortdurend in debat met academici, met organisaties en privacyactivisten over de vraag hoe wij meer ethiek kunnen aanbrengen. Moeten algoritmes worden getoetst of gaat het meer om de mensen die ze maken? Moeten we naar certificering toe? Moeten we eisen stellen aan de opleiding van mensen? Moeten ze een aantal keer per jaar terugkomen voor het bijhouden van literatuur et cetera? Daar zijn we nog niet uit. Het is iets wat we met z'n allen moeten bespreken. Dat is het debat.

De voorzitter: Dank. Mevrouw Janssen wil hier ook wat over zeggen.

Mevrouw Janssen: Ja, heel graag. Dank voor je antwoord, Erik. Ik ben het met je eens dat u daar allemaal heel goed naar moet kijken. Als het over AI-systemen gaat, dan hebben we het over het hele pakket. Het gaat niet alleen over het algoritme, maar ook over de mensen die in het systeem werken en over de processen die daarin plaatsvinden. Op het moment dat je het algoritme goed geregeld hebt, maar de juiste mensen niet aan boord hebt, dan is je systeem niet compleet. Dat willen wij goed borgen met zo'n impactassessment.

De heer Van de Sandt: Als ik daar nog iets aan mag toevoegen. Wij werken al met een GEB en met DPIA's. Maar als wetenschapper stel ik dat je beter niet kan doen aan verbodsethiek. Er is bijvoorbeeld een Europese verordening in de maak, die heel duidelijk zegt: bepaalde technologieën mogen niet. Dat is onwenselijk. Ik vraag mij af of er niet veel meer begeleidingsethiek nodig is. In een kwaliteitskader big data van het OM en de nationale politie en in datgene wat Heleen net presenteerde, geloof ik persoonlijk als wetenschapper veel meer. Dan worden in het hele proces de hele tijd de juiste vragen opgeroepen bij de mensen die de algoritmes maken: heb je hieraan gedacht, heb je deze waarborgen et cetera opgenomen? Als je dat goed documenteert, dan is de uitlegbaarheid en transparantie veel beter te volgen op momenten dat dat nodig is.

De voorzitter: Dank u wel. De volgende vraag is van Peter Nicolaï.

De heer Nicolaï (PvdD): Dank je wel, voorzitter. Ik heb twee vragen aan Heleen. Het schema over die MIA is voor ons als Eerste Kamer het uitgangspunt. Vooral stap 3 daarin is natuurlijk heel erg belangrijk: de beoordeling van de proportionaliteit. Welke criteria zouden we daarbij moeten toepassen? Wanneer komt die stap bij de Eerste Kamer terecht? Als wij wetgeving krijgen die wij moeten beoordelen, dan zit daarin vaak nog niet de vraag waar we de AI eventueel gaan inzetten. Dat komt meestal pas bij de uitvoering aan de orde. Ziet Heleen het zo dat het dan moet terugkomen bij ons als Eerste Kamer? Een vierde stap is dat je maatregelen moet nemen om de gevolgen en eventuele risico's te mitigeren. Wie controleert of dat vervolgens ook gebeurt? Ik denk niet dat de Eerste Kamer dat moet zijn. Zou er niet net als een Autoriteit Persoonsgegevens een autoriteit moeten zijn die daarop let? Dat waren mijn drie vragen.

De voorzitter: Dank. Het woord is aan Heleen Janssen.

Mevrouw Janssen: Hartelijk dank voor deze superrelevante vragen. Welke criteria moeten worden gehanteerd? In stap 3, de proportionaliteit, moet je gaan kijken of het systeem noodzakelijk is of dat er minder vergaande alternatieven denkbaar zijn. Waar je ook naar moet kijken, is de vraag hoe de mate van inbreuk zich verhoudt tot de zwaarte van het beleidsdoel dat je nastreeft. Daarop kan je geen eenduidig antwoord geven. Dat zul je per geval moeten beoordelen. Als je kijkt naar de rechtspraak van het Europees Hof voor de Rechten van de Mens, dan zie je een enorme body aan rechtspraak die de invulling van de proportionaliteitstoets een hele goeie richting geeft. Heel veel gaat natuurlijk nog niet over AI, maar we weten al wel goed wat wel en niet aanvaardbaar in de samenleving is. Vandaar mijn dringende oproep: bekijk die systemen wat meer holistisch. Kijk niet alleen naar de AI, maar ook naar de mensen die ermee moeten gaan werken en de context waarin AI wordt toegepast. Je kunt geen parkeerboetes gaan opsporen met een AI-systeem waarin je alle mogelijke data door het systeem zelf laat verwerken. Dat is totaal disproportioneel. Het is een idioot voorbeeld, maar het komt natuurlijk aan op voorbeelden waar dit niet heel erg voor de hand ligt. Wat zijn dan de vragen? Het MIA dat de Minister over naar ik hoop niet al te lange tijd zal presenteren, zal daarop meer specifiek ingaan, maar de vragen zitten in die grondrechtelijke toets.

Vaak worden de systemen pas in de uitvoering verder uitgewerkt. Wat kan de Eerste Kamer dan doen? Nou, die kan bij de wet waarin het systeem mogelijk wordt geïntroduceerd maar nog niet wordt uitgewerkt, scherpe vragen stellen. Welke garanties kunt u eisen op een lager niveau? Kijk, die lagere overheden moeten ook aan die grondrechten voldoen. Je zou wensen dat zij daar ook invulling aan geven. Naarmate je meer specifiek kunt zijn over een AI-systeem, zul je ook gerichter het MIA kunnen invullen.

Wie moet daarop toezien? De Autoriteit Persoonsgegevens deed al die DPIA's, maar er zijn natuurlijk ook andere toezichthouders. Als het gaat om discriminatie, zouden we het College voor de Rechten van de Mens er misschien wat actiever bij kunnen betrekken. Die zijn op dit moment al een flinke slag aan het maken op digitalisering. Ze hebben al een enorme kennis op gelijke behandeling en het discriminatieverbod. Dit zijn toezichthouders die ook hier een belangrijke rol zouden kunnen spelen. Er mag, over silo's gesproken, dus wat meer worden bekeken hoe die toezichthouders hun macht en kennis kunnen bundelen. Dat zou mijn tip zijn.

De voorzitter: Dank. We gaan door met een vraag van Greet Prins.

Mevrouw Prins (CDA): Ja, dank je wel, Heleen. Ik heb een vraag naar aanleiding van de MIA. Betekent het nou dat dit eigenlijk gaat botsen met elkaar als gebruik wordt gemaakt van software van bijvoorbeeld de big five, de grote internationale bedrijven? En wat voor consequenties zou dat kunnen hebben?

Mevrouw Janssen: Dat zul je dus heel goed moeten nagaan in het MIA. Op het moment dat jij van grote bedrijven iets aankoopt, loop je al heel erg gauw het risico dat je geen toegang krijgt tot de codes, tot de details en tot wie er precies betrokken is. Een van de dingen in stap één die je in kaart moet brengen, is wie er betrokken is bij de ontwikkeling van het AI-systeem, juist ook om de rollen en de bijbehorende verantwoordelijkheden goed te kunnen beleggen. Op het moment dat je dat niet kunt en je bijvoorbeeld spreekt over het gebruik van een algoritme of een systeem dat vergaande implicaties heeft voor grondrechten, zou je dat eigenlijk niet moeten willen. Dan moeten we misschien niet dat systeem kopen.

Mevrouw Prins (CDA): Betekent dat dan dat wij ons daarmee technisch op achterstand gaan zetten?

Mevrouw Janssen: Ik denk, even heel praktisch gezien, dat we al op achterstand staan. Tegelijkertijd denk ik: we willen werken voor de overheid en dienen een publiek belang. We kijken dus wel op een andere manier naar dit soort systemen en we zetten ze op een andere manier in. Die publieke waarden bepalen dus of jij op voorstand of op achterstand zit met dit soort systemen als het gaat om overheidsverwerkingen. Ik denk dat de overheid overall kritisch moet zijn op het aankopen van dit soort systemen. Maar ik begrijp de reflex, omdat veel overheden ook graag efficiënt willen werken, om niet te zeggen dat het New Public Management bij veel overheden ook nog wel in de haarvaten zit. Het moet efficiënt, goedkoop en snel. Dat is allemaal heel begrijpelijk en goed te rechtvaardigen, maar waak ervoor dat je systemen aankoopt die je niet kunt doorzien of niet onder controle hebt.

De voorzitter: Dank. Ik zie verder geen vragen meer. Dan is het woord aan Peter Nicolaï voor de tweede ronde.

De heer Nicolaï (PvdD): Ja, dank je wel. Even terug naar Heleen. Natuurlijk kunnen we in de Eerste Kamer al vragen stellen als er in het wetsontwerp aanknopingspunten zijn dat inderdaad artificiële intelligentie zal worden ingeschakeld. Maar er zijn natuurlijk ook wetten waarbij dat pas later, in de uitvoeringsfase, aan de orde komt. Dat is één. Daar heb ik dan eigenlijk geen antwoord op. Ten tweede hebben we het hiervoor gehad over de Algemene wet bestuursrecht. Zou het zinvol zijn om in die Algemene wet bestuursrecht zo'n MIA-verplichting op te nemen? Dan geldt die namelijk in principe voor alle bestuursorganen, dus ook voor zelfstandige bestuursorganen en voor lagere bestuursorganen. Dat zijn mijn twee vragen.

Mevrouw Janssen: Dank. Ik heb inderdaad geen antwoord gegeven op de vraag over de situatie waarin pas door lagere overheden wordt besloten om een AI-systeem of een algoritmisch systeem te gebruiken. Wat kan de Eerste Kamer daaraan doen? Dat vind ik een lastige. Ik denk dat daar niet zo heel veel mogelijkheden liggen. Dat is wel zo bij het tweede punt dat u aanhaalt: kunnen we in de Awb de verplichting opnemen om een MIA te verrichten? Ik denk dat daar hele mooie kansen liggen om dat te doen. Ik heb zelf op een departement gewerkt, bij constitutionele zaken, waar we ooit een DPIA ontwikkelden al ver voordat de AVG er was. Daar hebben we toen van gezegd dat de rijksoverheid daar maar eens mee moest beginnen, en daarna eventueel andere overheden. Nou goed, toen kwam de AVG, dus dat ging min of meer vanzelf. Maar je zou erover na kunnen denken om op deze manier ook de andere overheden mee te pakken. Ja, dat zou een hele goede mogelijkheid zijn.

De voorzitter: Dank. En de eerste vraag van Peter Nicolaï ging er niet zozeer over dat lagere overheden hier niet over gaan. Hij had het met name over de uitvoeringsorganisaties, die wetten gaan uitvoeren die wel landelijk worden aangenomen. Bij de sociale zekerheid staat bijvoorbeeld niet in de wet dat daarvoor AI-systemen zullen worden ingezet, terwijl dat misschien wel het geval zal zijn. Ik weet niet of je daar nog iets over kunt zeggen?

Mevrouw Janssen: Ik vraag me even af of dat dan niet een verantwoordelijkheid is van de bewindspersoon die hier op enig moment iets over zou moeten zeggen. Dat zie ik niet zo goed, dus daarop moet ik het antwoord een klein beetje schuldig blijven.

De voorzitter: Daar gaan we dan onderling nog weleens op door, denk ik. Wat kun je al in wetgeving voorzien en wat zit vooral in de uitvoering daarna, en hoe kunnen we daar nog controle op uitoefenen?

Als er geen vragen meer zijn, dan dank ik beide sprekers zeer voor hun input en hun handreikingen voor hoe wij verder kunnen met dit belangrijke onderwerp. Ik dank ook de leden die aanwezig waren en ik wens iedereen een fijne dag verder. Ik zie jullie bij een andere bijeenkomst.

Sluiting: 11.07 uur.

VERSLAG VAN EEN DESKUNDIGENBIJEENKOMST OP 26 OKTOBER 2021

Vastgesteld 10 november 2021

De vaste commissie voor Justitie en Veiligheid (J&V) heeft op 26 oktober 2021 gesprekken gevoerd over:

• Grip op algoritmische besluitvorming bij de overheid. De rol van de Eerste Kamer (Rathenau Instituut);

• Notitie van Arjan Widlak van Stichting Kafkabrigade ten behoeve van de deskundigenbijeenkomst van de Eerste Kamer op 26 oktober 2021;

• Sturen of gestuurd worden? Over de legitimiteit van sturen met data (notitie van Martiene Branderhorst);

• AI en de (dis)balans binnen de trias politica: hoe blijft de Eerste Kamer relevant? (notitie van Reijer Passchier);

• Artificiële intelligentie en besluitvorming door de overheid (notitie van Robert van Doesburg).

Voorzitter: Prins

Griffier: Van Dooren

Aanwezig zijn negen leden der Kamer, te weten: De Blécourt-Wouterse, De Boer, Crone, Dittrich, Faber-van de Klashorst, Kluit, Nicolaï, Prins en Recourt,

alsmede mevrouw M. Branderhorst, de heer R. van Doesburg, de heer R. Passchier en de heer A. Widlak.

Aanvang 9.00 uur.

De voorzitter: Een goede morgen. Ik moet nog oefenen, want ik heb nog nooit op deze plek mogen zitten. Maar het feit dat de voorzitter en de vicevoorzitter van deze commissie verhinderd dan wel vertraagd zijn, leidt ertoe dat ik het genoegen mag hebben om u als eerste welkom te heten. Van harte welkom dus bij deze derde deskundigenbijeenkomst over artificiële intelligentie. De aanwezigheid lijkt wat beperkt, maar weet u verzekerd dat er heel veel leden kijken via de livestream. Dat is namelijk het voordeel van het feit dat we in deze zaal zitten: er kunnen heel veel mensen meekijken via de livestream. Dat zullen we dus ook gaan doen. Ik heet iedereen van harte welkom, en natuurlijk een speciaal welkom aan onze deskundigen. Als eerste twee zou ik Martiene Branderhorst en Arjan Widlak welkom willen heten. Spreek ik het zo goed uit? Gelukkig. Zij zijn de eersten die gaan beginnen. De andere sprekers voor vanmorgen zijn Reijer Passchier en Robert van Doesburg. Mijn collega de heer Recourt zal die sprekers straks introduceren, want dat is in de tweede ronde.

Blok 1: Artificiële Intelligentie: fouten voorkomen/kunnen herstellen (maatwerk, uitvoerbaarheid, toezicht)

Gesprek met:

• mevrouw Martiene Branderhorst (ROB)

• de heer Arjan Widlak (Stichting Kafkabrigade)

De voorzitter: In de eerste ronde gaat het om Martiene Branderhorst. Zij is algemeen directeur bij de gemeente Den Haag en lid van de Raad voor het Openbaar Bestuur. Ik heb begrepen dat u in uw bijdrage het ROB-onderzoek «Sturen of gestuurd worden?» zult toelichten. U zult daarbij aangeven welke rollen wij als Eerste Kamer kunnen oppakken – daar gaat het voor ons natuurlijk ook om – en wat daarbij dan een verantwoorde inzet is van AI. Daarna gaan we door met Arjan Widlak. U bent directeur van de Stichting Kafkabrigade en doet onderzoek naar de manier waarop de digitale transformatie van de overheid de relatie tussen de overheid en de burger verandert. U bent medeauteur van het boek De digitale kooi. Ik ben heel benieuwd of we daar vandaag met elkaar uit kunnen komen. Ik hoop het. U zult inzicht geven in het overzicht van de algoritmische toepassingen bij de overheid en aangeven waar dat nu ontbreekt. U stelt oplossingen voor waarbij de democratie daar weer grip op kan krijgen. Wij zijn vanzelfsprekend zeer benieuwd.

Ik zou Martiene Branderhorst willen vragen om te beginnen. U mag blijven zitten, maar u mag ook achter het spreekgestoelte gaan staan. Dat is aan u.

Mevrouw Branderhorst: Dank u wel, voorzitter. Beste leden van de Eerste Kamer, hartelijk dank voor de uitnodiging. Wat goed dat u als voltallige Eerste Kamer, hier of achter de schermen, aandacht besteedt aan dit onderwerp. Daar kunnen heel wat volksvertegenwoordigers en bestuurders een voorbeeld aan nemen. Ik ben Martiene Branderhorst; in het dagelijks leven algemeen directeur bij de gemeente Den Haag. Daar houd ik me bezig met alles wat er in de openbare ruimte in deze mooie stad plaatsvindt. Dat is heel wat, kan ik u vertellen. Technologie is daar ook in toenemende mate een belangrijke factor in.

Maar ik zit hier namens de Raad voor het Openbaar Bestuur. Inderdaad hebben wij het advies «Sturen of gestuurd worden?» geschreven. Ik heb het bij me. U kunt het op onze website uiteraard ook vinden. Ik wil u graag meenemen in dit advies, dat gaat over de legitimiteit van sturen met data en uiteraard ook van sturen met AI. Dat is ook de titel: sturen of gestuurd worden? Ofwel: blijven we aan het stuur of worden we gestuurd?

Kansen en keerzijden van nieuwe ontwikkelingen zijn van alle tijden. Plato was tegen de komst van het schrift. Hij gaf destijds aan: als we gaan schrijven, kunnen we niks meer onthouden. Tijdens de industriële revolutie werd er ook al door kritische wetenschappers gewaarschuwd voor de menselijke prijs van technologische vooruitgang. Deze waarschuwingen zijn er ook als het gaat om de inzet van AI: zorg dat deze systemen niet de regie overnemen, maar stel als overheid de juiste kaders. Dat is, denk ik, de essentie van de waarschuwingen die we veel horen.

AI biedt heel veel kansen en mogelijkheden; dat wil ik toch ook wel even benadrukken. Denk aan de medische sector. Daar zijn nu dingen mogelijk die echt niet mogelijk waren geweest zonder AI. Denk aan het veiligheidsdomein. Vanmorgen was er op de radio weer een item over klimaat en satellieten. Er is veel mogelijk met AI. Maar we moeten wel aan het stuur blijven, zodat we AI op zo'n manier inzetten dat we recht doen aan de grondrechten en aan de Grondwet. Daarom is het zo belangrijk dat u hier ook uw aandacht aan besteedt. Wij als raad denken dat het met name belangrijk is om de juiste vragen te stellen, om verantwoording te vragen of zo nodig te eisen, en om verantwoording af te leggen voor de inzet van AI.

Eerlijk gezegd denken wij ook dat daar een kloof is. Er worden steeds meer data verzameld over burgers, over u en mij. Tegelijkertijd weten wij steeds minder wat er met die data gebeurt, wat anderen ermee doen en wat ze er niet mee doen. Het proces van datasturing en algoritmische besluitvorming is steeds meer een black box.

Dat kan leiden tot digitale ontsporing. U kent allemaal de toeslagenaffaire, maar er zijn helaas meer voorbeelden. Zo werd enige tijd geleden op een congres waar ik was door een overheidsorganisatie trots verteld dat zij een aantal data bijeen hadden gebracht, er AI op hadden gezet en vervolgens een brief naar ouders hadden gestuurd dat hun kind een grote kans had op spijbelen. Dat is nog niet zo heel lang geleden.

Vrij recent was er ook een behoorlijke opstand in een wijk waar een overheidsorganisatie allerlei steekproeven en controles aan het doen was. Daar waren ze niet transparant over geweest. Dat was niet in een naburige wijk, alleen in die ene wijk. Mensen kwamen in opstand en een van de inwoners zei: het lijken hier wel KGB-praktijken. We hebben dus echt nog wat te leren.

Gelukkig zijn er ook goede voorbeelden. Er is een gemeenteraad die samen met inwoners, ambtenaren, wetenschappers en ondernemers heeft vastgesteld wat voor hun belangrijke uitgangspunten en beginselen zijn als het gaat om het inzetten van AI. Zij hebben een soort manifest opgesteld over wat er in die gemeente wel mag met AI bij de dingen die de overheid doet, en wat er niet mag. Zo hebben zij bijvoorbeeld aangegeven: open data mag wel – wij doen alles in open data – maar er mogen nooit besluiten genomen worden op een automatische wijze op basis van AI; er moet altijd sprake zijn van menselijke duiding en ook een mens bij betrokken zijn. Dat is een heel goed voorbeeld van hoe het wel kan. Onlangs is er ook een motie aangenomen door de gemeenteraad in Eindhoven om een ethische commissie in te stellen. Zij zijn niet de enige. Er zijn in toenemende mate overheidsorganisaties die ethische commissies instellen die toetsen op AI; welke uitgangspunten zijn gehanteerd zijn en hoe mogen ze worden ingezet? Gelukkig zien we ook dat de Algemene Rekenkamer er aandacht voor krijgt, gezien het recente rapport.

Dan kom ik bij uw rol. U heeft namelijk ook een belangrijke rol als het gaat om een verantwoorde ontwikkeling en implementatie van algoritmische besluitvorming. Uiteraard hebt u dat – dat zal hier eerder al genoemd zijn – door het bepalen van regels en waarborgen. Nederland is in die zin klein dat wij dat niet alleen zullen kunnen. Daar hebben we Europa hard bij nodig, en soms zelfs de wereld.

U heeft een voorbeeldfunctie, zoals u nu laat zien. Dat is ook een hele belangrijke rol die u heeft. U kunt, en moet in onze ogen, het kabinet om verantwoording vragen over de inzet van algoritmen. Het gaat er dan om hoe de overheid zelf deze algoritmen gebruikt, maar ook – dat vergeten we weleens – hoe al die partijen die door de overheid gecontracteerd worden algoritmen inzetten. Welke aannames gebruiken zij en welke uitgangspunten hanteren zij? Hoe maken zij dat transparant en hoe leggen zij daarover verantwoording af aan hun opdrachtgever, de overheid?

Om goed verantwoording te kunnen afleggen, is het belangrijk om goede vragen te kunnen stellen. Zo kun je toetsen: is datgene wat gebeurt in lijn met onze rechten? Wij hebben daarvoor een datadenkkader ontwikkeld. Dat staat in het rapport. Het staat ook op de website. Daar staan eigenlijk een aantal vragen die u kunt stellen, afhankelijk van de situatie. Ik zal er een aantal noemen. Er staan er veel meer in, maar dan heeft u een indruk. U kunt bijvoorbeeld nagaan voor welk doel de data worden verzameld en verkregen. Is daar een bevoegdheid voor? Mogen ze ingezet worden voor AI? Bij het voorbeeld dat ik net gaf over spijbelen is dat duidelijk niet goed gegaan.

Een vraag is ook welke aannames er worden gedaan als het gaat om het ontwikkelen van algoritmen. Wordt hierover verantwoording afgelegd en, zo ja, waar? Vindt er überhaupt verantwoording plaats? Zijn er ongewenste effecten in beeld gebracht? Helaas zien wij dat nog heel weinig.

Een andere belangrijke vraag is of er rekening is gehouden met belangrijke waarden bij de ontwikkeling van AI, zoals privacy, veiligheid, maar ook bescherming tegen ongelijke behandeling of discriminatie. Is daarnaar gekeken bij de ontwikkeling? Ik gaf het net al als voorbeeld: vindt er automatische besluitvorming plaats op basis van AI of is er altijd een mens bij betrokken? Iemand zei laatst tegen mij: de grootste kans van AI ligt in de samenwerking tussen de mens en de machine. Als er een besluit is genomen, is er dan ook voorzien in menselijk contact met de burger om dat besluit inderdaad te kunnen toelichten en toetsen?

Dat zijn voorbeelden van vragen die u kunt stellen bij iedere wet en bij ieder voorstel. Maar wij denken dat het nog veel belangrijker is om dat structureel te organiseren. Daar pleiten wij ook voor. Wij hopen dat er in het nieuwe kabinet een bewindspersoon is die u daarop kunt bevragen. Wij denken dat het heel belangrijk is om het niet alleen te houden bij een begroting en bij een jaarrekening. Dat doen we voor het geld, maar als we kijken naar AI en data is het ook heel belangrijk om te kijken naar een AI-jaarplan en een AI-jaarverslag. De Algemene Rekenkamer toetst nu op de financiën. Laat de Algemene Rekenkamer dan ook toetsen op de AI en de vraag of de algoritmen op een goede wijze ingezet worden. Dit alles is bedoeld – dan kom ik tot een eind, voorzitter – om de publieke verantwoording over algoritmische besluitvorming en het toezicht daarop beter te organiseren en te sturen vanuit publieke waarden en rechten van inwoners.

Dank u wel, voorzitter.

De voorzitter: Hartelijk bedankt voor deze inleiding en voor de handvatten die u ons gegeven heeft voor de toekomst. Ik ga even kijken wie er vragen heeft aan mevrouw Branderhorst. Hier wreekt zich toch dat ik maar even ingevlogen ben. De vraag is namelijk of de heer Arjan Widlak ook gelijk zijn verhaal wil doen. Daarna gaan we door met vragen. Mag ik u vragen om dat te doen? U heeft koffie gekregen, volgens mij. Nou, dan moet het goed gaan. We zijn benieuwd naar uw bijdrage.

De heer Widlak: Dank u wel. Goedemorgen. Heel hartelijk bedankt dat ik hier mag zijn. Mijn naam is Arjan Widlak. Met Stichting Kafkabrigade doe ik sinds een jaar of acht onderzoek naar hoe de digitalisering van de overheid de relatie met de burger verandert, zoals u al zei. Drieënhalf jaar geleden heb ik samen met Rik Peeters daar inderdaad een boekje over geschreven, namelijk De digitale kooi. Daarin laten wij zien dat de veelal impliciete compromissen die we sluiten bij de vertaling van de wet naar de techniek, stollen in de informatiearchitectuur. Sindsdien heb ik tientallen columns geschreven om die toch wel abstracte thema's concreet te maken en te laten zien hoe dat gebeurt in het leven van burgers. Ik wil even vooraf duidelijk stellen dat ik geen tegenstander ben van digitalisering, gegevensuitwisseling of AI, maar het is mij wel steeds duidelijker geworden dat de digitalisering van de overheid consequenties heeft die we niet expliciet afwegen, waar we geen of heel slecht zicht op hebben en waarvan we niet in control zijn.

Dat brengt mij op het eerste punt. Waar gaat het eigenlijk om? Waar het volgens mij om zou moeten gaan, is niet een bepaalde opvatting over privacy, specifieke kansen of bedreigingen of wat dan ook. Waar het volgens mij om moet gaan, is ons vermogen om überhaupt een democratische afweging te maken. En het gaat om ons vermogen om die keuzes daadwerkelijk te laten materialiseren in de praktijk. Daar zit volgens mij een institutioneel tekort. Dat wil ik illustreren met een analogie. U (kijkt naar mevrouw Branderhorst) gebruikte al het voorbeeld van de begroting. Stel nou eens dat we geen nationale begroting zouden maken, dan lijkt dat te dom voor woorden. Een afweging maken tussen verschillende keuzes is dan in feite onmogelijk en de optelsom van beslissingen leidt vrijwel als vanzelf tot financiële problemen.

Om de geschiedenis er even bij te halen, tot 1798 maakten wij slechts hoogst incidenteel een optelling van al die uitgaven. Het mag dan ook niet verbazen dat eind achttiende eeuw de wens ontstond om de uitgaven in balans te brengen met het ware vermogen om de lasten te dragen. Toch duurde het nog decennia voordat wij jaarlijks een begroting gingen maken voor het geheel der wetten en we in het compliment daarvan, de rijksrekeningen, inzichtelijk maakten wat nu de werkelijke uitgaven en werkelijke kosten waren.

De nationale begroting is nu zo gewoon dat wat dit idee mogelijk maakt, bijna op zichzelf lijkt te staan. Denk aan dingen als overkoepelende financiële doelen, zoals begrotingsevenwicht. Dat lijkt iets wat je gewoon kunt doen, maar zo is het niet. Daar gaan afspraken aan vooraf. Alleen als er een institutionele infrastructuur is die dat mogelijk maakt, kan dat. Dat vraagt bijvoorbeeld om een ambtelijk apparaat. Dat hebben we nu. Dat zit bij Financiën. Dat vraagt ook om standaarden om al die begrotingen in elkaar te schuiven tot één overzicht over het geheel der wetten. Dan pas kunnen we afwegingen maken over welke doelen belangrijk zijn.

Wat voor financiële waarden als een begroting en de rijksrekeningen geldt, geldt ook voor andere waarden, maar toch moeten we dat elke keer opnieuw ontdekken. Bedenk bijvoorbeeld dat pas sinds oktober 2019 het Planbureau voor de Leefomgeving jaarlijks een overzicht maakt over de volle breedte van het gevoerde klimaatbeleid. Daarvoor kon de politiek in feite geen afweging maken. We dachten misschien wel dat we dat deden, maar we waren blind. Zo is het nu ook met de digitalisering van de overheid. We zijn nog blind.

In de presentatie die u heeft ontvangen, heb ik een begin van een overzicht willen bieden door in één plaatje te laten zien hoe elke uitvoeringsorganisatie werkt en is verbonden met het geheel van de uitvoeringsorganisaties. Ik wil daar kort doorheen lopen, vooral om bij elk onderdeel te onderstrepen dat de keuzeruimte voor politieke keuzes die worden gemaakt en we kunnen maken, wordt bepaald door een niveau dat daaronder ligt. Dat zijn de keuzes die we maken over digitale infrastructuur.

De eerste ontwikkeling is automatische besluitvorming. Dat is het fenomeen dat we individuele beslissingen, van de AOW tot de zorgtoeslag, volautomatisch nemen aan de hand van beslisregels. Een politieke beslissing, zoals de invoering van het toeslagensysteem, die u al noemde (kijkt wederom naar mevrouw Branderhorst), was destijds alleen mogelijk omdat automatische besluitvorming op dat moment al een realiteit was. Zonder zou het onmogelijk zijn geweest om jaarlijks 9 miljoen inkomensafhankelijke toeslagen te verwerken. Ik wil maar zeggen dat de keuzeruimte van de politiek is bepaald door de infrastructuur zoals die is. Uiteraard kunnen we dat veranderen, maar niet in het hier en nu. Als we die capaciteit hadden willen ontwikkelen, of als we de wijze waarop dat gebeurt zouden willen veranderen, of als we zouden willen dat hoe en waar dat gebeurt niet meer onlosmakelijk is verknoopt met een bepaalde organisatie, dan kan dat, maar daarvoor zouden we ons expliciet moeten richten op een aanpak van de digitale infrastructuur.

De automatische besluitvorming zoals die nu is, heeft gevolgen die typisch zijn voor dat specifieke fenomeen. Bijvoorbeeld: alleen belangen die discreet gemaakt kunnen worden en zichtbaar zijn in de data, kunnen in ogenschouw genomen worden bij een besluit in eerste instantie. Dus verplaatst de belangenafweging zich van de kern van het besluitvormingsproces naar de fase van bezwaar, althans als dat nodig is en als de burger daarop wijst. Een ander typisch gevolg is dat onredelijke besluiten worden genomen als gegevens niet of niet tijdig beschikbaar zijn. Een computer heeft bijvoorbeeld geen weet van achterstanden bij de postkamer en veronderstelt in zo'n geval dat een burger in gebreke is gebleven en beslist conform. Het is deze asynchroniciteit die we zagen en nog zien bij het CBR.

Ik wil niet stil blijven staan bij de gevolgen van individuele ontwikkelingen, want ik wil naar de interactie van dergelijke ontwikkelingen en naar het geheel. Gegevensuitwisseling is een tweede ontwikkeling. Ik heb er drie, dus ik hou het kort. Als de politie een gestolen auto terugvindt en weer te naam stelt, dan werkt die agent in feite niet alleen meer voor de politie. Hij werkt ook voor de RDW, die direct een oproep apk kan sturen. Die agent werkt ook voor de Belastingdienst, die veel eerder en veel vollediger acceptgiro's voor de wegenbelasting kan sturen. Die agent is in feit drie keer zo productief geworden, al ziet hij dat, helaas voor hem, niet terug in zijn salaris. Automatische besluitvorming maakt gegevensuitwisseling aantrekkelijk. Alleen omdat die gegevens digitaal beschikbaar zijn en alleen omdat hier automatisch op geacteerd kan worden, is dat efficiënt.

Automatische besluitvorming en gegevensuitwisseling samen leiden weer tot een nieuw fenomeen, namelijk automatische netwerkbesluiten. Dat zijn besluiten, waarnemingen, conclusies uit documenten of iets wat leidt tot het vastleggen van gegevens door de ene organisatie die gebruikt worden door andere organisaties. Dat heeft gevolgen elders. Dat verbindt de processen van de ene organisatie met die van andere organisaties. Ook dit fenomeen heeft weer typisch eigen gevolgen, bijvoorbeeld dat allerlei organisaties gaan handelen op basis van het handelen van die ene organisatie. Dat noem ik altijd maar het sneeuwbaleffect. Daarmee zijn ook organisaties gemoeid waar die burger helemaal geen contact mee heeft gehad. Daarom komen gevolgen voor burgers vaak als een donderslag bij heldere hemel.

Wat ook gebeurt, is dat de registraties van individuele organisaties in feite een functie krijgen voor een veel groter geheel, terwijl die registraties niet worden aangepast aan die nieuwe functie. Dus importeert een afnemer van die gegevens via die registratie ook allerlei eisen uit de wetgeving van een ander domein. Dat is namelijk wat gegevensuitwisseling nu is: dat is het delegeren van de waarneming naar organisaties in een andere context, met een ander doel en met andere wetgeving. Ik noem dat ook wel rechtsbesmetting door ICT.

Deels passen afnemende organisaties de registraties wel aan aan de eigen context. Soms moet dat wel, bijvoorbeeld omdat de doelgroep zelden overeenkomt. Zo zijn er allerlei mensen die in Nederland een huis kopen, maar niet door gemeenten worden geregistreerd. Dus zal een afnemer zoals het Kadaster, die gegevens van de gemeente gebruikt, die registratie moeten aanvullen. Dat is een van de redenen waarom het nu noodzakelijk is dat elke afnemer een kopie heeft van de gegevens die zij afneemt. Hierop is weer een derde fenomeen gebouwd waaruit het geheel van de bureaucratische cloud bestaat. Omdat binnen organisaties nu gegevens beschikbaar zijn van andere organisaties, ontstaan er nieuwe mogelijkheden om toezicht te houden. Opvallende verschillen tussen de eigen registratie en de registraties die zij afnemen, kunnen aanleiding zijn voor onderzoek: hé, klopt dat wel?

Omdat die gegevens lokaal en dus heel snel beschikbaar zijn, is het ook mogelijk om hierop statistische analyses los te laten. Dat kan alles zijn van bestandsvergelijkingen tot kunstmatige intelligentie. Ook die statistische signalen worden weer vastgelegd, uitgewisseld en samen met andere zachte informatie, zoals tips, verspreid. Omdat het hier gaat om niet-individuele of niet-feitelijke informatie, of beide tegelijk, kunnen er op basis van data-analyses geen individuele besluiten genomen worden. Maar uiteraard is dat wel waar het om te doen is, dus willen die organisaties zo snel mogelijk van big data naar small data. Echter, onderzoek om een individuele verdenking op te bouwen, is lastig. Er zijn allerlei verklaringen mogelijk voor een statistische opvallendheid en fraude is daar slechts één van. Tegelijkertijd geeft het bestuursrecht organisaties hele ruime bevoegdheden om burgers te vragen hun situatie aan te tonen. Data-analyse maakt het daarom aantrekkelijk om precies dat te doen, om zowel zware fraude als kleine fouten of omissies op dezelfde manier te bestraffen, met dezelfde middelen die het bestuursrecht biedt, namelijk boetes. Data-analyse maakt het dan ook aantrekkelijk om op een andere manier met het recht om te gaan.

Ik kom tot een afronding. Ik eindig met het geheel. Dit zijn allemaal ontwikkelingen die stapsgewijs gebeurd zijn over een periode van decennia. In hele belangrijke mate is die ontwikkeling vormgegeven via bilaterale en multilaterale onderhandelingen tussen overheden onderling. Wetgeving is veel vaker het sluitstuk van zo'n ontwikkeling dan dat het een startpunt is, of richting of kader geeft. Tegelijkertijd heeft die decentrale ontwikkeling geleid tot veranderingen op het niveau van het systeem als geheel. Geen enkele overheidsorganisatie neemt nog zelfstandig beslissingen. Het zijn beslissingen van de bureaucratische cloud als geheel. Dat is een geheel waarover wij geen overzicht hebben. Dat gebrek aan overzicht leidt tot problemen van control. Dat zien wij op allerlei manieren terug. Er is geen begin van overzicht over hoe gegevensstromen lopen, dus weten wij niet welke organisaties gaan handelen op basis van een besluit of een gegevenswijziging bij één organisatie.

Omdat niet transparant is wie hoe gaat handelen en waar dat begint en ophoudt, zijn individuele interacties met de overheid onvoorspelbaar en in ultimo onkenbaar. Dat geldt voor automatische netwerkbeslissingen, maar ook voor de signalen die we vastleggen naar aanleiding van data-analyse. Welke organisaties hebben gehandeld op basis van gegevens in de Fraude Signalering Voorziening van de Belastingdienst? U (kijkt wederom naar mevrouw Branderhorst) noemde de toeslagenaffaire al even. Dat weten we tot op de dag van vandaag niet, ook al zijn er nu vier onderzoeken gedaan. Dat is geen incident. Dat is een systeemkenmerk. Het funderende principe dat een organisatie verantwoordelijk is voor zijn besluit, is in de praktijk niet meer waar te maken, want de verantwoordelijkheid voor de feiten en de toepassing van regels is gescheiden geraakt. De bewijslast ligt bij de burger. Misschien moet ik zeggen: het bewijsrisico. Omdat afspraken zo decentraal en zonder overzicht worden gemaakt, is er ook geen universele manier om procedures voor correctie en herstel in te richten.

Zo zou ik nog wel even door kunnen gaan, maar uiteraard kan dat niet. Alles wat ik tot nu tot heb gezegd, zei ik eigenlijk om één belangrijk principe over te brengen: wij laten de digitalisering van de overheid nu aan wat we het vrije spel der krachten noemen. Allerlei organisaties met geïnstitutionaliseerde belangen onderhandelen over de vormgeving van de digitale infrastructuur. Het is voor deze organisaties buitengewoon moeilijk om het algemeen belang of het belang van het individu op de voorgrond te stellen. Dat is simpelweg omdat ze voor hun positie, hun budget, hun werkproces en zelfs hun voortbestaan afhankelijk zijn van de uitkomst van dergelijke onderhandelingen. Alleen een bovenliggend niveau kan een evenwichtige waardenafweging maken. Maar dat bovenliggende niveau kan dat alleen als de institutionele infrastructuur er is om voldoende overzicht aan te brengen om zo'n waardenafweging te kunnen maken. Dat vereist ook nog eens het inrichten van een besluitvormingsproces waarin die belangen naar voren kunnen komen, zoals we dat ook hebben voor een begroting of andere infrastructuur, zoals een snelweg. De politieke keuzeruimte en het vermogen om die keuzes te monitoren zijn – als je ziet wat ervoor nodig is – zo groot als u die zelf maakt.

Dank u wel.

De voorzitter: Dank u wel voor uw bijdrage. En nu gaan we doen wat ik al eerder van plan was, namelijk rondkijken wie er vragen heeft voor een van deze twee sprekers. Ik zie mevrouw Faber.

Mevrouw Faber-van de Klashorst (PVV): Dank u wel, voorzitter. Ik heb twee vragen. De eerste is aan mevrouw Branderhorst. Zij zegt dat het belangrijk is dat de data open en transparant zijn. Meneer Widlak heeft het over organisaties voor wie het heel moeilijk is om te denken in het algemeen belang en in het belang van het individu. Je hebt het dan over positie en budget. Er zit in feite een dreiging in. Of heb ik dat verkeerd opgevat? Misschien kunt u dat nader toelichten. Bij transparantie, open data en dat soort zaken moet je natuurlijk wel een overheid hebben die meewerkt. In de coronacrisis hebben we gezien dat de Minister van VWS niet zo staat te trappelen om al zijn data te openbaren. Dus daar zit natuurlijk al een probleem. Als die data niet open worden en er geen transparantie is, wordt het heel moeilijk voor ons om een kader te stellen. Kunt u daar nader op ingaan?

De voorzitter: Dit was mevrouw Faber van de PVV. Ik kijk eerst naar mevrouw Branderhorst.

Mevrouw Branderhorst: Dank u wel voor uw vraag. Transparantie en privacy zijn heel belangrijk. In dit gesprek over publieke waarden merk je ook dat die soms wringen met elkaar of elkaar tegen kunnen spreken. Als het gaat om gevoelige data over gezondheid van mensen of over individuele privacygegevens die men graag voor zichzelf houdt, dan zijn dat geen open data.

Mevrouw Faber-van de Klashorst (PVV): Je kunt altijd data anonimiseren. Ik snap natuurlijk wel dat je niet zoiets neerzet als «Jantje heeft dit en Pietje heeft dat», maar je kunt bepaalde gegevens natuurlijk anonimiseren. Er moet dus ook wel de wil zijn om het te openbaren.

Mevrouw Branderhorst: Ja. Ik zie dat in heel veel gevallen, als het kan en de volksvertegenwoordigers de kaders stellen van wat ze wel en niet willen als het gaat om data. U kunt aangeven: wij willen dat dit en dat automatisch mag, we willen dat op bepaalde punten de mens erbij betrokken wordt en we willen dat als u iets inzet u eerst deze vier vragen beantwoordt en dat transparant maakt. Als u daar aan de voorkant al over nagedacht heeft en dat meegeeft aan de overheidsorganisatie, dan gaat er wat gebeuren aan de achterkant. Dan gaan mensen anders kijken naar de systemen, in de zin van: we worden ter verantwoording geroepen en er worden vragen aan ons gesteld, maar als wij de antwoorden daarop zelf niet hebben betekent het dat wij ook aan de bak moeten. Dus door als Eerste Kamer c.q. een andere volksvertegenwoordigende partij kaders te stellen voor wat u belangrijk vindt en waarover verantwoord zou moeten worden, kan er veel meer gebeuren. Het probleem is echter dat dit heel vaak niet gevraagd en besproken wordt, dat dus alles doorgaat zoals het altijd doorgaat, en dat je dan het effect hebt dat het niet transparant en duidelijk is wat er gebeurt.

De voorzitter: Dank u wel, mevrouw Branderhorst. Meneer Widlak.

De heer Widlak: We kunnen hier op twee manieren naar kijken. De eerste is: de ene waarde kan botsen met de andere waarde. Dat is precies wat een politieke afweging of een waardenafweging is: wat vinden wij belangrijker? Dat is niet iets waar ik mij over heb willen uitspreken, ik heb mij vooral willen uitspreken over wat er voor nodig is om die afweging überhaupt te kunnen maken, want ik denk dat daar nu heel erg het probleem zit.

Transparantie is enerzijds een waarde op zichzelf en ook een waarde die we in Nederland heel erg belangrijk vinden. Als het maar enigszins mogelijk is om dat te doen, dan willen we dat graag. Maar het is anderzijds ook een instrument. Het wordt heel vaak geplaatst in een discussie over rekenschap, terwijl transparantie voldoende noch noodzakelijk is voor rekenschap. We kunnen heel veel verschillende keuzes maken over hoe we rekenschap vormgeven, afhankelijk van welke waarde we het belangrijkst vinden. Er zijn heel veel mensen die zullen zeggen: sommige dingen moeten we niet transparant maken want dan ben je bezig met «gaming the system» en weten mensen wat ze moeten doen om de regels te omzeilen. Dat kan een positie zijn, maar wat dan ontbreekt is hoe we dan wel verantwoording gaan afleggen. Het gaat er veeleer om dat we überhaupt een systeem van verantwoording inrichten, meer nog dan om de vraag welke keuzes we daarin maken. Want het punt is: dat doen we nu niet.

De voorzitter: Dank u wel. Dan geef ik nu het woord aan de heer Dittrich van D66.

De heer Dittrich (D66): Dank aan beide inleiders. Ik heb een vraag over de achterkant. Als we wetgeving maken, zien we vaak dat we allerlei goede bedoelingen hebben, dat de uitvoeringsinstanties aan de slag gaan en dat er vervolgens een soort nieuwe werkelijkheid ontstaat. De vraag is dan hoe we kunnen controleren of het uiteindelijk gedaan wordt zoals we dat als wetgever hebben bedoeld. Ik begrijp uit uw verhaal dat we de juiste vragen moeten stellen. Dat roept bij mij de vraag op of wij ook zelf AI kunnen inzetten om te toetsen of de bouwers van de systemen daadwerkelijk de uitgangspunten die we zelf hebben geformuleerd, hanteren. Kunnen we AI gebruiken om onze controlepositie te versterken?

De voorzitter: Ik ben benieuwd naar de antwoorden van beide sprekers.

Mevrouw Branderhorst: Een hele mooie vraag. Het zal vast kunnen, maar ik zou willen beginnen met de menselijke kant. Ook in de uitvoeringsorganisaties gebeurt van alles. Volgens mij willen heel veel uitvoeringsorganisaties heel graag aangeven wat er gebeurt en willen ze ook in contact komen met de politiek over de keuzes die zijn gemaakt, ook om te kijken of die keuzes in de uitvoering ook uitpakken zoals bedoeld of dat men tegen allerlei zaken aanloopt die men aan de voorkant helemaal niet bedacht had. Waar het gaat om het toetsen of datgene wat bedacht is ook uitwerkt zoals beoogd, zou ik het belangrijk vinden om een evaluatiemoment in te bouwen om te spreken over de uitvoering. Daarbij kan dan aan de voorkant expliciet worden aangegeven wat men belangrijk vindt, in de zin van wat men wil bereiken. Op die manier kan je na een jaar ook veel scherper kijken of de kaders die je gesteld hebt ook zijn bereikt. Als het gaat om een kader dat je heel makkelijk met AI kan toetsen, dan kan je dat doen. Maar het begint volgens mij veel meer met nadenken over wat je als politici wil wat er over een, twee of drie jaar uitkomt voor die burgers en hoe je dat kunt toetsen. Als dat gesprek aan de voorkant al plaatsvindt, dan hebben we volgens mij al heel veel gewonnen en kan je op basis daarvan wellicht kijken welke AI je daarvoor kunt inzetten, maar mijn pleidooi is dan wel om dat altijd te doen door de mens erbij te betrekken.

De voorzitter: Meneer Widlak, wij zijn benieuwd naar uw reflectie in dezen.

De heer Widlak: Ik kom enorm in de verleiding om te vertellen wat kunstmatige intelligentie is, maar daar hebben we helaas de tijd niet voor. Laat ik een analogie gebruiken. Er is een prachtige urban legend over een Amerikaans militair schip dat op de Middellandse Zee vaart en op den duur contact krijgt met twee Griekse vissers en dat aangeeft niet van plan te zijn om van zijn koers af te wijken, waarbij die twee Griekse vissers iets soortgelijks zeggen; het lijkt dan een soort haantjesgedrag tussen beide partijen te worden. En opeens aan het eind van dit verhaal kom je erachter dat die twee Griekse vissers niet op een boot zitten maar op een eilandje met een vuurtoren. Wij als mens zijn vervolgens in staat om alles wat we eerder horen, te herinterpreteren en om te begrijpen dat zonder dat dat grote schip het aangeeft, het echt wel van koers zal wijzigen, omdat wij al die informatie een nieuwe betekenis kunnen geven. Zo werkt kunstmatige intelligentie niet. Bij kunstmatige intelligentie geldt dat elke keer dat er iets gebeurt, er sprake is van een enkel datapunt. Het vastlopen op een eiland met een vuurtoren weegt net zo zwaar als elke andere gebeurtenis. Die reflectie is iets wat kunstmatige intelligentie niet kan.

Als het gaat om de vraag of een waardenafweging die in wetgeving wordt vastgelegd, uiteindelijk ook wordt gematerialiseerd in de uitvoeringsorganisaties op een manier zoals wij voorzien, denk ik dat we niet alleen over AI moeten praten. Ik begrijp dat het een enorm modewoord is, maar we moeten echt kijken naar dat geheel, want dit is een bouwwerk van automatische besluitvorming, gegevensuitwisseling en uiteindelijk data-analyse waaronder kunstmatige intelligentie. Bij dat bouwwerk moeten we veel meer kijken naar wat er überhaupt gebeurt. Dit speelt namelijk op zo veel meer terreinen dan alleen dat van kunstmatige intelligentie. Ik noem bijvoorbeeld het feit dat we geen goede procedures hebben voor correctie en herstel. Dat werkt natuurlijk ook door in de gegevens die gebruikt worden om een model te trainen, of bij welke specifieke implementatie van AI dan ook.

Al die dingen hangen met elkaar samen. Op het moment dat je daar een beetje onderzoek naar doet, zijn daarvoor denk ik relatief eenvoudige normen op te stellen waaraan u kunt toetsen. Ik heb ook een voorzetje gegeven in dit boekje (wijst op het boek De digitale kooi), in de vorm van een aantal abstracte normen, die tegelijkertijd ook wel weer zo concreet zijn dat je ze kun toetsen als een wet wordt geïmplementeerd. Het gaat er veeleer om dat we moeten toetsen op principes zoals of men in staat is om een correctie verwerken, dan iets nieuws te gaan gebruiken wat heel veel mogelijkheden lijkt te bieden, om de vraag te beantwoorden die we eigenlijk aan onszelf moeten stellen.

De voorzitter: Dank u wel voor deze uitgebreide toelichting. Mevrouw De Blécourt van de VVD heeft een vraag.

Mevrouw De Blécourt-Wouterse (VVD): Dank u wel, voorzitter. Mevrouw Branderhorst vertelde dat zij het een goed idee vond als er een AI-jaarverslag zou komen, althans zo heb ik dat opgevat, en dat de Algemene Rekenkamer dat zou kunnen toetsen. Ik heb ook gehoord hoe ingewikkeld het allemaal is, ook waar het gaat om rekenschap. Ik ben in ieder geval benieuwd of de heer Widlak dit ook een goed idee zou vinden.

De voorzitter: Ik kijk eerst naar mevrouw Branderhorst, want aan haar werd de vraag gesteld over het jaarverslag.

Mevrouw Branderhorst: Het klopt inderdaad: om het nieuwe kapitaal data ook op die manier in te richten, naar analogie van de financiën. Daar heb ik inderdaad voor gepleit.

De voorzitter: Dan kijk ik naar de heer Widlak.

De heer Widlak: Ja, zonder meer. Geef het een leuk woord. Noem het een databegroting of een datajaarverslag of wat dan ook en formuleer een aantal basisprincipes om dit in kaart te brengen. Denk bijvoorbeeld aan het principe: als we gegevens uitwisselen dan doen we dat nog maar via één route en niet via tien verschillende routes, zodat we weten waar die data blijven. Breng vervolgens in kaart waar die data helemaal heengaan. En doe dat niet zoals BZK dat nu op een mijns inziens hopeloze manier probeert via de bron, want we weten niet waar dat allemaal heengaat. Bovendien, als het gaat om open data, weten we al helemaal niet wie ze gebruikt. Dus doe het via de afnemerskant, want daar worden die gegevens gebruikt, en breng in kaart welke besluiten we nemen en welke gegevens daarvoor worden gebruikt. Er zijn een aantal eenvoudige principes aan de hand waarvan je zo'n databegroting zou kunnen inrichten. Een buitengewoon goed idee, denk ik.

De voorzitter: Dank u wel. Ik zie alweer de volgende spreker, de heer Nicolaï van de Partij voor de Dieren.

De heer Nicolaï (PvdD): Dank u wel, voorzitter. Mooie inleidingen, ingewikkelde materie. Ik wil een vraag stellen aan mevrouw Branderhorst. Als ik kijk naar dat Data Debat Denkkader – interessant – vind ik het heel erg procedureel. Tegelijkertijd heb ik in het grote advies van de raad ook wel het gevoel dat men daar ook een soort materiële lading aan wenst te geven als het om grondrechten gaat. Je zou je ook kunnen voorstellen dat de raad zou zeggen: in dat soort gevallen achten wij vanuit de grondrechten gezien automatische besluitvorming bij de overheid onaanvaardbaar. Mijn vraag is of de raad daarover heeft nagedacht en waarom het er niet in staat.

Dan een tweede vraag. Ik zie dat in het advies wordt gezegd: je moet kijken naar de menselijke maat. Dat kan er aan het eind bijvoorbeeld toe leiden dat er een herzieningsverzoek of een bezwaar komt en dat dan weer een mens naar een besluit kijkt dat automatisch is genomen. De Raad voor het Openbaar Bestuur staat voor al die besturen en ook voor al die ambtenaren. Vroeger ging je naar een loket en dan sprak je met een ambtenaar. Dat is verdwenen. Mijn vraag is hoe we weer aan de voorkant van dat proces die menselijke maat erin krijgen en of dat met zich meebrengt dat je voor sommige besluitvorming eenvoudig niet-digitaal kan eisen.

Ik geef een voorbeeld. Je kon vroeger een bouwvergunning aanvragen, gewoon bij het loket. Vervolgens kon je dat digitaal doen, maar was dat nog steeds niet verplicht. Op een gegeven moment wordt het dan wel verplicht. Dan krijgen we een verschuiving – ik denk dat de heer Widlak daar ook het een en ander over kan zeggen – waardoor de burger niet meer weet waar zijn gegevens blijven en wat ermee gebeurt. Die begrijpt vaak al helemaal niet hoe het gaat.

Dat waren mijn vragen. Dank u wel.

De voorzitter: Een behoorlijk aantal vragen. Mevrouw Branderhorst, ik vraag u om er als eerste wat over te zeggen en daarna vraag ik op de laatste vraag nog een korte reflectie van de heer Widlak, want de tijd gaat door en ik weet dat er nog een aantal andere vragenstellers zijn.

Mevrouw Branderhorst: Dank u wel. Wij hebben het advies inderdaad met veel mensen besproken. Ik zou er graag één vraag aan toe willen voegen in de volgende editie en dat is: moet je wel AI en digitalisering inzetten? Dan maak je die afweging dus aan de voorkant. Daar zitten kosten en baten aan, maar ook de vraagstukken die u aangeeft. Die vraag zit er nu wat verstopt in. Ik zou hem er expliciet aan willen toevoegen, want wat u zegt is waar. Gelukkig zie ik ook heel veel overheidsorganisaties die daar oog voor hebben. Het is een beetje welke definitie je hanteert, maar er zijn 2,5 miljoen mensen die eigenlijk niet met deze hele digitalisering uit de voeten kunnen. Dat zijn heel veel mensen. Je ziet in toenemende mate dat overheidsorganisaties en zeker gemeenten aangeven: «Het kan dus bij ons niet alleen maar digitaal, dat mag gewoon niet. Wij willen altijd een alternatief hebben. Er moet dus altijd een mogelijkheid zijn voor de inwoner om gewoon bij ons te komen, zodat we het samen kunnen doen.» Dan is dat loket, de mens, er dus aan de voorkant. Er zijn heel veel gemeentes die dat gewoon als kader hebben meegegeven of als algemeen uitgangspunt of algemeen beginsel. In die zin is het een heel terecht punt, en gelukkig zie ik daar heel veel aandacht voor. Bij de rijksoverheid is dat ingewikkelder. Daar weet ik ook minder van. Dat is natuurlijk veel omvangrijker en voor heel Nederland. Dat is een andere manier van organiseren. Dat is een lastigere vraag.

Het klopt wat u zegt, dat mensen als je niet oplet verstrikt raken in alle ingewikkelde aanvragen, systemen en digitaliseringsprocessen die er zijn. Een alternatief daarvoor, of een kans voor iemand aan de voorkant is heel erg belangrijk. Wij pleiten er niet voor dat je eerst automatisch een besluit neemt en pas in de bezwaarprocedure gaat kijken wat een mens doet. Daar pleiten wij niet voor in ons advies. Wij zeggen juist dat je je moet afvragen wanneer je automatische besluitvorming kan doen en of je vindt, zoals sommige gemeenten hebben aangegeven, dat er altijd een mens moet kijken naar wat eruit komt en dat een mens moet kunnen uitleggen «dit komt eruit, omdat dit en dit de uitgangspunten zijn geweest». Daarmee kan men uitleggen aan een inwoner of volksvertegenwoordiger: «daarom doen we dit en daarom vinden het verantwoord om zo in te zetten». Er moet dus juist aan het begin mee worden gekeken. Het is niet iets van de IT-afdeling. Je moet als ambtenaar weten wat je doet, wat er uit zo'n systeem rolt en waarom dat eruit komt. Dat is echt ook nog een aandachtspunt.

Ik hoop dat ik hiermee al uw vragen enigszins beantwoord heb.

De voorzitter: In ieder geval een begin, denk ik. Ik denk dat de heer Nicolaï er anders zeker nog een keer bij u op terugkomt. Ik ga nu naar de heer Widlak.

De heer Widlak: Ik praatte natuurlijk net over allerlei dingen waarbij het misgaat, maar laten we niet vergeten dat automatische besluitvorming fantastisch is. Negen van de tien keer werkt het gewoon als een tierelier. Het punt is alleen dat wij hier op een heel eenzijdige manier mee omgaan, gestuurd door heel globale politieke doelstellingen, zoals kostenbesparing of fraudebestrijding. Daarom maken wij helemaal geen gebruik van de mogelijkheden die dit ook voor de burger zou kunnen bieden. Op het moment dat ik gymschoentjes bestel bij Nike, kan ik die in allerlei kleurtjes krijgen, met allemaal soorten veters. Dat noemen we massacustomisatie. Maar probeer maar eens als bijstandsgerechtigde de betaaldatum van een toeslag zelf in te stellen. Dat kan makkelijk, technisch. Het gebeurt alleen niet, omdat er geen enkele prikkel is om dat te doen. Wij zetten kunstmatige intelligentie – nogmaals, ik praat liever over het bredere fenomeen data-analyse – in de praktijk eigenlijk alleen maar in voor fraudebestrijding, terwijl het natuurlijk een uitgelezen middel zou zijn om patronen te herkennen en te zien: hier is een menselijke afweging nodig, omdat hier bijzondere belangen zijn. Maar wij zetten het eenzijdig in, omdat het gestuurd wordt door een heel kleine groep heel algemene politieke doelen.

De voorzitter: Dank u wel. Dan geef ik nu graag het woord aan mevrouw Kluit, GroenLinks.

Mevrouw Kluit (GroenLinks): Dank voor de heldere uitleg. Ik heb eigenlijk twee vragen, die een beetje gaan over het einde van het geheel. Als ik hiernaar luister, hoor ik dat het een groeiende wereld is. De data groeien en veranderen, ook die waar wij besluiten op nemen. Stel dat wij heldere kaders stellen en een mooie controle hebben en een jaarverslag. Wat vraagt het nou aan uitvoeringskracht om dit goed te doen? Wij zijn er in het parlement wel goed in om aan de voorkant dingen goed te regelen, maar uiteindelijk wordt het pas wat waard als we het ook in de uitvoering goed gaan doen. Dus aan u de vraag wat dat nou betekent voor decentrale overheden, voor wat die aan inzet, kennis en ontwikkeling doen. En misschien aan meneer Widlak de vraag wat er op systeemniveau landelijk moet gebeuren. Moeten we in de orde van grootte denken van het Ministerie van Financiën, waar ook behoorlijk wat mensen werken?

De voorzitter: Laat ik het omdraaien. Meneer Widlak, als u eens begint.

De heer Widlak: Ik denk dat het wel meevalt. Eerst in termen van oorzaken en dan in termen van oplossingen. In termen van oorzaken, op het gevaar af een beetje Herman Tjeenk Willink te herhalen: wat vooral nodig is op beleidsniveau, is kennis van de uitvoering. Dat is natuurlijk wat we sinds de jaren tachtig ... Overigens doen we het nog steeds, hè. Alle uitvoeringskennis wordt nog steeds ongeveer vrijwel direct het ministerie uitgebonjourd, terwijl die kennis echt nodig is om beleid te kunnen maken. Die kennis zit nu in de uitvoeringsorganisaties, maar die uitvoeringsorganisaties hebben een institutionele positie die het heel moeilijk maakt om bepaalde waardeafwegingen op een ongebonden manier te maken. Wat dus heel erg nodig is, denk ik, is dat bepaalde afwegingen worden gemaakt op systeemniveau in plaats van op een lager niveau, waar het eigenlijk een onderhandelingsproces is. Wat daarvoor nodig is, is vooral een hoop kennis en een aantal standaarden. Ik denk dat het reuze meevalt in termen van echte capaciteit, of je daar heel veel ambtenaren voor nodig hebt. Het zijn eigenlijk dingen die allemaal in theorie beschikbaar zijn. We doen het alleen niet.

De voorzitter: Dan kijk ik naar mevrouw Branderhorst. Of eerst mevrouw Kluit nog.

Mevrouw Kluit (GroenLinks): Ik wil u vragen om daar toch iets over te zeggen, meneer Widlak. Het klopt wat u zegt en dat snap ik ook, maar het gaat ook heel vaak fout in die laatste vertaling. Want 20, 50, 100, 200 of 1.000 ambtenaren erbij om kennis te ontwikkelen, kennis in huis op te halen of zo'n proces op te zetten, dat is heel vaak wat uiteindelijk niet lukt en dat is waarom we tegen die uitvoeringsproblemen aan blijven lopen.

De heer Widlak: Nogmaals, ik denk helemaal niet dat het gaat om ambtenaren erbij. Ik denk dat het gaat om ambtenaren op de goede plek. Ik ken heel veel ambtenaren die bijvoorbeeld heel lang op een ministerie hebben gezeten en die uit pure frustratie, eigenlijk omdat dit soort dingen niet gebeuren, vertrekken van een beleidsministerie naar een uitvoeringsorganisatie omdat daar tenminste wat gebeurt. Die gaan dan bijvoorbeeld van BZK naar het CJIB. Wat doen we daar? Daar zijn we nu bezig om AI op een heel positieve manier in te zetten. Dan bereiken ze iets voor mensen in de samenleving en dat is natuurlijk waarom heel veel mensen ambtenaar worden. Ik denk dat het helemaal geen capaciteitsvraag is. Ik denk dat het een organisatievraag is.

Mevrouw Branderhorst: Het is in ieder geval iets van ons allemaal. We weten allemaal iets van hr, we weten allemaal iets van financiën en we moeten ook allemaal iets van data weten. Dat is dus sowieso iets. Het is dan meer de kwaliteit dan de capaciteit. Stel dat u als Kamer zegt: we willen inderdaad zo'n AI- of datasturingsjaarverslag en -plan. Daar zou ik heel blij mee zijn. Tegelijkertijd vraagt dat echt nog wat uitwerking. Als je dat politiek zou willen, zou ik vervolgens willen dat heel goed wordt nagedacht over wat je exact wilt en wat dat exact betekent. Dus dan niet die politieke globaalheid, maar dat echt wat meer specificeren. Ik denk dat dat een aparte expertbijeenkomst vraagt. Vervolgens moet je je afvragen waar je het aan gaat toetsen. Want zoiets is niet in een jaar geregeld. Het is net als bij die begroting. Dat heeft jaren geduurd. Maar laten we alsjeblieft beginnen. Dus als u een heel duidelijk kader stelt en zegt dat u het wilt, kan er daarna mee aan de slag worden gegaan. Dan zal het niet in één jaar geregeld zijn en dan zal het niet gelijk goed zijn, maar dan hebben we volgens mij wel een heel belangrijke kanteling te pakken.

De voorzitter: Dan u wel. Dan de laatste vragensteller in deze ronde, de heer Crone van de PvdA.

De heer Crone (PvdA): Dank u wel. Ik heb u al drie keer bedankt voor uw antwoorden doordat de microfoon niet werkte, maar ik meen het ook. We bespreken nu wat de overheid doet: wij zenden regelingen naar de samenleving en wij onderzoeken wat burgers doen. Dat is goede statistische analyse, zal ik maar zeggen. Maar wat ik nu voortdurend lees en hoor, is dat er een narratieve fase in de AI komt en dat de bots zelf verhalen gaan maken, Zoals de bots nu ook de tiende symfonie van Beethoven hebben kunnen maken, gaat dat ook in taal gebeuren. Je kunt van het net zo schrapen – dat heb ik in de vorige debatten ook genoemd – tijdens de wedstrijd Cambuur-Ajax op welk moment er een doelpunt valt, wie ’m maakt enzovoorts. Je kunt dus een minuut na de wedstrijd al een verslag hebben: niet alleen de feiten, maar geschreven tekst alsof Mart Smeets het heeft gedaan. Want welke taal, welk narratief is Mart Smeets gewend te gebruiken? Nou is dit een simpel voorbeeld, maar bots gaan verhalen maken alsof het de overheid is, alsof het Rutte is. Moeten we dan een keurmerk hebben «dit was echt Mart Smeets, maar dit niet» of «dit was echt meneer Rutte, maar dit niet»?

Ik lees net in de kranten dat de rekencapaciteit in 2050 een miljard meer is dan nu, de rekencapaciteit voor het inzetten van AI. Dus dan komt het waardepatroon. U zei net duidelijk dat er nu nog geen waardepatroon in zit. Maar dat hebben we dan niet meer in de hand, want dan gaat AI ook het waardepatroon bepalen. Waarschijnlijk zijn dan commercieel slecht nieuws en moord en doodslag het meest verkoopbaar en gaat de commercie dus die narratieven naar voren halen. Maar goed, dat is die meneer van Google die dit allemaal zegt en die ook heel fijn nu in Amsterdam woont. Die is dus ook bezorgd. Ik weet niet wie hierop kan antwoorden, want is voor mij ook heel nieuw.

De voorzitter: Ik kijk even naar de beide sprekers. Dit wordt voor hen allebei voor vandaag hun uitsmijter. Dus meneer Widlak, uw uitsmijter. En daarna die van mevrouw Branderhorst.

De heer Widlak: Nee, sorry, dit is gewoon niet mijn expertise. Het spijt me.

De voorzitter: Nou, dat is nog eens een helder, duidelijk en eerlijk antwoord. Over transparantie gesproken. Fantastisch. Dan mevrouw Branderhorst.

Mevrouw Branderhorst: Het is alleen niet zo'n leuke uitsmijter. Dit is niet mijn expertise, maar wat als eerste in mij opkomt, is de zelfrijdende auto. Daar wordt natuurlijk heel veel in geïnvesteerd en er gebeurt heel veel, maar zodra er iemand in verkleedkleren, verkleed als spook, over het zebrapad loopt, is het hele systeem van slag. Het gaat dus goed en ze kunnen alles neerzetten als het precies volgens de regels gaat, gaat zoals zij het geleerd hebben, maar zodra er dus iets heel erg onverwachts gebeurt en het gaat om duiding en reflectie, hebben ze die niet. Daar zit nog wel een kans voor ons om dat te pakken. Dat is niet een antwoord op uw vraag, maar dat kwam wel in mij op naar aanleiding van uw betoog.

De heer Crone (PvdA): Een korte reactie als het mag. Ik lees dat AI steeds meer wordt als een lerend kind. Een lerend kind loopt ook eerst een keer tegen die hete verwarming, maar doet het daarna niet meer. Daar gaat dus echt een volgende slag komen – ik kan die niet overzien, hoor – waarin de capaciteit wel degelijk zo groot wordt dat er bijna niks meer is dat die niet voorzien heeft. En dan is het een voorbeeld dat u noemt niet eens een waardepatroon, maar gewoon rekenkracht.

Mevrouw Branderhorst: Als er dan een fietser oversteekt en een wandelaar oversteekt en hij moet kiezen en het gaat net anders, kan hij dat doen op basis van regeltjes en dat kan misschien op menselijke, publieke waarden een heel verkeerde keuze zijn.

De voorzitter: Waarvan akte. Ik dank u allebei hartelijk voor deze bijdrage, voor hetgeen u heeft toegevoegd aan onze bescheiden kennis. Want dat is wel wat we merken deze dagen, hoe bescheiden onze kennis is en ook, vrees ik, een beetje zal blijven. Toch vertrouwen wij erop dat de twee volgende sprekers onze kennis weer wat gaan uitbreiden.

Blok 2: Hoe kan de Eerste Kamer vinger aan de pols houden?

Gesprek met:

• de heer Reijer Passchier (Universiteit Leiden, Open Universiteit)

• de heer Robert van Doesburg (TNO/Leibniz Institute)

De voorzitter: De volgende sprekers zijn de heer Reijer Passchier en de heer Robert van Doesburg. De heer Reijer Passchier is universitair docent staats- en bestuursrecht aan de Universiteit Leiden en aan de Open Universiteit. U schreef het boek Artificiële intelligentie en de rechtsstaat. U zult met ons bespreken dat digitalisering en de opkomst van AI de balans van de trias politica zouden verstoren. U draagt ook mogelijke oplossingen aan. U heeft geen presentatie, dus u doet uw verhaal zo meteen zonder extra sheets. Wat dat betreft heeft u extra aandacht van ons allen. Daarna geven we graag het woord aan de heer Robert van Doesburg, senior scientist bij TNO/Leibniz Institute en PhD-kandidaat aan de Universiteit van Amsterdam. U gaat het met ons hebben over normatieve systemen voor mensen en machines en daarbij de methode en het belang van het Calculemus-FLINT-project, waarmee wetgeving zou kunnen worden omgezet in een computercode. Dat wordt wel heel spannend. Deze beide toelichtingen maken ons zeer nieuwsgierig, dus ik geef graag als eerste het woord aan de heer Passchier.

De heer Passchier: Dank u wel, mevrouw de voorzitter. Dank u wel voor de uitnodiging om hier iets te mogen zeggen over mijn onderzoek. De kern van mijn boodschap is dat het AI-debat, het digitaliseringsdebat veel meer zou moeten gaan over macht en machtsverhoudingen. Die zijn namelijk door digitalisering en de opkomst van AI enorm aan het verschuiven. Daardoor dreigt ons stelsel van checks-and-balances disfunctioneel te raken.

Ik wil in het bijzonder even inzoomen op de trias politica, misschien wel de belangrijkste pijler van de democratische rechtsstaat. De trias politica maakt onderscheid tussen drie functies van de overheid: de uitvoerende functie, de wetgevende functie en de rechtsprekende functie. Die functies zijn belegd bij verschillende ambten, waarvan u er een bekleedt. Een deel van de wetgevende macht is bij de Eerste Kamer belegd, de uitvoerende macht vooral bij de regering en de rechtsprekende macht bij de rechtspraak. In de leer van de trias politica moeten die machten ongeveer met elkaar in balans zijn, zodat zij elkaar effectief kunnen controleren en als gelijkwaardige partners met elkaar kunnen samenwerken bij het maken van beleid en bij het maken van wetgeving.

Die balans staat al een hele tijd onder druk. Met de opkomst van de verzorgingsstaat en de veiligheidsstaat sinds 11 september is de uitvoerende macht ongeveer vijf à zes keer zo groot geworden en heeft die heel veel discretionaire macht en een enorm budget gekregen. De rechtspraak is wel iets meegegroeid, maar de Staten-Generaal zijn eigenlijk nog steeds dezelfde als voordat we aan dit hele project begonnen, hebben ongeveer dezelfde middelen, dezelfde hoeveelheid leden, dezelfde hoeveelheid ondersteuning en hetzelfde budget. Er is dus reeds een enorme disbalans in de trias politica ontstaan.

Die disbalans wordt versterkt door digitalisering en de opkomst van AI. Bij deze volgende grote maatschappelijke ontwikkeling zien we weer dat vooral de uitvoerende macht daarvan weet te profiteren. De uitvoerende macht zet op tal van plekken digitale technologie in om effectiever te worden en wordt daardoor ook machtiger. Nu al, volgens de laatste tellingen van het CBS en TNO, wordt er op tal van plekken binnen de overheid al geëxperimenteerd met artificiële intelligentie, met machinelearning en deep learning. Volgens de laatste tellingen zijn ongeveer tegen de 200 instanties al daarmee aan de slag. Dat gaat in een enorm hoog tempo en het gaat al vrij ver. De rechtspraak doet wel wat, maar heeft nog niet heel veel succes met digitalisering. Er wordt wel wat geëxperimenteerd, maar mondjesmaat. Er is binnen de rechtspraak ook veel weerstand tegen digitalisering. De Staten-Generaal doen wat mij betreft bijna niets met digitale technologie, althans niet om effectiever te worden, om hun macht effectiever aan te wenden. Dit is een factor die de disbalans binnen de trias politica vergroot.

De tweede belangrijke factor die maakt dat digitalisering de disbalans binnen de trias politica vergroot, is dat door digitalisering en AI de uitvoerende macht ook ondoorzichtiger wordt. Digitale technologie heeft in veel gevallen een welbekend blackboxkarakter. Die black box bestaat uit een aantal aspecten. De digitale technologie die gebruikt wordt door de overheid, de werking daarvan en de algoritmes die daarin zitten zijn vaak niet openbaar, bijvoorbeeld vanwege opsporingsbelangen of omdat er intellectueel eigendom op die algoritmes rust. Als ze ontwikkeld zijn door private partijen, zorgen die private partijen er vaak voor dat niet iedereen kan meekijken en zijn de algoritmes dus niet openbaar en moeilijk te controleren voor buitenstaanders zoals de Eerste Kamer.

Een tweede aspect van dat blackboxkarakter is dat ook als de algoritmes openbaar zijn en de data op basis waarvan die algoritmes ontwikkeld zijn of die die algoritmes analyseren, degene die ze moet controleren wel de deskundigheid moet hebben om dat effectief te kunnen doen. Ook daar schort het nog weleens aan, zowel bij rechters als bij Kamerleden en senatoren. Er gebeurt de laatste tijd natuurlijk wel het een en ander om dat recht te zetten, maar gezien de impact van deze maatschappelijke ontwikkeling op de overheid is dat wat mij betreft nog maar heel mondjesmaat. Ook gezien wat er op het spel staat, zouden de Staten-Generaal nog wel wat tandjes mogen bijzetten op dat punt om zichzelf in staat te stellen om het gebruik van digitale technologie door de uitvoerende macht te controleren.

Het derde aspect van het blackboxkarakter van de digitale technologie die de uitvoerende macht gebruikt, is dat als dit AI-systemen betreft – nogmaals, wat mij betreft machinelearning en deep learning – de werking van de systemen vaak zelfs voor experts, zelfs voor de computerprogrammeurs die die algoritmes ontwikkeld hebben, niet goed uit te leggen is. De algoritmes worden ook wel een oceaan van wiskunde genoemd. Ze veranderen soms miljoenen keren per seconde. Als zelfs de betrokken experts niet goed kunnen uitleggen hoe zo'n algoritme tot conclusies komt of de motivatie van die algoritmes niet tot de normale menselijke verbeelding spreekt, hoe moeten dan rechters of Kamerleden daar controle op uitoefenen? Dat was het blackboxkarakter van digitale technologie.

Een derde factor die de disbalans in de trias politica vergroot, is dat het gebruik van digitale technologie de overheidsorganisatie complexer maakt. Daar is net uitgebreid over gesproken door collega Widlak. Digitale technologie maakt het aantrekkelijk voor overheidsinstanties om veel informatie met elkaar uit te wisselen. Algoritmes hebben ook veel data nodig om goed te kunnen werken. Daardoor zijn er allerlei complexe interacties tussen overheidsorganisaties die vaak voor de betrokken organisaties zelf niet goed zijn te overzien en te controleren, laat staan, wederom, voor buitenstaanders, relatieve buitenstaanders als rechters en parlementariërs.

Drie factoren dus die de disbalans in de trias politica verder vergroten. Vooral de uitvoerende macht profiteert. De uitvoerende macht wordt ondoorzichtiger en dus moeilijker te controleren. En de uitvoerende macht wordt complexer en dus moeilijker te controleren.

Welnu, bestaan er ook remedies? Kunnen we een verdere verstoring van de trias politica tegengaan? Kunnen we ervoor zorgen dat de Staten-Generaal weer relevant worden of in elk geval tegengaan dat ze nog verder naar de achtergrond verdwijnen? Ik denk het wel. Daarvoor moeten we onderhoud plegen aan ons bestaande stelsel van checks-and-balances en misschien een aantal nieuwe checks-and-balances ontwikkelen, verzinnen, bijbouwen. Welke checks-and-balances dat precies zijn, daar moet ik nog nader onderzoek naar doen. Ik heb niet de silver bullet. Dat zou een heel project zijn. Ik heb wel een aantal suggesties.

De eerste suggestie is dat de Staten-Generaal zichzelf moeten versterken. U bedeelt zichzelf ongelofelijk karig als het gaat om ondersteuning, ook internationaal gezien. Een Duitse parlementariër heeft veel meer ondersteuning dan een Nederlandse. Een Europarlementariër heeft meer ondersteuning. Een Congreslid in de Verenigde Staten heeft een heel kabinet tot zijn of haar beschikking. U heeft bij mijn weten bijna geen ondersteuning, en die heeft u wel nodig. Die had u eigenlijk al nodig, gezien de complexiteit van de verzorgingsstaat en de veiligheidsstaat. Maar als u in een digitaliserende overheid of een digitaliserende maatschappij betekenisvol mee wilt doen aan het wetgevingsproces en de uitvoerende macht effectief wilt controleren, dan heeft u gewoon eigen inhoudelijke ondersteuning nodig. Dan heeft u gewoon een aantal mensen nodig die u scherp kunnen houden, aan wie u vragen kunt stellen en die u aan het werk kunt zetten. In uw eentje kunt u het gewoon niet, hoe briljant sommigen van u misschien ook mogen zijn.

De tweede remedie die ik voor me zie, is dat u zelf AI gaat inzetten. Er zijn inmiddels al allerlei mooie tools beschikbaar waarmee u patronen kunt ontwaren in de ongelofelijke hoeveelheid informatie die u aangereikt krijgt van de regering of van anderen. U kunt dan veel effectiever met uw tijd omgaan en veel grotere hoeveelheden informatie analyseren. Daarmee kunt u die enorm dikke rapporten en die lappen tekst die u krijgt samenvatten. Er wordt door allerlei professies al gebruikgemaakt van die tools. Als ik u was, zou ik daar eens onderzoek naar doen en kijken of daar voor u ook iets bruikbaars tussen zit.

Het derde dat ik me kan voorstellen dat u zou kunnen doen, is dat als u met de regering praat over beleid of over wetgeving, u eerst de vraag stelt: bent u van plan dit met digitale technologie te gaan uitvoeren, wat is de rol van digitale technologie bij de uitvoering van de betreffende wet of het betreffende beleid en zorgt u er dan al direct voor dat die uitvoering controleerbaar blijft? Stel dus eisen aan de technologie van de uitvoerende macht, in de eerste plaats eisen die u in de toekomst in staat stellen om het gebruik van digitale technologie desgewenst bij te sturen en om de vinger aan de pols te houden. Hoe dat precies zal moeten, zal per geval verschillen. Ook hier moet nog onderzoek naar gedaan worden, maar houd in ieder geval dit beginsel in het oog: trias politica by design.

Ik rond af. Volgens mij is digitalisering een van de meest bedreigende ontwikkelingen op dit moment voor de democratische rechtsstaat. Tegelijkertijd ben ik optimistisch, omdat we digitale technologie ook zouden kunnen inzetten om de rechtsstaat juist te versterken. Dat lijkt me een mooie opdracht en het einde van mijn verhaal. Dank u wel voor uw aandacht.

De voorzitter: Meneer Passchier, dank u wel. We gaan gelijk door met de heer Van Doesburg. Mag ik u het woord geven?

De heer Van Doesburg: Dank u wel. In de eerste plaats herken ik eigenlijk alle voorbeelden die door de vorige sprekers naar voren zijn gebracht. Ik wil wel zeggen dat dit wat mij betreft geen technisch probleem is. Wat mij betreft gaat het niet om digitalisering. Het gaat ook niet over AI. Het gaat niet over data. Dit is een normatief vraagstuk. Volgens mij is de Eerste Kamer bij uitstek geschikt en geëquipeerd om daar uitspraken over te doen. Dus ik denk dat het ook verstandig is om niet het idee te hebben: er is een ingewikkelde techniek waar wij weinig over weten en daarom kunnen wij er niet zo veel mee doen. Ik roep u op om vanuit uw eigen expertise en uw eigen rol te kijken naar wat deze ontwikkeling betekent voor de democratische rechtsstaat.

Ik denk dat het omgaan met AI-toepassingen in het openbaar bestuur dient te rusten op een algemeen kader voor hoe in Nederland en Europa de democratische rechtsstaat in elkaar hoort te zitten. Uitgangspunt daarbij zou moeten zijn dat we regelgeving maken om het gedrag van mensen te beïnvloeden, dat mensen van mening kunnen verschillen over wat die regels dan betekenen en dat mensen zich niet altijd aan normen houden. Die standaard heb je nodig om kennis uit te wisselen over wat regels zijn, niet alleen tussen mensen en machines, maar ook tussen juristen en IT'ers en tussen een algemeen publiek en belanghebbenden in een specifieke zaak.

Als je vanuit dat perspectief kijkt naar wat AI is, dan zijn er wat mij betreft twee soorten AI. We hebben nu vooral gehoord over de datagedreven AI, machinelearning, neurale netwerken en noem het maar op. Dat is nieuwe AI. Dat is wat iedereen de afgelopen tien jaar als AI is gaan beschouwen. Er is ook een oude AI. Die komt meer uit de jaren tachtig en negentig van de vorige eeuw. Dat is een kennisgedreven AI, die uitgaat van kennismodellen en expertsystemen. Denk aan het voorbeeld dat Arjan Widlak net gaf over de olietankers en de vissers. Het voorbeeld waarin dat vissersschip uiteindelijk een eiland bleek te zijn, is eigenlijk een kennismodel. Aan de ene kant gebruik je data om een analyse te maken, maar om er echt goede besluiten over te kunnen nemen, heb je ook een model van de werkelijkheid nodig. Het is denk ik verstandig om de waarde van beide soorten AI te erkennen. Dat is extra nodig in het geval van bestuursrechtelijke besluiten of juridische redeneringen, omdat datagedreven AI in essentie een statistische redenering is. Juridische vraagstukken kunnen nooit uitsluitend op basis van statistische redeneringen worden beantwoord. Je kunt niet zeggen: omdat uw zaak nogal veel lijkt op de zaak van iemand anders, bent u schuldig, of krijgt u deze subsidie niet. Dat is op zichzelf al problematisch, maar het wordt nog erger op het moment dat er een beleidswijziging is. Hoe kun je nou op basis van data uit het verleden uitspraken doen over de toekomst als in de tussentijd de regels zijn veranderd? Daar komt nog bij dat de moeilijkste vraagstukken, over het algemeen vraagstukken zijn die nog niet zo heel vaak zijn voorgekomen, of helemaal niet vaak gaan voorkomen. Dan heb je eigenlijk ook niet zo veel aan die grote data-instrumenten.

Juridisch redeneren vraagt dus om een expliciet kennismodel voor de interpretatie van wet- en regelgeving. De noodzaak van zo'n model is veel groter geworden door digitalisering en de toepassing van AI. In het verleden was er eigenlijk ook wel een probleem, namelijk dat juristen heel erg goed met elkaar over de wet kunnen praten, maar dat dit voor andere mensen minder begrijpelijk is. Maar op het moment dat je specificaties moet geven aan IT'ers om een systeem te bouwen dat aan de eisen van de wet voldoet, moet je wel met die mensen kunnen praten over hoe dat dan zit.

Daar werk ik aan. In het norm engineering programma van TNO en het Leibnitz Institute ontwikkelen wij methoden om regelgeving op die manier te interpreteren en ook om grootschalige toepassing van die methoden mogelijk te maken.

Mijn hoofdpunt voor vandaag is dat ik vind dat de eisen die je stelt aan bestuursrechtelijke besluiten, onafhankelijk zouden moeten zijn van de vraag of AI, of een computer, is gebruikt bij het voorbereiden van het besluit. Natuurlijk zijn er situaties denkbaar waarin er specifieke regels zijn voor het gebruik van machines, maar dan binnen het algemene kader dat het eigenlijk niet uitmaakt hoe dat besluit tot stand is gekomen. Als een computer niet aan de eisen kan voldoen, moet je de machine verbeteren, of moeten mensen doen wat de machine niet kan.

Ik heb een presentatie meegestuurd waarin ik schets hoe dat er wat mij betreft uit zou kunnen zien. Het eerste plaatje laat een beleidscyclus en een uitvoeringscyclus zien. Het beleid gaat erover dat we bepaalde doelstellingen hebben en dat we een maatregel gaan treffen om die doelstellingen te bereiken. We maken bijvoorbeeld een wet of we doen iets anders. Om die wet te kunnen uitvoeren is er eerst een interpretatie nodig. Die interpretatie wordt vervolgens uitgevoerd of gebruikt om een simulatie te maken. Daarbij kun je kijken of de effecten die je uiteindelijk realiseert, in de simulatie of in de daadwerkelijke uitvoering, overeenkomen met de doelen die je in het begin hebt gesteld. Als dat niet zo is, is het verstandig om iets te veranderen.

In die hele discussie over het gebruik van data kijken we eigenlijk vooral naar dat bolletje rechtsonder: het uitvoeren van regels. Maar het hele vraagstuk is veel breder. Ik denk dat het op een expliciete manier interpreteren van wet- en regelgeving zodat die door mensen en machines gebruikt kan worden, een essentieel onderdeel van AI is, dat tot op dit moment onderbelicht is. Voor die interpretaties gebruik ik normen. Als iets in regelgeving staat, ga ik ervan uit dat dat iets zegt over hoe mensen zich moeten gedragen. Er zijn drie soorten normen. Je hebt sociale normen. Die gaan over hoe mensen in groepen met elkaar omgaan, welk gedrag ze van elkaar accepteren en wat ze verwachten. Je hebt ethische normen. Dat zijn normen die gaan over gedrag dat als goed of fout wordt beschouwd. En je hebt juridische normen, die gaan over gedrag dat door de overheid afgedwongen kan worden. Eigenlijk reguleer je daarmee het monopolie op het legitiem gebruik van geweld van de overheid. Dan heb je ook nog mengelingen. Religieuze normen zijn bijvoorbeeld meestal vermengingen van sociale en ethische normen. In sommige landen is een deel van die regels ook juridisch, omdat ze door de staat worden afgedwongen. Een ander voorbeeld zijn de medisch-ethische normen. Medisch-ethische normen zijn bij wet vastgelegd, dus die zijn ook juridisch. Het uitgangspunt is dat je met deze drie basissoorten normen eigenlijk alle andere soorten normen kunt creëren.

Wat doen we dan op het moment dat we wet- en regelgeving gaan interpreteren? Omdat ik ervan uitga dat regelgeving bedoeld is om gedrag te beïnvloeden, kijk ik als eerste naar gedrag, naar handelingen. Dat is mijn focus. Ik kijk naar wat er in een wet staat over wat iemand kan doen en wat ik daarvan moet weten. Wie mag het doen? Onder welke voorwaarden is die handeling geldig? Wat is het resultaat? Voor wie is dat bestemd? Om die voorwaarden te kunnen uitdrukken en in detail te kunnen uitwerken heb je eigenlijk een apart normconcept nodig. Dat noem ik feiten. Je kunt het een beetje vergelijken met een maatstafvergelijking: ik heb een meter en daarmee kan ik meten hoe lang iets is. Er is ook een derde typen normen, de plichten. Als mensen het over normen hebben in een juridische context, wordt er over het algemeen in rechten en plichten gekeken. Ik zie plichten eigenlijk niet anders dan iets wat je in de toekomst nog moet doen.

Op dit plaatje zie je dat terugkomen: als je kijkt naar alternatieve manieren om regelgeving te interpreteren, richt je je over het algemeen met name op één onderdeel. Ze kijken naar feiten of naar voorwaarden, of ze kijken naar plichten, maar ze kijken eigenlijk nooit naar handelingen. Ik heb een klein voorbeeld meegenomen om te laten zien hoe dat werkt. In artikel 14, lid 1, Vreemdelingenwet staat onder andere dat Onze Minister de aanvraag voor een verblijfsvergunning kan inwilligen, afwijzen of niet in behandeling kan nemen. Dat zijn drie verschillende handelingen. Op plaatje 5 zie je hoe een handelingsmodel eruitziet, met een actor, een object, een voorwaarde, een belanghebbende, een resultaat dat gecreëerd wordt, een resultaat dat getermineerd wordt en een bron. Op basis van die tekst kun je dus die onderdelen invullen. Wat zie je nu aan de hand van dit artikel 14, lid 1? De voorwaarden staan er niet in en de belanghebbende is eigenlijk ook niet direct zichtbaar. Ik begin hier met het voorbeeld van het inwilligen van de aanvraag.

Als je vervolgens verder op zoek gaat naar wat precies de voorwaarden zijn voor het nemen van zo'n besluit, zie je in artikel 26, lid 1, Vreemdelingenwet staan dat de vreemdeling moet hebben aangetoond dat hij aan alle voorwaarden voor de verblijfsvergunning voldoet. Dat is een beetje hoog-over, maar het is toch wel een goed begin. Vervolgens kun je dat verder uitwerken naar wat dit in de praktijk precies betekent. In artikel 8 staat dat de vreemdeling onder andere rechtmatig verblijf in Nederland kan hebben op grond van de verblijfsvergunning als bedoeld in artikel 14. Dus blijkbaar is dat de belanghebbende in deze relatie. Ik heb inmiddels het hele modelletje uitgewerkt. Dit is een manier om wet- en regelgeving te interpreteren waarmee je eigenlijk vrij makkelijk aan mensen, ook zonder juridische achtergrond, kunt uitleggen wat die regels betekenen. Maar omdat het gaat om «ik zit in een situatie, ik doe iets en dan verandert er wat», is het ook een taal die heel geschikt is voor computers, want computers zijn eigenlijk niks anders dan state transition machines. Het zijn dus machines waarin je een situatie kunt definiëren. Je kunt een verandering in die situatie aanbrengen en dan kom je in een nieuwe situatie, en zo verder, en zo voort.

Op plaatje acht zie je hoe je zo'n schema grafisch kunt weergeven. Vervolgens gaan we door naar artikel 16, lid 1 van de Vreemdelingenwet. Dat bevat elf afwijzingsgronden voor de verblijfsvergunning. Hier kun je eigenlijk twee dingen mee doen. Aan de ene kant kun je hieruit afleiden dat je blijkbaar om aan alle voorwaarden te voldoen aan al deze elf eisen moet voldoen om een verblijfsvergunning te krijgen. Maar je kunt ook een model maken voor het afwijzen van een verblijfsvergunning. Dat zie je hier terugkomen op pagina tien. Daar heb je elf afwijzingsgronden. Als je aan een van die gronden voldoet, volgt een afwijzing. Als het gaat over data-analyse, gaat het eigenlijk vooral over het beoordelen of er wordt voldaan aan de voorwaarden voor het nemen van een besluit.

Als je zo'n voorbeeld hebt, weet je niet zeker of dat volledig is. Mensen kunnen sowieso zeggen: wacht even, je bent nog regels vergeten waar je ook aan moet voldoen om een aanvraag te kunnen afwijzen. Ik gebruik hier als voorbeeld artikel 3:4, lid 2, Algemene wet bestuursrecht, over het evenredigheidsbeginsel. Als het besluit tot het afwijzen van een verblijfsvergunning leidt tot onevenredig negatieve gevolgen voor de belanghebbende, mag dat besluit dan wel of niet genomen worden? Daarover wordt op dit moment van mening verschild. De voorzitter van de Raad van State heeft bijvoorbeeld een artikel geschreven over de kinderopvangtoeslagen. Onlangs is er een rapport verschenen van de Raad voor de rechtspraak dat ook herhaaldelijk terugkomt op dit onderwerp. Michiel Scheltema pleit eigenlijk al jarenlang voor een generieke toepassing van het evenredigheidsbeginsel op alle wetgeving, dus niet alleen op wetten die expliciet een hardheidsclausule in zich hebben. Dit is een van de onderwerpen waaraan ik het komende jaar ga werken, om in kaart te brengen wat hierover de verschillende opvattingen zijn. Op die manier hoop ik bij te dragen aan het vinden van een oplossing voor dit vraagstuk.

Zo, inmiddels ben ik een heel stuk verder in mijn verhaal. Ik moet even opletten waar ik ook alweer was.

De voorzitter: U heeft nog een minuut.

De heer Van Doesburg: Nou, dat komt heel goed uit, want ik wou eigenlijk alleen nog maar herhalen dat het belangrijkste pleidooi dat ik wil houden, is dat alles wat ik verteld heb voor het grootste gedeelte niets te maken heeft met AI, maar dat het wel heel goed kan worden toegepast om controle te krijgen op digitalisering en de toepassing van AI. Ik hoop dat daarmee nog een laatste doel bereikt kan worden, en dat is dat de kwaliteit van het juridisch discours niet alleen onder juristen, maar ook onder andere mensen in Nederland op een hoger niveau kan komen. Dank u wel.

De voorzitter: Meneer Van Doesburg, dank u wel. Ik ga kijken wie er vragen heeft. Ik zie in ieder geval de heer Nicolaï, daarna de heer Recourt en daarna mevrouw De Boer. De heer Nicolaï.

De heer Nicolaï (PvdD): Dank u voor de inleiding. Ik heb als eerste een vraag voor de heer Passchier. Checks-and-balances: misschien moeten we gaan nadenken over andere checks-and-balances. Ik zou heel graag willen weten wat hij vindt van het idee om een echte goede waakhond te creëren. Ik noem het maar een «Nationale ombudsman voor digitale zaken» of zo, die je vervolgens een jaarverslag kan laten maken ieder jaar, en dat in de Kamers kan laten behandelen. Zou dat in zijn visie kunnen helpen om meer grip te krijgen op het hele verschijnsel?

Ten tweede begrijp ik dat hij zei: soms zijn zelfs de techneuten die een algoritme ontworpen hebben, verbaasd over hoe het werkt, en begrijpen ze het niet helemaal. Betekent dat vanuit de rechtsstatelijkheid niet dat je eigenlijk zou moeten zeggen: als zoiets zich voordoet, dan mag zo'n algoritme niet voor besluitvorming gebruikt worden?

Dan had ik een vraag die betrekking heeft op FLINT. Dat is bedoeld om interpretaties van de wet eenduidig vast te leggen. Nu ben ik zelf jurist. Ik heb 40, 50 jaar onderwijs gegeven, en het ging altijd over rechtsvinding in het bestuursrecht. Er is niet een eenduidige interpretatie; dat is één. Ten tweede: kijk naar de tijd. Bijvoorbeeld: wat is een bouwvergunning? Daar heeft de wetgever iets over gezegd, daar heeft de Raad van State iets over gezegd, maar op een gegeven moment gaat de Raad van State om. Dat omgaan, hè? Mensen bedenken iets nieuws. En hij zegt op een gegeven moment: een woonboot heeft eigenlijk ook een bouwvergunning nodig. Dat had nog niemand bedacht. Dus als je nou ziet hoe die rechtsstaat werkt... Als je interpretaties eenduidig gaat vastleggen, doe je eigenlijk geweld aan wat rechtspraak zou moeten inhouden. En u wil eigenlijk ook in de rechtspraak dat soort regels algoritmisch gaan toepassen. Dank u wel.

De voorzitter: Ik geef het woord aan de heer Passchier.

De heer Passchier: Dank u wel voor uw vragen. Ja, moet er ook een nieuwe waakhond komen? Misschien kan dat iets helpen, maar ik denk dat het nog veel belangrijker is om onderhoud te plegen aan onze bestaande checks-and-balances. Digitalisering betekent per definitie dat digitale technologie zich verweeft met de overheid als geheel, en met de samenleving als geheel. Dus iedereen die daarin actief is en daarin een bepaalde rol heeft binnen dat stelsel van checks-and-balances, zal zich met digitalisering en de consequenties daarvan moeten bezighouden. Om dat bij één instituut te beleggen, zou tekortdoen aan hoe diep die ontwikkeling gaat. Dus dat zou niet genoeg zijn, maar in sommige gevallen wel nodig. Want u stelt een tweede vraag: mag het bestuur ook AI gebruiken? Tja, daar twijfel ik zelf heel erg aan, met name in verband met het legaliteitsbeginsel. Heel veel wetgeving wordt nu uitgevoerd met digitale technologie, met algoritmes. Algoritmes zijn ook regels. En dat zijn dan eigenlijk de regels die gelden voor burgers. Als je wetgeving uitvoert met algoritmes, zijn de algoritmes de regels die gaan gelden in de praktijk. Dus je moet heel goed kunnen nagaan of die algoritmes ook representatief zijn voor de wetgeving; of die wetgeving voldoende representeren, voldoende legitiem zijn in dat opzicht. En het probleem van machinelearning en deep learning is dat die algoritmes zichzelf continu aanpassen en veranderen, en dat dat proces misschien wel in te kaderen is, maar moeilijk in de hand te houden, en dat moeilijk is na te gaan of die algoritmes nog steeds representatief zijn. Dus voor echt directe besluitvorming denk ik dat AI niet geschikt is. Waar het misschien wel voor gebruikt zou mogen worden en waar het ook voor wordt gebruikt, is voor de ondersteuning van besluitvormingsprocessen. Maar ook dan moet je heel erg oppassen, en nagaan wat precies de status en waarde is van de uitkomst van een analyse die een zelflerend algoritme maakt. Hoe je daarmee moet omgaan, daar moet je dus mensen voor opleiden. En daar moet je ook waarborgen voor inbouwen, zodat het niet voor waarheid wordt aangezien maar voor bijvoorbeeld een statistische analyse, en de mensen die daarmee werken, dat dus op waarde weten te schatten. En dan nog zou je, omdat die algoritmes – zoals ook al in eerdere bijdragen aan de orde is gekomen – zichzelf zo snel kunnen ontwikkelen en kunnen veranderen, daar misschien ook bijzondere voorwaarden aan moeten stellen, zoals speciaal toezicht.

De voorzitter: Dank u wel. Er was ook een vraag aan de heer Van Doesburg. Ga uw gang.

De heer Van Doesburg: Dank u wel. U legde uit, meneer Nicolaï, dat uw ervaring is dat eenduidige interpretatie van wet- en regelgeving niet bestaat. En uw vraag was: hoe verhoudt dat zich met een methode die dat wel nastreeft? In de eerste plaats ben ik het met u eens: eenduidige interpretatie van wetgeving bestaat niet. Wat wel kan, is dat je een interpretatie van wetgeving expliciet vastlegt. Als je dan verschillende interpretaties hebt, kun je die verschillende eenduidige interpretaties naast elkaar leggen, en onderzoeken wat de verschillen zijn, en op die manier tot overeenstemming komen. Dat is eigenlijk wat er in het recht normaal gebeurt. En ik denk dat, als je kijkt naar rechtszaken bijvoorbeeld, rechters er in het algemeen vrij goed in slagen om dat in hun vonnissen helder uit te leggen, eigenlijk ook omdat die rechtszaken vaak over een heel specifiek onderdeel gaan. Als het gaat om bestuursrechtelijke besluiten die door uitvoeringsorganisaties of gemeenten worden genomen, zie je vaak dat daar verschillende aspecten door elkaar lopen. Je kunt met elkaar van mening verschillen over welke juridische bronnen allemaal relevant zijn in een zaak. Je kunt het met elkaar oneens zijn over de interpretatie van die relevante onderdelen. En je kunt het met elkaar oneens zijn over de feiten van de zaak. Als je die drie aspecten uit elkaar haalt, dan wordt een juridisch conflict veel minder complex, en is het veel makkelijker om een zaak met mensen van verschillende achtergronden te bespreken. Dat is eigenlijk mijn antwoord, over wat ik bedoel met het eenduidig vastleggen van interpretaties.

U vroeg ook nog iets over het toepassen van algoritmes in rechtszaken. Dat heb ik volgens mij niet echt bepleit, maar ik kan daar in aanvulling op wat Reijer Passchier zonet zei nog wel iets over zeggen. Kijk, op het moment dat een besluit wordt genomen op grond van een blackboxalgoritme, kun je daar eigenlijk geen commentaar op geven. Je kunt niet zeggen «ik ben het niet eens met de uitkomst van dit besluit om deze en deze reden», omdat je niet weet wat die redenen zijn. Je kunt dus ook niet in bezwaar, en je kunt ook niet in beroep. Wat ik me zou kunnen voorstellen: door juridische modellen te maken op basis van specifieke regelgeving blijken er twee, tien, of honderd verschillende uitkomsten mogelijk op het moment dat je met die regelgeving te maken hebt. Dan kun je statistische instrumenten gebruiken om te vergelijken, in de zin van «hé, andere zaken lijken op deze zaak, en dat is dit type redenering». En dan kun je een statistisch instrument gebruiken om te laten zien dat de kans eigenlijk vrij groot is dat dit de argumenten zijn die leiden tot een inwilligend of afwijzend besluit in deze zaak. En dat juridische model bij dat besluit kun je dan vervolgens gebruiken om te zeggen: «ja, u zegt dat x niet aan de hand is, maar hier heb ik x, dus u heeft een verkeerd besluit genomen». Op die manier zou je kunnen denken aan het gebruik van datagedreven AI waarvan je eigenlijk niet weet hoe dat werkt, door te zeggen: ik heb dat instrument gebruikt om aan te tonen dat deze redenering volgens mij in dit geval klopt. En dan is er een basis waarop je in bezwaar en beroep zou kunnen gaan. Dat is nog niet uitgeprobeerd, maar ik denk wel dat dat een interessante denkrichting is.

De voorzitter: Dank u wel. Dan geef ik graag het woord aan de heer Recourt van de PvdA.

De heer Recourt (PvdA): Ik heb ook een vraag aan de heer Van Doesburg, en precies over de andere kant van wetgeving. Tijdens uw verhaal dacht ik: hoe zit het eigenlijk met de wetgever zelf? Gaan de techneuten die die wet maken, zich niet gewoon steeds meer richten op de vertaalbaarheid van de wet in digitale afwegingsprocessen? En zijn daarmee bijvoorbeeld die mooie open normen die wetgeving vaak in zich draagt niet in gevaar? Kortom, mijn vraag is: moeten we als wetgever ons ook niet gaan richten op algemene normen die we meegeven in de regels voor wetgeving? Is dat een perspectief dat we mee moeten nemen?

De heer Van Doesburg: Ja, en dat is precies een onderwerp waar we op dit moment aan werken, overigens samen met Mariette Lokin, die hier twee weken geleden was. We zijn met het interdepartementaal overleg van wetgevingsjuristen aan het kijken wat de ontwikkeling van digitalisering eigenlijk betekent voor het maken van wetten, en dat doen we dan ook met de werkgroep digitalisering van het overleg. Daar doen we twee dingen. We vergelijken de methode van wendbaar wetten uitvoeren, zoals die door Mariette Lokin is toegelicht, en de Calculemus-FLINT-aanpak zoals ik die heb gepresenteerd. Daar zit vrij veel overlap tussen, maar er zijn ook kleine verschillen, dus we gaan in de komende periode in de praktijk uittesten hoe die twee zich verhouden tot elkaar en hoe we goed kunnen samenwerken. In de tweede plaats zijn we op zoek naar manieren waarop we wetgevingsjuristen kunnen ondersteunen bij het maken van wetgeving. Je ziet dat wetswijzigingen nu eigenlijk in Worddocumenten worden gemaakt; kan dat niet beter? En daarbij kijken we ook naar het ondersteunen van uitvoeringstoetsen en internetconsultaties. Op dat laatste terrein doen we op dit moment ook een voorstudie voor de Amerikaanse overheid, om te kijken hoe we daar het wetgevingsproces kunnen ondersteunen.

Ik kom nog even op de open normen. Het onderscheid tussen gesloten en open normen wordt vaak genoemd, maar volgens mij wordt dat vaak een beetje overdreven. Kijk, of een norm nou open of gesloten is, de uitkomst is volgens mij: je voldoet eraan of je voldoet er niet aan. En bij een open norm heb je eigenlijk nog een categorie: dat je het nog niet weet. Dat betekent dat je nader moet gaan onderzoeken of je vindt dat aan een norm wel of niet wordt voldaan. En dat is wat lastiger, omdat niet precies is omschreven welke waarden een bewijs moet hebben om aan die norm te voldoen. Maar als je kijkt naar gesloten normen, zijn die dan eigenlijk wel zo gesloten? Neem het voorbeeld dat ik net noemde uit het vreemdelingenrecht. Een aanvraag voor een verblijfsvergunning kan worden afgewezen als de vreemdeling niet beschikt over een geldig document voor grensoverschrijding: een paspoort. Maar wat is een geldig paspoort? Iemand laat een paspoort zien, en je kijkt of dat een geldig paspoort is of een hele goede vervalsing. Sterker nog, in die procedure in het vreemdelingenrecht wordt bij reguliere vreemdelingen een oordeel gegeven op basis van een kopie van dat paspoort. Dus zelfs over een gesloten norm kun je nog vragen hebben, over of je daaraan voldoet of niet. De kern van iedere norm is wat mij betreft, en dat geldt zeker voor het bestuursrecht, waar bewijsvrijheid geldt: is het nu voldoende aannemelijk dat iemand aan deze eis voldoet, en op basis van welke argumenten vind je dat dat zo is? En dan is het een vraag van uitvoerbaarheid om te kijken hoe je dat in de praktijk gaat regelen, en wat voor vraagstukken je daar tegenkomt en hoe je dat kunt oplossen. Is dat een antwoord op uw vraag?

De voorzitter: Volgens mij in ieder geval voor de eerste ronde wel, zie ik zo. Dus ik geef graag het woord aan mevrouw De Boer van GroenLinks.

Mevrouw De Boer (GroenLinks): Mijn vraag sluit eigenlijk aan op de vraag van Jeroen Recourt en het antwoord daarop. Daar zit volgens mij daar wel een beetje de crux van wanneer je het over open normen hebt, wanneer over een hardheidsclausule en wanneer over evenredigheid. Mij viel op dat dat de bepaling die u heeft uitgewerkt een kan-bepaling is. Daar zit natuurlijk ook al een discretionaire bevoegdheid. Je hoeft niet af te wijzen als aan een van die voorwaarden wordt voldaan. Ik ben het ermee eens dat de grootste kunst over het algemeen is en de grootste discussie gaat over feitenvaststelling en niet zozeer over de normen. Dat alles afwegende denk ik dat je altijd – dat is ook wat u zegt – die menselijke toets nodig hebt op wat er dan eventueel uit een digitale check zou komen. Mijn vraag is eigenlijk of dat niet verweven zit in al die verschillende stappen. Als je een menselijke toets aan het eind doet, is het altijd een soort hardheidsclausule. Dan is het altijd: o, het systeem zegt dit, maar eigenlijk voelt dat niet goed en dus doe ik wat anders. Ben je omdat alle interpretatie al bij de feitenvaststelling zit, bij de vraag of je het wel of niet wilt toepassen, niet veel te laat met je menselijke toets? Moet die er niet al veel eerder in zitten en hoe zorg je ervoor dat dat gebeurt?

De voorzitter: Dank u wel. Meneer Van Doesburg.

De heer Van Doesburg: Even om te beginnen over die kan-bepaling. Het klopt dat in artikel 16 staat dat op grond van die elf voorwaarden de aanvraag kan worden afgewezen. In de algemene maatregel van bestuur die daaronder ligt, het Vreemdelingenbesluit, wordt die kan-bepaling weer vervangen door een dwingende regel. Het interessante van dit voorbeeld uit de Vreemdelingenwet is dat er voorwaarden zijn van gronden waar je op kunt afwijzen waar wel sprake is van een hardheidsclausule en andere afwijzingsgronden waar dat niet het geval is. Daarom is het zo interessant om naar artikel 3.4, tweede lid, Algemene wet bestuursrecht te kijken in de context van het Vreemdelingenrecht.

Het vervolg van uw vraag ging over het moment waarop mensen betrokken raken bij het maken van een besluit. Ik vind het moeilijk om die vraag te beantwoorden, omdat ik niet helemaal begrijp wat u bedoelt met het moment dat mensen betrokken raken bij een besluit. Ik zie een besluit eigenlijk als volgt: iemand stelt een vraag aan een bestuursorgaan en het bestuursorgaan antwoordt daarop. Wettelijk gezien is een mens, namelijk degene die dat bestuursorgaan vertegenwoordigt, altijd degene die dat besluit neemt. In dat perspectief is er vanaf het begin altijd een mens bij betrokken. Wat bedoelt u met het eerder betrekken van een mens, of met het risico dat dat te laat gebeurt?

Mevrouw De Boer (GroenLinks): Het is nogal abstract denken. Ik stel me voor dat je als je die digitalisering gebruikt om die besluiten te ondersteunen, de data in de aanvraag invoert en dat er dan uitkomt «in principe volgens de voorwaarden wel of niet» en dat je dan gaat kijken of het met je gevoel klopt, of het onevenredig hard is, dat dat de check aan het eind is. Ik kan me voorstellen dat je als je een aanvraag leest en kijkt of er wel of niet aan een van die voorwaarden wordt voldaan, bij het lezen van dat stukje al gaat twijfelen: «Mm, wordt aan deze voorwaarden voldaan of niet? Eigenlijk vind ik het te zwaar om te zeggen dat dit een afwijzingsgrond is.» Dan is er veel eerder in het proces al een toets, die je volgens mij kwijt bent als je dat helemaal automatiseert.

De heer Van Doesburg: Nu snap ik uw vraag. Dank u wel. In de eerste plaats maak ik een onderscheid tussen de interpretatie van een wet- of regelgeving en de toepassing daarvan. Als je zegt «we zijn het nu eens over wat de wettelijke eisen zijn», kun je vervolgens gaan kijken naar de vraag hoe je dat dan in de praktijk gaat toepassen. Daarbij kun je allerlei keuzes maken over wat je vindt wat eerst moet gebeuren en wat daarna. In het geval dat je iets tegenkomt waarvan je denkt «dat moeten we nu meteen aan de orde stellen», staat de interpretatie van de wet dat niet in de weg om dat te doen. De vraag is of er dan sprake is van een tegenstelling tussen wanneer een mens iets doet en wanneer een machine iets doet. Want je zou natuurlijk ook gewoon een machine-analyse kunnen maken waarvan de uitkomst kan zijn: in deze situatie zou ik even contact opnemen met die persoon. Dit zijn wat mij betreft allemaal ontwerpvragen. Die zijn heel belangrijk, maar hebben niet zozeer te maken met de manier waarop je wetgeving interpreteert en de manier waarop je beschrijft hoe het normaal gesproken zou moeten gaan in een procedure.

De voorzitter: Meneer Van Doesburg, dank u wel. Ik kijk even rond of er nog iemand vragen heeft. Dat is niet het geval. Dan wil ik als voorzitter nog een laatste vraag stellen, eigenlijk aan u alle vier. Er is vanmorgen steeds nagedacht over de risico's van AI en de betrokkenheid van de mens erbij. In hoeverre lopen we het risico dat we de mens overschatten? Er wordt hier al geroepen «het is een zekerheid», maar alles wordt nu op de menselijke maat en op de mens gezet. In hoeverre gaan we nu omdat we het een in een bepaald kader plaatsen het ander niet overschatten? Ik ben benieuwd of u daar elk een korte toelichting op wilt geven. Daarna stoppen we deze bijeenkomst. Eerst mevrouw Branderhorst.

Mevrouw Branderhorst: Heel kort. Ik ben het heel erg eens met wat ik zelf al zei: de grootste kansen van AI zitten in de samenwerking tussen mens en machine. De mens is bevooroordeeld, is subjectief en heeft bepaalde oordelen en de machine heeft dat ook, maar in de combinatie zitten de grootste kansen.

De voorzitter: Dank u wel. Ik ga door naar meneer Widlak.

De heer Widlak: Ik geloof niet dat ik me zo heb uitgelaten, dat de mens het antwoord is op alle dingen. Ik zou er nog iets aan willen toevoegen. Het idee dat je de menselijke maat per se moet herstellen met mensen, is denk ik echt een misvatting. Net zoals het een misvatting is dat maatwerk het antwoord is. Maatwerk is het antwoord op de gevolgen van de problemen die ik beschreef. Op het moment dat je een mens laat samenwerken met bijvoorbeeld een AI-systeem, verandert de aard van zijn werk fundamenteel en zal ook zijn beslissing veranderen, simpelweg omdat de informatie die hij heeft, verandert. Het is dus veel meer dat je moet kijken naar welk systeem, welk institutioneel systeem je als geheel inricht.

De voorzitter: Dank u wel. Meneer Passchier.

De heer Passchier: Ons hele staatsbestel is erop ingericht om de macht van mensen te structureren en te limiteren en is daar ook redelijk succesvol in geweest de afgelopen tientallen en misschien zelfs honderden jaren. Nu komt daar een factor bij en verschuift er macht naar de programmeurs van machines en de machines zelf. Het is nu juist zaak om ons stelsel van checks-and-balances, ons staatsbestel, daarop aan te passen.

De voorzitter: Dank u. Als laatste meneer Van Doesburg.

De heer Van Doesburg: Dank u wel. Ik denk dat mensen de neiging hebben om als iets goed gaat te denken dat het ligt aan wat zij gedaan hebben, en dat het als het slecht gaat aan de omstandigheden ligt. Dat is het ene deel van het antwoord. Daarnaast denk ik dat ook de onderwerpen waar we het vandaag over hebben over mensen gaan. Dus zelfs als een machine iets beter kan doen, is het de vraag of we dat eigenlijk wel willen. Ik denk dat dat de belangrijkste vraag is om te beantwoorden.

De voorzitter: Dank u wel voor deze mooie laatste woorden. Ik wil namens de hele commissie en de Eerste Kamer alle sprekers van vanmorgen hartelijk bedenken. Ik wil graag ook de mensen van het Rathenau Instituut bedanken – ik noem dan in het bijzonder Jurriën Hamer, Linda Kool en Roos de Jong – die ervoor hebben gezorgd dat wij heel veel leeswerk hadden, heel veel gehoord hebben, heel veel gezien hebben en heel veel extra kennis hebben opgedaan. Want we zijn nog niet briljant, om met de woorden van de heer Passchier te spreken, maar we proberen daar wel naar te streven. Dankzij het Rathenau Instituut is dat op dit onderdeel een klein beetje gelukt en zijn we weer wat verder in de stap naar briljantie, om onze eigen illusies maar in stand te houden.

Ik dank eenieder voor vanmorgen. Ik dank de heer Recourt ervoor dat hij wat later was, waardoor ik het genoegen had om hier op deze stoel te mogen zitten. Ik wens allen nog een heel mooie dag. Dank u wel.

Sluiting 10.51 uur.

---

1 Samenstelling:

Backer (D66), De Boer (GL) (voorzitter), Van Dijk (SGP), Van Hattem (PVV), Rombouts (CDA), Baay-Timmerman (50PLUS), Adriaansens (VVD), arbouw (VVD), Bezaan (PVV), De Blécourt-Wouterse (VVD), Dittrich (D66), Doornhof (CDA), Janssen (SP), Karimi (GL), Meijer (VVD), Nicolaï (PvdD), Otten (Fractie-Otten) (ondervoorzitter), Recourt (PvdA), Rietkerk (CDA), Veldhoen (GL), Van Wely (Fractie-Nanninga), Nanninga (Fractie-Nanninga). Raven (OSF), Karakus (PvdA), Talsma (CU) en Hiddema (FVD).

2 Leden van de werkgroep: Bezaan (PVV), De Blécourt-Wouterse (VVD), Dittrich (D66), Gerkens (SP), Prins (CDA), Recourt (PvdA), Veldhoen (GL), Van Wely (Fractie-Nanninga).