26 643 Informatie- en communicatietechnologie (ICT)

Nr. 923 LIJST VAN VRAGEN EN ANTWOORDEN

Vastgesteld 10 oktober 2022

De vaste commissie voor Digitale Zaken heeft een aantal vragen voorgelegd aan de Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties over de brief van 18 mei 2022 inzake het rapport «Algoritmes getoetst; De inzet van 9 algoritmes bij de rijksoverheid» (Kamerstuk 26 643, nr. 854).

De Staatssecretaris heeft deze vragen beantwoord bij brief van 7 oktober 2022. Vragen en antwoorden zijn hierna afgedrukt.

De voorzitter van de commissie, Kamminga

De adjunct-griffier van de commissie, Van Tilburg

Vraag 1

Kan de gemaakte nulmeting door de Auditdienst Rijk (ADR) over het Rijksbrede IT-beheer met de Kamer worden gedeeld?

Antwoord

De kwaliteit van IT-beheer heeft impact op een goede ontwikkeling en gebruik van algoritmes. Er is geen door de Auditdienst Rijk gemaakte nulmeting van rijksbreed IT-beheer. Wel wordt bij departementale onderzoeken door de Auditdienst Rijk jaarlijks naar IT-beheer gekeken, gebruik makend van het General IT Controls (GITC) kader. Alle rapporten van de Auditdienst Rijk worden in principe gepubliceerd en zijn voor uw Kamer beschikbaar.

Vraag 2

Kan het Rijksbrede kader voor algoritme- en IT-beheer met de Kamer worden gedeeld?

Antwoord

Voor het IT-beheer gelden diverse kaders waarbij de Algemene Rekenkamer een focus aanbrengt op de volgende vier beheerdomeinen: autorisatiebeheer, wijzigingsbeheer, beveiliging van componenten en continuïteit. Het General IT Controls (GITC) kader is verplicht; dit is gebaseerd op de internationale norm ISO/IEC 27002 en de Baseline Informatiebeveiliging Overheid (BIO). De kaders zijn gepubliceerd via de Enterprise Architectuur Rijk1 (EAR) en de website van de Algemene Rekenkamer2. Afgelopen periode is er gewerkt aan een rijksbreed strategisch cloudbeleid, informatiebeveiligingsbeelden, investeringen in digitaal vakmanschap en het kaderboek Organisatie en Bedrijfsvoering Rijk. Momenteel wordt de Enterprise Architectuur Rijk (EAR) geactualiseerd.

Voor algoritmes werk ik aan een implementatiekader »Inzet van algoritmen» waarbij beschikbare kaders samengebracht worden en standaarden en werkwijzen ingebed worden. Het implementatiekader wordt o.a. gebaseerd op de bouwstenen waarmee de Algemene Rekenkamer en de Auditdienst Rijk tot hun toetsingskaders zijn gekomen. Om ervoor te zorgen dat het implementatiekader zo uitvoerbaar mogelijk is, zal ten aanzien van het kader een uitvoeringstoets plaatsvinden. Daarnaast wordt gebruik gemaakt van de resultaten van diverse onderzoeken (verwoord bij antwoord 18) en wordt er voortgebouwd op de handreiking Governance voor een verantwoorde toepassing van algoritmes3 waar ook EU-regelgeving in meegenomen is.

Vraag 3

Welke algoritmes bij overheidsdiensten zijn gekoppeld aan grote geldstromen?

Antwoord

Bij het uitvoeren van wet- en regelgeving – inclusief toezicht – op het gebied van belastingen, toeslagen, uitkeringen, subsidies wordt gebruik gemaakt van algoritmes, zeker daar waar het gaat om grote populaties gerechtigden. Vooruitlopend op de implementatie van de AI-verordening van de EU wordt gewerkt aan een register. Hieronder slechts enkele voorbeelden van «algoritmes gekoppeld aan grote geldstromen».

Voor de bepaling van het recht op en de hoogte van de verschillende toeslagen (naast huurtoeslag ook zorgtoeslag, kindgebonden budget en kinderopvangtoeslag) wordt door Toeslagen gebruik gemaakt van op de wetgeving gebaseerde geautomatiseerde regels (algoritmes) die in het Toeslagenverstrekkingssysteem (TVS) zijn ondergebracht. Deze regels zijn voor de huurtoeslag met het toetsingskader van en door de Algemene Rekenkamer geaudit. Hiermee wordt jaarlijks voor 15,8 miljard euro aan toeslagen berekend en aan 5,7 miljoen huishoudens verstrekt.

De Algemene Rekenkamer omschrijft een algoritme als een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden. SVB en UWV gebruiken algoritmes om processen te verwerken waarmee grote geldstromen gepaard gaan, zoals de verstrekking van uitkeringen, toeslagen en budgetten. De rechten van burgers worden daarbij vastgesteld met behulp van technisch eenvoudige regels en instructies, gebaseerd op wet- en regelgeving. Er wordt geen gebruik gemaakt van modellen die gebaseerd zijn op machine learning.

RVO gebruikt voor het uitvoeren van de TVL een algoritme. Dit algoritme wordt in hoofdstuk 3 van het Algemene Rekenkamer rapport, «Algoritme in context», besproken. Op de RVO website is meer informatie te vinden over de financiële afwikkeling van de TVL4.

De Belastingdienst en Toeslagen maken in veel processen gebruik van algoritmen en beslismodellen. Voor de beantwoording van deze vraag wordt verder verwezen naar het antwoord bij vraag 9.

Vraag 4

Hoe vaak is er in 2021 gebruik gemaakt van het Criminaliteits Anticipatie Systeem (CAS)? Op welke manieren?

Antwoord

Het CAS is een voorbeeld van een hotspot benadering waarbij op basis van bestaande data wordt bepaald waar het waarschijnlijk is dat bepaalde vormen van openbare ordeverstoring of criminaliteit voorkomen. CAS geeft een verwachting voor een bepaald gebied en geeft geen output die tot personen te herleiden is. De verwachtingen die CAS levert, kunnen worden besproken met de operatie en zo wordt een aanpak van de problematiek voor de betreffende week vastgesteld.

Het CAS wordt gebruikt ter voorkoming van diefstal/inbraak woning, straatroof, diefstal van personenauto’s of uit personenauto’s, zakkenrollerij, diefstal van snor/brom/fiets, diefstal uit bedrijf of kantoor, overlast jeugd, vernieling, openbare schennis der eerbaarheid en verdovende middelen/drugshandel. De aanwezigheid van de politie op plekken waar een verhoogde kans is op deze en andere soorten delicten kan bijdragen aan de voorkoming ervan. Daarnaast kan de politie op basis van output van het CAS bijvoorbeeld preventieve gesprekken voeren met woningbouwverenigingen (bijv. over vernieuwen van sloten als die verouderd zijn) als blijkt dat er veel woninginbraken plaatsvinden.

Het CAS is landelijk binnen de politie uitgerold. Dit houdt in dat alle basisteams de beschikking over CAS-resultaten voor het betreffende gebied met voor het gebied relevantie thema’s hebben.

Vraag 5

Wat is er afgelopen jaar gedaan om te komen tot Rijksbrede kaders en toezicht daarop voor: 1. autorisatiebeheer; 2. wijzigingenbeheer; 3. beveiliging van IT-componenten; 4. Back-up en recovery?

Antwoord

Aansluitend op het antwoord bij vraag 2 versta ik onder toezicht het volgende.

Ik valideer op basis van informatiebeveiligingsbeelden of standaarden goed geïmplementeerd zijn (zoals GITC of BIO). Deze validatie leidt tot concrete auditopdrachten aan bijvoorbeeld de ADR of andere vormen van toezicht. Het delen van goede voorbeelden en ook via gesprekken elkaar attenderen op de risico’s van IT-beheer is onderdeel van de werkmethode. Ik verkrijg een structureel inzicht in de kwaliteit van IT-beheer voor belangrijke IT-systemen van de rijksoverheid door bestaande kwaliteitsrapportages op rijksbreed niveau bijeen te brengen. Op basis hiervan definieer ik een set kwaliteitsindicatoren waarover gerapporteerd gaat worden. Hierbij benut ik instrumenten als ISO-standaarden en het informatiestatuut.

Vraag 6

Op welke manier worden er signalen doorgegeven aan gemeenten die volgen uit het gebruik van het algoritme dat signalen afgeeft over de rechtmatigheid van bijstandsuitkeringen? Zijn er gegevens over hoe vaak gemeenten deze signalen oppakken en deze correct blijken te zijn? Zo ja, kunt u deze cijfers delen?

Antwoord

Signalen worden via het Diginetwerk ter beschikking gesteld aan gemeenten. Diginetwerk is een afsprakenstelsel voor het koppelen van besloten netwerken van de overheid. Via deze gekoppelde netwerken kunnen alle organisaties met een publieke taak onderling gegevens uitwisselen. Er zijn geen cijfers over hoe vaak gemeenten welke signalen oppakken, of ze correct zijn en wat het resultaat is. Onder meer naar aanleiding van het verantwoordingsonderzoek van de Algemene Rekenkamer heeft SZW aan het Inlichtingenbureau (IB) gevraagd of zij meer inzicht kunnen geven in het gebruik van samenloopsignalen door gemeenten. Omdat de opvolging uiteindelijk bij de gemeenten zelf ligt, zijn SZW, IB en VNG met elkaar in gesprek hoe meer inzicht gekregen kan worden in het gebruik van de signalen.

Bij antwoord op vraag 12 volgt een uitgebreidere toelichting op het algoritme.

Vraag 7

Hoe wordt nu per departement getoetst dat in gebruik zijnde algoritmes voldoen aan het toetsingskader van de Algemene Rekenkamer?

Antwoord

In de antwoorden op vragen 2 en 5 licht ik toe aan welke kaders in gebruik zijnde algoritmes dienen te voldoen en hoe dit getoetst wordt. Gewerkt wordt aan een implementatiekader »inzet van algoritmen» waarbij beschikbare handreikingen, richtlijnen en kaders worden samengebracht en standaarden en werkwijzen worden ingebed. Daar zal ik uw Kamer blijvend over informeren.

Vraag 8

Wat vindt u van de afhoudende reactie van de politie en de Immigratie- en Naturalisatiedienst (IND)?

Antwoord

De Minister van Justitie en Veiligheid geeft aan niet het beeld dat de politie ten aanzien van het rapport van de Algemene Rekenkamer een afhoudende reactie aanneemt te herkennen. De politie heeft in haar reactie immers aangegeven dat het rapport van de Rekenkamer inzichten en handvatten geeft om de toepassing van algoritmes verder te verbeteren. De Minister van Justitie en Veiligheid ziet dat ook terug in de gesprekken met de politie. Naar aanleiding van het rapport van de Rekenkamer is de politie bovendien op alle punten van de beoordeling door de Rekenkamer aan de slag gegaan met een inventarisatie welke maatregelen de politie verder kan nemen om de door de Rekenkamer vastgestelde restrisico’s op die onderdelen afdoende te mitigeren. In de beantwoording van de vragen van de leden Mutluer en Van Baarle5 wordt hier nader op ingegaan.

Tot slot wordt er waarde aan gehecht om hier te benadrukken dat bij de bevindingen van de Rekenkamer ook enkele nuances te maken zijn. Uit de beoordeling door de Rekenkamer van het CAS, zoals vervat in het toetsingskader dat aan de politie is afgegeven, komt naar voren dat 23 maal de door de politie genomen risico-mitigerende maatregelen als (geheel) effectief zijn beoordeeld. Waar de beoordeling deels effectief of niet effectief luidt, gaat het in het merendeel om maatregelen die de politie als zodanig wel heeft getroffen, bijvoorbeeld op het gebied van periodieke toetsing, maar waarvan de Rekenkamer aangeeft dat de politie dit onvoldoende heeft vastgelegd. Door de opzet van het rapport (welke gericht was op algoritmes bij de overheid in het algemeen, en niet op elk individueel algoritme) komt het voorgaande minder helder naar voren.

In algemene zin onderschrijft de Staatssecretaris van Justitie de conclusies en aanbevelingen van de Rekenkamer die zijn opgenomen in het rapport Algoritmes getoetst. Er zijn echter wel vragen gesteld bij de conclusies die in het rapport zijn getrokken omtrent het door het directoraat-generaal Migratie (niet IND) gebruikte algoritme. Het is niet duidelijk waarom dit eenvoudige zoekalgoritme naar het oordeel van de Rekenkamer wordt geclassificeerd als hoog risico en/of grote impact voor burgers of bedrijven, noch waarom er bij het gebruik van het algoritme sprake zou kunnen zijn van bias.

Met betrekking tot het uitbesteden van de dienstverlening is er de realisatie dat dit hem niet ontslaat van de verantwoordelijkheid voor de risicobeheersing rondom het gebruik van de software en de veilige werking van het algoritme. Daarom zal op basis van de AVG en het toetsingskader een impactanalyse worden uitgevoerd op het gebruikte algoritme en waar nodig passende maatregelen worden genomen om risico’s te mitigeren.

Vraag 9

Kunt u een lijst geven van alle algoritmes die bij de Belastingdienst gebruikt worden?

Antwoord

In vrijwel alle geautomatiseerde, gedigitaliseerde processen spelen algoritmes een rol. Dat geldt ook voor deze processen bij de Belastingdienst en Toeslagen. Daarbij worden door de Belastingdienst en Toeslagen de risico's en randvoorwaarden voor het gebruik van verschillende soorten algoritmes uitdrukkelijk in acht genomen, zeker bij het toepassen van risicomodellen. Het door de Algemene Rekenkamer ontwikkelde Toetsingskader Algoritmes en het Impact Assessment voor Mensenrechten bij de inzet van Algoritmes (IAMA) zijn daarbij belangrijke handvatten. Het ontbreekt momenteel nog aan een gestandaardiseerd overzicht per Ministerie van welke algoritmen worden gebruikt bij de uitvoering van het werk. Het opzetten van een dergelijk algoritmeregister, in lijn met de moties van het lid Klaver c.s. (Kamerstuk 35 510, nr. 16) en van het lid Dassen c.s. (Kamerstuk 35 925 VII, nr. 26) wordt door de Belastingdienst en Toeslagen onderzocht aan de hand van een pilot. Daartoe worden ook de gebruikte algoritmen in kaart gebracht. Ook is er een onafhankelijke commissie opgericht die voor het hele Ministerie van Financiën, waaronder de Belastingdienst, gevraagd en ongevraagd advies geeft over actuele vraagstukken rondom het gebruik van algoritmen en data-analyse, ook wel analytics genoemd. Het bestuurlijke besluitvormingstraject is afgerond. Op dit moment wordt gewerkt aan de invulling van deze commissie. Het streven is dat de adviescommissie na de zomer kan starten met haar werkzaamheden.

Vraag 10

Kunt u een lijst geven van alle algoritmes die bij het Inlichtingenbureau (IB) gebruikt worden?

Antwoord

Om inzicht te krijgen in de werkzaamheden van het Inlichtingenbureau (IB) kunt u kennisnemen van de Dienstencatalogus en het Gegevensregister van het IB, beide te vinden op www.inlichtingenbureau.nl. Deze documenten geven inzicht in alle informatiediensten van het IB. De informatiediensten zijn gebaseerd op technisch eenvoudige algoritmen die bestaan uit regels en instructies. Ze hebben de vorm «als A en als B, dan C». Deze algoritmen nemen geen besluiten, maar maken bestandsvergelijkingen op basis waarvan gemeenten bijvoorbeeld de rechtmatige verstrekking van bijstandsuitkeringen controleren. In het antwoord op vraag 12 treft u een aantal voorbeelden hiervan aan.

Vraag 11

Op de site van het Inlichtingenbureau staat:

«Maakt het IB bij de verwerking van info gebruik van algoritmes?

Het IB koppelt bestanden, maar kent hierbij zelf geen scores toe op basis waarvan wel of juist géén informatie verzameld en beschikbaar wordt gesteld. Het Inlichtingenbureau gebruikt ook geen andere programma’s of algoritmes die voorspellende, classificerende of associërende elementen hebben. Omdat het IB slechts zorgt voor de bestandskoppeling van bestanden uit verschillende gegevensbronnen, beschikt het Inlichtingenbureau zelf niet direct over de gegevensbestanden. (Persoons)gegevens van bijvoorbeeld de Rijksdienst Wegverkeer (RDW) of UWV zijn voor het IB beschikbaar om informatie op te halen. Met deze informatie kunnen die gemeenten vervolgens de rechtmatigheid van een uitkering vaststellen of juist kwijtschelding van lokale belastingen toekennen.»

Hoe rijmt u dat met het algoritme dat hier besproken wordt?

Antwoord

Zoals aangegeven in het antwoord op vraag 10, gebruikt het Informatiebureau (IB) technisch eenvoudige algoritmes die bestaan uit regels en instructies. Dat geldt ook voor het onderzochte algoritme. Zoals de Algemene Rekenkamer ook zelf stelt, is het «een data-uitwisselingssysteem dat ondersteuning biedt in processen.» Het gaat hier dus niet om een algoritme dat scores toekent.

In het antwoord op vraag 12 wordt dit uitgebreider toegelicht.

Vraag 12

Kunt u, voor ieder van de negen, door de Algemene Rekenkamer, getoetste algoritmes, per algoritme nagaan, wat de werking is van het algoritme, welke informatie in ieder van deze algoritmes is gestopt, welke besluiten worden door die algoritmes genomen en hoe de data ervan gebruikt wordt?

Antwoord

Hieronder treft u per algoritme een reactie aan op uw vraag:

BZK, voor RvIG: Het algoritme ondersteunt de ambtenaar die de aanvraag van een reisdocument afhandelt. De pasfoto op een reisdocument moet aan dusdanig veel eisen voldoen, dat technische ondersteuning bij de menselijke beoordeling van deze foto nuttig is. Het algoritme biedt technische ondersteuning bij deze menselijke beoordeling, en is daarmee een hulpmiddel in het verhogen van de efficiëntie van het aanvraag- en verificatieproces.

De ambtenaar doet een visuele inspectie van de pasfoto. De technologie geeft vervolgens een advies over de mate waarin wordt voldaan aan de kwaliteitseisen van de foto. Hierna maakt de ambtenaar het besluit of de foto geaccepteerd kan worden voor verwerking in het aangevraagde document. Het algoritme neemt dus geen besluit, maar geeft een advies.

De foto wordt aangeleverd door de persoon die een reisdocument aanvraagt. Op basis van een visuele inspectie voert het algoritme een controle uit op de maatvoering en positionering van het hoofd in het geheel van de pasfoto. Dit doet het algoritme op basis van een visuele inspectie, mede op basis van contrasten van pixels in de foto, met als doel de kwaliteitscriteria maatvoering en positionering te beoordelen zoals vastgelegd in de fotomatrix6. Dit heeft niet als doel de persoon te identificeren, maar alleen om de kwaliteit van de pasfoto op zich te beoordelen. Het gaat om persoonsonafhankelijke kenmerken. Specifieke controles doet het algoritme op:

  • • acceptatiecriteria maatvoering

    • – is het hoofd niet te klein of te groot weergegeven?

    • – Het gaat niet om de grootte van iemands hoofd, maar of de grootte van het beschikbare fotoveld voldoende wordt benut;

  • • acceptatiecriteria positionering

    • – staan de ogen op de foto op een horizontale lijn?

    • – staat het hoofd gecentreerd?

Het gebruik van het algoritme voor de kwaliteitsbepaling van een foto wordt gearchiveerd met een versie voor in het aanvraagstation, zodat te achterhalen is welke ambtenaar op basis van welke versie het besluit heeft genomen.

Het aanvraagstation heeft een bewaartermijn van maximaal 10 dagen voor biometrische gegevens in geval van een afgeronde aanvraag (persoonsgegevens (NAW) zijn niet aanwezig in het aanvraagstation). In de gekoppelde systemen wordt de foto, inclusief de reden van het besluit door de ambtenaar om de foto te accepteren als het algoritme aangeeft dat niet te doen (overrulen), 16 jaar bewaard.

EZK, voor TVL: Het algoritme wordt gebruikt als risicomodel ter ondersteuning bij de beoordeling van aanvragen binnen de COVID-19 subsidieregeling Tegemoetkoming Vaste Lasten (TVL). De data die in het model gebruikt worden, zijn opgegeven door de ondernemer (zoals de verwachte omzetderving), afkomstig uit het Handelsregister (zoals de naam van het bedrijf) en blijkt uit de btw-aangifte van de onderneming bij de Belastingdienst (zoals de kwartaalomzet).

Door het risicomodel worden aanvragen met grote afwijkingen ten opzichte van reeds bekende gegevens (bijvoorbeeld met een grote afwijking tussen de bij de aanvraag opgegeven omzet versus bij de Belastingdienst bekende gegevens) of waarbij sprake is van grote complexiteit (zoals wanneer een bedrijf is overgenomen) als «hoog» risico aangemerkt. Deze aanvragen worden vervolgens door een medewerker aanvullend gecontroleerd, zodat ondernemers krijgen waar ze recht op hebben. Bij afwijzing volgt er altijd een menselijke controle. Aanvragen die met een «laag» risico worden aangemerkt, worden geautomatiseerd besloten. De Minister van Economische Zaken en Klimaat heeft uw Kamer bij de inrichting van de TVL en gedurende de uitvoering regelmatig hierover geïnformeerd7.

Financiën, voor Toeslagen: de werking van het algoritme huurtoeslag is gebaseerd op het toepassen van beslisregels die een directe vertaling zijn van de geldende wet- en regelgeving. De geautomatiseerde besluiten die worden genomen op basis van de aanvraag van een toeslag door de burger, zijn de bepaling van het recht op en de hoogte voor het toekennen van de huurtoeslag op basis van de genoemde beslisregels die in het Toeslagenverstrekkingssysteem (TVS) zijn ondergebracht. Op basis van de aanvraag van een toeslag waarbij aangeleverde informatie door de burger wordt verstrekt en de informatie van betreffende instelling/bedrijf wordt m.b.v. de beslisregels een besluit genomen. De burger wordt middels een brief op dit besluit van de toeslag op de hoogte gebracht.

IenW voor CBR: Het algoritme wordt gebruikt om de lichamelijke en geestelijke geschiktheid van een bestuurder van motorvoertuigen te beoordelen op basis van de Regeling eisen geschiktheid 2000 (REG2000). Deze regeling volgt de derde Europese rijbewijsrichtlijn. De regeling bevat de lichamelijke en geestelijke eisen waar een bestuurder van een motorvoertuig aan moet voldoen.

Deze eisen zijn vertaald in het algoritme «Bepalen verwijzen en besluiten». Daarbij wordt gebruik gemaakt van objectieve meetbare medische gegevens die via keuringen door artsen en specialisten aan het CBR worden doorgegeven. Het CBR beoordeelt op basis van deze gegevens, samen met de geschiktheidsverklaring van de bestuurder, via het algoritme of er redenen zijn voor aanvullend onderzoek (verwijzen) of dat er een geschiktheidsbesluit genomen kan worden.

Het algoritme kan zelf besluiten nemen of verwijzingen maken of een voorstel doen richting de inhoudelijke beoordelaar van het dossier. In gevallen waarbij het geschiktheidsbesluit leidt tot een ontzegging van de rijbevoegdheid zal altijd een handmatige beoordeling volgen.

Er worden periodiek deelwaarnemingen gedaan op de besluiten van het algoritme, deze laten geen onvolkomenheden zien.

JenV voor Politie: In de beantwoording van vraag 4 is reeds in algemene zin ingegaan op de werking van het CAS. Door (en met) het CAS worden geen besluiten genomen. Daarnaast wijs ik u graag op het volgende. Op 6 april 2021 heeft de Korpschef in een besluit op een Wob-verzoek besloten om de pseudocode en de variabelen van het CAS openbaar te maken. Voor een volledig beeld van de variabelen verwijs ik u graag naar deze documenten8. Kort samengevat gaat het om locatiespecifieke kenmerken en om criminaliteitshistorie. Deze criminaliteitshistorie is hoofdzakelijk gebaseerd op aangiftes van burgers, oftewel informatie die naar de politie toe komt en niet door haar eigen optreden bepaald wordt. Hiermee wordt een versterking van eventuele eigen vooringenomenheid door het algoritme beperkt.

Ook is van belang om op te merken dat het CAS ontwikkeld is in 2014 en sindsdien doorlopend wordt geëvalueerd en verbeterd. De Rekenkamer is niet de enige of eerste instantie die het CAS heeft bekeken. Zo heeft ook de Inspectie Justitie en Veiligheid in 2021 de code van het CAS ingezien, als onderdeel van een oriëntatie. De inspectie concludeerde toen als volgt: «De code onder de motorkap van CAS is helder. Aan de code is te zien dat de meeste best practices op het gebied van programmeren zijn toegepast. Er is geprogrammeerd in de taal «Python», wat een toegankelijke taal is. De werking van het systeem is daarmee goed navolgbaar. […] De documentatie van het systeem samen met de code en de data geven een goed beeld van hoe het systeem werkt. Dit is nodig voor de Inspectie om een goed beeld te kunnen schetsen van de precieze impact die een dergelijk systeem heeft op de taakuitvoering van (in dit geval) de politie.» Daarbij moet worden opgemerkt dat de inspectie aan de hand van haar oriëntatie een openbaar toezichtkader opstelt. Dat kader wordt dit najaar gepubliceerd door de Inspectie. De Inspectie heeft hierbij geen oordeel gegeven ten aanzien van de aandachtspunten van de Algemene Rekenkamer.

Tot slot zijn de afgelopen vier jaar door studenten en promovendi vanuit verschillende universiteiten meer dan tien studies gedaan naar het CAS. In elk van die gevallen heeft de politie kennisgenomen van de eindverslagen en waar aangewezen het systeem verbeterd. Dit zal de politie ook doen met de aanbevelingen van de Rekenkamer.

JenV voor DG-Migratie: De functionaliteit is het intelligent zoeken door de partners in de migratieketen (Politie, KMar, IND, BZ, COA en DT&V) naar vreemdelingen die zijn geregistreerd in de Basisvoorziening (BVV). Het algoritme wordt gebruikt als hulpmiddel om na te gaan of te registreren of te behandelen vreemdelingen mogelijkerwijs al bekend zijn in de BVV. Het algoritme kent geen directe gebruikers. De ketenpartners in de migratieketen gebruiken de eigen primaire systemen. Deze systemen staan uitsluitend via berichtenverkeer in contact met de BVV, en alleen als de ketenpartner een zoekbericht stuurt waarin om een intelligente zoekactie wordt gevraagd, wordt het algoritme aangesproken.

Het algoritme trekt geen conclusies maar geeft een matchingspercentage terug dat een indicatie is van de mate waarin de te registreren persoonsgegevens overeenkomen met de gegevens van eerder geregistreerde vreemdelingen. De beoordeling van de matchingsresultaten is een verantwoordelijkheid van de betrokken ketenpartners. Zij blijven altijd verantwoordelijk voor het oordeel over de identiteit van vreemdelingen en gebruiken het algoritme alleen als ondersteuning. Het is aan de identificerende ketenpartner om te bepalen of er daadwerkelijk sprake is van dezelfde persoon. Het algoritme kent geen gegevens die kunnen leiden tot bias en kan niet worden gebruikt om te discrimineren. Ook heeft het geen zelflerend vermogen.

JenV voor CJIB: Het onderzochte algoritme bij het CJIB is een technisch eenvoudig algoritme dat als data-uitwisselingssysteem ondersteuning biedt in een proces. Voor aangeleverde zaken die zijn geconstateerd op kenteken wordt een bevraging bij de Rijksdienst voor het wegverkeer (RDW) gedaan van het kentekenregister. Deze bevraging gaat uitsluitend op kenteken. De RDW koppelt de volledige NAW-set van de kentekenhouder van dit voertuig terug. Na deze verrijking met de gegevens van de kentekenhouder stroomt de zaak door naar het productiesysteem welke de beschikking verstuurt op basis van de aangeleverde NAW-gegevens.

SZW voor IB: Het algoritme neemt geen besluiten, maar is een data-uitwisselingsysteem. Met behulp van de bestandsvergelijkingen kunnen gemeenten de rechtmatigheid vaststellen van bijstandsuitkeringen.

Het onderzoek van de rekenkamer keek naar studiefinanciering, bankrekeningnummers, uitkering andere gemeente, voertuigbezit, voortvluchtig veroordeelden. Hierbij wordt een korte algemene toelichting geboden op doel en werking van de signalen van het IB die zijn beoordeeld door de Rekenkamer en het daarbij gehanteerde algoritme.

  • 1. Voortvluchtig veroordeelden hebben geen recht op een bijstandsuitkering: Het IB ontvangt van DJI/CJIB periodiek een overzicht met voortvluchtig veroordeelden. Indien via het burgerservicenummer (BSN) van een voortvluchtig veroordeelde blijkt dat deze ook een lopende bijstandsuitkering heeft, dan leidt dat tot een signaal aan de betreffende gemeente.

  • 2. Uitkering andere gemeente: een bijstandsuitkering kan (mag) maar door één gemeente tegelijk worden verstrekt. Als meerdere gemeenten een lopende bijstandsuitkering melden bij het IB (met meer dan 30 dagen overlap in verband met verhuizingen), dan worden de gemeenten geïnformeerd over de uitkering in de andere gemeente.

  • 3. Studiefinanciering: (Recht op) studiefinanciering wordt gezien als voorliggende voorziening op een bijstandsuitkering. Bij DUO wordt uitgevraagd of een bijstandsontvanger ook recht heeft op studiefinanciering. Als een bijstandsontvanger volgens registratie bij DUO recht heeft op studiefinanciering dan ontvangt de gemeente hiervan een signaal.

  • 4. Voertuiginformatie: een uitkerings-aanvrager/ontvanger moet in het kader van de inlichtingenplicht zijn voertuigbezit melden in verband met onder andere de vermogenstoets in de bijstand. Indien een persoon bijstand ontvangt, dan wordt bij de RDW informatie over diens voertuigbezit opgevraagd en aan de gemeente ter beschikking gesteld.

  • 5. Bankrekeningnummers: een uitkeringsaanvrager/ontvanger moet in het kader van zijn inlichtingenplicht onder andere informatie verstrekken over op zijn naam staande bankrekeningen zodat de gemeente onderzoek kan doen naar de inkomens- en vermogenssituatie. Als een persoon bijstand ontvangt dan wordt bij de Belastingdienst informatie over op diens naam staande bankrekeningen opgevraagd. De (eventuele) inhoudelijke resultaten worden aan de gemeente ter beschikking gesteld.

SZW voor SVB: Het onderzochte algoritme betreft technisch eenvoudige regels en instructies waarmee de SVB de hoogte vaststelt van een AOW-uitkering op basis van het aantal jaar dat iemand in Nederland heeft gewoond of gewerkt. Door het algoritme toe te passen besluit de SVB geheel automatisch, wanneer de aanvraag aan alle voorwaarden van toekenning voldoet. Als dit niet het geval is, dan volgt een handmatige controle door een ambtenaar.

Vraag 13

Worden er ook zelflerende algoritmes gebruikt door de overheid? Zo ja, hoeveel? En bij welke departementen? Zijn er ook zelflerende algoritmes die ook automatische besluitvorming hebben?

Antwoord

Of en hoeveel zelflerende algoritmes de overheid gebruikt is niet bekend. In het rapport «Aandacht voor algoritmes» (januari 2021) (Bijlage bij Kamerstuk 26 643, nr. 737) geeft de Algemene Rekenkamer wel aan geen volledig zelflerende algoritmes aangetroffen te hebben binnen de rijksoverheid. Ik werk zoals aangegeven bij de antwoorden op vragen 3 en 9 aan een register om het inzicht in gebruikte algoritmes te realiseren.

Vraag 14

Bestaat er een kader binnen het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties aan de hand waarvan besloten wordt wanneer een algoritme met geautomatiseerde besluitvorming gebruikt wordt? Kan deze met de Kamer gedeeld worden?

Antwoord

De Algemene verordening gegevensbescherming (AVG) en de bijbehorende Uitvoeringswet AVG (UAVG) bieden het kader voor keuzes over de inzet van geautomatiseerde besluitvorming waarbij (bijzondere) persoonsgegevens worden verwerkt. Op grond van artikel 22 AVG is uitsluitend geautomatiseerde besluitvorming, dus besluitvorming zonder enige vorm van (betekenisvolle) menselijke tussenkomst, verboden als het besluit rechtsgevolgen heeft voor de betrokkene of het de betrokkene anderszins in aanmerkelijke mate treft. Op dit verbod bestaat een aantal uitzonderingen. Het is bijvoorbeeld wel toegestaan als dat in een wet is bepaald en die wet ook voorziet in passende maatregelen ter bescherming van de rechten en vrijheden van de betrokkene. Artikel 40 UAVG bepaalt dat geautomatiseerde individuele besluitvorming wel is toegestaan als dit niet gebeurt op basis van profilering en dit noodzakelijk is vanwege een wettelijke verplichting die op de verwerkingsverantwoordelijke rust of dit noodzakelijk is voor de vervulling van een taak van algemeen belang. Deze bepaling is bedoeld om geautomatiseerde afhandeling van massale, simpele gebonden beschikkingen toe te staan, waarbij menselijke tussenkomst van weinig meerwaarde zou zijn. Dat is het geval bij de uitoefening van gebonden bevoegdheden, waarbij er zeer geringe beoordelingsruimte is, zoals het opleggen van een boete bij snelheidsovertredingen (flitspaal). Een betrokkene heeft op grond van artikel 13 AVG in geval van geautomatiseerde besluitvorming recht op nuttige informatie over de onderliggende logica, het belang en de verwachte gevolgen. Tot slot kunnen hier de Richtsnoeren van de European Data Protection Board over geautomatiseerde individuele besluitvorming en profilering voor de toepassing van de AVG worden genoemd.

Voor geheel of gedeeltelijke geautomatiseerde besluitvorming zijn ook de Algemene wet bestuursrecht (Awb) en de algemene beginselen van behoorlijk bestuur van belang. Hier kan het motiveringsbeginsel (artikel 3:46 Awb) worden genoemd. Dat dwingt bestuursorganen om uit te leggen waarom de feiten en omstandigheden hebben geleid tot een bepaald besluit. Het bestuursorgaan kan daarbij niet zomaar verwijzen naar het algoritme en het daarbij laten. Als deze uitleg niet mogelijk is, dan is de inzet van volledig geautomatiseerde besluitvorming niet gepast.

Denk hierbij aan de term «computer says no»: de afwijzing door een systeem mag niet de motivatie op zichzelf zijn, maar er moet een goede uitleg bij die in begrijpelijke taal uitlegt waarom de afwijzing plaatsvindt.

Een ander in dit kader relevant beginsel is het evenredigheidsbeginsel (artikel 3:4, tweede lid, Awb). Dat dwingt bestuursorganen om geen besluiten te nemen die onevenredige gevolgen hebben voor de betrokkenen. Als het bestuursorgaan hiervoor niet kan instaan, dan moet worden afgewogen of menselijke betrokkenheid gepast is.

Een voorbeeld van de toepassing van het evenredigheidsbeginsel is het geval vanuit de geautomatiseerde systemen van de provincie of gemeente dat een weg aan onderhoud toe is waarbij het systeem aangeeft dat er veiligheidsrisico’s zijn. Op basis van die meldingen wordt besloten de weg af te sluiten om het onderhoud te kunnen doen. Dit is voor burgers wellicht te zien, maar voor ondernemers wiens leveranciers door de afsluiting hun lading niet meer kunnen lossen, kan dit vervelende consequenties met zich meebrengen. Een volledige afsluiting van de weg kan daarom in strijd zijn met het evenredigheidsbeginsel. In zo’n situatie is «handmatig ingrijpen» gewenst om een tijdelijke of gedeeltelijke afsluiting te overwegen. Dit is ingewikkelder voor de overheid, maar wel in het belang van alle betrokkenen.

Zoals bij het antwoord op vraag 2 wordt toegelicht, wordt gewerkt aan een implementatiekader »inzet van algoritmen» waarover ik uw Kamer zal informeren. Hierbij zal ik expliciet verwijzen naar het overzicht van de hierboven genoemde kaders voor geautomatiseerde besluitvorming.

Vraag 15

Op welke manier wordt getoetst of de uitkomsten van de algoritmes, die niet aangemerkt worden als risicovol, daadwerkelijk correct zijn?

Antwoord

In elke fase van de levenscyclus van algoritmische systemen (ontwerpen, bouwen, testen, gebruiken en monitoren) is er aandacht voor de correcte werking van het algoritme. Algoritmes ondersteunen besluitvorming. Daar waar een besluit mogelijk negatieve gevolgen heeft voor de aanvrager, wordt het besluit door een ambtenaar genomen. De ambtenaar voert zodoende een toetsing uit op de door het algoritme aangeboden informatie.

De handreiking (BZK 2022) besteedt verder specifiek aandacht aan noodzakelijke checks tijdens de levenscyclus van een algoritmetoepassing vanwege het mogelijke emergente karakter van algoritmetoepassingen.

Vraag 16

Is er een inschatting te maken hoeveel werk uit handen wordt genomen van ambtenaren door het gebruik van algoritmes bij de overheid? Zo ja, hoeveel?

Antwoord

De inzet van algoritmes draagt bij aan de objectiviteit en kwaliteit van processen, daarnaast bespaart het tijd en capaciteit. Een concrete inschatting van de hoeveelheid hiervan is nu zeer lastig te maken in de breedte van alle dienstverlening van de overheid. Bij vraag 22 wordt voor een enkel algoritme een inschatting geboden. Wat ik wel kan zeggen is dat grote uitvoeringsorganisaties niet meer zullen functioneren zonder het gebruik van algoritmes om grootschalige processen te ondersteunen.

Vraag 17

Welke specifieke verbeteringen zijn er mogelijk ten aanzien van de inzet van (extra) IT-beheersmaatregelen om data en algoritmes te beschermen?

Antwoord

Generiek werken we vanuit BZK aan het per beheerdomein opstellen van een meerjarig plan voor, waar nodig, het aanvullen van bestaande kaders. Hiernaast vraag ik de Auditdienst Rijk dit jaar een onderzoek te doen naar de kwaliteit van rijksbreed IT-beheer; hiermee kunnen verdere specifieke verbeteringen in kaart gebracht worden.

In lijn met het antwoord op vraag 2 worden de daar benoemde instrumenten ingezet en wordt het beleid voor het beschermen van data en algoritmes doorontwikkeld.

Vraag 18

In hoeverre geeft het onderzoek van de Algemene Rekenkamer aanleiding tot het opstellen van een algemeen kader voor het gebruik van algoritmes door overheidsinstellingen?

Antwoord

Het onderzoek van de Algemene Rekenkamer sluit aan in een serie van recente rapporten op het gebied van algoritmes. Naast de bij antwoord op vraag 2 genoemde handreiking, zijn dat rapporten van de Auditdienst Rijk9, het Rathenau Instituut10, de Raad van State11 en de Wetenschappelijke Raad voor Regeringsbeleid12. Het geheel van deze onderzoeken biedt materiaal voor de huidige beleidsontwikkeling voor het gebruik van algoritmes door de rijksoverheid. Hiernaast werk ik aan de inrichting van een toezichthouder, de verplichting van een algoritmeregister voor overheden en aan de voorbereiding van de implementatie van de AI-verordening van de Europese Unie en de Raad van Europa.

Vraag 19

Is het mogelijk dit toetsingskader te gebruiken voor alle algoritmes binnen de overheid die grote impact hebben op mensen (als die algoritmes toevallig gebruikt worden of effect hebben door meer dan 1 miljoen mensen)?

Antwoord

Ja, de Algemene Rekenkamer heeft de mogelijkheid om hun toetsingskader te gebruiken op verschillende soorten algoritmes binnen de rijksoverheid. De rijksbrede kaders, het verplichte karakter en de aanstaande ontwikkeling worden bij het antwoord op vraag 2 toegelicht.

Vraag 20

Op pagina 10 onderaan schrijft de Algemene Rekenkamer: «De Minister heeft hierdoor bij deze organisaties een toezichthoudende taak en moet over het functioneren en presteren van de organisatie informatie kunnen verstrekken aan de Tweede Kamer.» Bent u bereid de bovengenoemde informatie over het presteren van algoritmes bij overheidsorganisaties aan de Kamer te verstrekken?

Antwoord

Over het functioneren en presteren van algoritmes bij de betreffende organisaties kan en zal elke bewindspersoon zelf afzonderlijk informatie inwinnen en verstrekken. Dit is zoals de Algemene Rekenkamer benoemt ook geen bevoegdheid van de Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties, maar van de bewindspersoon verantwoordelijk voor die specifieke uitvoeringsorganisatie. Wel zal de Staatssecretaris een rol spelen in het inzichtelijk maken van de hoog risico algoritmes die in gebruik zijn bij de departementen. Ook komt er een aparte toezichthouder.

Vraag 21

Hoeveel andere algoritmes (grote algoritmes die effect hebben op meer dan 1 miljoen mensen bijvoorbeeld) zijn er die automatische besluitvorming hebben, naast de vier algoritmes die in de tabel staan?

Antwoord

Het aantal algoritmes met automatische besluitvorming is onbekend. Het uitvoeren van wetgeving, inclusief toezicht, op het gebied van belastingen, toeslagen, uitkeringen, subsidies maakt gebruik van algoritmes, zeker daar waar het gaat om grote populaties gerechtigden. Net als bij het antwoord op vragen 3 en 9, werken we in Europees verband aan de AI-verordening die ook een registratieplicht kent voor hoog risico-systemen. Het kabinet is ook bezig met het opzetten van een algoritmeregister en wettelijk te verplichten. De vele algoritmes die de afgelopen tijd zijn doorgelicht zullen voor het eind van het jaar in dat register worden opgenomen, en vanaf volgend jaar worden aangevuld.

Vraag 22

Is er een indicatie te geven hoeveel tijd het heeft bespaard om tot uitkering van de Tegemoetkoming Vaste Lasten (TVL) te komen door het gebruik van algoritmes in vergelijking met het niet gebruiken van algoritmes?

Antwoord

Ja. In de TVL wordt het risicomodel (het algoritme) gebruikt om alle aanvragen geautomatiseerd te controleren, voorafgaand aan de uitbetaling van het voorschot en voor de definitieve vaststelling van de subsidie. Daarmee wordt het nemen van een besluit versneld, zodat ondernemers op tijd liquiditeitssteun hebben kunnen krijgen.

Door de inzet van het risicomodel is RVO in staat geweest om over de grote hoeveelheid subsidieaanvragen in een zeer korte tijd te beslissen, zodat ondernemers die tijdens de corona lockdowns snel vaste lasten steun nodig hadden, dat ook gekregen hebben. Van de 722.000 aanvragen in de TVL (460.000 voorschotaanvragen en 262.000 vaststellingsverzoeken) is 49% binnen 1 week na ontvangst beslist, 71% binnen 3 weken en 96% binnen 8 weken. Op deze manier is meer dan 8 miljard euro aan steun uitgekeerd. In de drukste weken ontving RVO circa 40.000 aanvragen per week.

Als de RVO een vergelijkbaar resultaat zonder de inzet van het risicomodel had willen behalen had RVO gedurende de hoogste pieken (ongeveer 25% van de openingsweken) meer dan 400 fte gespecialiseerd personeel per week extra moeten opschalen, om ondernemers tijdig te kunnen helpen. Bij benadering gaat dit om circa 252.000 uur extra. De Minister van EZK is ervan overtuigd dat zonder de inzet van het risicomodel de TVL niet uitvoerbaar was geweest.

Daarnaast heeft RVO door de inzet van het risicomodel aanzienlijk meer tijd kunnen stoppen in maatwerk. RVO heeft daardoor tienduizenden ondernemers extra kunnen helpen, zoals hulp bieden aan niet-digivaardigen met het indienen van een aanvraag, het corrigeren van tikfouten of het proactief bellen van ondernemers voor een betalingsregeling op maat.

Vraag 23

In de tabel/figuur is te zien dat het algoritme van de politie aan geen enkel van de eisen van de toetsingskader voldoet, kunt u dit specifieke algoritme uitgebreid toelichten? Wat doet het algoritme, door wie worden de besluiten genomen en hoe worden mensenrechten als privacy door dit algoritme geschonden?

Antwoord

Het CAS wordt gebruikt ter voorkoming van diefstal/inbraak woning, straatroof, diefstal van personenauto’s of uit personenauto’s, zakkenrollerij, diefstal van snor/brom/fiets, diefstal uit bedrijf of kantoor, overlast jeugd, vernieling, openbare schennis der eerbaarheid en verdovende middelen / drugshandel. Het CAS geeft een verwachting voor een bepaald gebied en geeft geen output die tot personen te herleiden is. Dit wordt uitgebreider toegelicht bij de antwoorden op vraag 4 en op vraag 12. Voor meer informatie over het CAS verwijs ik u graag naar het Halfjaarbericht Politie,13 en naar de stukken die openbaar gemaakt zijn door de korpschef over het CAS (waaronder de pseudocode en de variabelen op basis waarvan het CAS werkt) naar aanleiding van een Wob-verzoek.

Vraag 24

Meerdere algoritmes kwamen niet door het toetsingskader heen. Is ook overwogen het toetsingskader op basis daarvan te herzien? Is het überhaupt mogelijk om technisch ingewikkelde algoritmes binnen het toetsingskader op te stellen?

Antwoord

De Algemene Rekenkamer is een onafhankelijke toezichthouder die zelfstandig bepaalt welke kaders zij hanteert. Het is ook aan de Algemene Rekenkamer om te bepalen of zij het toetsingskader wil herzien.

Het ontwikkelen en gebruiken van een technisch ingewikkeld algoritme is een primair gevolg van ontwikkelde wet- en regelgeving. In hoeverre die wet- en regelgeving in lijn ligt met het toetsingskader van de Algemene Rekenkamer is secundair. De verwachting is dat ook technisch ingewikkelde algoritmes binnen het kader mogelijk zijn; ik ga hierover met de Algemene Rekenkamer in gesprek.

Vraag 25

Heeft u indicaties dat er binnen de rijksoverheid en de uitvoeringsorganisaties incidenten zijn geweest met de inzet van algoritmes als gevolg van gebrekkig IT-beheer? Zo ja, kunt u deze incidenten omschrijven?

Antwoord

Nee, ook bij navraag is aangegeven dat er geen signalen zijn ontvangen van incidenten als gevolg van gebrekkig IT-beheer bij de inzet van algoritmes.

Vraag 26

Wat gaat u doen om het IT-beheer bij algoritmes te verbeteren?

Antwoord

Voor de aanpak van verbetering van IT-beheer bij algoritmes kies ik voor een generieke aanpak. Algoritmes kunnen niet los gezien worden van andere ICT-systemen. Per beheerdomein zoals door de Algemene Rekenkamer is geformuleerd stel ik een meerjarig plan op voor, waar nodig, het aanvullen van bestaande kaders.

Vraag 27

Heeft u er zicht op of er naast de DG Migratie van het Ministerie van Justitie en Veiligheid, andere overheidsinstanties zijn die de ontwikkeling van hun algoritme hebben uitbesteed en daarom geen, of onvoldoende inzicht, hebben of de risico's met betrekking tot de algoritmes worden beheerst, bijvoorbeeld welke variabelen bij de inzet van algoritmes worden gebruikt? Zo nee, hoe waarschijnlijk acht u dit?

Antwoord

Het uitbesteden van de ontwikkeling van algoritmes gebeurt bij meerdere departementen en uitvoeringsorganisaties van de rijksoverheid. Voor verbeterd inzicht en beheersing zijn instrumenten beschikbaar die in toenemende mate worden ingezet en tot vernieuwde afspraken leiden met de leveranciers.

Vraag 28

Neemt u naast maatregelen om bias in algoritmes tegen te gaan, ook maatregelen om bias in data in de toekomst tegen te gaan? Zo ja, welke maatregelen zijn dat, los van het opschonen van vervuilde data bij de rijksoverheid?

Antwoord

Een nieuw in te richten implementatiekader »inzet van algoritmen» wordt mede gebaseerd op de toetsingsmodellen van de Algemene Rekenkamer en Auditdienst Rijk waar datakwaliteit een belangrijke rol speelt. Ook het Impact Assessment Mensenrechten en Algoritmen (IAMA) en de handreiking non-discriminatie by design worden hierin opgenomen. Parallel wordt er gewerkt aan het vergroten van de impact van deze instrumenten. Zie verder ook de antwoorden op de vragen 2, 5, 14 en 15.

Vraag 29

Wordt verwacht dat, met de vier aanbevelingen die gedaan worden, de problemen omtrent algoritmes volledig worden ingeperkt en voldoen aan alle eisen in het toetsingskader?

Antwoord

Het rapport van de Algemene Rekenkamer signaleert restrisico’s, geen problemen rondom algoritmes. De betrokken organisaties hebben tijdens het onderzoek al maatregelen genomen om de restrisico’s te verminderen. Waar nodig zal ik aanvullende maatregelen nemen. Zoals onder andere bij het antwoord op vraag 2 is verwoord, wordt het beleid op dit terrein doorontwikkeld en zal ik uw Kamer hier blijvend over informeren.

Vraag 30

In hoeverre bent u voornemens, nu de Algemene Rekenkamer de inzet van negen algoritmes bij de overheid heeft getoetst, zelf andere algoritmes te (laten) onderzoeken?

Antwoord

Dit initiatief is bij de start van het onderzoek van de Algemene Rekenkamer ook genomen en heeft geleid tot een (vrijwillig) interdepartementaal onderzoek naar algoritmes door de Auditdienst Rijk, zoals aangegeven bij het antwoord op vraag 18. Daarnaast is het van belang om een bredere inventarisatie in samenhang te bezien met het algoritmeregister. Daar wordt nu gewerkt aan een opzet waarbij goed gekeken wordt naar definities, scope, reikwijdte en wat we van een algoritme willen weten. Ook wordt een werkwijze voorgesteld die het voor de overheden relatief eenvoudig maakt om de relevante algoritmes te identificeren, op te nemen en bij te houden.

Vraag 31

Worden naast deze negen algoritmes nog meer algoritmes getoetst aan het toetsingskader?

Antwoord

Het toetsingskader is door de Algemene Rekenkamer opgesteld. De Algemene Rekenkamer is een onafhankelijke toezichthouder die zelfstandig bepaalt welk onderzoek zij uitvoert.

Vraag 32

Hoe verhoudt het toetsingskader van de Algemene Rekenkamer zich tot andere toetsingskaders zoals het IAMA, Datasheets for datasets en Model cards for models? Wordt binnen de rijksoverheid inmiddels gebruik gemaakt van één gestandaardiseerd toetsingskader?

Antwoord

Er is nog geen sprake van een geharmoniseerd toetsingskader van het Rijk. Het toetsingskader van de Algemene Rekenkamer is een belangrijke bouwsteen van het op te stellen implementatiekader »inzet van algoritmen».

Daarnaast zijn er, in lijn met antwoord 18, nog vele andere instrumenten en hulpmiddelen die zijn ontwikkeld zoals het IAMA, de handreiking non-discriminatie by design en in ontwikkeling zijnde Europese regelgeving. De inzet van het kabinet is om binnen deze instrumenten prioritering aan te brengen en deze te stroomlijnen, zodat in alle fasen van de levenscyclus van algoritmische toepassingen praktische handvatten worden geboden.

Naar boven