19 637 Vreemdelingenbeleid

Nr. 3126 BRIEF VAN DE STAATSSECRETARIS VAN JUSTITIE EN VEILIGHEID

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 26 juni 2023

In het dertigledendebat d.d. 15 september 2022 (Handelingen II 2021/22, nr. 109, item 11) over het in mei 2021 buiten gebruik gestelde risicomodel erkende referenten¹ heb ik u toegezegd om de uitkomsten van het TNO-rapport over het nieuwe risicomodel en de reactie van de Immigratie- en Naturalisatiedienst (IND) daarop met u te delen. Hierbij voldoe ik aan deze toezegging en stuur ik u het rapport toe dat TNO op 28 oktober 2022 heeft opgeleverd. In verband met de enorme drukte bij de verschillende ketenpartners heeft de afstemming langer geduurd dan gebruikelijk.

De uitkomsten van het onderzoek en aanbevelingen van TNO geven aan dat de robuustheid van het risicomodel en de risico’s op bias nog onvoldoende kunnen worden vastgesteld. Dit heeft de IND doen besluiten om het risicomodel nog niet in gebruik te nemen. De uitkomsten en adviezen geven de IND verder veel waardevolle inzichten die worden uitgewerkt om een zorgvuldige en betrouwbare inzet van het risicomodel te kunnen borgen. Daartoe heeft de IND de samenwerking met TNO verlengd.

In deze brief zal ik aangeven op welke wijze de IND de uitkomsten van het TNO-rapport waardeert.

Risicomodel erkende referenten

Nederland kent een snelle, efficiënte en toegankelijke procedure om toegang te verlenen aan kennismigranten. Die procedure staat open voor rechtspersonen die door de IND als referent zijn erkend, en aldus zijn beoordeeld als betrouwbare partner. Een erkende organisatie beoordeelt voorafgaand aan de indiening van een verblijfsaanvraag voor een kennismigrant of alle benodigde gegevens en bescheiden aanwezig zijn, of aan de toelatingsvoorwaarden wordt voldaan en stelt een verklaring op waaruit dit blijkt. De IND beslist op deze aanvragen in beginsel binnen de streeftermijn van twee weken. De IND houdt toezicht op de organisaties die erkend zijn om te beoordelen of deze nog aan de voorwaarden voor erkenning voldoen en of zij hun verplichtingen goed nakomen. Indien nodig kan de IND handhavend optreden. In het verleden vond toezicht op de erkende referent plaats op basis van een risicomodel dat de IND in mei 2021 buiten gebruik heeft gesteld. Op dit moment heeft de IND geen risicomodel in gebruik.

Voor een efficiënte inzet van de schaarse capaciteit ten behoeve van de toezicht- en handhavingstaken is een risicogestuurde werkwijze bij de IND wenselijk. Daarmee is de IND in staat om met beperkte capaciteit een zo groot mogelijke reductie van risico’s te bereiken. Voor dit doel heeft de IND het afgelopen jaar een nieuw risicomodel ontwikkeld. Alvorens dit nieuwe risicomodel in gebruik te nemen, wil de IND de mogelijke risico’s op het gebied van bias en de robuustheid van het model in kaart hebben gebracht. Hiertoe is een samenwerking met het TNO AI Oversight Lab aangegaan, waarbij TNO is gevraagd om het nieuwe risicomodel te onderzoeken op robuustheid en mogelijke bias.

Resultaten onderzoek TNO

De onderzoeksresultaten van het TNO-onderzoek concluderen kort samengevat dat de robuustheid van het risicomodel en de risico’s op bias onvoldoende kunnen worden vastgesteld. TNO beveelt de IND aan om verder te werken aan de robuustheid van het model en daarnaast – door middel van een steekproef – aanvullende data te verzamelen om het nut en de consequenties van het gebruik van het risicomodel beter te onderzoeken.

Bias

In het onderzoek naar bias is gekeken naar mogelijke risico’s op onrechtvaardige vertekeningen, waardoor onbedoeld (in)directe vooroordelen en discriminatie tegen bepaalde groepen of mensen ontstaan. Daarom heeft TNO in het kader van het bias onderzoek naar de uitkomsten van het risicomodel een tweetal hypotheses onderzocht.

Hypothese 1: Er is geen relatie tussen de voorspellingen van het risicomodel en de nationaliteit van de kennismigranten van de erkende referent.

Hypothese 2: Het risicomodel suggereert proportioneel even vaak verder onderzoek voor erkende referenten met een meerderheid van kennismigranten van een specifieke nationaliteit dan andere erkende referenten.

TNO heeft zowel bij hypothese 1 als hypothese 2 geen statistisch bewijs gevonden dat de voorspellingen van het risicomodel nationaliteit afhankelijk zijn. Bij hypothese 2 is wel een risico gesignaleerd dat de voorspellingen van het risicomodel anders kunnen zijn voor erkende referenten met een meerderheid aan kennismigranten van deze specifieke nationaliteit. TNO spreekt van een risico dat is gesignaleerd op basis van de kwantitatieve resultaten. Deze resultaten kunnen niet als statistisch bewijs worden geïnterpreteerd dat het risicomodel in gebruik daadwerkelijk een voorkeur zal hebben voor erkende referenten met een meerderheid van deze specifieke kennismigranten.

De data die voor de beantwoording van de hypothesen 1 en 2 beschikbaar was, is echter ontoereikend om een nadere statistisch en wetenschappelijk onderbouwde uitspraak over deze hypothesen te kunnen doen. Om die reden heeft de IND ertoe besloten om het nieuwe risicomodel nog niet in gebruik te nemen en alsnog aanvullend data-onderzoek uit te voeren. Het CBS is gevraagd de IND hierin te adviseren.

Robuustheid

TNO heeft ook onderzoek gedaan naar de robuustheid van het nieuwe risicomodel. Met een robuust risicomodel wordt bedoeld dat de nauwkeurigheid en betrouwbaarheid van het model zorgvuldig zijn vastgesteld. Dat wil zeggen dat het vermogen om correcte voorspellingen (hoog, midden of laag risico) te maken is onderzocht met een gedegen evaluatieproces.

De robuustheid van het model kan volgens TNO nog onvoldoende worden vastgesteld omdat bij de ontwikkeling van het model is uitgegaan van een aanname die niet wetenschappelijk is getoetst. Dit betreft de aanname dat erkende referenten waar in het verleden geen handhavingsinterventie heeft plaatsgevonden voldoen aan de gestelde voorwaarden en verplichtingen. Door aanvullend data-onderzoek uit te voeren wordt de IND in staat gesteld om te beoordelen of deze aanname terecht is.

Vervolgproces

De IND neemt de aanbevelingen van TNO ter harte en gaat hiermee aan de slag. Het risicomodel zal niet in gebruik worden genomen alvorens de aanbevolen acties zijn uitgevoerd en hebben aangetoond dat de nauwkeurigheid en betrouwbaarheid van het model en het gebruik van het model zorgvuldig zijn vastgesteld en bewust rekening wordt gehouden met risico’s op bias en de impact op verschillende groepen.

De IND en TNO zetten de samenwerking omtrent betrouwbaar gebruik van AI-algoritmen in 2023 voort. Met als doel dat de IND beter in staat wordt gesteld om te komen tot een gedegen gebruik van algoritmes ter ondersteuning van de uitvoeringspraktijk. Hierbij wordt zowel naar technische als naar organisatorische aspecten gekeken.

Voorafgaand aan de eventuele invoering van een nieuw risicomodel zal ik uw Kamer informeren ten aanzien van de resultaten van de voortgezette samenwerking met TNO.

De Staatssecretaris van Justitie en Veiligheid, E. van der Burg

---

1 Zie voor correspondentie over het «oude» risicomodel mijn brief (Kamerstuk 19 637, nr. 2904) d.d. 10 mei 2022 alsook de beantwoording van de schriftelijke vragen gesteld door de leden Leijten en J. van Dijk (beiden SP), ingezonden op 11 mei (Aanhangsel Handelingen II 2021/22, nr. 3263) en de vervolgvragen van het lid Mutluer (PvdA), ingezonden op 12 mei (Aanhangsel Handelingen II 2021/22, nr. 3262),