32 824 Integratiebeleid

Nr. 196 BRIEF VAN DE MINISTER VAN SOCIALE ZAKEN EN WERKGELEGENHEID

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 16 mei 2017

Tijdens het Voortgezet Algemeen Overleg van 16 februari 2017 over Inburgering en Integratie (Handelingen II 2016/17, nr. 54, item 9) heeft het lid Voortman een motie¹ ingediend met het verzoek de Kamer nader te informeren over het permanente evaluatieproces van het examen Kennis van de Nederlandse Maatschappij (KNM) en de overwegingen daarachter en hoe de vragen binnen KNM en de selectie van die vragen zich verhoudt tot de leerdoelen. Met deze brief beantwoord ik deze motie in het kort, in de bijlage treft u een uitgebreide beschrijving van het evaluatieproces aan.

Bij KNM gaat het om het overbrengen van de kernwaarden van de Nederlandse maatschappij aan nieuwkomers. Voor het formuleren van vragen voor KNM wordt een in de toets- en testtheorie algemeen gebruikte methodiek gebruikt.

De inhoudelijke vraagstelling in het KNM-examen is gebaseerd op eindtermen die in 2005 ontwikkeld zijn en in 2013 zijn herzien. De eindtermen zijn ontwikkeld door onderzoeksbureau Euro RSCG Bikker door middel van brede groepsgesprekken. In 2013 zijn ze herzien naar aanleiding van de motie Dibi/Van Dam² op actualiteit. Hiertoe heeft Regioplan een onderzoek uitgevoerd, waarbij onder meer meerdere bijeenkomsten in het land gehouden zijn met Nederlanders met en zonder migratieachtergrond.

Deze gewijzigde eindtermen zijn begin 2014 ter informatie naar de Tweede Kamer gestuurd (Kamerstuk 32 824, nr. 54). Naar aanleiding van volgende moties uit de Kamer is meer aandacht gekomen voor het thema «Waarden en normen» in KNM. Dit heeft ertoe geleid dat nu circa één derde van de vragen in de vragenbank onder deze eindterm valt.

Op basis van de eindtermen worden inhoudelijke vragen gemaakt door toetsontwikkelaar ICE. De vragen worden psychometrisch onderzocht, voorgelegd aan de adviescommissie van KNM voor inhoudelijke toetsing en eerst als «proef-vraag» meegenomen in het examen. Pas daarna volgt goedkeuring en worden ze in de vragenbank opgenomen en daadwerkelijk voor het examen gebruikt.

De gehele vragenbank wordt jaarlijks gescreend op actualiteit en waar nodig aangepast. Ook deze aanpassingen worden inhoudelijk eerst met de adviescommissie besproken.

Alle voorstellen ten aanzien van zowel inhoud als cesuurstelling van de vragenbank worden door de adviescommissie als advies voorgelegd aan het Ministerie van Sociale Zaken en Werkgelegenheid, dat uiteindelijk het examen vaststelt.

Individuele examens worden samengesteld uit ad random getrokken vragen uit de vragenbank. Dit betekent dat niet in ieder individueel examen alle eindtermen terugkomen, er wordt immers een ad random selectie van examenvragen gemaakt.

De Minister van Sociale Zaken en Werkgelegenheid, L.F. Asscher

Bijlage: Uitgebreide toelichting op het evaluatieproces van het examen Kennis van de Nederlandse Maatschappij (KNM) en de verhouding van de vragen tot de leerdoelen

1) Het permanente evaluatieproces van het examen KNM

Het examen KNM wordt op verschillende niveaus onderworpen aan evaluatie. Hieronder wordt de evaluatie op niveau van de eindtermen en van de items beschreven.

Eindtermen

De vragen worden geconstrueerd aan de hand van de eindtermen KNM. Deze zijn opgesteld in 2005 op basis van onderzoek in de samenleving door Euro RSCG Bikker en op basis van adviezen van klankbordgroepen en adviescommissies, en zijn sindsdien meerdere keren geëvalueerd. In 2011 is er uitgebreid onderzoek uitgevoerd door Regioplan naar de eindtermen, waarbij deze net als in 2005 onder meer aan verschillende groepen Nederlanders met en zonder migratieachtergrond zijn voorgelegd. In 2013 zijn de eindtermen voor het laatst grondig geëvalueerd en aangepast naar aanleiding van een motie van Kamerleden Dibi en Van Dam (2012). De kern van die laatste wijziging had te maken met de veranderende inburgeringscontext: tot de doelgroep van het KNM examen behoorden voorheen zowel oudkomers als nieuwkomers, tegenwoordig zijn dat alleen nieuwkomers. Ook het karakter van de eindtermen is in 2013 aangepast: voorheen hadden de eindtermen een meer voorschrijvend en normatief karakter dan tegenwoordig. Daarnaast is de formulering van de eindtermen herzien: daar waar een wettelijk kader is voor bepaald gedrag, is kennis van dat gedrag als uitgangspunt genomen in plaats van het gedrag zelf. Een voorbeeld: kunnen uitleggen dat geweld bij de politie gemeld kan worden i.p.v. het daadwerkelijk melden bij de politie. Dit laatste is immers geen toetsbare situatie. Er zijn in 2015 circa 70 nieuwe items over normen, waarden en grondrechten in het examen opgenomen.

Vragen

Het examen bestaat uit een aantal casussen waarbij een aantal meerkeuzevragen worden gesteld. De casussen met de vragen worden ontwikkeld door de toetsontwikkelaar: bureau ICE. De achtergrond van de toetsconstructeurs is Toegepaste Taalwetenschap.

Voordat de vragen worden ingezet als examenvragen, worden deze onderworpen aan een intensief screeningsproces. Binnen Bureau ICE wordt elke vraag door diverse toetsspecialisten, die niet betrokken waren bij het ontwikkelen van de vragen, bekeken.

Als een vraag akkoord is bevonden wordt deze opgenomen in de vragenbank als «proef-vraag». Een proef-vraag is een vraag die tijdens gewone examens wordt uitgetest maar die niet meetelt voor de uitslag van het examen. Met deze test wordt psychometrische data verzameld over de betreffende vraag; is de vraag goed van niveau? Wekt de vraag verwarring of zijn de antwoorden dubbelzinnig? Of zijn er verschillende antwoorden mogelijk? Doordat de juiste doelgroep (nl. de examenkandidaten) deze vragen beantwoordt, wordt inzicht verkregen in de geschiktheid van een vraag voor deze doelgroep.

Zodra een proef-vraag een bepaald aantal keer afgenomen is, worden de psychometrische data geanalyseerd. Op dit punt wordt ook een onafhankelijke expertcommissie ingeschakeld die iedere vraag kritisch bekijkt, evenals de psychometrische data. De huidige expertcommissie voor KNM wordt gevormd door drie leden: een ervaren NT2-docent met gedegen kennis van toetsing, iemand uit de doelgroep die partner is bij een adviesbureau en een ervaren NT2-docent die ook bestuurslid is van de Beroepsvereniging NT2.

De expertcommissie brengt vervolgens advies uit aan de onafhankelijke adviescommissie. Deze bestaat uit een hoogleraar toetsing en psychometrie, de directeur van het College voor toetsen en examens en een expert op het gebied van Nederlands als Tweede taal.

De adviescommissie bespreekt de adviezen van de expertcommissie over de cesuur en brengt advies uit aan het Ministerie waarna het ministerie formeel akkoord geeft. Daarna pas worden de vragen toegevoegd aan de vragenbank van KNM en gaan deze ook meetellen in de uitslag voor de kandidaat.

Alle examenvragen worden jaarlijks door de toetsontwikkelaars gecontroleerd op actualiteit. Wanneer geconstateerd wordt dat een item niet meer bij de actualiteit aansluit, wordt deze geblokkeerd. Denk hierbij aan examenvragen waarin namen van organisaties voorkomen die veranderd zijn etc. Vragen kunnen tijdelijk geblokkeerd worden, waarna een item wordt aangepast, of definitief, wanneer de actualiteit zodanig is veranderd dat het item niet meer aan te passen valt.

Na een bepaald aantal afnames wordt een vraag uit de vragenbank verwijderd. Er wordt dan gesproken van «overexposure»: een vraag is zo vaak afgenomen dat deze «versleten» is. Hiermee wordt bedoeld dat deze vraag al door zoveel kandidaten gezien is, dat de kans aanwezig is dat de vraag bekend raakt. Om ervoor te zorgen dat iedere kandidaat een gelijke kans heeft op het halen van het examen, wordt zo’n vraag verwijderd.

Wanneer een vraag uit de vragenbank wordt verwijderd, wordt deze vervangen door een nieuwe vraag die bij dezelfde eindterm aansluit, om zo de dekking over het totaal van eindtermen te waarborgen. Op deze manier is er sprake van constante verversing en evaluatie van de vragenbank, waarbij de eindtermen altijd het uitgangspunt zijn en de actualiteit voortdurend wordt meegenomen.

2) Aansluiting vragen op eindtermen (leerdoelen)

De eindtermen zijn onderverdeeld in 8 thema’s:

• 1. Werk en inkomen

• 2. Omgangsvormen, waarden en normen

• 3. Wonen

• 4. Gezondheid en gezondheidszorg

• 5. Geschiedenis en geografie

• 6. Instanties

• 7. Staatsinrichting

• 8. Onderwijs en opvoeding

Deze thema’s zijn op hun beurt onderverdeeld in cruciale handelingen (bijvoorbeeld «Snel en efficiënt (nieuw) werk zoeken»), vervolgens in cruciale kennis (bijvoorbeeld «Is op de hoogte van de procedures van de gemeente voor werkzoekenden») en uiteindelijk op «indicatorniveau», (bijvoorbeeld «overlegt met de gemeente over wensen die passen bij zijn scholingspositie»). De indicatoren beschrijven normen die aangeven wanneer een handeling als adequaat kan worden beschouwd. De vragen worden ontwikkeld op indicatorniveau.

De vragen zijn ingestoken vanuit de derde persoon, iemand met wie de inburgeraar zich kan identificeren. Binnen de context van een vraag wordt een gebeurtenis beschreven waaraan een probleem is gekoppeld. De inburgeraar kan zich inleven in dit probleem en dient binnen de kaders van een meerkeuzevraag vervolgens te kiezen voor de beste reactie of oplossing.

Hierbij de link naar de eindtermen van KNM https://www.rijksoverheid.nl/documenten/publicaties/2014/04/25/eindtermen-kennis-van-de-nederlandse-samenleving

In het onderwijs worden de eindtermen gehanteerd om mensen voor te bereiden op het examen. De vragenbank bevat voor alle eindtermen voldoende vragen om zo’n ad random getrokken examen mogelijk te maken. In het individuele examen komen niet altijd alle eindtermen terug juist omdat er een ad random selectie van examenvragen wordt gemaakt.

---

1 Kamerstuk 32 824, nr. 188.

2 Kamerstuk 33 086, nr. 40.