Regeling van het College voor Toetsen en Examens van 26 november 2018, nummer CvTE-18.01321, houdende wijziging van Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2016 in verband met tijdelijke speelruimte cspe en actualisering en verduidelijking van bijlage 1

Gezien de goedkeuring van de Minister voor Basis- en Voortgezet Onderwijs en Media, gegeven op 1 februari 2019, nummer 1452763;

Gelet op artikel 2, tweede lid, aanhef en onderdeel e, van de Wet College voor toetsen en examens;

Besluit:

ARTIKEL I. WIJZIGING REGELING OMZETTING SCORES IN CIJFERS CENTRALE EXAMENS EN REKENTOETS VO 2016

De Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2016 wordt als volgt gewijzigd:

A

Na artikel 2 wordt een artikel ingevoegd, luidende:

Artikel 3. tijdelijke speelruimte centraal schriftelijk en praktisch examen

• 1. Indien het bevoegd gezag daarvoor regels heeft gesteld, kan de directeur van een school per profielvak besluiten een hogere N-term te hanteren voor het centraal schriftelijk en praktisch examen dan de N-term die voortvloeit uit hoofde van artikel 1.

• 2. De speelruimte, bedoeld in het eerste lid, bedraagt maximaal 0,5 meer dan de N-term volgens artikel 1.

• 3. Indien toepassing wordt gegeven aan het eerste lid, dan meldt de directeur van de school de hogere N-term alsmede de reden van toepassing daarvan aan de Inspectie van het Onderwijs.

• 4. Dit artikel vervalt met ingang van 1 januari 2020.

B

Bijlage 1 van de Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2016 wordt vervangen door:

BIJLAGE 1.

behorende bij artikel 1 van de Regeling omzetting scores in cijfers centrale examens en rekentoets VO

De instructies die het CvTE toepast om tot de N-termen te komen

Uitgangspunt

De normering van de centrale examens dient er zorg voor te dragen dat in opeenvolgende jaren aan kandidaten bij een zelfde vak in hetzelfde schooltype/dezelfde leerweg dezelfde eisen worden gesteld.

Omdat het technisch onmogelijk is onze examens van jaar op jaar 'precies even moeilijk' te maken, zorgt de keuze van de normeringsterm (N-term) daarvoor. Het proces van normering is erop gericht, gegeven dit uitgangspunt, de juiste normeringsterm te bepalen.

In supplement I staan de vergelijkingen die bij de omzetting van score naar cijfer worden gehanteerd.

Bij ieder centraal examen stelt het CvTE een referentie-examen vast, zodra dat kan. Een referentie-examen is een examen dat door CvTE en veld wordt gezien als een 'goed' examen.

Examens in het eerste tijdvak of de afnameperiode¹

Allereerst gaat het CvTE uit van de veronderstelling dat kandidaten niet ineens vaardiger of minder vaardig zijn geworden. Bij een stabiel vaardigheidsniveau wordt de normeringsterm zo gekozen dat het percentage onvoldoende en het gemiddeld cijfer zo dicht mogelijk liggen bij het verwachte percentage onvoldoende en gemiddelde cijfer. Deze verwachte waarden, oftewel referentiegegevens, worden bepaald door het gemiddelde te nemen over recente examenjaren waarin sprake is van een zelfde vaardigheidsniveau.

Om na te gaan of de aanname, dat kandidaten niet vaardiger of minder vaardig zijn geworden, wel juist is, verzamelt Cito aanvullende gegevens over de moeilijkheidsgraad. Dat kan door middel van pretesten, posttesten, anker in package-analyses, standard settingen ² of een andere methode van equivalering in combinatie met een trendanalyse, zoals de Fisher-methode ³.

Door deze aanvullende gegevens verzameling kan voorkomen worden dat bij een dalend vaardigheidsniveau de cijfers gemiddeld gelijk blijven, en dat een vaardiger groep leerlingen gestraft wordt met een strenger normering.

Als uit de aanvullende gegevens blijkt dat de groep kandidaten in vaardigheid verschilt van de referentiegroep ⁴, dan wordt de normeringsterm zo gekozen dat de prestatie-eisen gelijk blijven.

Als een examen een onvolkomenheid bevat die kandidaten aanwijsbaar kan benadelen, krijgen correctoren nadere instructies door een aanvulling op het correctievoorschrift.

Bijzondere situaties bij het eerste tijdvak of de afnameperiode

• a. Nieuw examenprogramma, met een pilot in het centraal examen

  Als de oude en nieuwe stof voor het centraal examen elkaar deels overlappen wordt op grond van de resultaten van de kandidaten op de vragen over de overlappende stof een oordeel over de vaardigheid van de kandidaten bepaald.

  Als er geen overlap is, kan de moeilijkheidsgraad cq vaardigheid bepaald worden via standard setting.

• b. Uit pretest/posttest blijkt dat de vaardigheid van de kandidaten in de loop van een aantal jaren zo veranderd is dat handhaven van de eisen niet mogelijk of reëel is.

  Als dit zich voordoet, benadert CvTE de Minister met een analyse waarin wordt onderzocht of, en op welke wijze, de eisen aan de veranderde vaardigheid van de kandidaten kunnen worden aangepast, of dat wellicht maatregelen kunnen worden genomen (bijvoorbeeld in het onderwijs) waardoor de vaardigheid van de kandidaten weer in lijn is met de eisen.

• c. Door aanpassing in de structuur van het onderwijs is de positie van een vak of meerdere vakken dusdanig gewijzigd dat het niet reëel of niet mogelijk is om de eisen te handhaven.

  CvTE neemt een besluit dat ter goedkeuring aan de Minister wordt voorgelegd.

Examens in het tweede tijdvak

In het tweede tijdvak geldt in beginsel de normeringsterm van het eerste tijdvak. Aan de hand van de statistisch te verwachten resultaatverbetering van kandidaten die in het eerste tijdvak een onvoldoende hadden, wordt nagegaan of deze normeringsterm zou leiden tot hogere eisen aan de kandidaat dan in het eerste tijdvak. Als dat het geval is, wordt de normeringsterm zo vastgesteld dat de eisen gelijk zijn.

Examens in het derde tijdvak

Bij de examens in het derde tijdvak wordt de normeringsterm bepaald aan de hand van een gewogen oordeel over de moeilijkheidsgraad, samengesteld uit de oordelen van Cito, van het CvTE en van de correctoren van deze examens en worden de gangbare normeringstermen voor het vak in de loop van een aantal recente jaren in aanmerking genomen.

Compensatie voor fouten of onvolkomenheden via de normeringsterm

Voor de voor een kandidaat nadelige gevolgen van een door het CvTE vastgestelde fout of onvolkomenheid in een examen of correctievoorschrift compenseert het CvTE via de normeringsterm indien:

• a. de fout of onvolkomenheid niet eerder is hersteld via een erratum op de opgaven of via een aanvulling op het correctievoorschrift, bedoeld in artikel 10 van de Regeling beoordelingsnormen en bijbehorende scores centraal examen VO 2015;

• b. herstel via een aanvulling op het correctievoorschrift gelet op het tijdstip waarop de fout wordt vastgesteld naar het oordeel van het CvTE leidt tot een te groot risico op onjuistheden bij het vaststellen van scores op examens; en

• c. de normeringsterm nog niet is vastgesteld.

Deze correctieprocedure via de normeringsterm geldt voor alle tijdvakken en vindt in voorkomende gevallen plaats op grond van de in supplement II bij deze bijlage opgenomen formules voor het compenseren voor een fout of onvolkomenheid in respectievelijk het eerste, tweede en derde tijdvak. Hierdoor wordt voorkomen dat de score van een kandidaat in een te laag cijfer wordt omgezet.

Supplement I

De formules voor de omzetting van score naar cijfer

De huidige regels zijn in 1999 vastgesteld en voor het eerst toegepast bij de examens van 2000. [CEVO-99/648 van 22 juni 1999, Gele katern 1999, nr. 18a].

Uitgangspunten

Het systeem voor de omzetting van score naar cijfer is gebaseerd op de volgende vier uitgangspunten:

• 1. Elk gescoord punt draagt altijd bij tot een hoger examencijfer (afronding daargelaten);

• 2. Een score van 0% correspondeert altijd met examencijfer 1,0;

• 3. Een score van 100% correspondeert altijd met examencijfer 10,0;

• 4. Over een zo breed mogelijk centraal interval van de scoreschaal is er (afronding daargelaten) sprake van een evenredige stijging van score- en cijferpunten die onafhankelijk is van de normering.

Hierbij wordt onder de score verstaan: de zuivere score, dus uitsluitend de punten die aan de kandidaat zijn toegekend voor goede antwoordelementen.

Er zal derhalve geen sprake meer zijn van scorepunten-vooraf en/of scorepunten-bijtelling (in geval van cesuuraanpassing).

Het normeringsvoorschrift

Het normeringsvoorschrift bestaat uit twee onderdelen:

• de hoofdrelatie: de formule die, voor de overgrote meerderheid der kandidaten, het berekeningsvoorschrift geeft voor het omzetten van score naar cijfer;

• vier grensrelaties: vier formules die (bij andere N-termen dan 1,0) voorkomen dat kandidaten met zeer lage of zeer hoge scores een cijfer zouden krijgen dat in strijd is met bovengenoemde vier uitgangspunten.

De hoofdrelatie

De hoofdrelatie geeft aldus het examencijfer als functie van de score:

C = 9,0 * (S/L) + N .......................................... (1)

waarin:

C = het cijfer voor het centraal examen.

S = de score, dat wil zeggen de zuivere aan de kandidaat toegekende score.

L = de lengte van de scoreschaal, zoals vastgelegd in het correctievoorschrift;

N = de normeringsterm, liggend tussen de waarden: N = 0,0 en N = 2,0 , vast te stellen door het College voor Toetsen en Examens middels een normeringsbeslissing.

Zijn zowel L als N bekend, dan leidt invullen van de score S direct tot het examencijfer C.

Voorbeeld:

Stel de lengte van de scoreschaal is L = 90 punten;

dan gaat formule (1) over in:

C = 9,0 * (S/90) + N .

Voordat hiermee uit score S examencijfer C kan worden berekend, moet het College voor Toetsen en Examens eerst een waarde voor normeringsterm N hebben vastgesteld.

Stel dat wordt: N = 1,0 ; dan krijgt formule (1) zijn definitieve vorm:

C = 9,0 * (S/90) + 1,0 .

Deze is gevisualiseerd in figuur 1:

figuur 1

Concreet: drie kandidaten met scores van resp. 0%, 50% en 100% – wat bij deze L van 90 pt correspondeert met scores van 0, 45 en 90 pt – zouden achtereenvolgens de examencijfers: 1,0, 5,5 en 10,0 krijgen. Als was gekozen voor een andere schaallengte, bv L = 68, dan zou formule (1), – bij dezelfde N-term N = 1,0) overgaan in:

C = 9,0 * (S/68) + 1,0 .

Nu zouden genoemde drie kandidaten voor dezelfde examencijfers (1,0, 5,5 en 10,0) respectievelijk de scores 0, 34 en 68 nodig hebben!

De grensrelaties

Deze zijn nodig om de boven gegeven vier uitgangspunten óók te kunnen eerbiedigen als de normeringsterm N groter of kleiner is dan 1,0.

Voorbeeld:

Bij een waarde voor de normeringsterm van N = 1,3 , zouden de drie kandidaten met scores 0%, 50% en 100% op grond van de hoofdrelatie resp. de cijfers 1,3 , 5,8 en 10,3 krijgen;

daarvan is echter het eerste cijfer guller dan de bedoeling en is het derde cijfer hoger dan het toegestane maximum.

Iets dergelijks treedt op bij een normeringsterm lager dan 1,0 , bijvoorbeeld: N = 0,7. Genoemde drie kandidaten zouden in dat geval de examencijfers 0,7 , 5,2 en 9,7 krijgen, waarvan het eerste cijfer uitkomt onder het toegestane minimum en het derde cijfer lager is dan de verdiende 10,0!

Deze problematiek is in beeld gebracht in figuur 2:

figuur 2

Deze 'bijzonderheden' worden verholpen door middel van een systeem van zogeheten grensrelaties.

Het principe van grensrelaties is gevisualiseerd in figuur 3. Bij voorbaat zullen alle score-cijfercombinaties liggen binnen het gebied dat begrensd wordt door de vier lijnstukken in deze figuur.

figuur 3

Samen vormen de vier lijnstukken 2a, 2b, 3a en 3b een 'venster' waarbinnen alle toegestane score-cijfercombinaties moeten liggen. Dreigt bij toepassing van de hoofdrelatie – formule (1) – een score-cijfercombinatie buiten deze grenzen te vallen, dan moet voor de desbetreffende score dat cijfer vervangen worden door het cijfer berekend met de corresponderende grensrelatie. Wat informeler gezegd: score-cijfercombinaties die buiten het "venster" dreigen te vallen, komen op het 'kozijn' terecht.

De grensrelaties worden gevormd door de volgende vier formules:

C = 1,0 + S* (9/L)*2 ......................................... (2a)

C =10,0 – (L-S)* (9/L) * 0,5............................... (2b)

C = 1,0 + S* (9/L)* 0,5 ..................................... (3a)

C = 10,0 – (L-S)*(9/L)*2.................................... (3b)

Bij N > 1,0 geldt voor de laagste scores de formule (2a)

en voor de hoogste scores de formule (2b).

In figuur 4 is dit gevisualiseerd.

figuur 4

Bij N < 1,0 geldt voor de laagste scores de formule (3a)

en voor de hoogste scores de formule (3b).

In figuur 5 is dit gevisualiseerd.

figuur 5

Bij een waarde voor de normeringsterm van N = 1,0 treedt het systeem van grensrelaties niet in werking en resulteert een score-cijfertransformatie die grafisch wordt gerepresenteerd door de rechte lijn van Fig.1, de lijn die in Fig. 4 is gelabeld met: 'N=1,0'.

Bij alle andere waarden van N zijn de grensrelaties wel van belang. In figuur 6 zijn als voorbeelden de twee uiterste gevallen in beeld gebracht, die resp. corresponderen met de normeringsbeslissingen N = 2,0 en N = 0,0. Deze leveren als score-cijfertransformaties de twee dubbel-geknikte lijnen op (gelabeld met 'N=2,0' en 'N=0,0').

figuur 6

Supplement II

De formules voor het compenseren voor een fout of onvolkomenheid

Examens in het eerste tijdvak

De N-term die zou zijn vastgesteld als de desbetreffende fout of onvolkomenheid in een examen of correctievoorschrift niet door het CvTE was vastgesteld, wordt verhoogd met 9 * P_vrg* M_vrg / L, waarbij deze uitkomst wordt afgerond op één decimaal.

In deze formule staat P_vrg voor de P-waarde van de onvolkomen vraag en M_vrg voor de maximaal haalbare score op deze vraag. Een P-waarde van 0,63 betekent dat de kandidaten gemiddeld 63% van M_vrg behaald hebben. L staat voor de lengte van de scoreschaal oftewel de maximaal haalbare score op het gehele examen.

Het uitgangspunt bij deze werkwijze is dat de kandidaat die geen punten heeft kunnen scoren op de onvolkomen vraag, precies voldoende wordt gecompenseerd.

Examens in het tweede tijdvak

De formule die in het eerste tijdvak voor het compenseren voor een fout of onvolkomenheid wordt gehanteerd, zou in het tweede tijdvak tot een te lage compensatie kunnen leiden.

In het tweede tijdvak wordt van het ingekorte examen, dus zonder de foute of onvolkomen vraag, P-ir berekend. Een P-ir van 0,38 betekent, dat de kandidaten die in het eerste tijdvak een onvoldoende hadden, van het ingekorte examen gemiddeld 38% van de maximaal haalbare score behaald hebben.

De N-term die in eerste instantie zonder de fout zou zijn vastgesteld, wordt verhoogd met 9 * P-ir * M_vrg / L, waarbij deze uitkomst wordt afgerond op één decimaal.

Deze verhoging voorkomt dat de onvolkomen vraag tot een te lage N-term zou leiden.

De N-term van het tweede tijdvak wordt echter nooit lager dan de voorlopige N-term voor het tweede tijdvak die vooraf is gepubliceerd. De definitieve N-term van het tweede tijdvak is dus alleen de laatstgenoemde uitkomst (inclusief de verhoging en afronding op één decimaal) als die hoger is dan de voorlopige N-term.

Examens in het derde tijdvak

Aan het derde tijdvak nemen nog minder kandidaten deel dan aan het tweede tijdvak, waardoor de P-waarden geen relevante informatiebron vormen.

De N-term die zonder de fout zou zijn vastgesteld wordt verhoogd met 9 * M_vrg / L. Dit komt erop neer dat in het derde tijdvak gewerkt wordt met een P_vrg en een P-ir van 1.

ARTIKEL II INWERKINGTREDING

Deze regeling treedt in werking met ingang van de dag na datum van uitgifte van de Staatscourant, waarin zij wordt geplaatst.

Deze regeling zal met de toelichting in de Staatscourant worden geplaatst.

Het College voor Toetsen en Examens, de voorzitter, P.J.J. Hendrikse

TOELICHTING

Met deze regeling wordt de Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2016 gewijzigd in verband met tijdelijke speelruimte centraal schriftelijk en praktisch examen (hierna: cspe) en actualisering en verduidelijking van bijlage 1.

Artikel I onderdeel A

Artikel I onderdeel A regelt dat de speelruimte die scholen hebben bij het hanteren van de N-term voor de cspe’s van de profielvakken, met een jaar wordt verlengd, waardoor de speelruimte ook geldt in het examenjaar 2019. Aangezien geen inhoudelijke wijziging is beoogd, is er voor gekozen om voormalig artikel 3, dat is vervallen per 31 december 2018, opnieuw in te voeren. De enige wijziging is het opnemen van de vervaldatum van 1 januari 2020.

In 2015 tot en met 2018 gold dezelfde speelruimte ook. In 2015 en 2016 betrof het alleen pilot-scholen. In 2017 namen voor het eerst ook niet-pilot-scholen profielvak cspe’s af. De ervaringen uit de genoemde examenjaren leren dat de speelruimte nodig was, met name voor sommige scholen die voor het eerst profielvak cspe’s afnemen, maar ook voor scholen die dit al voor de tweede keer deden. De ervaringen van 2018 bevestigen dit beeld. Ook in 2019 zijn er nog scholen die voor het eerst profielvak cspe’s afnemen en daarom is de speelruimte met één jaar verlengd. Of het nodig is om ook in 2020 nog voor een laatste keer deze speelruimte te bieden, wordt bezien op basis van de manier waarop er in het examenjaar 2019 gebruik van is gemaakt.

De speelruimte is een invoeringsmaatregel en daarom is artikel 3 een overgangsbepaling. Om die reden is in artikel 3, vierde lid, een vervaltijdstip genoemd. Dat dit tijdstip 1 januari 2020 is en niet 1 augustus 2019 komt doordat rekening gehouden moet worden met leerlingen die hun recht op herkansing niet vóór 1 augustus hebben kunnen uitoefenen.

Artikel I onderdeel B

Met artikel I onderdeel B wordt een actualisering en verduidelijking gerealiseerd van bijlage 1 ‘De instructies die het College voor Toetsen en Examens (hierna: CvTE) toepast om tot de N-termen te komen’.

De diversiteit van de aanpassingen heeft ertoe geleid dat er voor gekozen is om bijlage 1 in zijn geheel te vervangen. Een opsomming met de passages die vervangen worden en de bijbehorende vervangende passages zou afbreuk gedaan hebben aan de helderheid van deze wijzigingsregeling.

Bijlage 1 wordt op vier aspecten aangepast:

• a. explicitering van de methoden voor verzameling van aanvullende afnamegegevens

• b. de wijze waarop de referentiegegevens bepaald worden

• c. de term afnameperiode

• d. verduidelijking

a. explicitering van de methoden voor verzameling van aanvullende afnamegegevens

De methoden die Cito gebruikt om aanvullende gegevens te verzamelen over de moeilijkheidsgraad van centrale examens, wordt in bijlage 1 aangevuld met anker in package-analyses en trendanalyses, zoals de Fisher-methode.

Waarom deze aanpassing?

Behalve van methoden als pretest, posttest en standard setting maakt Cito de laatste jaren ook gebruik van anker in package-analyses en trendanalyse, zoals de Fisher-methode. De Fisher-methode wordt toegepast sinds de aanscherping van de uitslagregels in 2012 en heeft helpen voorkomen dat vaardigheidsstijgingen bij groepen kandidaten zich niet vertaalden in hogere gemiddelde cijfers voor centrale examens. ⁵

Door deze aanpassing worden de manieren om aanvullende gegevens te verzamelen, geëxpliciteerd.

b. de wijze waarop de referentiegegevens bepaald worden

Met deze wijziging kunnen referentiegegevens worden bepaald door een grotere groep kandidaten dan de groep kandidaten die destijds het referentie-examen maakte. De referentiegroep is dan niet langer de populatie die het referentie-examen heeft afgelegd, maar een groep kandidaten uit een of meer eerdere examenjaren, waarvan gegevens over het vaardigheidsniveau bekend zijn.

In bijlage 1 wordt ingevoegd:

‘Bij ieder centraal examen stelt het CvTE een referentie-examen vast, zodra dat mogelijk is’.

Tevens wordt in bijlage 1

‘Als de groep kandidaten gemiddeld even vaardig is als de groep die destijds het referentie-examen maakte, dan wordt de normeringsterm zo gekozen dat gemiddeld cijfer en percentage onvoldoendes zo dicht mogelijk liggen bij die van het referentie-examen.’

vervangen door

‘Bij een stabiel vaardigheidsniveau wordt de normeringsterm zo gekozen dat het percentage onvoldoende en het gemiddeld cijfer zo dicht mogelijk liggen bij het verwachte percentage onvoldoende en gemiddelde cijfer. Deze verwachte waarden, oftewel referentiegegevens, worden bepaald door het gemiddelde te nemen over recente examenjaren waarin sprake is van een zelfde vaardigheidsniveau.’

Waarom deze aanpassingen?

• De oude volzinnen voldeden niet bij vakken met een nieuw examenprogramma, omdat het een aantal jaren duurt voordat een geschikt referentie-examen kan worden aangewezen. De nieuwe formuleringen maken dat de wijze waarop de referentiegegevens bepaald worden zowel op vakken mét als zonder vernieuwing kan worden toegepast.

• De sinds de aanscherping van de uitslagregels van 2012 toegenomen aandacht binnen CvTE en Cito voor vaardigheidsontwikkelingen heeft geleid tot het inzicht dat:

  • referentiegegevens in feite verwachtingen zijn van de resultaten die toekomstige populaties zullen behalen op het centraal examen dat zij afleggen, onder de aanname dat die populaties niet ineens vaardiger of minder vaardig zijn geworden;

  • een betere verwachting mogelijk is door te kijken naar meer recente examenjaren waarin sprake is van een zelfde vaardigheidsniveau en de percentages onvoldoende en gemiddelde cijfers daarover te middelen.

    Daarmee biedt deze aanpassing tevens de mogelijkheid om bij vakken zonder vakvernieuwing met referentiegegevens te werken die stabieler zijn, dan wanneer deze uitsluitend bepaald zouden zijn door de groep kandidaten die het referentie-examen heeft afgelegd.

c. de term afnameperiode

De kop ‘Examens in het eerste tijdvak’ wordt vervangen door de kop ‘Examens in het eerste tijdvak of de afnameperiode’.

Waarom deze aanpassing?

Voor de cspe’s is sprake van een afnameperiode, zoals bedoeld in artikel 37, zevende lid, Eindexamenbesluit VO. Door de toevoeging ‘of de afnameperiode’ voldoet de beschrijving in bijlage 1 ook aan de praktijk bij de cspe’s.

d. verduidelijking

De figuren in supplement I zijn verduidelijkt. Dat brengt met zich mee dat bij sommige figuren enkele aanpassingen van de beschrijvende tekst zijn doorgevoerd.

Waarom deze aanpassing?

De aanpassing verbetert de beschrijving van de systematiek van de N-term.

Het College voor Toetsen en Examens, de voorzitter, P.J.J. Hendrikse

---

1 De cspe’s kennen geen eerste tijdvak maar hebben een afnameperiode, zoals bedoeld in artikel 37, zevende lid Eindexamenbesluit VO.

2 Bij een pre- of posttest is de vergelijking gebaseerd op resultaten van leerlingen die onderdelen uit een examen en ankeropgaven hebben gemaakt.

Bij anker in package maken opgaven uit een eerder examenjaar deel uit van het huidige examen. De term package komt van de digitale examens waar de verschillende varianten van het examen tezamen package genoemd worden.

Bij standardsetting is de vergelijking gebaseerd op een door een groep experts uitgevoerde beoordeling van de moeilijkheidsgraad van de beide examens.

3 Met behulp van de Fisher-methode worden generieke vaardigheidsverschillen geschat op basis van examens met pretest, posttest, anker in package en/of standard setting.

4 Dit is een groep kandidaten uit een of meer eerdere examenjaren, waarvan gegevens over het vaardigheidsniveau bekend zijn.

5 Zie de publicatie ‘De normeringssystematiek van de centrale examens vo’, CvTE, 30 november 2015.