Regeling van het College voor Toetsen en Examens van 15 maart 2021, nummer CvTE-21.00446, houdende wijziging van Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2016 in verband met de gevolgen van COVID19 voor de wijze van normering in het examenjaar 2021

Het College voor Toetsen en Examens,

Gezien de goedkeuring van de Minister voor Basis- en Voortgezet Onderwijs en Media;

Gelet op artikel 2, tweede lid, aanhef en onderdeel e, van de Wet College voor toetsen en examens;

Besluit:

ARTIKEL I

De Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2016 wordt als volgt gewijzigd:

A

Artikel 2 vervalt.

B

Artikel 6 komt te luiden:

Artikel 6

Deze regeling wordt aangehaald als: Regeling omzetting scores in cijfers VO.

C

Bijlage 1 wordt vervangen door de bijlage bij deze regeling.

D

Bijlage 2 wordt ingetrokken.

ARTIKEL II

Deze regeling treedt in werking met ingang van de dag na de datum van uitgifte van de Staatscourant waarin zij wordt geplaatst.

Deze regeling zal met de toelichting in de Staatscourant worden geplaatst.

Het College voor Toetsen en Examens, de voorzitter, P.J.J. Hendrikse

BIJLAGE BIJ ARTIKEL I, ONDERDEEL C

Bijlage 1. Wijze van omzetting van scores in cijfers bij centrale examens VO als bedoeld in artikel 1

De instructies die het CvTE toepast om tot de N-termen te komen

Uitgangspunt

De normering van de centrale examens dient er zorg voor te dragen dat in opeenvolgende jaren aan kandidaten bij een zelfde vak in hetzelfde schooltype of dezelfde leerweg dezelfde eisen worden gesteld.

Omdat het technisch onmogelijk is onze examens van jaar op jaar 'precies even moeilijk' te maken, zorgt de keuze van de normeringsterm (N-term) daarvoor. Het proces van normering is erop gericht, gegeven dit uitgangspunt, de juiste normeringsterm te bepalen.

In supplement I staan de vergelijkingen die bij de omzetting van score naar cijfer worden gehanteerd.

Bij ieder centraal examen stelt het College voor Toetsen en Examens (CvTE) een referentie-examen vast, zodra dat kan. Een referentie-examen is een examen dat door CvTE en veld wordt gezien als een 'goed' examen.

Examens in het eerste tijdvak of de afnameperiode1

Een normering gericht op gelijke cijfers als in voorgaande jaren (relatief normeren) is het startpunt. Om een te strenge of juist te soepele normering te voorkomen zal Stichting Cito Instituut voor Toetsontwikkeling (Stichting Cito) aanvullende gegevens inzetten naast de reeds beschikbare data, zoals:

  • – Docentenoordeel over de moeilijkheid van het examen;

  • – Informatie over de samenstelling van de steekproef, en

  • – Historische N-term.

Als een examen een onvolkomenheid bevat die kandidaten aanwijsbaar kan benadelen, krijgen correctoren nadere instructies door een aanvulling op het correctievoorschrift.

Examens in het tweede tijdvak

Op basis van de scores behaald door kandidaten die het tweede tijdvak als eerste mogelijkheid gebruiken, kan een werkwijze zoals in het eerste tijdvak uitgevoerd worden. Aan de hand van de statistisch te verwachten resultaatverbetering van kandidaten die in het eerste tijdvak een onvoldoende hadden, wordt nagegaan bij welke normeringsterm geen hogere eisen aan de kandidaat worden gesteld dan in het eerste tijdvak. De N-term van het tweede tijdvak is het resultaat van een weging van de twee uitkomsten. De N-term van het tweede tijdvak kan hierdoor lager zijn dan de N-term van het eerste tijdvak.

Examens in het derde tijdvak op de scholen

Aan de hand van de statistisch te verwachten resultaatverbetering van kandidaten die in het eerste of tweede tijdvak een onvoldoende hadden, wordt nagegaan bij welke normeringsterm geen hogere eisen aan de kandidaat worden gesteld dan in het eerste en tweede tijdvak. De N-term van het derde tijdvak kan hierdoor lager zijn dan de N-term van het eerste en/of tweede tijdvak.

Examens in het derde tijdvak bij de staatsexamens vo

Bij het derde tijdvak bij de staatsexamens vo wordt de normeringsterm bepaald aan de hand van een gewogen oordeel over de moeilijkheidsgraad, samengesteld uit de oordelen van Stichting Cito, van het CvTE en van de correctoren van deze examens. Hierbij wordt de moeilijkheidsgraad gerelateerd aan de moeilijkheidsgraad van de examens in het eerste en/of tweede tijdvak.

Compensatie voor fouten of onvolkomenheden via de normeringsterm

Voor de voor een kandidaat nadelige gevolgen van een door het CvTE vastgestelde fout of onvolkomenheid in een examen of correctievoorschrift, compenseert het CvTE via de normeringsterm indien:

  • a. de fout of onvolkomenheid niet eerder is hersteld via een erratum op de opgaven of via een aanvulling op het correctievoorschrift, bedoeld in artikel 10 van de Regeling beoordelingsnormen en bijbehorende scores centraal examen VO 2015;

  • b. herstel via een aanvulling op het correctievoorschrift gelet op het tijdstip waarop de fout wordt vastgesteld naar het oordeel van het CvTE leidt tot een te groot risico op onjuistheden bij het vaststellen van scores op examens; en

  • c. de normeringsterm nog niet is vastgesteld.

Deze correctieprocedure via de normeringsterm geldt voor alle tijdvakken en vindt in voorkomende gevallen plaats op grond van de in supplement II bij deze bijlage opgenomen formules voor het compenseren voor een fout of onvolkomenheid in respectievelijk het eerste, tweede en derde tijdvak. Hierdoor wordt voorkomen dat de score van een kandidaat in een te laag cijfer wordt omgezet.

Supplement I

De formules voor de omzetting van score naar cijfer

De huidige regels zijn in 1999 vastgesteld en voor het eerst toegepast bij de examens van 2000. [CEVO-99/648 van 22 juni 1999, Gele katern 1999, nr. 18a].

Uitgangspunten

Het systeem voor de omzetting van score naar cijfer is gebaseerd op de volgende vier uitgangspunten:

  • 1. Elk gescoord punt draagt altijd bij tot een hoger examencijfer (afronding daargelaten);

  • 2. Een score van 0% correspondeert altijd met examencijfer 1,0;

  • 3. Een score van 100% correspondeert altijd met examencijfer 10,0;

  • 4. Over een zo breed mogelijk centraal interval van de scoreschaal is er (afronding daargelaten) sprake van een evenredige stijging van score- en cijferpunten die onafhankelijk is van de normering.

Hierbij wordt onder de score verstaan: de zuivere score, dus uitsluitend de punten die aan de kandidaat zijn toegekend voor goede antwoordelementen.

Er zal derhalve geen sprake meer zijn van scorepunten-vooraf en/of scorepunten-bijtelling (in geval van cesuuraanpassing).

Het normeringsvoorschrift

Het normeringsvoorschrift bestaat uit twee onderdelen:

  • – de hoofdrelatie: de formule die, voor de overgrote meerderheid der kandidaten, het berekeningsvoorschrift geeft voor het omzetten van score naar cijfer;

  • – vier grensrelaties: vier formules die (bij andere N-termen dan 1,0) voorkomen dat kandidaten met zeer lage of zeer hoge scores een cijfer zouden krijgen dat in strijd is met bovengenoemde vier uitgangspunten.

De hoofdrelatie

De hoofdrelatie geeft aldus het examencijfer als functie van de score:

C = 9,0 * (S/L) + N .................... (1)

waarin:

C = het cijfer voor het centraal examen.

S = de score, dat wil zeggen de zuivere aan de kandidaat toegekende score.

L = de lengte van de scoreschaal, zoals vastgelegd in het correctievoorschrift;

N = de normeringsterm, liggend tussen de waarden: N = 0,0 en N = 2,0, vast te stellen door het College voor Toetsen en Examens middels een normeringsbeslissing.

Zijn zowel L als N bekend, dan leidt invullen van de score S direct tot het examencijfer C.

Voorbeeld:

Stel de lengte van de scoreschaal is L = 90 punten;

dan gaat formule (1) over in:

C = 9,0 * (S/90) + N.

Voordat hiermee uit score S examencijfer C kan worden berekend, moet het College voor Toetsen en Examens eerst een waarde voor normeringsterm N hebben vastgesteld.

Stel dat wordt: N = 1,0; dan krijgt formule (1) zijn definitieve vorm:

C = 9,0 * (S/90) + 1,0.

Deze is gevisualiseerd in figuur 1:

figuur 1

figuur 1

Concreet: drie kandidaten met scores van resp. 0%, 50% en 100% – wat bij deze L van 90 pt correspondeert met scores van 0, 45 en 90 pt – zouden achtereenvolgens de examencijfers: 1,0, 5,5 en 10,0 krijgen. Als was gekozen voor een andere schaallengte, bv L = 68, dan zou formule (1), – bij dezelfde N-term N = 1,0) overgaan in:

C = 9,0 * (S/68) + 1,0.

Nu zouden genoemde drie kandidaten voor dezelfde examencijfers (1,0, 5,5 en 10,0) respectievelijk de scores 0, 34 en 68 nodig hebben!

De grensrelaties

Deze zijn nodig om de boven gegeven vier uitgangspunten óók te kunnen eerbiedigen als de normeringsterm N groter of kleiner is dan 1,0.

Voorbeeld:

Bij een waarde voor de normeringsterm van N = 1,3, zouden de drie kandidaten met scores 0%, 50% en 100% op grond van de hoofdrelatie resp. de cijfers 1,3, 5,8 en 10,3 krijgen;

daarvan is echter het eerste cijfer guller dan de bedoeling en is het derde cijfer hoger dan het toegestane maximum.

Iets dergelijks treedt op bij een normeringsterm lager dan 1,0, bijvoorbeeld: N = 0,7. Genoemde drie kandidaten zouden in dat geval de examencijfers 0,7, 5,2 en 9,7 krijgen, waarvan het eerste cijfer uitkomt onder het toegestane minimum en het derde cijfer lager is dan de verdiende 10,0!

Deze problematiek is in beeld gebracht in figuur 2:

figuur 2

figuur 2

Deze ‘bijzonderheden’ worden verholpen door middel van een systeem van zogeheten grensrelaties.

Het principe van grensrelaties is gevisualiseerd in figuur 3. Bij voorbaat zullen alle score-cijfercombinaties liggen binnen het gebied dat begrensd wordt door de vier lijnstukken in deze figuur.

figuur 3

figuur 3

Samen vormen de vier lijnstukken 2a, 2b, 3a en 3b een ‘venster’ waarbinnen alle toegestane score-cijfercombinaties moeten liggen. Dreigt bij toepassing van de hoofdrelatie – formule (1) – een score-cijfercombinatie buiten deze grenzen te vallen, dan moet voor de desbetreffende score dat cijfer vervangen worden door het cijfer berekend met de corresponderende grensrelatie. Wat informeler gezegd: score-cijfercombinaties die buiten het ‘venster’ dreigen te vallen, komen op het ‘kozijn’ terecht.

De grensrelaties worden gevormd door de volgende vier formules:

C = 1,0 + S* (9/L)*2 .................... (2a)

C =10,0 – (L-S)* (9/L) * 0,5 .................... (2b)

C = 1,0 + S* (9/L)* 0,5 .................... (3a)

C = 10,0 – (L-S)*(9/L)*2 .................... (3b)

Bij N > 1,0 geldt voor de laagste scores de formule (2a) en voor de hoogste scores de formule (2b).

In figuur 4 is dit gevisualiseerd.

figuur 4

figuur 4

Bij N < 1,0 geldt voor de laagste scores de formule (3a) en voor de hoogste scores de formule (3b).

In figuur 5 is dit gevisualiseerd.

figuur 5

figuur 5

Bij een waarde voor de normeringsterm van N = 1,0 treedt het systeem van grensrelaties niet in werking en resulteert een score-cijfertransformatie die grafisch wordt gerepresenteerd door de rechte lijn van Fig.1, de lijn die in Fig. 4 is gelabeld met: ‘N=1,0’.

Bij alle andere waarden van N zijn de grensrelaties wel van belang. In figuur 6 zijn als voorbeelden de twee uiterste gevallen in beeld gebracht, die resp. corresponderen met de normeringsbeslissingen N = 2,0 en N = 0,0. Deze leveren als score-cijfertransformaties de twee dubbel-geknikte lijnen op (gelabeld met ‘N=2,0’ en ‘N=0,0’).

figuur 6

figuur 6

Supplement II

De formules voor het compenseren voor een fout of onvolkomenheid
Examens in het eerste tijdvak

De N-term die zou zijn vastgesteld als de desbetreffende fout of onvolkomenheid in een examen of correctievoorschrift niet door het CvTE was vastgesteld, wordt verhoogd met 9 * Pvrg * Mvrg / L, waarbij deze uitkomst wordt afgerond op één decimaal.

In deze formule staat Pvrg voor de P-waarde van de onvolkomen vraag en Mvrg voor de maximaal haalbare score op deze vraag. Een P-waarde van 0,63 betekent dat de kandidaten gemiddeld 63% van Mvrg behaald hebben. L staat voor de lengte van de scoreschaal oftewel de maximaal haalbare score op het gehele examen.

Het uitgangspunt bij deze werkwijze is dat de kandidaat die geen punten heeft kunnen scoren op de onvolkomen vraag, precies voldoende wordt gecompenseerd.

Examens in het tweede tijdvak

Op basis van de scores van de herkansende kandidaten die in het eerste tijdvak een onvoldoende hadden wordt van het ingekorte examen, dus zonder de foute of onvolkomen vraag, P-ir berekend. Een P-ir van 0,38 betekent, dat deze kandidaten, van het ingekorte examen gemiddeld 38% van de maximaal haalbare score behaald hebben. De N-term die in eerste instantie zonder de fout zou zijn vastgesteld, wordt verhoogd met 9 * P-ir * Mvrg / L, waarbij deze uitkomst wordt afgerond op één decimaal.

Op basis van de scores van de groep die het examen in het tweede tijdvak voor het eerst maakt kan de formule voor het eerste tijdvak worden toegepast. De uiteindelijke ophoging is de hoogste waarde van de twee uitkomsten.

Deze verhoging voorkomt dat de onvolkomen vraag tot een te lage N-term zou leiden.

Examens in het derde tijdvak op de scholen

In het derde tijdvak wordt van het ingekorte examen, dus zonder de foute of onvolkomen vraag, P-ir berekend. De N-term die in eerste instantie zonder de fout zou zijn vastgesteld, wordt verhoogd met 9 * P-ir * Mvrg / L, waarbij deze uitkomst wordt afgerond op één decimaal.

Examens in het derde tijdvak bij de staatsexamens vo

Aan het derde tijdvak nemen zo weinig kandidaten deel dat de P-waarden geen relevante informatiebron vormen. De N-term die zonder de fout zou zijn vastgesteld wordt verhoogd met 9 * Mvrg / L. Dit komt erop neer dat in het derde tijdvak gewerkt wordt met een Pvrg en een P-ir van 1.

TOELICHTING

Algemeen

De normering van de centrale examens dient er zorg voor te dragen dat in opeenvolgende jaren aan kandidaten dezelfde eisen worden gesteld. Het CvTE gaat normaal gesproken uit van de veronderstelling dat kandidaten niet ineens vaardiger of minder vaardig zijn geworden. Bij een stabiel vaardigheidsniveau wordt de normeringsterm zo gekozen dat het percentage onvoldoende en het gemiddeld cijfer zo dicht mogelijk liggen bij het verwachte percentage onvoldoende en gemiddelde cijfer.

Het CvTE kan dit schooljaar niet vaststellen of het vaardigheidsniveau van de examenleerlingen hetzelfde is als in de jaren 2015-2019. Het CvTE heeft daarom besloten tot een aanpak die de doelen van de gebruikelijke werkwijze het beste benadert. Met deze regeling wordt de Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2016 gewijzigd.

Artikelsgewijs

Artikelen A, B en D

Artikel 2 van de huidige regeling regelt de normering voor de Rekentoets-vo. Met Wet afschaffing rekentoets vo (Stb. 2020, 233) is de Rekentoets-vo afgeschaft. De bijlage bij de regeling kan daarom worden ingetrokken en het huidige artikel kan komen te vervallen.

Artikel C

Met deze regeling wordt bijlage 1 van de Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2016 vervangen door de bijlage bij deze regeling in verband met de gevolgen van COVID19 voor de normering in 2021. De wijziging is reeds aangekondigd door de Minister voor Basis- en Voortgezet Onderwijs en Media in zijn brief aan de Tweede Kamer van 16 december 2020.2

Eerste tijdvak in 2021

Als gevolg van de maatregelen die zijn getroffen teneinde de verspreiding van COVID19 tegen te gaan, kan het CvTE niet uitgaan van een vaardigheidsniveau in 2021 dat gelijk is aan het vaardigheidsniveau in de jaren 2015-2019. Daarnaast kunnen de methoden van pretest, posttest, anker in package-analyses en standardsetting en Fisher-methode om de moeilijkheidsgraad van examens vast te stellen, niet worden ingezet of zijn onvoldoende betrouwbaar. Hierdoor is het niet mogelijk de feitelijke vaardigheid van de kandidaten in 2021 vast te stellen om zodoende de prestatie-eisen gelijk te houden. Door in de basis relatief te normeren en daarbij gebruik te maken van de historische N-term en een docentenoordeel over de moeilijkheid van het examen zorgen we ervoor dat de normering ook dit jaar recht doet aan de prestaties van kandidaten. Dat betekent dat kandidaten terecht een voldoende of onvoldoende blijven behalen en dat de eisen die gesteld worden aan kandidaten zo veel mogelijk gelijk blijven aan de eisen van voorgaande jaren.3

Tweede en derde tijdvak in 2021

De wijze van normeren in het tweede en derde tijdvak is erop gericht dat de prestatie-eis in alle tijdvakken in 2021 zoveel mogelijk gelijk is. Daarnaast is het van belang dat de kansen voor kandidaten die voor het eerst examen doen in het eerste tijdvak of het tweede tijdvak zoveel mogelijk gelijk zijn. Hetzelfde geldt voor kandidaten die hun herkansing doen in het tweede of derde tijdvak.

Voor het tweede tijdvak wordt normaal gesproken een voorlopige N-term gepubliceerd die een ondergrens aangeeft voor de N-term in het tweede tijdvak. In 2021 gebeurt dat niet. Hiermee zou een ongelijke situatie ontstaan voor de groep kandidaten die in het tweede tijdvak voor het eerst examen doen in vergelijking met de groep kandidaten die in het eerste tijdvak examen hebben gedaan.

Ook voor het derde tijdvak op de scholen kan geen voorlopige N-term worden gepubliceerd, omdat zowel het examen van het eerste tijdvak als het examen van het tweede tijdvak vooraf kan gaan aan de herkansing in het derde tijdvak en die allebei een andere N-term kunnen hebben. Daarnaast is voor kandidaten de situatie gelijk aan die in het tweede tijdvak door geen voorlopige N-term te publiceren.

Het derde tijdvak afgenomen door het CvTE kan genormeerd worden op de reguliere wijze.

Supplement II: De formules voor het compenseren voor een fout of onvolkomenheid

Voor de voor een kandidaat nadelige gevolgen van een door het CvTE vastgestelde fout of onvolkomenheid in een examen of correctievoorschrift compenseert het CvTE via de normeringsterm. Hiervoor worden normaal gesproken drie formules gehanteerd die samenhangen met de toegepaste normeringssystematiek en het aantal kandidaten. Dat heeft in 2021 consequenties voor de formule die gebruikt gaat worden in het derde tijdvak op de scholen en de wijze waarop de compensatie in het tweede tijdvak wordt bepaald. Uitgangspunt blijft dat door de compensatie wordt voorkomen dat de score van een kandidaat in een te laag cijfer wordt omgezet.

Inwerkingtreding

De regeling treedt in werking ruim voordat de centrale examens worden afgenomen, zodat de kandidaten en scholen op tijd weten hoe de normering voor het examenjaar 2021 tot stand komt. Op Examenblad.nl wordt steeds, voor zover mogelijk en opportuun is, gecommuniceerd over de wijze waarop de normering wordt vastgesteld.

De regeling geldt in ieder geval voor het examenjaar 2021. Zodra duidelijk is of het College volgend jaar weer kan normeren op basis van de tot nu geldende systematiek, zal de regeling opnieuw worden gewijzigd.

Het College voor Toetsen en Examens, de voorzitter, P.J.J. Hendrikse

X Noot
1

De flexibele en digitale centrale examens voor de algemene vakken in de basisberoepsgerichte leerweg en kaderberoepsgerichte leerweg van het vmbo kennen geen eerste tijdvak maar een afnameperiode, zoals bedoeld in artikel 37, zevende lid, van het Eindexamenbesluit VO.

Naar boven