Regeling van het College voor examens van 15 februari 2011, nr. Cve-11.0167, houdende vaststelling van regels voor de omzetting van scores in cijfers 2011 (Regeling omzetting scores centrale examens in cijfers 2011)

Het College voor examens,

Gelet op artikel 2, tweede lid, aanhef en onderdeel e, van de Wet College voor examens;

Gezien de goedkeuring van de Minister van Onderwijs, Cultuur en Wetenschap, gegeven op 30 maart 2011, nummer 287543;

Besluit:

Artikel 1

De omzetting van scores in cijfers, bedoeld in artikel 2, tweede lid, onderdeel e, van de Wet College voor examens geschiedt op de in de bijlage bij deze regeling vastgestelde wijze.

Artikel 2

Deze regeling treedt in werking met ingang van de eerste dag na de datum van uitgifte van de Staatscourant waarin zij wordt geplaatst.

Artikel 3

De Regeling omzetting scores centrale examens in cijfers, wordt ingetrokken.

Artikel 4

Deze regeling wordt aangehaald als: Regeling omzetting scores centrale examens in cijfers 2011.

Deze regeling zal met de toelichting in de Staatscourant worden geplaatst.

Het College voor examens,

namens deze:

de voorzitter,

H.W. Laan.

BIJLAGE BEHORENDE BIJ ARTIKEL 1 VAN DE REGELING OMZETTING SCORES CENTRALE EXAMENS IN CIJFERS 2011, VAN 15 FEBRUARI 2011, NUMMER CVE-11.0167

De instructies die het CvE toepast om tot de N-termen te komen

Uitgangspunt

De normering van de centrale examens dient er zorg voor te dragen dat in opeenvolgende jaren aan kandidaten bij een zelfde vak in hetzelfde schooltype/dezelfde leerweg dezelfde eisen worden gesteld.

Bij een 5,5 in het ene jaar hoort dezelfde prestatie van de kandidaat als bij een 5,5 in een ander jaar. Omdat het technisch onmogelijk is onze examens van jaar op jaar ‘precies even moeilijk’ te maken, zorgt de keuze van de N-term daarvoor. Het proces van normering is erop gericht gegeven dit uitgangspunt de juiste normeringsterm te bepalen.

In supplement 1 staan de vergelijkingen die bij de omzetting van score naar cijfer worden gehanteerd.

Examens in het eerste tijdvak

Het examen wordt geijkt aan het door het CvE vastgestelde referentie-examen. Een referentie-examen is een examen dat door CvE en veld wordt gezien als een ‘goed’ examen.

Allereerst gaat het CvE uit van de veronderstelling dat kandidaten niet ineens vaardiger of minder vaardig zijn geworden.

Als uitsluitend deze regel zou worden toegepast, dan zouden bij een dalend vaardigheidsniveau de cijfers gemiddeld gelijk blijven, en zou een vaardiger groep leerlingen gestraft worden met een strenger normering. Daarom worden aanvullende gegevens gehanteerd.

Bij elk examen is het oordeel van het CvE over de zwaarte van het examen in relatie tot het referentie-examen in aanmerking genomen. Dit oordeel wordt bij de vaststelling van het examen door de vakdeskundigen gegeven.

Bij een aantal examens verzamelt Cito gegevens over de moeilijkheidsgraad van het examen in relatie met het referentie-examen¹. Dat kan door middel van pretest, posttest, standard setting of een andere methode van equivalering.

Als uit de gegevens blijkt dat de groep kandidaten in vaardigheid verschilt van die bij het referentie-examen, dan wordt de normeringsterm zo gekozen dat de prestatie-eisen gelijk blijven, en gemiddelde en percentage onvoldoendes afwijken van die bij het referentie-examen.

Als de groep kandidaten gemiddeld even vaardig is als de groep die destijds het referentie-examen maakte, dan wordt de normeringsterm zo gekozen dat gemiddeld cijfer en percentage onvoldoendes zo dicht mogelijk liggen bij die van het referentie-examen.

Als een examen een onvolkomenheid bevat die kandidaten aanwijsbaar kan benadelen, krijgen correctoren nadere instructies door een aanvulling op het correctievoorschrift.

Als een onvolkomenheid pas wordt ontdekt bij de vaststelling van de normeringsterm, worden kandidaten voor de nadelige gevolgen van de onvolkomenheid gecompenseerd in de vastgestelde normeringsterm.

Bijzondere situaties bij het eerste tijdvak

• a. Nieuw examenprogramma, met een pilot in het centraal examen

  Als de oude en nieuwe stof voor het centraal examen elkaar deels overlappen wordt op grond van de resultaten van de kandidaten op de vragen over de overlappende stof een oordeel over de vaardigheid van de kandidaten bepaald.

  Als er geen overlap is, wordt de moeilijkheidsgraad cq vaardigheid bepaald via standard setting.

• b. Uit pretest/posttest blijkt dat de vaardigheid van de kandidaten in de loop van een aantal jaren zo veranderd is dat handhaven van de eisen niet mogelijk of reëel is.

  Als dit zich voordoet, benadert CvE de Minister met een analyse waarin wordt onderzocht of, en op welke wijze, de eisen aan de veranderde vaardigheid van de kandidaten kunnen worden aangepast, of dat wellicht maatregelen kunnen worden genomen (bijvoorbeeld in het onderwijs) waardoor de vaardigheid van de kandidaten weer in lijn is met de eisen.

• c. Door aanpassing in de structuur van het onderwijs is de positie van een vak of meerdere vakken dusdanig gewijzigd dat het niet reëel of niet mogelijk is om de eisen te handhaven.

  CvE neemt een besluit dat ter goedkeuring aan de Minister wordt voorgelegd.

Examens in het tweede tijdvak

In het tweede tijdvak geldt in beginsel de normeringsterm van het eerste tijdvak. Aan de hand van de statistisch te verwachten resultaatverbetering van kandidaten die in het eerste tijdvak een onvoldoende hadden, wordt nagegaan of deze normeringsterm zou leiden tot hogere eisen aan de kandidaat dan in het eerste tijdvak. Als dat het geval is, wordt de normeringsterm zo vastgesteld dat de eisen gelijk zijn.

Als een onvolkomenheid wordt ontdekt bij de vaststelling van de normeringsterm, worden kandidaten voor de nadelige gevolgen van de onvolkomenheid gecompenseerd in de vastgestelde normeringsterm.

Examens in het derde tijdvak

Bij de examens in het derde tijdvak wordt de normeringsterm bepaald aan de hand van een gewogen oordeel over de moeilijkheidsgraad, samengesteld uit de oordelen van Cito, van het CvE en van de correctoren van deze examens en worden de gangbare normeringstermen voor het vak in de loop van een aantal recente jaren in aanmerking genomen.

Supplement

De formules voor de omzetting van score naar cijfer

De huidige regels zijn in 1999 vastgesteld en voor het eerst toegepast bij de examens van 2000. [CEVO -99/648 van 22 juni 1999, Gele katern 1999, nr. 18a].

Uitgangspunten

Het systeem voor de omzetting van score naar cijfer is gebaseerd op de volgende vier uitgangspunten:

• 1. Elk gescoord punt draagt altijd bij tot een hoger examencijfer (afronding daargelaten);

• 2. Een score van 0% correspondeert altijd met examencijfer 1,0 ;

• 3. Een score van 100% correspondeert altijd met examencijfer 10,0;

• 4. Over een zo breed mogelijk centraal interval van de scoreschaal is er (afronding daargelaten) sprake van een evenredige stijging van score- en cijferpunten die onafhankelijk is van de normering.

  Hierbij wordt onder de score verstaan: de zuivere score, dus uitsluitend de punten die aan de kandidaat zijn toegekend voor goede antwoordelementen.

  Er zal derhalve geen sprake meer zijn van scorepunten-vooraf en/of scorepunten-bijtelling (in geval van cesuuraanpassing).

Het normeringsvoorschrift

Het normeringsvoorschrift bestaat uit twee onderdelen:

• de hoofdrelatie: de formule die, voor de overgrote meerderheid der kandidaten, het berekeningsvoorschrift geeft voor het omzetten van score naar cijfer;

• vier grensrelaties: vier formules die (bij andere N-termen dan 1,0) voorkomen dat kandidaten met zeer lage of zeer hoge scores een cijfer zouden krijgen dat in strijd is met bovengenoemde vier uitgangspunten.

De hoofdrelatie

De hoofdrelatie geeft aldus het examencijfer als functie van de score:

C = 9,0 * (S/L) + N ............... (1)

waarin:

C = het cijfer voor het centraal examen.

S = de score, dat wil zeggen de zuivere aan de kandidaat toegekende score.

L = de lengte van de scoreschaal, zoals vastgelegd in het correctievoorschrift;

N = de normeringsterm, liggend tussen de waarden: N = 0,0 en N = 2,0 , vast te stellen door het College voor examens middels een normeringsbeslissing.

Zijn zowel L als N bekend, dan leidt invullen van de score S direct tot het examencijfer C.

Voorbeeld:

Stel de lengte van de scoreschaal is L = 90 punten;

dan gaat formule (1) over in:

C = 9,0 * (S/90) + N .

Voordat hiermee uit score S examencijfer C kan worden berekend, moet het College voor examens eerst een waarde voor normeringsterm N hebben vastgesteld.

Stel dat wordt: N = 1,0 ; dan krijgt formule (1) zijn definitieve vorm:

C = 9,0 * (S/90) + 1,0 .

Deze is gevisualiseerd in Figuur 1:

Figuur 1

Concreet: drie kandidaten met scores van resp. 0%, 50% en 100% – wat bij deze L van 90 pt correspondeert met scores van 0, 45 en 90 pt – zouden achtereenvolgens de examencijfers: 1,0, 5,5 en 10,0 krijgen. Als was gekozen voor een andere schaallengte, bv L = 68, dan zou formule (1), – bij dezelfde N-term N = 1,0) overgaan in:

C = 9,0 * (S/68) + 1,0 .

Nu zouden genoemde drie kandidaten voor dezelfde examencijfers (1,0, 5,5 en 10,0 ) respectievelijk de scores 0, 34 en 68 nodig hebben!

De grensrelaties

Deze zijn nodig om de boven gegeven vier uitgangspunten óók te kunnen eerbiedigen als de normeringsterm N groter of kleiner is dan 1,0 .

Voorbeeld:

Bij een waarde voor de normeringsterm van N = 1,3 , zouden de drie kandidaten met scores 0%, 50% en 100% op grond van de hoofdrelatie resp. de cijfers 1,3 , 5,8 en 10,3 krijgen;

daarvan is echter het eerste cijfer guller dan de bedoeling en is het derde cijfer hoger dan het toegestane maximum.

Iets dergelijks treedt op bij een normeringsterm lager dan 1,0 , bijvoorbeeld: N = 0,7. Genoemde drie kandidaten zouden in dat geval de examencijfers 0,7 , 5,2 en 9,7 krijgen, waarvan het eerste cijfer uitkomt onder het toegestane minimum en het derde cijfer lager is dan de verdiende 10,0!

Deze problematiek is in beeld gebracht in Figuur 2:

Figuur 2

Deze ‘bijzonderheden’ worden verholpen door middel van een systeem van zogeheten grensrelaties.

Het principe van grensrelaties is gevisualiseerd in Figuur 3. Bij voorbaat zullen alle score-cijfercombinaties liggen binnen het gebied dat begrensd wordt door de vier lijnen in deze figuur.

Figuur 3

Samen vormen deze vier lijnstukken een ‘venster’ waarbinnen alle toegestane score-cijfercombinaties moeten liggen. Dreigt bij toepassing van de hoofdrelatie – formule (1) – een score-cijfercombinatie buiten deze grenzen te vallen, dan moet voor de desbetreffende score dat cijfer vervangen worden door het cijfer berekend met de corresponderende grensrelatie. Wat informeler gezegd: score-cijfercombinaties die buiten het ‘venster’ dreigen te vallen, komen op het ‘kozijn’ terecht.

De grensrelaties worden gevormd door de volgende vier formules:

bij N > 1,0 geldt voor de laagste scores de formule:

C =< 1,0 + S* (9/L)*2 ............... (2a)

En voor de hoogste scores

C =<10,0 – (L-S)* 9/L) * 0,5 ............... (2b)

bij N < 1,0 geldt voor de laagste scores de formule:

C >= 1,0 + S* (9/L)* 0,5 ............... (3a)

en voor de hoogste scores

C >= 10,0 – (L-S)*(9/L)*2 ............... (3b)

Bij een waarde voor de normeringsterm van N = 1,0 treedt het systeem van grensrelaties niet in werking en resulteert een score-cijfertransformatie die grafisch wordt gerepresenteerd door de rechte lijn van Figuur 1, de lijn die in Figuur 4 is gelabeld met: ‘N=1,0’.

Bij alle andere waarden van N zijn de grensrelaties wel van belang. In Figuur 4 zijn als voorbeelden de twee uiterste gevallen in beeld gebracht, die resp. corresponderen met de normeringsbeslissingen N = 2,0 en N = 0,0 . Deze leveren als score-cijfertransformaties de twee dubbel-geknikte lijnen op (gelabeld met ‘N=2,0’ en ‘N=0,0’).

Figuur 4

TOELICHTING

Met deze regeling, die op 30 maart 2011 (nummer 287543) is goedgekeurd door de Minister van Onderwijs, Cultuur en Wetenschap, voldoet het College voor examens aan de hem in artikel 2, tweede lid, aanhef en onderdeel e, van de Wet College voor examens opgedragen taak om regels te stellen voor de omzetting van eindexamenscores in cijfers.

Gelet op de aard van betreffende voorschriften zijn deze niet opgenomen in de regeling zelf, maar in de daarbij behorende bijlage.

In de bijlage wordt beschreven op welke wijze bij een gegeven schaallengte (het maximaal aantal punten voor een examen), een door de correctoren vastgestelde score (het aantal door de kandidaat behaalde punten), en de door het College voor examens vastgestelde normeringsterm van het examen, door de directeur een cijfer dient te worden vastgesteld. Er zijn vijf formules: één hoofdrelatie en vier grensrelaties. De normeringsterm, ook N-term genoemd en in de hoofdrelatie aangeduid met ‘N’, wordt aangepast aan de moeilijkheidsgraad van het examen, de grensrelaties dragen er zorg voor dat de cijferschaal begint bij 1,0 (voor de kandidaat die geen scorepunten heeft behaald) en eindigt bij 10,0 (voor de kandidaat die alle scorepunten heeft behaald). Dit systeem is zonder technische wijzigingen in gebruik sinds de centrale examens in het jaar 2000.

De normeringsterm van het examen wordt door het College voor examens vastgesteld op grond van een specifiek vakinhoudelijke analyse van de door kandidaten per vraag behaalde score, en rekening houdend met eventuele onvolkomenheden in de opgaven. Op het havo en vwo wordt bij de examens in mei van negen vakken door middel van equivalering (pretest of posttest) de moeilijkheidsgraad van het examen geijkt aan die van voorgaande jaren.

De vakken zijn: Frans, Duits, Engels, wiskunde A, wiskunde B, natuurkunde, scheikunde, biologie en economie. Op het vmbo is het aantal vakken met equivalering op dit moment beperkt tot Frans, Duits, Engels en wiskunde in de theoretische en gemengde leerweg, en daardoor indirect ook voor de kaderberoepsgerichte leerweg, omdat de examens in beide leerwegen gedeeltelijk (voor ongeveer de helft) identiek zijn.

In 2009 hebben de hoogleraren Hoijtink en Sijtsma een rapport geschreven over de normeringssystematiek. Zij gaven aan dat het wenselijk is het aantal examens met equivalering uit te breiden, en dat het eveneens wenselijk is andere vormen van equivalering dan de posttest en de pretest te overwegen. In 2011 wordt een eerste stap gezet naar uitbreiding van het aantal vakken met equivalering, en naar toepassing van andere equivaleringstechnieken naast of in de plaats van pretest en posttest. De ontwikkeling van digitale examens gebaseerd op een itembank opent nieuwe mogelijkheden voor equivalering. Bij de examens in de beroepsgerichte vakken, die zich door hun aard minder goed lenen voor uitgebreide kwantitatieve testprocedures, is ten behoeve van de equivalering standard setting in ontwikkeling, een normeringsprocedure gebaseerd op oordelen van deskundigen.

Het College voor examens,

namens deze:

de voorzitter,

H.W. Laan.

---

1 Bij een pre- of posttest is de vergelijking gebaseerd op leerling-resultaten van leerlingen die onderdelen uit beide examens hebben gemaakt.

Bij standardsetting is de vergelijking gebaseerd op een door een groep experts uitgevoerde beoordeling van de moeilijkheidsgraad van de afzonderlijke items uit de beide examens