Regeling van het College voor examens van 14 januari 2010, nummer Cve-10.0003, houdende vaststelling van regels voor de omzetting van scores in cijfers (Regeling omzetting scores centrale examens in cijfers)

Het College voor Examens,

Gelet op artikel 2, tweede lid, aanhef en onderdeel e, van de Wet College voor examens;

Gezien de goedkeuring van de Staatssecretaris van Onderwijs, Cultuur en Wetenschap, gegeven op 2 maart 2010, nummer VO/OK/190619;

Besluit:

Artikel 1

De omzetting van scores in cijfers, bedoeld in artikel 2, tweede lid, onderdeel e, van de Wet College voor examens geschiedt op de in de bijlage bij deze regeling vastgestelde wijze.

Artikel 2

Deze regeling treedt in werking met ingang van de eerste dag na de datum van uitgifte van de Staatscourant waarin zij wordt geplaatst.

Artikel 3

Deze regeling wordt aangehaald als: Regeling omzetting scores centrale examens in cijfers.

Deze regeling zal met de toelichting in de Staatscourant worden geplaatst.

Het College voor examens,

namens deze:

de voorzitter,

H.W. Laan.

BIJLAGE BEHORENDE BIJ ARTIKEL 1

De instructies die het CvE toepast om tot de N-termen te komen

Uitgangspunt

De normering van de centrale examens dient er zorg voor te dragen dat in opeenvolgende jaren aan kandidaten bij een zelfde vak in hetzelfde schooltype/dezelfde leerweg dezelfde eisen worden gesteld.

Bij een 5,5 in het ene jaar hoort dezelfde prestatie van de kandidaat als bij een 5,5 in een ander jaar. Omdat het technisch onmogelijk is onze examens van jaar op jaar 'precies even moeilijk' te maken, zorgt de keuze van de N-term daarvoor. Het proces van normering is erop gericht gegeven dit uitgangspunt de juiste normeringsterm te bepalen.

In supplement 1 staan de vergelijkingen die bij de omzetting van score naar cijfer worden gehanteerd.

Examens in het eerste tijdvak van 2010

Het examen wordt geijkt aan het door het CvE vastgestelde referentie-examen. Een referentie-examen is een examen dat door CvE en veld wordt gezien als een 'goed' examen.

Allereerst gaat het CvE uit van de veronderstelling dat kandidaten niet ineens vaardiger of minder vaardig zijn geworden.

Als uitsluitend deze regel zou worden toegepast, dan zouden bij een dalend vaardigheidsniveau de cijfers gemiddeld gelijk blijven, en zou een vaardiger groep leerlingen gestraft worden met een strenger normering. Daarom worden aanvullende gegevens gehanteerd.

Bij elk examen is het oordeel van het CvE over de zwaarte van het examen in aanmerking genomen. Dit oordeel wordt bij de vaststelling van het examen door de vakdeskundigen gegeven.

Bij een aantal examens verzamelt Cito door middel van posttest, pretest en standardsetting gegevens over de moeilijkheidsgraad van het examen in relatie met het referentie-examen¹.

Als uit de gegevens van pretest, posttest, standardsetting of oordeel vooraf van het CvE blijkt dat de groep kandidaten in vaardigheid verschilt van die bij het referentie-examen, dan wordt de normeringsterm zo gekozen dat de prestatie-eisen gelijk blijven, en gemiddelde en percentage onvoldoendes afwijken van die bij het referentie-examen.

Als de groep kandidaten gemiddeld even vaardig is als de groep die destijds het referentie-examen maakte, dan wordt de normeringsterm zo gekozen dat gemiddeld cijfer en percentage onvoldoendes zo dicht mogelijk liggen bij die van het referentie-examen.

In supplement 2 is aangegeven bij welke vakken aanvullende informatie wordt verzameld.

Als een examen een onvolkomenheid bevat die kandidaten aanwijsbaar kan benadelen, wordt door een aanvulling op het correctievoorschrift de vraag buiten de totale beoordeling gelaten.

Als een onvolkomenheid wordt ontdekt bij de vaststelling van de normeringsterm, worden kandidaten voor de nadelige gevolgen van de onvolkomenheid gecompenseerd in de vastgestelde normeringsterm.

Bijzondere situaties bij het eerste tijdvak

• a. Nieuw examenprogramma, met een pilot in het centraal examen

  Als de oude en nieuwe stof voor het centraal examen elkaar deels overlappen wordt op grond van de resultaten van de kandidaten op de vragen over de overlappende stof een oordeel over de vaardigheid van de kandidaten bepaald.

  Als er geen overlap is, wordt de moeilijkheidsgraad cq vaardigheid bepaald via standard setting.

  Als randvoorwaarde geldt dat kandidaten geen nadeel ondervinden van het feit dat hun school aan een pilot meedoet.

• b. Uit pretest/posttest blijkt dat de vaardigheid van de kandidaten in de loop van een aantal jaren zo veranderd is dat handhaven van de eisen niet mogelijk of reëel is.

  CvE neemt een besluit dat ter goedkeuring aan de Minister wordt voorgelegd.

• c. Door aanpassing in de structuur van het onderwijs is de positie van een vak of meerdere vakken dusdanig gewijzigd dat het niet reëel of niet mogelijk is om de eisen te handhaven.

  CvE neemt een besluit dat ter goedkeuring aan de Minister wordt voorgelegd.

Examens in het tweede tijdvak van 2010

In het tweede tijdvak geldt in beginsel de normeringsterm van het eerste tijdvak. Aan de hand van de statistisch te verwachten resultaatverbetering van kandidaten die in het eerste tijdvak een onvoldoende hadden, wordt nagegaan of deze normeringsterm leidt tot hogere eisen aan de kandidaat dan in het eerste tijdvak. Als dat het geval is, wordt de normeringsterm zo vastgesteld dat de eisen gelijk zijn.

Als een onvolkomenheid wordt ontdekt bij de vaststelling van de normeringsterm, worden kandidaten voor de nadelige gevolgen van de onvolkomenheid gecompenseerd in de vastgestelde normeringsterm.

Examens in het derde tijdvak van 2010 en in januari 2011 binnen het Project Meerdere Examenmomenten

Bij de examens in het derde tijdvak (en in januari) wordt de normeringsterm bepaald aan de hand van een gewogen oordeel over de moeilijkheidsgraad, samengesteld uit de oordelen van Cito, van het CvE en van de correctoren van deze examens en worden de gangbare normeringstermen voor het vak in de loop van een aantal recente jaren in aanmerking genomen.

Supplement 1. De formules voor de omzetting van score naar cijfer

De huidige regels zijn in 1999 vastgesteld en voor het eerst toegepast bij de examens van 2000. [CEVO -99/648 van 22 juni 1999, Gele katern 1999, nr. 18a]. Hieronder volgt de tekst zoals die destijds is gepubliceerd.

Uitgangspunten

Het systeem voor de omzetting van score naar cijfer is gebaseerd op de volgende vier uitgangspunten:

• 1. Elk gescoord punt draagt altijd bij tot een hoger examencijfer (afronding daargelaten);

• 2. Een score van 0% correspondeert altijd en als enige met examencijfer 1,0 ;

• 3. Een score van 100% correspondeert altijd en als enige met examencijfer 10,0;

• 4. Over een zo breed mogelijk centraal interval van de scoreschaal is er sprake van een constante equivalentie tussen score- en cijferpunten die onafhankelijk is van de normering.

  Hierbij wordt onder de score verstaan: de zuivere score, dus uitsluitend de punten die aan de kandidaat zijn toegekend voor goede antwoordelementen.

Er zal derhalve geen sprake meer zijn van scorepunten-vooraf en/of scorepunten-bijtelling (in geval van cesuuraanpassing).

Het normeringsvoorschrift

Het normeringsvoorschrift bestaat uit twee onderdelen:

• de hoofdrelatie: de formule die, voor de overgrote meerderheid der kandidaten, het berekeningsvoorschrift geeft voor het omzetten van score naar cijfer;

• vier grensrelaties: vier formules die voorkomen dat kandidaten met zeer lage of zeer hoge scores een cijfer zouden krijgen dat in strijd is met bovengenoemde vier uitgangspunten.

De hoofdrelatie

De hoofdrelatie geeft aldus het examencijfer als functie van de score:

C = 9,0 * (S/L) + N .......................................... (1)

waarin:

C = het cijfer voor het centraal examen.

S = de score, dat wil zeggen de zuivere aan de kandidaat toegekende score.

L = de lengte van de scoreschaal, zoals vastgelegd in het correctievoorschrift;

N = de normeringsterm, liggend tussen de waarden: N = 0,0 en N = 2,0 , vast te stellen door het College voor examens middels een normeringsbeslissing.

Zijn zowel L als N bekend, dan leidt invullen van de score S direct tot het examencijfer C.

Voorbeeld:

Stel voor de lengte van de scoreschaal is gekozen voor L = 90 punten;

dan gaat formule (1) over in:

C = 9,0 * (S/90) + N .

Voordat hiermee uit score S examencijfer C kan worden berekend, moet het College voor examens eerst een waarde voor normeringsterm N hebben vastgesteld.

Stel dat wordt: N = 1,0 ; dan krijgt formule (1) zijn definitieve vorm:

C = 9,0 * (S/90) + 1,0 .

Deze is gevisualiseerd in Fig.1:

Concreet: drie kandidaten met scores van resp. 0%, 50% en 100% – wat bij deze L van 90 pt correspondeert met scores van 0, 45 en 90 pt – zouden achtereenvolgens de examencijfers: 1,0, 5,5 en 10,0 krijgen. Als was gekozen voor een andere schaallengte, bv L = 68, dan zou formule (1), - bij dezelfde N-term N = 1,0) overgaan in:

C = 9,0 * (S/68) + 1,0 .

Nu zouden genoemde drie kandidaten voor dezelfde examencijfers (1,0, 5,5 en 10,0 ) respectievelijk de scores 0, 34 en 68 nodig hebben!

De grensrelaties

Deze zijn nodig om de boven gegeven vier uitgangspunten óók te kunnen eerbiedigen als de normeringsterm N groter of kleiner is dan 1,0 .

Voorbeeld:

Bij een waarde voor de normeringsterm van N = 1,3 , zouden de drie kandidaten met scores 0%, 50% en 100% resp. de cijfers 1,3 , 5,8 en 10,3 moeten krijgen;

daarvan is echter het eerste cijfer guller dan de bedoeling en is het derde cijfer hoger dan het toegestane maximum.

Iets dergelijks treedt op bij een normeringsterm lager dan 1,0 , bijvoorbeeld: N = 0,7. Genoemde drie kandidaten zouden in dat geval de examencijfers 0,7 , 5,2 en 9,7 krijgen, waarvan het eerste cijfer uitkomt onder het toegestane minimum en derde cijfer lager is dan de verdiende 10,0!

Deze problematiek is in beeld gebracht in Fig.2:

Deze ‘singulariteiten’ worden verholpen door middel van een systeem van zogeheten grenscijfers, die berekend worden met behulp van de hieronder te introduceren vier grensrelaties. Deze beogen het volgende te garanderen:

Wat de waarde van normeringsterm N ook moge zijn, a priori staat vast dat:

• gerekend vanaf de minimumscore (0%), er voor elk gescoord punt tenminste 0,05 en ten hoogste 0,20 cijferpunt bij het examencijfer bijkomt;

• gerekend vanaf de maximumscore (100%), er voor elk niet gescoord punt tenminste 0,05 en ten hoogste 0,20 cijferpunt van het examencijfer afgaat.

Het principe van grenscijfers is gevisualiseerd in Fig.3. Bij voorbaat zullen alle score-cijfer combinaties liggen binnen een gebied van toegestane waarden begrensd door de vier lijnen in deze figuur. De grenscijfers zijn de cijfers die met deze vier lijnstukken zelf corresponderen.

Samen vormen deze vier lijnstukken een ‘venster’ waarbinnen alle toegestane cijfers moeten liggen. Dreigt bij toepassing van de hoofdrelatie – formule (1) – een cijfer buiten deze grenzen te vallen, dan moet dat cijfer vervangen worden door het cijfer berekend met de corresponderende grensrelatie, het grenscijfer. Wat informeler gezegd: cijfers die buiten het ‘venster’ dreigen te vallen, komen op het ‘kozijn’ terecht.

De grensrelaties worden gevormd door de volgende vier formules:

bij N > 1,0: C =< 1,0 + S/5,0 ...................................(2a)

en C =<10,0 - (L-S)/20,0.........................................(2b)

bij N < 1,0: C >= 1,0 + S/20,0..................................(3a)

en C >= 10,0 - (L-S)/5,0..........................................(3b)

Bij een waarde voor de normeringsterm van N = 1,0 hoeft het systeem van grenscijfers niet in werking te treden en resulteert een normeringsvoorschrift dat grafisch wordt gerepresenteerd door de rechte lijn van Fig.1, de lijn die in Fig. 4 is gelabeld met: ‘N=1,0’.

Bij alle andere waarden van N worden de grenscijfers wel van belang. In Fig. 4 zijn als voorbeelden de twee uiterste gevallen in beeld gebracht, die resp. corresponderen met de normeringsbeslissingen N = 2,0 en N = 0,0 . Deze leveren als normeringsvoorschrift de twee dubbel-geknikte lijnen op (gelabeld met ‘N=2,0’ en ‘N=0,0’).

Supplement 2. Vakken met extra gegevens

Bij de centrale examens havo en vwo worden de volgende vakken gepretest of geposttest:

Frans, Duits, Engels, economie, wiskunde A(/C), wiskunde B, natuurkunde, scheikunde, biologie. Het testen van alle examens is bijzonder kostbaar en uit oogpunt van niveaubewaking ook minder nodig. Immers, door de brede range van onderzochte vakken kan met voldoende zekerheid een uitspraak worden gedaan over het niveau van de populatie havo resp. vwo. Het is immers onwaarschijnlijk dat terwijl de gemiddelde vaardigheid bij deze vakken gelijk blijft, de vaardigheid bij filosofie landelijk sterk zou stijgen en bij beeldende vormgeving zou dalen.

Bij de centrale examens vmbo GL en TL worden de volgende vakken gepretest of geposttest: Frans, Duits, Engels, wiskunde. In ontwikkeling is de pretest van nask-1, biologie en economie.

Bij de centrale examens vmbo KB algemene vakken vindt alleen pretest plaats bij wiskunde. De examens van de vakken zijn voor circa 50% identiek aan die van GL en TL. Via een koppeling met GL en TL wordt een uitspraak gedaan over de vaardigheid van de populatie, en wordt op grond daarvan de normeringsterm vastgesteld.

Bij de centrale examens algemene vakken vmbo BB vindt noch pretest, noch posttest plaats. Er wordt toegewerkt naar een itemverzameling, waardoor in het verleden gebruikte opgaven opnieuw, maar nu met bekende moeilijkheid, gebruikt kunnen worden.

Bij de beroepsgerichte vakken BB, KB en GL is standardsetting in ontwikkeling als middel om verschillen in vaardigheid in de loop van de jaren te bepalen. Momenteel wordt uitsluitend genormeerd op grond van het referentie-examen, onder aanname van een gelijke vaardigheid van de populaties in verschillende jaren.

TOELICHTING

Met deze regeling, die op 2 maart 2010 is goedgekeurd door de Staatssecretaris van Onderwijs, Cultuur en Wetenschap, voldoet het College voor examens aan de hem in artikel 2, tweede lid, aanhef en onderdeel e, van de Wet College voor examens opgedragen taak om regels te stellen voor de omzetting van eindexamenscores in cijfers. Gelet op de aard van betreffende voorschriften zijn deze niet opgenomen in de regeling zelf, maar in de daarbij behorende bijlage. Voor een toelichting op de voorschriften wordt verwezen naar de toelichtende tekstblokken in die bijlage.

Het College voor examens,

namens deze:

de voorzitter,

H.W. Laan.

---

1 Bij een pre- of posttest is de vergelijking gebaseerd op leerling-resultaten van leerlingen die onderdelen uit beide examens hebben gemaakt.

Bij standardsetting is de vergelijking gebaseerd op een door een groep experts uitgevoerde beoordeling van de moeilijkheidsgraad van de afzonderlijke items uit de beide examens