27 451
Koers BVE

24 578
MAVO/VBO/VSO

nr. 48
BRIEF VAN DE STAATSSECRETARIS VAN ONDERWIJS, CULTUUR EN WETENSCHAP

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 9 februari 2006

Hierbij ontvangt u mijn beleidsreactie – mede namens de minister van Landbouw, Natuur en Voedselkwaliteit – op onderstaande documenten betreffende het functioneren van het Kwaliteitscentrum Examinering (KCE), te weten:

a. het inspectierapport van het onderzoek naar de kwaliteitsverbetering van KCE betreffende het studiejaar 2004/2005, d.d. 11 januari 2006;

b. de bestuurlijke reactie van KCE op het inspectierapport, d.d. 18 januari 2006;

c. het plan van KCE «Standaarden en werkwijze KCE Nieuwe Stijl», d.d. 11 januari 2006;

d. de brief van KCE over de tevredenheid van instellingen en het bedrijfsleven over KCE, d.d. 7 december 2005.

Bovengenoemde documenten vindt u als bijlage bij deze beleidsreactie¹.

Met deze beleidsreactie doe ik de toezegging tijdens het Algemeen Overleg over KCE d.d. 29 juni 2005 (kamerstuk 24 578, nr. 72) gestand.

Inleiding

Sinds 1 augustus 2004 is de nieuwe examensystematiek mbo in werking getreden. Het eerste jaar, studiejaar 2004–2005, zit er op.

In een afzonderlijke beleidsreactie op het Examenverslag MBO 2004–2005 van KCE, d.d. 20 december 2005 (Tweede Kamer, vergaderjaar 2005–2006, 27 451, nr. 46), ben ik ingegaan op de kwaliteit van de examens van instellingen in het studiejaar 2004–2005.

In deze voorliggende beleidsreactie ga ik in op het functioneren van KCE, zowel wat betreft de gerealiseerde kwaliteit in het studiejaar 2004–2005 als de nieuwe aanpak van KCE.

De beleidsreactie start met een korte aanduiding van de voorgaande en nieuwe examensystematiek, gevolgd door een beknopte terugblik gelet op het eerdere inspectierapport van april 2005. Daarna volgt mijn beleidsreactie op de bovengenoemde vier documenten. In bijlage 1 is een samenvatting van de vier bovengenoemde documenten opgenomen¹.

1. Voorgaande en nieuwe examensystematiek mbo

Waar komen we vandaan: de situatie tot 1 augustus 2004 onder de voorgaande examensystematiek

Bij de voorgaande examensystematiek mbo was geen sprake van een eenduidige, landelijk vastgestelde set van kwaliteitseisen voor examens, noch van een eenduidige wijze van externe controle op de kwaliteit van examens. Er was sprake van diverse vormen van externe legitimering (= controle) van een deel van elk examen (te weten van 50% + 1 van de deelkwalificaties van een opleiding) door exameninstellingen, die instellingen hiervoor inhuurden. De inspectie voerde toezicht uit op het overige deel van examens. Tevens voerde de inspectie toezicht uit op de kwaliteit van de externe legitimering door exameninstellingen.

De toenmalige systematiek van kwaliteitsborging was ondoorzichtig en werkte niet goed. Er was sprake van een weinig transparant en beperkt beeld van de kwaliteit van de examens. De zekerheid of een examen al dan niet op orde was, bleek beperkt. Dat zette het maatschappelijk vertrouwen in de landelijk geldige diploma’s onder druk.

De nieuwe examensystematiek mbo is per 1 augustus 2004 in werking getreden.

• Hierbij moeten instellingen er zorg voor dragen dat de examens van beroepsopleidingen aan de landelijk vastgestelde kwaliteitsstandaarden voldoen. De bewijslast hiervan ligt primair bij de onderscheiden instellingen.

• Eén instantie, het Kwaliteitscentrum Examinering (KCE), voert jaarlijks een onafhankelijke externe controle uit op alle examens bij alle instellingen en reikt (goedkeurende, voorwaardelijke of afkeurende) verklaringen uit aan instellingen. KCE dient hierbij zorg te dragen dat instellingen niet meer worden belast dan voor een zorgvuldig onderzoek noodzakelijk is.

• In geval van onvoldoende examenkwaliteit kan de Minister de instelling het recht op examinering voor de betreffende opleiding ontnemen. In dat geval is de instelling verplicht de examinering uit te besteden bij een andere instelling die over dat recht beschikt.

• De inspectie van het onderwijs houdt vervolgens toezicht op KCE.

2. Terugblik

Op 29 juni 2005 heeft de Vaste Commissie voor Onderwijs, Cultuur en Wetenschap een Algemeen Overleg met mij gevoerd over KCE naar aanleiding van mijn brief van 25 mei 2005 (kamerstuk 24 578, nr. 70) over het inspectierapport van het kwaliteitsonderzoek bij KCE d.d. april 2005.

De inspectie concludeerde op basis van het in januari 2005 uitgevoerde periodiek kwaliteitsonderzoek (PKO) dat de kwaliteit van het functioneren van KCE op drie van de vier kwaliteitsaspecten onvoldoende was, te weten de dekkendheid van de KCE-controle op de examens, het voldoen aan wettelijke verplichtingen en de kwaliteitszorg. KCE gaf in de bestuurlijke reactie d.d. 3 mei 2005 op dat inspectierapport aan hoe KCE deze punten zou verbeteren. Tevens heb ik naar aanleiding van dat inspectierapport met KCE de afspraak gemaakt dat KCE een plan opstelt voor de nieuwe aanpak. De nieuwe aanpak moet zowel deugdelijk als uitvoerbaar zijn voor zowel KCE als de instellingen en er dient ook draagvlak voor te zijn bij het bedrijfsleven. In de brief is aangegeven dat de inspectie – gezien de resultaten van het onderzoek in januari 2005 (dat was op een tussentijds moment van het studiejaar 2004–2005) – in het najaar van 2005 een onderzoek naar de kwaliteitsverbetering (OKV) bij KCE zal uitvoeren. Beide onderzoeken van de inspectie (PKO en OKV) hebben betrekking op hetzelfde studiejaar, te weten 2004–2005.

Tijdens het Algemeen Overleg zijn kritische vragen gesteld of KCE met de bestaande aanpak wel voldoende berekend is op zijn wettelijke taak in de nieuwe examensystematiek en of het plan met de nieuwe aanpak hier een adequate oplossing voor biedt. Ik heb de toezegging gedaan de Tweede Kamer nader te informeren over het vervolgonderzoek 2004–2005 van de inspectie en het plan van KCE over de nieuwe aanpak.

3. Beleidsreactie

Tijdens het eerste jaar sinds de inwerkingtreding van de nieuwe examensystematiek is veel in werking gezet door instellingen (in samenwerking met bedrijven) en KCE. Dit begint al vruchten af te werpen op de examenkwaliteit en inspanningen van instellingen en van andere actoren. (Zie mijn bovengenoemde beleidsreactie op het Examenverslag 2004–2005.)

Maar de nieuwe examensystematiek functioneert nog niet optimaal.

• Enerzijds constateert KCE – niettegenstaande de verhoogde inspanningen van instellingen – dat de examenkwaliteit nog niet bij elke opleiding afdoende is gewaarborgd door de betreffende instellingen.

• Anderzijds constateert de inspectie – niettegenstaande de al in gang gezette verbeteracties van KCE – dat er nog verbeterpunten bij KCE zijn, te weten bij de uitvoering van de externe controle door KCE op de door instellingen gerealiseerde examenkwaliteit.

• En omgekeerd formuleren instellingen kanttekeningen en wensen ten aanzien van de taakuitvoering door KCE en formuleert KCE kanttekeningen en wensen ten aanzien van het inspectietoezicht op KCE.

Zowel ten aanzien van de instellingen als ten aanzien van KCE is de conclusie dat in dit eerste jaar na de inwerkingtreding van de nieuwe examensystematiek de beoogde situatie nog niet is bereikt. Beoogd wordt namelijk dat de examenkwaliteit van alle opleidingen zowel door de instellingen zelf afdoende intern gewaarborgd wordt als afdoende extern gewaarborgd wordt door KCE, opdat er bij het bedrijfsleven en het afnemende onderwijsveld het benodigde vertrouwen is in de uitgereikte – landelijk geldige – diploma’s. De nieuwe systematiek vraagt nog de nodige gewenning van de instellingen en KCE evenals de nodige verbetering van hun taakuitvoering.

De uitkomsten van het onderzoek naar de kwaliteitsverbetering (OKV) van KCE laat zien dat de inspectie enkele onderdelen van het functioneren van KCE als onvoldoende heeft beoordeeld. (Zie de samenvatting in bijlage 1 paragraaf 1.) De tekortkomingen hebben betrekking op:

• de productiviteit: De inspectie heeft de gerealiseerde dekkingsgraad – gelet op de door het KCE met het ministerie van OCW afgesproken minimale dekkingsgraad voor het studiejaar 2004–2005 – als onvoldoende beoordeeld.

• de kwaliteit: De inspectie concludeert dat KCE de beslisregels inconsistent heeft toegepast, waardoor onterechte verschillen zijn ontstaan in de afgegeven verklaringen. Uit de analyse van dossiers blijkt dat KCE voorwaardelijke verklaringen heeft afgegeven zonder dat duidelijk is waarop KCE het vertrouwen baseert van herstel binnen een jaar door de betreffende instellingen.

• de procedures: De inspectie concludeert dat KCE in onvoldoende mate voldoet aan de wettelijke bepalingen ten aanzien van termijnen – voor o.a. de KCE-verklaringen – en de beheerslast voor instellingen.

Ten aanzien van deze verbeterpunten wil ik het volgende opmerken:

• Dekkingsgraad: Lagere dekkingsgraad van de externe controle leidt tot lagere betrouwbaarheid en lagere pakkans. Bij opleidingen waar KCE bij de uitgevoerde steekproef bij de product-audit een lagere dekkingsgraad dan door KCE gepland heeft gerealiseerd, heeft de uitspraak van KCE over de (product)kwaliteit van betreffende examens een navenant lagere graad van betrouwbaarheid c.q. zekerheid dan de door KCE geplande graad van zekerheid (van tenminste 95%). Dat houdt in dat de uitspraken minder hard zijn dan KCE zelf wenselijk acht; dat betekent overigens niet dat de kwaliteit van de examens dan minder is. Voldoende zekerheid over de examenkwaliteit is nodig vanwege het civiele effect van diploma’s en het hiervoor benodigde maatschappelijke vertrouwen in de uitgereikte diploma’s c.q. in de afgenomen examens. KCE plaatst in zijn bestuurlijke reactie op het inspectierapport de kanttekening «De inspectie maakt gebruik van onbetrouwbare gegevens en gaat hier niet zorgvuldig mee om. Ernst & Young accountants heeft hier één en andermaal over heeft gerapporteerd.» Die conclusie deel ik niet. De inspectie heeft gebruik gemaakt van de officiële gegevens van Cfi.

• Normering en procedures: Wat de toepassing van de normering en procedures betreft, geldt dat sprake is van relatieve autonomie van KCE, dat wil zeggen binnen de kaders van de wettelijke voorschriften en van de landelijk vastgestelde standaarden voor de examenkwaliteit en bijbehorende normering.

KCE moet ervoor zorgen dat deze in 2004–2005 geconstateerde tekortkomingen zich niet langer c.q. opnieuw voor zullen doen. Ik heb daar zowel de directeur als het bestuur van KCE op aangesproken.

Dat er nog verbeterpunten zijn, blijkt eveneens uit de meting door KCE van de tevredenheid van instellingen over KCE. (Zie de samenvatting in bijlage 1 paragraaf 4.) Hoewel een meerderheid van de instellingen tevreden is op de onderscheiden aspecten van het functioneren van KCE, laat het beeld zien dat er nog wel de nodige ruimte voor verbetering is, in het bijzonder wat betreft de door KCE te leveren producten (rapporten en verklaringen) en de communicatie hierover. Ook is mij tijdens het studiejaar 2004–2005 niet ontgaan dat relatief veel instellingen kanttekeningen hebben geplaatst bij de taakuitvoering van KCE, in het bijzonder vanwege de ermee gemoeide beheerslasten voor instellingen. Uit de vervolgmeting door KCE onder instellingen over het studiejaar 2005–2006 zal blijken wat de resultaten van de nieuwe aanpak zijn op de tevredenheid van instellingen.

Mijn beleidsreactie op de uitkomsten van het onderzoek door bureau Profiel onder het bedrijfsleven heb ik geleverd in mijn beleidsreactie op het Examenverslag MBO 2004–2005 van KCE, d.d. 20 december 2005 (Tweede Kamer, vergaderjaar 2005–2006, 27 451, nr. 46).

Op grond van bovenstaande bevindingen constateer ik dat KCE en de examensystematiek als geheel niet optimaal functioneren. KCE is een jonge organisatie, de examensystematiek is pas sinds kort van kracht en alle actoren zijn nog bezig op elkaar ingespeeld te raken. Die context en het feit dat de examensystematiek al de eerste vruchten begint af te werpen, geeft enige relativering aan bovengenoemde bevindingen. Maar het maatschappelijk belang van deugdelijke examens vereist deugdelijke waarborging van de kwaliteit van examens. Zowel de interne waarborg door instellingen als de externe waarborg door KCE laat nog het een en ander te wensen over, gelet op de onvoldoende beoordeling op onderdelen. Zowel voor instellingen als voor KCE geldt dat bij de eigen taakuitvoering altijd de vereiste basiskwaliteit gerealiseerd moet worden.

KCE wil met behulp van de nieuwe aanpak de benodigde verbetering realiseren ten aanzien van de door de inspectie geconstateerde verbeterpunten evenals de verbeterpunten die KCE zichzelf heeft opgelegd. KCE heeft de nieuwe aanpak uiteengezet in het plan «Standaarden en werkwijze KCE Nieuwe Stijl» d.d. 11 januari 2006. (Zie de samenvatting in bijlage 1 paragraaf 3.)

Met de nieuwe aanpak heb ik er vertrouwen in dat KCE op de goede weg is. Er is draagvlak bij alle partijen, inclusief VNO-NCW en MKB-Nederland, voor de nieuwe aanpak. De nieuwe aanpak voldoet ook aan het criterium van deugdelijkheid. Het plan van KCE bevat ook een implementatieplan. Dit maakt het mogelijk om in het overgangsjaar 2005–2006 eerst zorgvuldig ervaring op te doen met de nieuwe aanpak. Er is voorzien in een nauwgezette evaluatie, zodat waar nodig adequate bijstelling kan plaatsvinden. KCE legt de eventuele bijstellingen (waarover betrokken partijen worden geconsulteerd) tijdig aan mij voor, zodat ik die kan vaststellen voor de situatie vanaf 1 augustus 2006.

Ik zal de voorgestelde nieuwe aanpak (werkwijze, standaarden, normering, tarieven) vaststellen. Dat ik ook de werkwijze van een organisatie vaststel (op de in het plan van KCE beschreven hoofdlijnen), is een uitzonderlijke situatie. KCE heeft mij dit verzocht zodat de werkwijze voor alle partijen (KCE, instellingen en inspectie) duidelijk is.

Conform het voorstel van KCE zal de nieuwe aanpak in het overgangsjaar 2005–2006 nog niet over de volle breedte (d.w.z. voor alle opleidingen) van kracht zijn. Met de vaststelling van de voorgestelde constructie tijdens het overgangsjaar 2005–2006 sta ik toe dat KCE in dit studiejaar geen verklaringen uitreikt aan instellingen voor examens van opleidingen waarvoor instellingen ervoor gekozen hebben om die onder de nieuwe aanpak te brengen. KCE reikt in die gevallen wel een rapport van bevindingen uit aan instellingen.

KCE is nu aan zet om de nieuwe aanpak te implementeren en de benodigde verbeteringen in het studiejaar 2005–2006 daadwerkelijk te realiseren.

Bestuurlijke maatregelen t.a.v. KCE

Er moet door KCE hard gewerkt worden aan het realiseren van de benodigde verbetering en de aangekondigde vernieuwing. De ingrijpende vernieuwing van de aanpak noodzaakt om er eerst ervaring mee op te doen in het studiejaar 2005–2006. De voortgang wordt nauwlettend gevolgd.

Ik zal ook zelf de vinger goed aan de pols houden. Voor het benodigde vertrouwen in KCE is het nodig dat een aantal zaken duidelijk zijn ten aanzien van de planning, de voortgang en de resultaten van het verbeter- en implementatietraject met de nieuwe aanpak van KCE. Mijn bestuurlijke maatregelen richting KCE zijn hierop gericht.

Concreet verwacht ik van KCE:

1) Het opstellen door KCE van het plan met voorstellen voor de nieuwe aanpak, de implementatie hiervan en evaluatie van de bevindingen in het overgangsjaar 2005–2006 t.b.v. eventuele bijstelling voor het vervolgtraject. (Het eerste deel van deze opdracht heeft KCE inmiddels uitgevoerd door de oplevering van het plan «Standaarden en werkwijze KCE Nieuwe stijl» d.d. 11 januari 2006. KCE werkt nu aan het tweede deel, te weten de implementatie gevolgd door de evaluatie.)

2) De realisatie door KCE van de benodigde verbetering op de door de inspectie geconstateerde verbeterpunten (te weten de opheffing van de tekortkomingen ten aanzien van respectievelijk de productiviteit/dekkingsgraad, de kwaliteit/normering en het nakomen van procedurele verplichtingen ten aanzien van termijnen en beheerslast), met inachtneming van de formele kaders voor de autonomie van KCE bij de realisatie hiervan.

3) De door KCE te leveren aangescherpte verantwoording over de geplande en de gerealiseerde productiviteit van KCE, te weten verantwoording vooraf over het aantal opleidingen en het aantal deelkwalificaties waarvan KCE daadwerkelijk de examenkwaliteit gaat controleren en verantwoording achteraf over de daadwerkelijk gecontroleerde aantallen opleidingen en deelkwalificaties. Deze aantallen vormen immers een belangrijke factor voor de mate van zekerheid van de uitspraken van KCE over de examenkwaliteit, evenals voor de pakkans van examens van onvoldoende kwaliteit.

4) Het waarborgen door KCE van de methodologische kwaliteit van de KCE-werkwijze, de evaluatie van de bevindingen met de nieuwe aanpak ook expliciet te richten op de methodologische aspecten en bij de evaluatie ook externe methodologen te betrekken. Voor de implementatie van de nieuwe werkwijze is structurele inzet van methodologische deskundigheid nodig.

Ik zal de voortgang op bovenstaande punten goed volgen:

5) OCW en LNV houden stevig de vinger aan de pols door intensief overleg met KCE over de voortgang.

6) De inspectie zal een periodiek kwaliteitsonderzoek naar het functioneren van KCE in het studiejaar 2005–2006 uitvoeren in het najaar van 2006. En mocht dat eventueel nodig zijn dan zal ik niet schromen om ook opdracht te geven tot incidenteel onderzoek door de inspectie tijdens het studiejaar 2005–2006.

Tot slot

Het plan van KCE over de nieuwe aanpak, het draagvlak van partijen hiervoor, de gefaseerde invoering, de verhoogde inspanningen van KCE en de bovengenoemde bestuurlijke maatregelen wekt het vertrouwen dat KCE op de goede weg is. De voortgang en implementatie van de nieuwe aanpak houd ik nauwlettend in de gaten.

Na de publicatie van het inspectierapport over het functioneren van KCE in het studiejaar 2005–2006 zal ik de Tweede Kamer informeren over de uitkomsten ervan.

De Staatssecretaris van Onderwijs, Cultuur en Wetenschap,

mede namens de minister van Landbouw, Natuur en Voedselkwaliteit, C. P. Veerman,

M. Rutte

---

1 Ter inzage gelegd bij het Centraal Informatiepunt Tweede Kamer.