31 554
Kwaliteitsbewaking in het hoger onderwijs in Nederland en Vlaanderen. Verslag aan het Vlaams Parlement en de Tweede Kamer der Staten-Generaal Samenwerkingsonderzoek met het Rekenhof van België

nr. 2
RAPPORT

Inhoud

DEEL 1		5
1	Over dit onderzoek	7
1.1	Aanleiding	7
1.2	Context	7
1.3	Probleemstelling en opzet	7
1.4	Leeswijzer	8
2	Conclusies en aanbevelingen	9
2.1	Hoofdconclusie	9
2.2	Interne kwaliteitszorg	9
2.2.1	Conclusies interne kwaliteitszorg	9
2.2.2	Aanbevelingen interne kwaliteitszorg	10
2.3	Externe kwaliteitszorg	10
2.3.1	Conclusies zelfevaluaties	10
2.3.2	Conclusies visitaties door visiterende en beoordelende instanties en evaluatieorganen	10
2.3.3	Conclusies NVAO	11
2.3.4	Aanbevelingen externe kwaliteitszorg	12
2.4	Kosten voor kwaliteitszorg	12
2.4.1	Conclusies kosten voor kwaliteitszorg	12
2.4.2	Aanbevelingen kosten voor kwaliteitszorg	13
2.5	Toezicht op het kwaliteitszorgstelsel	13
2.5.1	Conclusies toezicht op het kwaliteitszorgstelsel	13
2.5.2	Aanbevelingen toezicht op het kwaliteitszorgstelsel	14
2.6	Vergelijking accreditatiestelsel	14
2.6.1	Conclusies vergelijking accreditatiestelsel	14
2.6.2	Aanbevelingen vergelijking accreditatiestelsel	14
3	Bestuurlijke reacties en nawoord	16
3.1	Bestuurlijke reacties	16
3.1.1	Antwoord van de Nederlandse minister van Onderwijs, Cultuur en Wetenschap	16
3.1.2	Antwoord van de Vlaamse minister van Werk, Onderwijs en Vorming	17
3.1.3	Antwoord van NVAO	20
3.2	Nawoord van de Algemene Rekenkamer en het Rekenhof	22
DEEL 2		25
1	Inleiding	27
1.1	Kwaliteitsbewaking in het hoger onderwijs	27
1.2	Wet- en regelgeving	28
1.2.1	Verdrag	28
1.2.2	Nederland	28
1.2.3	Vlaanderen	28
1.3	Accreditatiekaders	29
1.4	Kwaliteitszorgsysteem	29
1.4.1	Interne kwaliteitszorg	29
1.4.2	Externe kwaliteitszorg	29
1.4.3	Toezicht op het kwaliteitszorgsysteem	30
1.5	Aanpak onderzoek	31
1.5.1	Probleemstelling en onderzoeksdomein	31
1.5.2	Methode	32
2	Interne kwaliteitszorg	33
2.1	Inleiding	33
2.2	Wet- en regelgeving	34
2.3	Interne kwaliteitszorg aan de Nederlandse instellingen	34
2.3.1	Organisatie van de interne kwaliteitszorg	34
2.3.2	Toepassing van het accreditatiekader op de interne kwaliteitszorg	35
2.3.3	Overige kwaliteitsaspecten	39
2.3.4	Conclusie interne kwaliteitszorg Nederland	41
2.4	Interne kwaliteitszorg aan de Vlaamse instellingen	42
2.4.1	Organisatie van de interne kwaliteitszorg	42
2.4.2	Toepassing van het accreditatiekader op de interne kwaliteitszorg	44
2.4.3	Kwaliteit van het personeel	46
2.4.4	Conclusie interne kwaliteitszorg Vlaanderen	47
3	Externe kwaliteitszorg	48
3.1	Inleiding	48
3.2	Zelfevaluatie in Nederland	49
3.2.1	Wet- en regelgeving	49
3.2.2	Zelfevaluatierapporten	50
3.2.3	Conclusie zelfevaluatie in Nederland	51
3.3	Zelfevaluatie in Vlaanderen	51
3.3.1	Wet- en regelgeving	51
3.3.2	Zelfevaluatierapporten in Vlaanderen	51
3.3.3	Conclusie zelfevaluatie in Vlaanderen	52
3.4	Visitatie in Nederland	53
3.4.1	Wet- en regelgeving	53
3.4.2	VBI’s	53
3.4.3	Conclusie visitatie in Nederland	56
3.5	Visitatie in Vlaanderen	57
3.5.1	Wet- en regelgeving	57
3.5.2	Evaluatieorganen in Vlaanderen	57
3.5.3	Visitatiecommissies in Vlaanderen	58
3.5.4	Conclusie visitatie in Vlaanderen	63
3.6	Accreditatie door de NVAO	64
3.6.1	Inleiding	64
3.6.2	Wet- en regelgeving	64
3.6.3	Werkwijze van de NVAO: beschrijving	65
3.6.4	Werkwijze van de NVAO: analyse	66
3.6.5	Conclusie accreditatie door NVAO	68
4	Kosten voor kwaliteitszorg	70
4.1	Inleiding	70
4.2	Kosten voor kwaliteitszorg in Nederland	70
4.2.1	Inleiding	70
4.2.2	Kosten voor interne kwaliteitszorg	71
4.2.3	Kosten voor externe kwaliteitszorg	71
4.3	Kosten voor kwaliteitszorg in Vlaanderen	72
4.3.1	Kosten voor interne kwaliteitszorg	72
4.3.2	Kosten voor visitatie	73
4.4	Budget van NVAO	74
4.5	Conclusie kosten voor kwaliteitszorg in Nederland en Vlaanderen	74
5	Toezicht op het kwaliteitszorgstelsel	76
5.1	Inleiding	76
5.2	Toezicht op het kwaliteitszorgstelsel	76
5.2.1	Nederland	76
5.2.2	Vlaanderen	77
5.2.3	Conclusie toezicht op het kwaliteitszorgstelsel	79
5.3	Comité van Ministers	79
5.3.1	Wet- en regelgeving	79
5.3.2	Bevindingen	80
5.3.3	Conclusie Comité van Ministers	80
6	Vergelijking van het accreditatiestelsel in Nederland en Vlaanderen	81
6.1	Inleiding	81
6.2	Taakafbakening van de actoren	81
6.2.1	Aanwijzing van VBI’s en evaluatieorganen	81
6.2.2	Rolverdeling NVAO versus VBI’s en evaluatieorganen	82
6.2.3	Afbakening onderzoeks- en onderwijsaccreditatie	82
6.3	Oordeelsvorming	83
6.3.1	Inhoud versus procedures	83
6.3.2	Beoordeling op instellingsniveau of opleidingsniveau	84
6.3.3	Geclusterde visitatie	85
6.4	Gevolgen van accreditatie	85
6.4.1	Accreditatietermijn	85
6.4.2	Verbetertraject	86
6.5	Nieuwe ontwikkelingen	87
6.5.1	Inleiding	87
6.5.2	Report of the committee for the review of the Accreditation Organization of The Netherlands and Flanders (NVAO)	87
6.5.3	Beleidsreactie van het Comité van Ministers over de internationale peer review van de NVAO	87
6.5.4	Focus op kwaliteit: vernieuwing van accreditatie in het hoger onderwijs	88
Begrippen en afkortingen		89
Literatuur		90
Bijlage Accreditatiekader Nederland		92
Bijlage Accreditatiekader Vlaanderen		95

DEEL 1

1 OVER DIT ONDERZOEK

1.1 Aanleiding

De belangrijke gevolgen van het Bolognaproces, dat een Europese hogeronderwijsruimte beoogt, hebben de Algemene Rekenkamer en het Rekenhof ertoe aangezet een gezamenlijk onderzoek naar de werking van de kwaliteitsbewaking in het hoger onderwijs uit te voeren. De kwaliteit van het hoger onderwijs is belangrijk voor de ontwikkeling van de kenniseconomie en daarmee voor de internationale economische positie van Nederland en Vlaanderen.

Het doel van dit onderzoek is een bijdrage te leveren aan het zo goed mogelijk functioneren van de kwaliteitsbewaking in het hoger onderwijs in Nederland en Vlaanderen. Met het onderzoek willen de Algemene Rekenkamer en het Rekenhof de parlementen in Nederland en Vlaanderen informeren over het functioneren van de in- en externe kwaliteitszorg, knelpunten aanwijzen en aanbevelingen formuleren, deels op basis van de vergelijking tussen beide landen. De Nederlandse regering zal het stelsel na de eerste accreditatieronde met ingang van 2010 bijsturen. De onderzoeksbevindingen kunnen dus ook een bijdrage leveren aan de bijsturing van het stelsel.

1.2 Context

Elke universiteit en hogeschool is wettelijk verplicht een systeem voor interne kwaliteitszorg uit te werken. De interne kwaliteitszorg moet de kwaliteit van de opleiding structureel en permanent bewaken en verbeteren. Daarbij moeten medewerkers, studenten, alumni en het afnemende beroepenveld van de opleidingen actief worden betrokken. Het bewaken en verbeteren van de kwaliteit gebeurt door de realisatie van de streefdoelen periodiek te evalueren en zo nodig verbetermaatregelen te treffen.

De externe kwaliteitszorg kent drie fasen: de zelfevaluatie, de visitatie en de accreditatie. Eerst schrijft de opleiding een zelfevaluatierapport, vervolgens brengt een commissie van onafhankelijke deskundigen een bezoek aan de opleiding om dat rapport aan de praktijk te toetsen en wordt het oordeel van de commissie in een openbaar rapport gepubliceerd. Dat rapport vormt ten slotte de basis voor de accreditatie van de opleiding door een onafhankelijk orgaan, de Nederlands-Vlaamse Accreditatieorganisatie (NVAO).

1.3 Probleemstelling en opzet

De probleemstelling van dit onderzoek is: wordt er met het systeem van kwaliteitszorg een goede invulling gegeven aan de wettelijke eisen en werkt het zoals bedoeld?

In dit onderzoek worden de volgende onderzoeksvragen beantwoord:

1. Is er een systeem van interne kwaliteitszorg dat gericht is op het meten, verbeteren en daarmee behouden van de kwaliteit van het hoger onderwijs zoals die bij de accreditatieverlening is geconstateerd?

2. Hoe verloopt de externe kwaliteitszorg en leidt deze tot gefundeerde accreditaties?

3. Hebben de bij de accreditatie betrokken instellingen inzicht in de kosten van de kwaliteitszorg?

4. Houdt de minister toezicht op de in- en externe kwaliteitszorg?

Voor dit onderzoek werden 35 opleidingen geselecteerd: 18 in Nederland en 17 in Vlaanderen, telkens verdeeld over drie universiteiten en drie hogescholen.

Voor beantwoording van deze vragen is informatie verzameld bij de

– studenten, docenten, management van opleidingen, besturen en kwaliteitszorgmedewerkers van hogescholen en universiteiten;

– Nederlandse (private) visiterende en beoordelende instanties en Vlaamse evaluatieorganen;

– NVAO;

– betrokken ambtenaren van het Nederlandse Ministerie van Onderwijs Cultuur en Wetenschap (OCW) en het Vlaamse Ministerie van Onderwijs en Vorming.

De bevindingen werden aan de Nederlandse en Vlaamse bevoegde ministeries en aan de NVAO voorgelegd. Met hun reacties werd rekening gehouden in het rapport.

1.4 Leeswijzer

Het rapport bestaat uit twee delen. In deel 1 staan de conclusies en aanbevelingen. Ook de reacties van de Nederlandse en Vlaamse ministers en van de NVAO zijn daarin opgenomen. Deel 2 bevat de bevindingen waarop de conclusies en aanbevelingen zijn gebaseerd. In de inleiding van deel 2 worden eerst het accreditatiestelsel en de aanpak van het onderzoek toegelicht. Vervolgens worden de bevindingen beschreven, gerangschikt naar de thema’s interne kwaliteitszorg, externe kwaliteitszorg, kosten, toezicht en verschillen tussen Nederland en Vlaanderen.

2 CONCLUSIES EN AANBEVELINGEN

2.1 Hoofdconclusie

Het stelsel van kwaliteitsbewaking voor het hoger onderwijs is goed uitgewerkt.

De instellingen beschikken over een voldoende uitgebouwd systeem van interne kwaliteitszorg, maar de werking kan op een aantal punten worden verbeterd, zoals het formuleren van streefdoelen en het betrekken van alumni en beroepenveld.

De organisatie van de accreditatieverlening is goed van de grond gekomen. De visitatiecommissies en de NVAO baseren hun oordeel echter nog te weinig op inhoudelijke aspecten van onderwijskwaliteit. Daarnaast zijn de beoordeling en de onderbouwing door de visitatiecommissies niet altijd voldoende geëxpliciteerd, terwijl de NVAO juist daarop is aangewezen. Daardoor bestaat het risico dat licht ondermaatse opleidingen toch worden geaccrediteerd.

2.2 Interne kwaliteitszorg

2.2.1 Conclusies interne kwaliteitszorg

De invoering van de accreditatieplicht heeft stimulerend gewerkt voor de ontwikkeling van een systeem van interne kwaliteitszorg. In Nederland was het interne kwaliteitszorgsysteem van de opleidingen pas enkele jaren na de accreditatie van voldoende niveau. Ook in Vlaanderen gaat de ontwikkeling nog verder na de accreditatie (die er later werd ingevoerd dan in Nederland). Er wordt nog permanent bijgestuurd.

De instellingen schrijven op centraal niveau voor hoe het systeem vorm dient te worden gegeven. In Nederland wordt goed toegezien op de uitvoering, maar in Vlaanderen beschikt het centrale niveau over weinig instrumenten om tijdig op te treden en verbetermaatregelen af te dwingen bij de opleidingen.

Studenten krijgen meestal de kans bij te dragen tot de verbetering van de kwaliteit van de opleiding, maar hun betrokkenheid is op enkele uitzonderingen na gering, ondanks initiatieven van de opleidingen om hen tot meer betrokkenheid te bewegen. Het accreditatiekader schrijft voor dat ook alumni betrokken worden bij de evaluatie van de opleiding. Dat beleid komt schoorvoetend van de grond, maar deze doelgroep blijkt moeilijk te bereiken. De voorgeschreven betrokkenheid van het beroepenveld is vooral bij professioneel gerichte en HBO-opleidingen goed ontwikkeld. Bij academische en WO-opleidingen is dat contact minder intensief en informeler.

Het accreditatiekader verlangt van opleidingen dat ze de uitkomsten van evaluaties toetsen aan streefdoelen. De opleidingen slagen er niet in streefdoelen te ontwikkelen die voldoende nauwkeurig zijn en die richting kunnen geven aan de kwaliteit van de opleiding. Rendementsdoelen worden voornamelijk als beheersinstrument gebruikt, of helemaal niet, maar zeker niet voor de verbetering van de kwaliteit. Ratio’s docent/student worden soms als streefdoelen gebruikt, maar wat opleidingen onder die ratio’s verstaan, verschilt te veel om ze als benchmark te kunnen gebruiken. Metingen en peilingen vertonen vooral in Vlaanderen nog onvolkomenheden.

In Vlaanderen is onvoldoende duidelijk wie binnen de opleidingen verantwoordelijk is voor doelrealisatie en verbeteringen. Organisatorische belemmeringen zijn er dikwijls de oorzaak van dat er onvoldoende gevolg wordt gegeven aan de verbeterpunten voortkomend uit de kwaliteitszorg.

2.2.2 Aanbevelingen interne kwaliteitszorg

Opleidingen dienen de alumni en het beroepenveld beter te betrekken bij het verbeteren van de kwaliteit. Ze dienen meer aandacht te besteden aan de ontwikkeling van gekwantificeerde streefdoelen, bijvoorbeeld voor personele bezetting en studierendement.

Bij de Vlaamse opleidingen moet ook de verantwoordelijkheid voor verbeteringen duidelijker worden vastgesteld en moeten organisatorische belemmeringen voor de realisatie van verbeteringen worden weggewerkt.

2.3 Externe kwaliteitszorg

2.3.1 Conclusies zelfevaluaties

De zelfevaluaties hebben de opleidingen veel tijd gekost. Zo zelfevaluatie al gebruikelijk was, stelde het vernieuwde accreditatiekader nieuwe normen vast. Niettemin zijn de opleidingen erin geslaagd een voor de visitatiecommissies bruikbaar zelfevaluatierapport op te stellen. Vanwege de ernstige consequenties die zijn verbonden aan het mislopen van de accreditatie, zijn opleidingen diplomatiek in het vermelden en verwoorden van verbeterpunten. Hoewel begrijpelijk, is dat niet de bedoeling van het instrument van zelfevaluatie.

In Nederland werd het opstellen van de zelfevaluatie vaak als bureaucratisch ervaren. In Vlaanderen missen de zelfevaluatierapporten doorgaans nog kwantitatieve en vergelijkbare informatie.

2.3.2 Conclusies visitaties door visiterende en beoordelende instanties en evaluatieorganen

De Algemene Rekenkamer en het Rekenhof vinden dat de visitatiecommissies hun oordelen vaak niet duidelijk onderbouwen. Zo kennen de visitatiecommissies zelf verschillende gewichten toe aan de onderwerpen en facetten die zij beoordelen en is onduidelijk hoe zwakkere onderdelen worden gecompenseerd door sterkere.

In Nederland is de onderbouwing van de oordelen vaak te summier of onvolledig. Dat is bijvoorbeeld het geval bij het belangrijke facet gerealiseerd niveau. In Vlaanderen bevat het vooropgestelde domeinspecifieke referentiekader te weinig nauwkeurige en internationaal geïnspireerde normen.

Omdat de NVAO zich bij de beoordeling van de accreditatieaanvraag bijna uitsluitend baseert op de visitatierapporten, is het van belang dat duidelijk is waarop het oordeel is gestoeld. Een betere onderbouwing kan ook voorkomen dat verschillende commissies verschillend oordelen over onderwerpen die bij opleidingen binnen eenzelfde instelling op precies dezelfde manier zijn vormgegeven. Dat kwam wel eens voor bij het oordeel over de interne kwaliteitszorg. Ook kunnen de werkzaamheden van de visitatiecommissies te beperkt zijn als zij onvoldoende kunnen steunen op het zelfevaluatierapport van de opleiding.

Het is van belang dat visitatiecommissies zodanig zijn samengesteld dat ze bij hun werkzaamheden respect en vertrouwen krijgen. De samenstelling van de commissies voldoet echter niet altijd aan de eisen. De commissies zijn te beperkt internationaal samengesteld. In Nederland is de onafhankelijkheid van commissieleden niet altijd gegarandeerd en is deskundigheid van de vakdiscipline niet altijd in voldoende mate aanwezig. In Vlaanderen ontbreekt vaak een student of evaluatiedeskundige en is bij academische opleidingen de samenstelling te eenzijdig academisch.

In Nederland is de markt voor visiterende en beoordelende instanties (VBI’s) nauwelijks van de grond gekomen. De Netherlands Quality Agency (NQA) en de Quality Assurance Netherlands Universities (QANU), verzelfstandigde onderdelen van respectievelijk de raad voor het hoger beroepsonderwijs (HBO-raad) en de Vereniging van Universiteiten (VSNU), hebben verreweg het grootste marktaandeel.

De Vlaamse evaluatieorganen bewerkstelligen de onafhankelijkheid van de visitatie door hun opdracht te beperken tot het organisatorische en die te scheiden van de opdracht van de visitatiecommissies.

2.3.3 Conclusies NVAO

De NVAO heeft de invulling van haar opdracht en haar werkzaamheden goed geregeld en afgebakend met reglementen, protocollen en draaiboeken. Zij komt tot duidelijke beslissingen die zij vervolgens openbaar maakt.

Toch is meer helderheid nodig bij de wijze waarop de NVAO de accreditatieaanvraag beoordeelt. Het is niet altijd duidelijk hoe zij positieve en negatieve facetoordelen afweegt in een eindoordeel. Zo zet zich het gebrek aan transparantie in de zelfevaluatie via de visitatierapporten door in de argumentatie van de accreditatiebeslissing. De NVAO heeft weinig instrumenten om aanvullende informatie in te winnen of aanvullend onderzoek te doen en maakt naar het oordeel van de Algemene Rekenkamer en het Rekenhof ook weinig gebruik van de beschikbare mogelijkheden. Die mogelijkheden zijn voor Nederlandse en Vlaamse dossiers verschillend. Bij de Nederlandse procedure maakt de NVAO gebruik van verificatiecommissies en bij de Vlaamse opleidingen heeft de NVAO de mogelijkheid hoorzittingen te organiseren of aanvullende visitaties te vragen.

Verder bestaat vooral bij een hoge instroom van aanvragen het risico dat de beoordelingen van opleidingen onvoldoende op elkaar worden afgestemd.

In Nederland komt het voor dat de NVAO een visitatierapport afkeurt omdat het niet aan de formele eisen voldoet, terwijl zij eigenlijk de kwaliteit van de opleiding onvoldoende vindt. De opleiding krijgt daarmee de opdracht het rapport te (laten) verbeteren, maar krijgt zo op oneigenlijke wijze een verbetertraject aangeboden. Ook in Vlaanderen komen oneigenlijke verbetertrajecten voor als de NVAO aanvullende of nieuwe visitaties vraagt. Daar is nochtans decretaal in een verbetertraject voorzien als de NVAO geen accreditatie verleent, maar die mogelijkheid wordt weinig gebruikt.

De NVAO heeft tegen een aantal Nederlandse commissies geen bezwaar gemaakt hoewel bewijzen van onafhankelijkheid en deskundigheid ontbraken.

De accreditatie van de onderzochte opleidingen is vaak (vooral bij masters) verleend op basis van plannen en niet op basis van bewezen kwaliteit. De vraag is of de uitwerking van die plannen overal tot stand is gebracht en of de opleiding daarmee accreditatiewaardig is gebleven.

2.3.4 Aanbevelingen externe kwaliteitszorg

De Algemene Rekenkamer en het Rekenhof bevelen aan de opleidingen zo veel mogelijk geclusterd te visiteren en te accrediteren om de vergelijkbaarheid van de oordelen te vergroten, wat ook de juistheid van de oordelen mee garandeert.

De Algemene Rekenkamer en het Rekenhof bevelen aan het toezicht door de NVAO op de samenstelling van de commissies te verbeteren.

De commissies dienen op basis van de kwaliteit van de zelfevaluatie hun visitatiewerkzaamheden vorm te geven, en zelf te bepalen wie ze spreken en welke documenten worden ingezien.

Het streven naar marktwerking bij visitaties in Nederland dient heroverwogen te worden.

In de praktijk blijken niet alle onderwerpen en facetten van het accreditatiekader even belangrijk. De Algemene Rekenkamer en het Rekenhof geven de ministers en de NVAO in overweging het accreditatiekader daarom te herijken. Tegelijk kan dan het kader meer op een inhoudelijke toetsing van de opleiding worden toegesneden.

De NVAO dient zich bij haar oordeel over de accreditatiewaardigheid van een opleiding niet louter te baseren op het visitatierapport. De NVAO zou meer gebruik moeten maken van hoorzittingen en verificatiecommissies.

Het Comité van Ministers en de NVAO dienen de harmonisatie van de Vlaamse en Nederlandse regels ten behoeve van de accreditatie intensiever te bevorderen.

De NVAO dient aan te geven hoe de verbeterfunctie van zelfevaluatierapporten en visitatierapporten beter tot haar recht kan komen.

2.4 Kosten voor kwaliteitszorg

2.4.1 Conclusies kosten voor kwaliteitszorg

De kosten van de interne kwaliteitszorg zijn onvoldoende bekend. Slechts een beperkt aantal Nederlandse opleidingen en geen enkele Vlaamse instelling kon inzicht verschaffen in deze kosten. De kosten voor de externe kwaliteitszorg, inzonderheid de accreditatie, zijn beter in kaart te brengen.

In Vlaanderen zijn de kosten van de visitaties georganiseerd door de Vlaamse Interuniversitaire Raad (VLIR) en de Vlaamse Hogescholenraad (VLHORA) gekend en beheersbaar. Ze hebben licht verschillende benaderingen voor de aanrekening van kosten.

Bij de hogescholen liggen de kosten van de visitatie voor (professionele) bachelors in Nederland hoger dan in Vlaanderen. Die opleidingen worden in Nederland namelijk meestal afzonderlijk gevisiteerd. Een ander verschil is de aanrekening van btw door VBI’s in Nederland.

Een vergelijking met de kosten van het vroegere visitatiestelsel is niet te maken.

2.4.2 Aanbevelingen kosten voor kwaliteitszorg

De Algemene Rekenkamer en het Rekenhof bevelen instellingen en opleidingen aan de kosten van interne en externe kwaliteitszorg beter te monitoren opdat ze zonodig maatregelen kunnen nemen voor een efficiëntere uitvoering van de kwaliteitszorg.

2.5 Toezicht op het kwaliteitszorgstelsel

2.5.1 Conclusies toezicht op het kwaliteitszorgstelsel

In Nederland vervult de Inspectie van het Onderwijs namens de minister van OCW de rol van toezichthouder op het accreditatiestelsel. Het toezicht van de Vlaamse minister is in vergelijking met Nederland beperkt. De decreetgever heeft de minister niet van middelen voorzien om toezicht uit te oefenen op de werkwijze van de evaluatieorganen. In vergelijking met Nederland vond in Vlaanderen minder structureel overleg plaats tussen het ministerie en de NVAO.

Alleen geaccrediteerde opleidingen hebben recht op financiering en mogen diploma’s uitreiken. De Inspectie van het Onderwijs en de Auditdienst van het Ministerie van OCW hebben ieder actie ondernomen om de betrouwbaarheid van het Centraal Register Opleidingen Hoger Onderwijs (CROHO) te verhogen. De Algemene Rekenkamer heeft echter één opleiding aangetroffen die korte tijd niet was geaccrediteerd. De Vlaamse administratie controleert de juistheid en volledigheid van het Hoger Onderwijsregister, maar controleert niet of het opleidingsaanbod van de gefinancierde en geregistreerde instellingen daarmee overeenstemt.

Het Comité van Ministers heeft in 2007 een externe doorlichting laten uitvoeren, waardoor het enig zicht op de werking van het stelsel verwierf. Maar de doorlichting was voornamelijk gericht op de werking van de NVAO en slechts in beperkte mate op het gehele kwaliteitszorgstelsel.

Het Comité van Ministers heeft afgesproken tweemaal per jaar overleg te plegen. Er is ook contact als de omstandigheden dat vragen. De initiatieven tot hervorming van het systeem en de openbare bespreking ervan lopen in Nederland en Vlaanderen niet gelijk. De mogelijkheden tot harmonisatie van wet- en regelgeving worden weinig verkend.

2.5.2 Aanbevelingen toezicht op het kwaliteitszorgstelsel

In Nederland dient de minister van OCW er beter op toe te zien dat duidelijk is welke opleidingen op een gegeven moment geaccrediteerd zijn. De Algemene Rekenkamer beveelt de minister aan de onrechtmatige financiering en de mogelijk onrechtmatige diplomaverstrekking van de tijdelijk niet-geaccrediteerde opleiding zo spoedig mogelijk op te heffen. In Vlaanderen dient de administratie te controleren of het opleidingsaanbod van de instellingen overeenstemt met het Hoger Onderwijsregister.

De Algemene Rekenkamer en het Rekenhof bevelen het Comité van Ministers aan de hervorming van het accreditatiestelsel en de harmonisatie van wet- en regelgeving meer dan nu het geval is gezamenlijk vorm te geven.

2.6 Vergelijking accreditatiestelsel

2.6.1 Conclusies vergelijking accreditatiestelsel

De NVAO voert audits uit bij de Nederlandse VBI’s en plaatst deze in geval van een gunstig oordeel op de lijst met aanvaarde VBI’s. Opleidingen zijn niet verplicht gebruik te maken van die VBI’s, maar omdat de visitatierapporten van andere VBI’s uitvoeriger worden gecontroleerd, is de kans groter dat de NVAO die rapporten niet goedkeurt. In Vlaanderen daarentegen worden de evaluatieorganen niet geauditeerd. Zij zijn decretaal aangewezen. Als zij slecht functioneren, kan noch de NVAO noch de minister hen dwingen het functioneren te verbeteren. Daarbij is het overleg tussen de evaluatieorganen en de NVAO minder gestructureerd dan tussen de VBI’s en de NVAO.

Verschillende Nederlandse opleidingen ervaren een spanningsveld tussen de NVAO en de VBI en hebben de indruk dat de NVAO het werk van de VBI dupliceert. In Vlaanderen worden die klachten niet gehoord, maar de accreditatieronde is daar nog niet zo ver gevorderd als in Nederland.

In het accreditatiekader is bepaald dat bij wetenschappelijke en academische opleidingen kwalitatief goed onderzoek een voorwaarde is voor kwalitatief goed onderwijs. Bij de accreditatie van het onderwijs wordt de kwaliteit van het onderzoek echter slechts marginaal betrokken. In Nederland verlopen onderwijs- en onderzoeksaccreditaties langs gescheiden wegen. In Vlaanderen vinden in het geheel geen onderzoeksaccreditaties plaats.

Nederland kent een accreditatietermijn van zes jaar, terwijl die termijn in Vlaanderen acht jaar bedraagt.

2.6.2 Aanbevelingen vergelijking accreditatiestelsel

Het Rekenhof beveelt aan een voorziening te treffen waarmee het toezicht op de evaluatieorganen ten minste op hetzelfde niveau als in Nederland wordt gebracht. Het overleg tussen de NVAO en de evaluatieorganen dient gestructureerder te verlopen. Voorts bevelen de Algemene Rekenkamer en het Rekenhof aan te bezien in hoeverre het functioneren van de VBI’s/evaluatieorganen zou kunnen worden geharmoniseerd.

Zij bevelen ook aan de rol van de NVAO en de VBI/evaluatieorganen duidelijker af te bakenen en na te gaan in welke mate een accreditatie zonder intermediaire organisaties als de VBI/evaluatieorgaan mogelijk en wenselijk is.

De Algemene Rekenkamer en het Rekenhof bevelen aan te bezien in hoeverre bij de onderwijsaccreditatie van academische opleidingen de gescheiden beoordeling van het onderwijs en onderzoek beter kan worden gesynchroniseerd, of althans te bezien hoe de kwaliteit van het onderzoek explicieter kan worden betrokken bij de beoordeling van het onderwijs.

De Algemene Rekenkamer en het Rekenhof bevelen aan te overwegen de accreditatietermijnen te harmoniseren. Ook bevelen zij aan de mogelijkheid te onderzoeken of een flexibilisering van de accreditatietermijn mogelijk en/of wenselijk is: een langere termijn in het geval er weinig belangrijke tekortkomingen bestaan, een kortere termijn als sprake is van aanzienlijke tekortkomingen.

3 BESTUURLIJKE REACTIES EN NAWOORD

3.1 Bestuurlijke reacties

3.1.1 Antwoord van de Nederlandse minister van Onderwijs, Cultuur en Wetenschap

4 juli 2008

Geachte mevrouw Stuiveling,

Het conceptrapport «Kwaliteitsbewaking in het hoger onderwijs in Nederland en Vlaanderen» van de Algemene Rekenkamer en het Rekenhof heb ik met veel belangstelling gelezen. De hoofdconclusie van Rekenkamer en Rekenhof dat het stelsel van kwaliteitsbewaking voor het hoger onderwijs goed is uitgewerkt, zowel wat betreft de accreditatieverlening en de externe kwaliteitszorg als wat betreft de interne kwaliteitszorg, verheugt mij. De kritische constateringen op onderdelen evenals de aanbevelingen zie ik in het algemeen als nuttige aanzetten tot verbetering van het stelsel. Sommige van de aanbevelingen zijn al opgenomen in de voornemens voor de tweede ronde, andere zullen onder de aandacht worden gebracht van NVAO en instellingen of zullen worden aangepakt door het Comité van ministers. De nieuwe opzet van de tweede ronde van accreditatie zal dit najaar op zijn deugdelijkheid worden getoetst in pilots bij Nederlandse en Vlaamse instellingen. Het Comité van ministers zal in zijn vergadering in het najaar bekijken of er naar aanleiding van de aanbevelingen in dit rapport nog nadere beleidsmaatregelen nodig zijn.

Bij enkele conclusies en aanbevelingen wil ik de volgende kanttekeningen plaatsen:

Interne kwaliteitszorg

De aanbeveling dat de opleidingen meer aandacht dienen te besteden aan de ontwikkeling van gekwantificeerde streefdoelen neem ik over. Eén van de doelstellingen van mijn voorstellen voor vernieuwing van het accreditatiesysteem («focus op kwaliteit», februari 2008) is versterking van de verbeterfunctie. Het formuleren van streefdoelen, bij voorkeur ondersteund door internationale benchmarks, is daarbij van belang. Een te sterke focus op kwantitatieve doelen kan echter tot gevolg hebben dat deze de overhand krijgen op de inhoudelijke doelen. De aanbeveling dat opleidingen alumni en het beroepenveld beter dienen te betrekken bij het verbeteren van kwaliteit wil ik graag nuanceren in die zin dat ook uit dit onderzoek bleek dat bij de professionele opleidingen de contacten met het beroepenveld al goed zijn ontwikkeld.

Externe kwaliteitszorg

De kritiek dat accreditatie vaak is verleend op basis van plannen, vooral bij masters (conclusies 2.3.3.) verbaast mij. Masteropleidingen zijn immers recent tot stand gekomen en in de eerste fase van de accreditatie was het onvermijdelijk om accreditatiebesluiten vooral te baseren op plannen en slechts ten dele op de praktijk.

De aanbeveling om het streven naar marktwerking bij visitaties in Nederland in heroverweging te nemen onderschrijf ik. Dit maakt onderdeel uit van het plan voor herziening van de tweede ronde. Ik merk hierbij op dat marktwerking indertijd niet de belangrijkste reden was om de VBI’s een rol te geven in het accreditatiebestel. In de eerste plaats waren VBI’s bedoeld om meer variëteit in de aanpak van kwaliteitszorg mogelijk te maken. Ook de herijking van het accreditatiekader maakt onderdeel uit van het plan voor herziening van de tweede ronde. Ik vind het belangrijk dat het accreditatiekader focust op de inhoudelijke toetsing van de opleidingen.

Toezicht

Naar aanleiding van de aanbeveling dat de minister van OCW er beter op toe moet zien dat duidelijk is welke opleidingen op een gegeven moment zijn geaccrediteerd merk ik op dat dit punt mijn aandacht had en heeft. Naar aanleiding van eerdere gebleken gebreken hebben de Onderwijsinspectie en de Auditdienst al enige tijd geleden de nodige verbetermaatregelen getroffen. In het feit dat de Rekenkamer één opleiding in het CROHO heeft aangetroffen die korte tijd niet was geaccrediteerd zie ik geen reden voor aanvullende maatregelen.

Aan het Comité van Ministers wordt aanbevolen om de hervorming van het accreditatiestelsel en de harmonisatie van wet- en regelgeving in Nederland en Vlaanderen gezamenlijk vorm te geven. De Vlaams minister van Werk, Onderwijs en Vorming en ik zijn het van harte eens met deze aanbeveling en brengen hem al in praktijk. In de reactie van het Comité van Ministers op de international review van de NVAO (brief aan de Tweede Kamer 11 februari 2008; 31 288 en 28 879, nr. 21) is uitgebreid op deze kwestie ingegaan. In aanvulling daarop kan het volgende worden gemeld. De herstelperiode en omkering van de volgorde van de macrodoelmatigheidstoets en de toets nieuwe opleiding zijn opgenomen in het wetsontwerp Versterking besturing dat de Kamer binnenkort zal ontvangen. De Vlaams minister is akkoord met de Nederlandse voorstellen voor herziening van het accreditatiestelsel in de tweede cyclus. De beslissing van enkele Vlaamse universiteiten en hogescholen om mee te doen aan de pilots met instellingsaudits die deze zomer zullen plaatsvinden, zal de verdere samenwerking nog versterken.

Met vriendelijke groet,

De minister van Onderwijs, Cultuur en Wetenschap,

dr. Ronald H.A. Plasterk

3.1.2 Antwoord van de Vlaamse minister van Werk, Onderwijs en Vorming

17 juli 2008

Mijnheer de raadsheer,

Met veel belangstelling heb ik het ontwerpverslag van de Algemene Rekenkamer en het Rekenhof over de kwaliteitsbewaking in het hoger onderwijs in Nederland en Vlaanderen gelezen. Het rapport biedt een goed beeld van de manier waarop het stelsel van kwaliteitsbewaking in Nederland en in Vlaanderen functioneert. Het is alleszins een hele prestatie om over een cruciaal, maar soms gevoelig onderwerp als kwaliteitsbewaking in het hoger onderwijs een verslag te maken; dat geldt zeker in dit geval, waar het gaat om een analyse van de werking van de kwaliteitszorg in twee landen met weliswaar vergelijkbare hoger-onderwijssystemen maar met toch verschillende onderwijsculturen.

Het verheugt mij uiteraard te lezen dat u als hoofdconclusie schrijft dat het stelsel van kwaliteitszorg zowel in Nederland als in Vlaanderen goed is uitgewerkt, op alle niveaus: van de interne kwaliteitszorg over het systeem van visitaties tot de accreditatieverlening, waarvan de invoering ook naar mijn mening geleid heeft tot een aanhoudende verbetering van de kwaliteit(szorg) in het hoger onderwijs.

In een aantal van uw meer kritische bevindingen lees ik ook een bevestiging van de analyses van de visitatierapporten die de NVAO ten behoeve van het Comité van Ministers maakt en van de bevindingen en conclusies van de internationale review van de NVAO. Verschillende van uw aanbevelingen worden dan ook al opgenomen in het kader van de blauwdruk voor de tweede ronde kwaliteitszorg en accreditatie. Deze maatregelen worden in het najaar op hun deugdelijkheid getoetst via een aantal al geplande pilots in Vlaanderen en Nederland. Andere aanbevelingen zal ik meenemen bij de opmaak van nieuwe of geactualiseerde regelgeving, zoals het geplande basisdecreet voor het hoger onderwijs. Tijdens het Comité van Ministers zal ik dit najaar samen met de NVAO bekijken welke verdere beleidsmaatregelen nodig zijn.

Bij een paar conclusies en aanbevelingen wil ik graag de volgende kanttekeningen plaatsen:

1. De conclusie dat het interne kwaliteitszorgsysteem van de instellingen pas enkele jaren na de accreditatie van voldoende niveau is, kan enigszins verrassend overkomen, omdat de interne kwaliteitszorg al vanaf de start van het visitatiesysteem onderdeel was van de externe kwaliteitszorg. Van de andere kant ligt het ook wel binnen de lijn der verwachtingen dat elke visitatie en accreditatie bijdraagt tot de bijsturing en de verbetering van het interne en externe kwaliteitszorgsysteem. Dat het systeem van interne kwaliteitszorg zich duidelijk verder ontwikkelt en verbetert, is alleszins positief en wijst op een groeiend kwaliteitsbewustzijn binnen de instellingen, dat ongetwijfeld aangescherpt is door de invoering van de accreditatie.

Een goed functionerend intern en extern kwaliteitszorgsysteem is alleszins cruciaal voor de kwaliteitsbewaking en -verbetering in het hoger onderwijs. In de (ontwerp)- kaders ten behoeve van de ontwikkeling van een nieuw accreditatiestelsel in Nederland en Vlaanderen vormt de beoordeling van het proces van interne kwaliteitszorg daarom de kern van de geplande instellingsaudits. Het doel van een instellingsaudit is te kunnen vaststellen of een instellingsbestuur de controle heeft over de kwaliteit van de opleidingen die zij aanbiedt. Daarbij zijn zes eenvoudige vragen aan de orde:

a. Wat beoogt de instelling met haar opleidingen?

b. Hoe wil de instelling haar doelstellingen realiseren?

c. Hoe weet de instelling of haar beoogde doelstellingen gerealiseerd worden?

d. Worden de beoogde doelstellingen gerealiseerd?

e. Hoe blijft de instelling streven naar verbetering?

f. Wie is verantwoordelijk voor de bewaking en de verbetering van de kwaliteit van de opleidingen en hoe wordt die verantwoordelijkheid vorm en inhoud gegeven?

2. Het verslag concludeert dat de centrale sturingsmogelijkheden van de Vlaamse instellingen voor hoger onderwijs geringer zijn dan die van de Nederlandse instellingen. Deze conclusie suggereert dat de decentralisatie van bevoegdheden in de Vlaamse instellingen groter is dan in de Nederlandse instellingen. Het ware wellicht nuttig geweest dat nader te onderzoeken. Traditioneel verschilt de balans tussen centralisatie en decentralisatie immers tussen universiteiten en hogescholen, maar ook tussen instellingen onderling. Aan de vaststelling dat de verantwoordelijkheden en bevoegdheden inzake bewaking en verbetering van de kwaliteit niet helder omschreven zijn, wordt in de concepten van nieuwe accreditatiekaders expliciet tegemoet gekomen (zie vraag f) in het punt hierboven).

3. Het verslag hecht groot belang aan het formuleren van gekwantificeerde streefdoelen. Het verbeteren van de doorstroom en uitstroom is onmiskenbaar een belangrijk aandachtspunt in het onderwijsbeleid van een instelling; onder andere via het nieuwe financieringssysteem voor het hoger onderwijs wordt dit ook door de overheid uitdrukkelijk aangemoedigd. De balans mag uiteraard niet volledig de andere richting uitslaan, waardoor de kwaliteitszorg verengd zou worden tot het bewaken dat deze kwantitatieve streefdoelen gehaald worden en waardoor inhoudelijke doelstellingen ondergesneeuwd zouden geraken.

4. In de conclusies wordt gesteld dat de oordelen van zowel de visitatiecommissies als de NVAO nog te weinig op inhoudelijke aspecten van onderwijskwaliteit zijn gebaseerd. Het is de bedoeling dat de visitatie in het vernieuwde accreditatiestelsel meer focust op de inhoud van de opleidingen. In de (ontwerpen van) nieuwe accreditatiekaders voor de opleidingsbeoordeling wordt centrale aandacht gegeven aan een discussie met peers over de inhoud van de opleidingen. Daarbij zijn drie vragen aan de orde:

a. Wat beoogt de opleiding?

b. Hoe wil de opleiding die doelstellingen realiseren? (Waarbij uiteraard zaken als kwaliteit van personeel en voorzieningen aan bod komen.)

c. Welke zijn de resultaten?

5. In het verslag concludeert u dat de opleidingen te weinig aan Europese en internationale benchmarking doen om hun doelstellingen vast te leggen. In de visitatierapporten krijgt het facet «internationalisering» ook vaak de laagste beoordeling. Bij de visitatiecommissies in het algemeen, en voor de hogeschoolopleidingen in het bijzonder, is de internationale gerichtheid veelal laag. Deze conclusies kan ik onderschrijven: er is inderdaad nog heel wat werk aan de winkel op het gebied van een diepgaande internationalisering van het hoger onderwijs.

6. In het verslag bepleiten de Algemene Rekenkamer en het Rekenhof dat de kwaliteit van het onderzoek op een of andere manier explicieter bij de beoordeling van het onderwijs betrokken zou worden. De beoordeling van de kwaliteit van onderzoek en van de onderzoek-onderwijs nexus is bij uitstek een zaak van academici. Tegelijk worden echter kanttekeningen geplaatst bij de «te academische» samenstelling van de visitatiecommissies van de academische opleidingen. Hoewel het ene niet noodzakelijk in tegenstelling is met het andere, wijzen deze van elkaar losstaande vaststellingen toch op het belang én op de uitdaging om een goed uitgebalanceerde commissie samen te stellen.

7. In het verslag wordt vastgesteld dat de NVAO weinig gebruik maakt van de mogelijkheid om aanvullende informatie te vergaren of om aanvullend onderzoek te doen, bovenop wat het visitatierapport aanreikt. We moeten hier wel voor ogen houden dat een ruim gebruik van deze mogelijkheden een blijk van onvoldoende vertrouwen in de beoordeling van de deskundigen kan zijn en dreigt te leiden tot een vierde laag in de externe kwaliteitszorg. Op die manier zou de looptijd van het hele proces nog toenemen, terwijl dit nu al één van de kritieke punten is. Naarmate de oordelen van de visitatiecommissies beter onderbouwd zijn, neemt de behoefte aan het verrichten van aanvullend onderzoek uiteraard af.

8. Gezien de graduele invoering van de bachelor-masterstructuur is het onvermijdelijk dat de accreditatie van de masteropleidingen tot nu toe eerder gebaseerd is op een toets van de plannen dan op bewezen kwaliteit van de opleidingen. In de meeste gevallen werd de kwaliteit van de vroegere (licentiaats)opleiding mede beoordeeld en werd die kwaliteitsbeoordeling meegenomen in het accreditatieproces.

9. De kwestie dat het domeinspecifieke referentiekader dat de visitatiecommissies hanteren bij de beoordeling van de kwaliteit van een opleiding, door de voorzitter en de secretaris bij de start van de visitatie wordt opgesteld, moet een punt van aandacht zijn voor de instellingen, de VBI’s en de overheid. In het voorontwerp van decreet betreffende de kwalificatiestructuur is opgenomen dat de hogescholen en universiteiten gezamenlijk de domeinspecifieke leerresultaten moeten beschrijven en dat deze generieke beschrijving gevalideerd wordt door het accreditatieorgaan. Op die manier zullen de opleidingen de leerresultaten van hun opleiding al in het zelfevaluatierapport kunnen toetsen aan deze domeinspecifieke leerresultaten.

10. In het verslag wordt opgemerkt dat nauwelijks of geen gebruik wordt gemaakt van de in Vlaanderen nochtans decretaal voorziene mogelijkheid om opleidingen via een negatief accreditatiebesluit naar een verbetertraject te verwijzen. Tot voor kort gebeurde dat inderdaad nauwelijks. Recent zijn er wel verschillende verbetertrajecten aangevraagd.

11. De initiatieven tot hervorming van het systeem en de openbare bespreking ervan lopen in Nederland en in Vlaanderen inderdaad niet helemaal gelijk. Dat heeft om te beginnen te maken met bepaalde (inhoudelijke) verschillen tussen het systeem in Nederland en in Vlaanderen, maar vooral ook met de eerdere invoering van de accreditatie in Nederland. Bij het voorbereiden van de volgende accreditatieronde, die zich in Nederland sneller aandient dan in Vlaanderen, wordt er alleszins over gewaakt dat ook Vlaanderen «mee» is, op alle niveaus (Comité van Ministers, bestuurlijk beraad, geplande pilots met zowel Vlaamse als Nederlandse instellingen e.d.). Daarbij wordt ook nagegaan op welke manier de beide stelsels verder geharmoniseerd kunnen worden.

Ik dank u voor de mogelijkheid om op uw ontwerpaanbevelingen en -conclusies te reageren en kijk alvast uit naar het definitieve verslag van de Algemene Rekenkamer en het Rekenhof over de kwaliteitsbewaking in het hoger onderwijs in Nederland en Vlaanderen.

Hoogachtend,

Frank Vandenbroucke

Vlaams minister van Werk, Onderwijs en Vorming

3.1.3 Antwoord van NVAO

17 juli 2008

Geachte president,

Geachte voorzitter,

De NVAO heeft met belangstelling kennis genomen van het ontwerp van het rapport «Kwaliteitsbewaking in het hoger onderwijs in Nederland en Vlaanderen» van het Rekenhof en de Algemene Rekenkamer. Na de vijf rapporten van de Nederlandse Inspectie van het Onderwijs en de externe Review die de NVAO in 2007 heeft ondergaan, wordt ook in dit rapport geconstateerd dat het accreditatiestelsel naar behoren functioneert. De NVAO is vooral verheugd over de constatering dat de interne kwaliteitszorg binnen de Hoger Onderwijsinstellingen in Nederland en Vlaanderen aan betekenis en aan kracht heeft gewonnen. Het accreditatiestelsel heeft klaarblijkelijk een bijdrage geleverd aan het toenemen van de aandacht voor kwaliteitszorg, hetgeen op de wat langere termijn tot een structurele kwaliteitsverbetering zal leiden.

In het rapport is een aantal kanttekeningen en aanbevelingen opgenomen. De NVAO heeft daar kennis van genomen en zal deze waar mogelijk en opportuun in haar handelen en in de verfijning van het huidige accreditatiestelsel opnemen.

Tegen een aantal van deze kanttekeningen en aanbevelingen maakt de NVAO echter bezwaar. Het belangrijkste verwijt staat in de hoofdconclusie: «De visitatiecommissies en de NVAO baseren hun oordeel echter nog te weinig op inhoudelijke aspecten van onderwijskwaliteit». De NVAO is het met deze constatering absoluut oneens. In het beoordelingskader zijn immers beoordelingsonderwerpen en -facetten opgenomen die expliciet de inhoud van het onderwijs betreffen. Specifiek zijn de onderwerpen 2 (programma) en 6 (resultaten) op de inhoud gericht, waarbij vooral de facetten«beoordeling en toetsing», «gerealiseerd niveau», «samenhang» en«relatie doelstellingen en inhoud» een belangrijke plaats innemen. Ook het onderwerp «Personeel» is uiteraard uiterst relevant voor het beoordelen van de inhoud van een opleiding.

Rekenhof en Rekenkamer wijzen daarnaast op het gevaar van gebrek aan consistentie, mede als gevolg van een hoge instroom van aanvragen (zie p. 13). Naar het oordeel van de NVAO is de consistentie maximaal gewaarborgd door de interne procedures binnen de NVAO. Buiten de in het rapport al vermelde procedures en maatregelen wijst de NVAO er op dat alle rapporten en (voornemens tot) besluiten separaat in het Dagelijks Bestuur van de NVAO worden behandeld. De bestuurders nemen dus elk kennis van de beschrijvingen, de motiveringen en de beoordelingen van een visitatierapport en bepalen gezamenlijk welke conclusies de NVAO daaraan zal verbinden.

Rekenkamer en Rekenhof pleiten daarnaast voor een frequenter gebruik van het instrumentarium van «verificatiecommissies» en «hoorzittingen». De NVAO wijst er echter op dat dit instrumentarium slechts bedoeld kan zijn als een «ultimum remedium». In beginsel moet er immers van uitgegaan worden dat de door de VBI’s/evaluatieorganen samengestelde panels hun werk naar behoren hebben gedaan. De NVAO kiest daarom bij onduidelijkheden in beoordeling of motivering in eerste instantie voor het stellen van aanvullende vragen. Doorgaans leiden de beantwoordingen van deze vragen tot voldoende helderheid. Pas bij gerede twijfel over het oordeel van een panel doet de NVAO een beroep op het zwaardere instrumentarium. Het gebruik daarvan kan overigens tot het verwijt leiden dat de NVAO het werk van de panels overdoet, hetgeen elders in het rapport ook wordt geconstateerd.

In het rapport wordt vermeld dat de NVAO zich bij het beoordelen van masters in het Vlaamse H.O. te veel heeft gebaseerd op plannen. Op zichzelf is deze conclusie juist, maar er moet op gewezen worden dat in het Vlaamse structuurdecreet is vastgelegd dat in de beoordeling van de kwaliteit van opleidingen rekening moet worden gehouden met de voornemens zoals de opleidingen die in de «omvormingsdossiers» naar de bachelor mastersystematiek hebben neergelegd. De handelwijze van de NVAO is dus voorgeschreven door de Vlaamse wetgever.

Naar het oordeel van de NVAO miskennen Rekenhof en Rekenkamer de verbeterfunctie die in het huidige accreditatiestelsel is opgenomen. In tegenstelling tot in de eerder gebruikte visitatiemethodiek die niet tot ernstige en zware consequenties leidde, worden thans in het voortraject van de visitatie belangrijke verbeteringen doorgevoerd. De NVAO is daar talloze voorbeelden van tegengekomen in de visitatierapporten. Potentieel zwakke onderdelen van een opleiding waren vaak al hersteld vóórdat de visitatiecommissie haar bezoek aflegde, terwijl in een aantal gevallen tweede – of soms zelf derde – bezoeken werden afgelegd. Geconstateerd kan worden dat de verbeterfunctie wel minder zichtbaar is geworden.

De NVAO wijst er met nadruk op dat de door de Europese ministers aanvaarde «Standards and Guidelines» richtinggevend zijn voor het functioneren van de externe kwaliteitszorgstelsels en de daarbinnen verantwoordelijke organisaties. Met name de onafhankelijkheid ten opzichte van de overheid wordt als een van de meest bepalende kenmerken van een goed functionerend extern kwaliteitszorgstelsel gezien. De door de Algemene Rekenkamer en Rekenhof geformuleerde aanbevelingen moeten vanuit het internationale perspectief van onafhankelijkheid worden bekeken. Bovendien zijn de «politieke culturen» en de opvattingen over de (mate van autonomie van de) hoger onderwijsinstellingen in Vlaanderen en Nederland niet identiek. Vandaar dat de NVAO goed kan leven met verschillen in de Vlaamse en Nederlandse uitwerkingen van het stelsel. Uniformering van beider toepassingen zou fnuikend kunnen zijn voor de legitimiteit en de verworvenheden van beide stelsels. De NVAO hecht aan deze laatste meer waarde dan aan gelijktrekking van termijnen, procedures en regelingen.

De NVAO wijst er tenslotte op dat de aanbevelingen die door de Algemene Rekenkamer en Rekenhof worden gedaan, vooral betrokken moeten worden bij een volgende fase van het accreditatiestelsel. De voorbereidingen daarvoor zijn zowel in Nederland als in Vlaanderen reeds begonnen. De Nederlandse opleidingen zullen in 2010 allemaal in elk geval één keer via de huidige systematiek beoordeeld zijn. Aanpassingen zullen daarom in Nederland nauwelijks nog effect kunnen sorteren op het huidige stelsel en ook in Vlaanderen zijn veel opleidingen al volop bezig met zelfevaluaties en visitaties, terwijl daarnaast al ettelijke honderden opleidingen zijn geaccrediteerd. Dat neemt niet weg dat de NVAO met zorgvuldigheid zal bezien welke aanbevelingen nog op relatief korte termijn in het stelsel kunnen worden opgenomen.

Met hoogachting,

K.L.L.M. Dittrich

(voorzitter)

3.2 Nawoord van de Algemene Rekenkamer en het Rekenhof

De Algemene Rekenkamer en het Rekenhof nemen met instemming kennis van de reactie van de Nederlandse en Vlaamse minister en zien daarin op verreweg de meeste punten een bevestiging van de conclusies en aanbevelingen van hun onderzoek. De NVAO is vooral verheugd over de constatering dat de interne kwaliteitszorg binnen het hoger onderwijs in Nederland en Vlaanderen aan betekenis en kracht heeft gewonnen. Zij maakt evenwel bezwaar bij enkele conclusies en aanbevelingen. Enkele punten uit de antwoorden van de ministers en de NVAO verdienen nadere toelichting.

Inhoudelijke versus procedurele beoordeling

De NVAO is het niet eens met de conclusie dat de visitatiecommissies en de NVAO hun oordeel nog te weinig op inhoudelijke aspecten van onderwijskwaliteit baseren. De Algemene Rekenkamer en het Rekenhof wijzen echter op hun bevindingen zoals verwoord in 6.3.1 van deel 2 van het rapport. In Nederland gaven de meeste geïnterviewden aan dat de visitatie en de accreditatie zich voornamelijk richtten op processen en dat de invalshoek bij de beoordeling van de facetten vaak procedureel was. In Vlaanderen bestond geen overmatige aandacht voor procedures. Toch hadden ook de Vlaamse opleidingen er problemen mee dat de commissies weinig inzicht verwierven in hun onderwijskundige praktijk. Een latere aanscherping van de NVAO-aanwijzingen met betrekking tot de beoordeling van eindwerkstukken/afstudeerscripties heeft in Nederland niet geleid tot een meer inhoudelijke rapportage door de visitatiecommissies (zie 3.4.2, deel 2, onderdeel oordeelsvorming van het rapport). Die rapportage vormt nochtans de belangrijkste onderbouwing van de accreditatiebeslissing door de NVAO.

Beoordeling op basis van plannen

In reactie op de Nederlandse minister wijst de Algemene Rekenkamer erop dat het accrediteren op basis van plannen in Nederland niet alleen de masteropleidingen betrof. Vanwege de vele onderwijsveranderingen die omstreeks 2003/2004 plaatsvonden, zijn veel accreditaties van bacheloropleidingen uit die tijd ook gebaseerd op plannen, en niet op een beproefd curriculum. Volgens de Algemene Rekenkamer was er geen sprake van een stabiele situatie, waardoor zich risico’s voordoen ten aanzien van de houdbaarheid van de accreditatie. Het is immers lang niet zeker dat de plannen ten uitvoer zijn gebracht.

Voor Vlaanderen stelt de NVAO dat het Vlaamse structuurdecreet bepaalt dat bij de kwaliteitsbeoordeling van opleidingen rekening moet worden gehouden met de voornemens zoals de opleidingen die hebben neergelegd in de omvormingsdossiers naar de bachelor-mastersystematiek. Het Rekenhof heeft evenwel geen onregelmatige handelwijze willen aanklagen, wel heeft het willen wijzen op het risico dat een accreditatie inhoudt die niet is gesteund op gerealiseerde kwaliteit, maar slechts op voornemens.

Verbeterfunctie

De NVAO stelt dat de Algemene Rekenkamer en het Rekenhof de verbeterfunctie van het accreditatiestelsel miskennen. De Algemene Rekenkamer en het Rekenhof hebben vastgesteld dat de verbeter- en verantwoordingsfunctie in een gespannen relatie tot elkaar kunnen staan (punt 3.2.2 en 3.3.2 van deel 2 van het rapport). Zij bevelen verder aan dat zou worden aangegeven hoe de verbeterfunctie van zelfevaluatierapporten en visitatierapporten beter tot haar recht kan komen.

De Algemene Rekenkamer en het Rekenhof zijn het eens met de NVAO dat de verbeterfunctie minder transparant is dan gewenst.

Toezicht

Een ander punt betreft het toezicht in Nederland. De Algemene Rekenkamer bevestigt dat het Ministerie van OCW verbetermaatregelen heeft getroffen ter verduidelijking van de accreditatiestatus van een opleiding. De Algemene Rekenkamer wil de minister van OCW erop wijzen dat de niet-geaccrediteerde opleiding 1 opleiding uit de deelwaarneming van 18 opleidingen betrof en niet 1 opleiding uit het CROHO als geheel. Van groot belang zijn de ernstige gevolgen van het ontbreken van een accreditatie voor opleiding en student. Aan accreditatie zijn namelijk belangrijke rechtsgevolgen verbonden: het is een voorwaarde voor bekostiging van de opleiding door de overheid, voor het recht erkende diploma’s af te geven en voor de toekenning van studiefinanciering aan studenten. De Algemene Rekenkamer acht daarom ook voor dit ene geval reparatie noodzakelijk.

In Vlaanderen wordt niet nagegaan of het opleidingsaanbod van de instellingen overeenstemt met het Hoger Onderwijsregister. De Vlaamse minister ging niet in op die opmerking.

Nieuwe ontwikkelingen

De Algemene Rekenkamer en het Rekenhof delen de mening van de NVAO dat eventuele wijzigingen van het stelsel vooral vorm moeten krijgen tijdens de voorbereiding van de nieuwe ronde accreditaties, die in Nederland vanaf 2010, en in Vlaanderen vanaf 2013 haar beslag krijgt. De ontwikkelingen met betrekking tot de tweede accreditatieronde en de harmonisatie van de Nederlandse en Vlaamse wet- en regelgeving zullen de Algemene Rekenkamer en het Rekenhof met belangstelling blijven volgen.

DEEL 2

1 INLEIDING

1.1 Kwaliteitsbewaking in het hoger onderwijs

In 1999 ondertekenden 29 Europese ministers de zogenaamde Bolognaverklaring, die inmiddels is uitgebreid tot 46 Europese landen en regio’s, ook buiten de Europese Unie. De ondertekenaars hadden de intentie tegen 2010 een Europese hogeronderwijsruimte te creëren, waarin de verschillende hogeronderwijsopleidingen op elkaar zijn afgestemd. Het gevolg daarvan was de geleidelijke invoering van de bachelor-masterstructuur (BaMa). De verklaring hield ook de verbintenis in een transparant stelsel van externe kwaliteitszorg in te voeren.

Tijdens tweejaarlijkse opvolgconferenties wordt een stand van zaken opgemaakt van de realisaties sinds de Bolognaverklaring (1999) en worden toekomstige punten voor de ontwikkeling van de Europese hogeronderwijsruimte geformuleerd. Zo spraken de Europese ministers in Berlijn (2003) af dat de nationale kwaliteitszorgsystemen uiterlijk in 2005 een evaluatie van opleidingen (instellingen), een openbare rapportage en een accreditatie zouden moeten omvatten. In Bergen (2005) werd geconcludeerd dat bijna alle deelnemende landen de afspraken van Berlijn waren nagekomen, maar dat nog veel verbeteringen mogelijk waren op het gebied van de interne kwaliteitszorg en de aansluiting tussen externe en interne kwaliteitszorg. In London (2007) werd geconstateerd dat de externe kwaliteitszorg al veel beter was ontwikkeld dan in 2005 en dat vooruitgang werd geboekt in de erkenning van wederzijdse accreditatiebeslissingen. In 2009 organiseren de Benelux-landen samen in Leuven de tweejaarlijkse ministeriële top over de opvolging van het Bolognaproces in het hoger onderwijs.

Nederland en Vlaanderen hebben samen een accreditatiestelsel uitgewerkt. Accreditatie houdt in dat een opleiding voldoet aan bepaalde minimale kwaliteitsvereisten voor het hoger onderwijs. In Nederland en Vlaanderen worden hogeronderwijsopleidingen geaccrediteerd door een binationaal, onafhankelijk orgaan, de Nederlands-Vlaamse Accreditatieorganisatie (NVAO). Accreditatie moet op termijn leiden tot een automatische erkenning van het behaalde Vlaamse of Nederlandse diploma in geheel Europa. In Nederland en Vlaanderen zijn aan accreditatie belangrijke rechtsgevolgen verbonden. Het is een voorwaarde voor bekostiging van de opleiding door de overheid, voor het recht erkende diploma’s af te leveren en voor de toekenning van studiefinanciering aan studenten.

Nederland is eerder dan Vlaanderen van start gegaan met de invoering van de BaMa-structuur en de accreditatie. De Nederlandse Accreditatieorganisatie (NAO) is in 2002 opgericht en later omgevormd tot de NVAO. Sinds 1 februari 2005 is de NVAO ook actief in Vlaanderen. De eerste Nederlandse accreditatiebesluiten zijn genomen in 2003, de eerste Vlaamse in 2006. Alle Nederlandse hogeronderwijsopleidingen zullen in 2009 geaccrediteerd zijn, in Vlaanderen zullen alle opleidingen tegen het eind van het academiejaar 2012–2013 het proces hebben doorlopen.

De belangrijke gevolgen van de Bolognaverklaring hebben de Algemene Rekenkamer en het Rekenhof ertoe aangezet een gezamenlijk onderzoek naar de kwaliteitsbewaking in het hoger onderwijs uit te voeren. Hogeronderwijskwaliteit is belangrijk voor de ontwikkeling van de kenniseconomie en daarmee voor de internationale economische positie van Nederland en Vlaanderen. Het doel van dit onderzoek is een bijdrage te leveren aan het zo goed mogelijk functioneren van de kwaliteitsbewaking in het hoger onderwijs in Nederland en Vlaanderen. De Algemene Rekenkamer en het Rekenhof willen hun respectieve parlementen informeren over het functioneren van de kwaliteitszorg, knelpunten aanwijzen en aanbevelingen formuleren, deels op basis van de vergelijking tussen beide landen.

Het was al bij de start van het onderzoek bekend dat de Nederlandse regering de intentie heeft het stelsel na de eerste accreditatieronde, met ingang van 2010, bij te sturen.¹ De onderzoeksbevindingen kunnen dus ook een bijdrage leveren aan de bijsturing van het stelsel.

1.2 Wet- en regelgeving

1.2.1 Verdrag

Het Koninkrijk der Nederlanden en de Vlaamse Gemeenschap van België sloten op 3 september 2003 een verdrag inzake de accreditatie van opleidingen binnen het Nederlandse en Vlaamse hoger onderwijs. Het verdrag belast de NVAO met de taak zowel Nederlandse als Vlaamse opleidingen binnen het hoger onderwijs te accrediteren. Vlaanderen heeft verdragsrechtelijk vastgelegd dat de NVAO daarvoor een beoordelingskader moet ontwikkelen, dat ook wel het accreditatiekader wordt genoemd. De Vlaamse Regering heeft het accreditatiekader op 14 februari 2005 bekrachtigd. Nederland heeft de NVAO eveneens belast met de ontwikkeling van een accreditatiekader, zoals vastgelegd in de wet van 8 oktober 1992 houdende bepalingen met betrekking tot het hoger onderwijs en wetenschappelijk onderzoek (WHW). Het accreditatiekader werd in Nederland goedgekeurd op 22 mei 2003 door de staatssecretaris van Onderwijs, Cultuur en Wetenschap. De accreditatiekaders zijn opgenomen in de bijlagen van dit rapport.

1.2.2 Nederland

De bevoegdheden van de NVAO worden beschreven in hoofdstuk vijf van de WHW. In Nederland heeft ook de Inspectie van het Onderwijs een taak binnen de kwaliteitsbewaking van het onderwijs, zoals vastgelegd in de wet van 20 juni 2002 houdende wet op het onderwijstoezicht. Voor het hoger onderwijs houdt de inspectie namens de minister van OCW toezicht op het accreditatiestelsel als geheel en op het functioneren van de NVAO.

1.2.3 Vlaanderen

De basisregels voor de accreditatie zijn vastgelegd in afdeling twee van hoofdstuk drie van het decreet van 4 april 2003 betreffende de herstructurering van het hoger onderwijs in Vlaanderen (structuurdecreet). Het decreet bepaalt dat er in de opleidingen voldoende generieke kwaliteitswaarborgen aanwezig moeten zijn. De aanwezigheid van die minimale generieke kwaliteitswaarborgen garandeert dat de student bij de voltooiing van de opleiding de vereiste competenties (eindkwalificaties) beheerst. De NVAO is verdragsrechtelijk aangewezen als accreditatie-organisatie, zoals bedoeld in het structuurdecreet. Vlaanderen kent geen traditie van inspectie voor universitair of hoger onderwijs. De minister kan via zijn regeringscommissarissen nagaan of de instellingen de wettelijke verplichtingen naleven.

1.3 Accreditatiekaders

Voor de uitvoering van haar taak heeft de NVAO, in samenspraak met alle actoren van het hoger onderwijs, beoordelingskaders opgesteld, de zogenoemde accreditatiekaders. Er zijn kaders voor bestaande opleidingen en nieuw te starten opleidingen (NVAO, 2003a, 2003b, 2005a, 2005c). De onderwerpen en facetten van de Nederlandse kaders verschillen marginaal van de Vlaamse.

Een accreditatiekader bestaat uit zes onderwerpen, onderverdeeld in 21 facetten. De zes onderwerpen zijn de volgende:

– doelstellingen opleiding;

– programma;

– inzet van personeel;

– voorzieningen;

– interne kwaliteitszorg;

– resultaten (NVAO, 2003a en 2005a).

De kaders bevatten voor de zes onderwerpen de eisen waaraan opleidingen moeten voldoen om te worden geaccrediteerd. Met de accreditatieverlening stelt de NVAO vast dat een opleiding voldoet aan de criteria voor basiskwaliteit (generieke kwaliteitswaarborgen). De kaders zijn open gehouden en niet gedetailleerd uitgewerkt om aan te kunnen sluiten bij de diversiteit en autonomie van het hoger onderwijs (NVAO, 2007a).

1.4 Kwaliteitszorgsysteem

Het Vlaamse en Nederlandse kwaliteitszorgsysteem bestaat uit een intern en een extern gedeelte. De interne kwaliteitszorg gebeurt door de opleiding zelf, in tegenstelling tot de externe kwaliteitszorg die uitgevoerd wordt door deskundigen van buiten de opleiding. De accreditatie vormt het sluitstuk van het Vlaamse en Nederlandse kwaliteitszorgsysteem.

1.4.1 Interne kwaliteitszorg

Elke universiteit en hogeschool is wettelijk verplicht een systeem voor interne kwaliteitszorg uit te werken. In de accreditatiekaders is bovendien de interne kwaliteitszorg een van de onderwerpen die moeten worden beoordeeld. De interne kwaliteitszorg moet de kwaliteit van de opleiding structureel en permanent bewaken en verbeteren. Daarbij moeten medewerkers, studenten, alumni en het afnemende beroepenveld van de opleidingen actief worden betrokken.

De uitkomsten van evaluaties en eventuele verbeteracties worden onder meer besproken in opleidingscommissies, waarin zowel studenten als docenten zitting hebben.

1.4.2 Externe kwaliteitszorg

De externe kwaliteitszorg kent drie fasen: de zelfevaluatie, de visitatie en de accreditatie. Nadat de instelling een zelfevaluatierapport heeft geschreven, brengt een visitatiecommissie¹ een bezoek aan de opleiding om dat rapport aan de praktijk te toetsen en daarover te rapporteren. Dat visitatierapport vormt ten slotte de basis voor de accreditatie van de opleiding door de NVAO.

Zelfevaluatie

Het zelfevaluatierapport wordt opgesteld door de te accrediteren opleiding. Het omvat een kritische analyse van de opleiding, die sterke en zwakke punten aanwijst en beschrijft hoe zwaktes zullen worden verholpen. Het zelfevaluatierapport vormt de basis voor de visitatie.

Visitatie

De visitatie wordt in Nederland georganiseerd en gecoördineerd door een visiterende en beoordelende instantie (VBI) en in Vlaanderen door één van de twee evaluatieorganen, namelijk de Vlaamse Interuniversitaire Raad (VLIR) en de Vlaamse Hogescholenraad (VLHORA)¹. VLIR en VLHORA zijn de koepelorganisaties van respectievelijk de Vlaamse universiteiten en hogescholen. De Nederlandse VBI’s zijn private onafhankelijke instanties. De WHW bepaalt dat de NVAO jaarlijks bekendmaakt welke instanties volgens haar over voldoende kwaliteit beschikken om visitaties te organiseren. De VBI’s zijn dus marktpartijen die in opdracht van de onderwijsinstelling een visitatie organiseren, maar verder onafhankelijk zijn.

De feitelijke beoordeling is in handen van een visitatiecommissie: een commissie van onafhankelijke deskundigen, samengesteld door de VBI of het evaluatieorgaan. Er is ook altijd een student lid van de commissie. Na haar bezoek stelt de visitatiecommissie een rapport op over de kwaliteit van de opleiding, waarin zij haar oordeel vastlegt en onderbouwt.

In Vlaanderen worden clusters, dat wil zeggen alle opleidingen van eenzelfde domein, bij alle inrichtende instellingen gezamenlijk gevisiteerd, omdat de regelgeving dat oplegt. In Nederland bestaat die verplichting niet, omdat de instellingen een VBI kiezen. In de praktijk gebeuren er in Nederland ook gezamenlijke externe beoordelingen, met name bij universiteiten.

Accreditatie

Met de accreditatie door de NVAO wordt de externe kwaliteitszorg afgerond. Op basis van het visitatierapport komt de NVAO tot een positief of negatief accreditatiebesluit. Eerst gaat de NVAO na of de visitatiecommissie zorgvuldig te werk is gegaan. Daarna beoordeelt ze of de opleiding voldoende basiskwaliteit heeft, rekening houdend met de onderwerpen uit het accreditatiekader.

Een opleiding krijgt van de NVAO alleen een positief eindoordeel als het oordeel over elk onderwerp voldoende is. Bij een positief accreditatiebesluit is de opleiding geaccrediteerd voor de duur van zes jaar in Nederland en voor acht jaar in Vlaanderen. Bij een negatief accreditatiebesluit voorzien beide landen in de mogelijkheid bezwaar te maken.

1.4.3 Toezicht op het kwaliteitszorgsysteem

Kwaliteitszorgsystemen zijn niet nieuw in het hoger onderwijs. Al toen universiteiten en hogescholen in de jaren negentig meer autonomie kregen, hebben ze kwaliteitszorgsystemen uitgebouwd. De afstand tussen minister en onderwijsinstellingen ontslaat de minister echter niet van zijn verantwoordelijkheid voor goed onderwijs. Een minister moet verantwoording afleggen over de uitvoering van publieke taken en de uitgave van publieke middelen in zijn bevoegdhedendomein, ook als de uitvoering van publieke taken aan derden is toevertrouwd. In dat geval moet hij zich er door goed toezicht van vergewissen dat het kwaliteitszorgsysteem naar behoren functioneert.

Het kwaliteitszorgsysteem wordt op verschillende manieren geëvalueerd. In het kader van haar wettelijke taak heeft de Nederlandse Inspectie van het Onderwijs in inmiddels vijf katernen een midterm review uiteengezet. Daarnaast is bij verdrag vastgesteld dat het Comité van Ministers, bestaande uit de Nederlandse minister van Onderwijs, Cultuur en Wetenschap en de Vlaamse minister van Onderwijs, binnen de vijf jaar na de inwerkingtreding van het verdrag een verslag moet opstellen over de werking en het functioneren van de NVAO. Bovendien is de NVAO lid van ENQA (European Association for Quality Assurance) en ECA (European consortium for accreditation), twee Europese organisaties actief in het domein van de kwaliteitsbewaking in het hoger onderwijs. Dat lidmaatschap vereist dat zij zich periodiek aan een externe evaluatie onderwerpen. Het Comité van Ministers heeft in 2007 een internationale evaluatiecommissie verzocht een evaluatie van de NVAO te organiseren. Het rapport over de evaluatie is in september 2007 uitgekomen (Review committee, 2007).

1.5 Aanpak onderzoek

1.5.1 Probleemstelling en onderzoeksdomein

De probleemstelling van dit onderzoek is: wordt er met het systeem van kwaliteitszorg een goede invulling gegeven aan de wettelijke eisen en werkt het systeem zoals bedoeld?

In dit onderzoek worden de volgende onderzoeksvragen beantwoord:

1. Is er een systeem van interne kwaliteitszorg dat gericht is op het meten, verbeteren en daarmee behouden van de kwaliteit van het hoger onderwijs zoals die bij de accreditatieverlening is geconstateerd?

2. Hoe verloopt de externe kwaliteitszorg en leidt deze tot gefundeerde accreditaties?

3. Hebben de bij de accreditatie betrokken instellingen inzicht in de kosten van de kwaliteitszorg?

4. Houdt de minister toezicht op de in- en externe kwaliteitszorg?

Het onderzoek is gericht op het volledige stelsel van kwaliteitszorg: de interne kwaliteitszorg, de externe kwaliteitszorg met inbegrip van de accreditatie en ten slotte het ministeriële toezicht. Er werd ook nagegaan of de bij de accreditatie betrokken instellingen inzicht hebben in de kosten van de kwaliteitszorg. Het gezamenlijk Nederlands-Vlaams onderzoek laat vergelijkingen toe tussen de twee stelsels en brengt specifieke sterktes of zwaktes tot uiting. Het onderzoek werd in beide landen grotendeels op dezelfde manier uitgevoerd, op enkele accentverschillen na. Zo werd in Nederland sterker de nadruk gelegd op veranderingen bij opleidingen sinds het ogenblik van de accreditatie omdat de accreditatie er al een langere voorgeschiedenis heeft. In Vlaanderen was het dan weer mogelijk het functioneren van de evaluatieorganen grondiger te bekijken omdat die instellingen decretaal zijn aangewezen, in tegenstelling tot de VBI’s in Nederland.

1.5.2 Methode

Het Rekenhof kondigde het onderzoek op 21 november 2006 aan bij de Vlaamse minister van Werk, Onderwijs en Vorming als lid van het Comité van Ministers, bij de voorzitter van de NVAO en bij de waarnemende administrateur-generaal van het Onderwijsdienstencentrum Hoger Onderwijs en Volwassenenonderwijs. De Algemene Rekenkamer kondigde het onderzoek aan op 11 januari 2007 bij het ministerie van Onderwijs, Cultuur en Wetenschap (OCW), bij de voorzitter van de NVAO en bij de besturen van de betrokken instellingen. Het bezoek aan de instellingen, evaluatieorganen en NVAO vond plaats in de periode december 2006-november 2007.

Voor dit onderzoek werden 35 geaccrediteerde opleidingen geselecteerd:¹ 18 in Nederland en 17 in Vlaanderen, verdeeld over 3 universiteiten (in Nederland ook wetenschappelijk onderwijs of WO genoemd) en 3 hogescholen (in Nederland ook hoger beroepsonderwijs of HBO genoemd). Dat komt neer op 3 opleidingen per instelling.² Voor Nederland werd bij de selectie rekening gehouden met het moment van accreditatie (omstreeks 2004), geografische spreiding en aanwezigheid van verschillende types opleiding binnen de instelling.³ In Vlaanderen kon een dergelijke selectie niet plaatsvinden: het accreditatiestelsel werd er pas in 2005 van kracht en er moest dus worden gekozen uit een beperkt aantal geaccrediteerde opleidingen.

Voor alle geselecteerde opleidingen werden gesprekken gevoerd met managementteams, docenten en studenten. In Nederland is uiteindelijk gesproken met 17 managementteams,⁴ waarbij vaak ook beleidsmedewerkers aanwezig waren, met 54 docenten en met 56 studenten. Na afloop van de gesprekken met de managementteams is bij de zes Nederlandse instellingen ook een gesprek gevoerd met een afvaardiging van het instellingsbestuur. In Vlaanderen werden 17 managementteams⁵, 60 docenten en 41 studenten geïnterviewd. Voor een deel hebben Nederlandse onderzoekers de gesprekken in Vlaanderen bijgewoond en vice versa.

Om de externe kwaliteitszorg te onderzoeken, zijn in Nederland met drie VBI’s gesprekken gevoerd. In Vlaanderen zijn de werkzaamheden van de evaluatieorganen VLIR en VLHORA onderzocht aan de hand van de interne richtlijnen en de visitatiedossiers van de geselecteerde opleidingen. Er is gesproken met personeelsleden van de cel Kwaliteitszorg en met de directie van de evaluatieorganen. Om een beeld te krijgen van de recente evolutie van de visitatierapporten is in Vlaanderen nog een beperkt aantal recent uitgebrachte rapporten summier in het onderzoek betrokken. Die werkwijze is ook gevolgd bij het onderzoek van de NVAO-werkzaamheden. Naast gesprekken met het bestuur en de dossierbehandelaars is bijkomende documentatie opgevraagd om inzicht te krijgen in de wijze waarop de NVAO haar besluitvorming organiseert. De accreditatiedossiers van de geselecteerde opleidingen zijn bestudeerd.

2 INTERNE KWALITEITSZORG

2.1 Inleiding

In dit hoofdstuk wordt nagegaan of de onderwijsinstellingen over een systeem van interne kwaliteitszorg beschikken dat is gericht op het meten, verbeteren en daarmee behouden van de kwaliteit van het hoger onderwijs zoals die bij de accreditatieverlening is geconstateerd.

De Algemene Rekenkamer en het Rekenhof beschouwen het systeem van interne kwaliteitszorg als het geheel van activiteiten van een instelling die zijn gericht op de bewaking, handhaving en verbetering van de kwaliteit van haar opleidingen. Die activiteiten zijn meestal gevat in een min of meer formeel instrumentarium.

Interne kwaliteitszorg is niet nieuw in het Nederlandse en Vlaamse hoger onderwijs. Regelgeving van vóór de invoering van de accreditatie legde aan de universiteiten en hogescholen al interne en externe kwaliteitszorg op. Opleidingen werden toen ook al gevisiteerd en waren in Vlaanderen verplicht gevolg te geven aan de uitkomsten van het visitatierapport. Er waren echter in tegenstelling tot nu geen directe financiële of andere gevolgen aan het oordeel verbonden. In Nederland was de Inspectie van het Onderwijs verantwoordelijk voor het toezicht op het stelsel. Zij adviseerde de minister over de kwaliteit van het onderwijs van de opleidingen. Bij aanhoudende ondermaatse kwaliteit kon de minister de rechten van de opleiding uiteindelijk wel intrekken. De Vlaamse Regering kon op grond van het visitatierapport een saneringsplan opleggen. Het oude visitatiestelsel moest voorkomen dat bij gebrek aan directe kwaliteitscontrole vanwege de overheid het niveau van het hoger onderwijs zou dalen. Bij de invoering van het nieuwe accreditatiestelsel zijn de meeste principes van het oude stelsel behouden, maar is de externe controle bijgestuurd.

Alle bij dit onderzoek betrokken opleidingen zijn geaccrediteerd op een moment dat een aantal andere onderwijsontwikkelingen om aandacht vroegen. In Nederland en Vlaanderen is het accreditatiestelsel samen met de BaMa-hervorming ingevoerd. Dat heeft bij alle opleidingen geleid tot een aanpassing van het curriculum die niet aan de interne kwaliteitszorg mag worden toegeschreven. Er was ook sprake van fusies, omvormingen van opleidingen naar een major-minorstructuur en onderwijskundige vernieuwingen zoals vraaggestuurd onderwijs en competentiegericht leren.

Bij de beoordeling van de interne kwaliteitszorg is niet alleen rekening gehouden met de eisen die het accreditatiekader hiervoor oplegt, maar ook met de benadering van de volgende kwaliteitsaspecten: het curriculum (modules van een opleiding in onderlinge samenhang), het ingezette personeel, het gerealiseerde niveau en het onderwijsrendement.

Het onderzoek is gebaseerd op geschreven documenten en op gesprekken met medewerkers, studenten en management. De Algemene Rekenkamer heeft zich in het bijzonder gericht op het behouden en verbeteren van de kwaliteit sinds de verleende accreditatie. Daarvoor heeft zij bij iedere opleiding nadere gegevens opgevraagd over selectief gekozen modules, waaronder stages en afstudeeropdrachten. Bij de analyse zijn in totaal 41 modules beoordeeld op vier aspecten:

– Werden de modules geëvalueerd?

– Zijn de resultaten besproken?

– Zijn er verbeteracties geformuleerd en gerealiseerd?

– Kan de instelling primaire gegevens voorleggen (evaluatieresultaten, verslagen van opleidingscommissies, etc.) of afgeleide informatie (een beschrijving van het evaluatieproces)?

Bij de Vlaamse casussen is een gelijklopend onderzoek gebeurd, maar noodgedwongen op een hoger en algemener niveau. Er kon geen onderzoek worden uitgevoerd naar acties en initiatieven die na de visitaties uit het accreditatiestelsel werden ondernomen, omdat het stelsel te recent werd geïntroduceerd.

De onderzoeksactiviteiten van de Algemene Rekenkamer en het Rekenhof hebben tot een aantal verschillende bevindingen geleid. Die komen aan bod in de onderdelen 2.3.3 en 2.4.3.

2.2 Wet- en regelgeving

In Nederland steunt interne kwaliteitszorg op artikel 1.18, lid 1 en 3 en artikel 5a.8, lid 2 van de WHW. De WHW stelt dat bij de accreditatieverlening aandacht moet worden besteed aan interne kwaliteitszorg.

In Vlaanderen steunt interne kwaliteitszorg op artikel 93, § 1 van het structuurdecreet dat bepaalt dat de hogeronderwijsinstellingen permanent en op eigen initiatief moeten zorgen voor de kwaliteitszorg van de onderwijsactiviteiten. Zij dienen de studenten, de alumni en de externe deskundigen uit het beroepenveld bij de kwaliteitsbewaking te betrekken.

In de accreditatiekaders van Vlaanderen en Nederland is interne kwaliteitszorg een van de onderwerpen die moeten worden beoordeeld. In beide landen steunt de beoordeling van de interne kwaliteitszorg op de drie onderstaande facetten en bijbehorende criteria:

Facetten	Criteria
Evaluatie resultaten	De opleiding wordt periodiek geëvalueerd, mede aan de hand van toetsbare streefdoelen
Maatregelen tot verbetering	De uitkomsten van de evaluatie vormen de basis voor aantoonbare verbetermaatregelen die bijdragen aan de realisatie van de streefdoelen
Betrekken van medewerkers, studenten, alumni en beroepenveld	Bij de interne kwaliteitszorg zijn medewerkers, studenten, alumni en het afnemend beroepenveld van de opleiding actief betrokken

2.3 Interne kwaliteitszorg aan de Nederlandse instellingen

2.3.1 Organisatie van de interne kwaliteitszorg

Kwaliteitssystemen

Om de kwaliteit van de opleidingen te garanderen, hanteren instellingen verschillende kwaliteitsmanagementsystemen. Afhankelijk van het gehanteerde systeem (bijvoorbeeld het European Foundation for Quality Management Excellence Model (EFQM) of Instituut Nederlandse Kwaliteit managementmodel (INK)) voert het instellingsbestuur verschillende controleactiviteiten uit. Zo wordt gewerkt met checklists en interne audits. Soms worden proefaccreditaties uitgevoerd, waarin het accreditatieproces wordt gesimuleerd. Veel opleidingsmanagers en docenten ervaren dat als een zware belasting.

Plaats van het instellingsbestuur in de interne kwaliteitszorg

Alle onderzochte instellingen hebben een kwaliteitscoördinator in dienst met een ondersteunende staf. Hij heeft als taak een systeem van interne kwaliteitszorg te ontwikkelen en te implementeren, dan wel het bestaande systeem aan te passen aan de eisen in het accreditatiekader. De centrale diensten ondersteunen het opleidingsmanagement waar nodig, bijvoorbeeld door evaluatiegegevens te analyseren. In sommige gevallen speelt de coördinator ook een toezichthoudende rol: komt het opleidingsmanagement de afspraken in het kader van interne kwaliteitszorg wel na?

2.3.2 Toepassing van het accreditatiekader op de interne kwaliteitszorg

Evaluaties

Op basis van documenten en gesprekken stelde de Algemene Rekenkamer vast dat alle onderzochte opleidingen op het niveau van een vak of module worden geëvalueerd. Meestal vonden evaluaties direct na het tentamen of tijdens de laatste bijeenkomst plaats. Er worden verschillende pogingen ondernomen om de respons van de studenten te verhogen. Zo worden digitale vragenlijsten vervangen door schriftelijke en worden uitgebreide vragenlijsten vaak kernachtiger geformuleerd: volgens de opleidingen vergroot dat de respons en waarschijnlijk ook de betrouwbaarheid van de antwoorden. Ook proberen de opleidingen niet alle modules elk jaar te evalueren, maar eens in de twee of drie jaar, tenzij er sprake is van bijzondere omstandigheden, zoals een doorgevoerde verandering. Tijdens het onderzoek legde het opleidingsmanagement dikwijls een negatief verband tussen de tevredenheid over de cursus en de ervaren moeilijkheid van het tentamen, waardoor de uitkomsten van evaluaties van beperkte waarde zijn. Veel opleidingen voeren derhalve een verdere analyse uit. Sommige opleidingen verzoeken studenten zitting te nemen in een panel om mondeling meer gerichte informatie te krijgen over de aard van de kritiek en over mogelijke oplossingen voor de knelpunten.

Uit de opgevraagde informatie over willekeurig gekozen vakken, stages en afstudeeropdrachten bleek dat in alle gevallen was geëvalueerd, dat de resultaten in alle gevallen waren besproken en dat waar nodig concrete verbeteracties waren geformuleerd. In verreweg de meeste gevallen ging het om primaire, dat wil zeggen direct verifieerbare informatie. In een enkel geval werd alleen de gang van zaken beschreven, maar bleek uit andere bronnen dat de informatie klopte. In de meeste gevallen hebben de betrokken opleidingen aangetoond dat recent een afstudeeropdracht of stage werd geëvalueerd. In driekwart van die gevallen werd de evaluatie ook besproken en vaak werden verbetermaatregelen voorgesteld. De onderbouwing steunde in bijna de helft van de gevallen op primaire informatie en in een kwart van de gevallen op afgeleide informatie.

In het algemeen heeft de Algemene Rekenkamer geconstateerd dat de evaluatie van curricula, dat wil zeggen van de modules in onderlinge samenhang, minder vaak plaatsvindt. Rapportages daarover zijn niet vaak aangetroffen.

Het accreditatiekader legt voor de evaluatie van de opleiding het gebruik van toetsbare streefdoelen op. Ook voor het onderwijsrendement moeten streefdoelen zijn geformuleerd. Ze zijn bedoeld om op gezette tijden objectief te kunnen toetsen of aspecten van de opleiding voldoen aan vooraf vastgestelde normen. Uit het onderzoek blijkt dat de opleidingen over het algemeen lang niet voor alle facetten van de interne kwaliteitszorg al streefdoelen hebben vastgesteld. Vaak wordt bepaalde informatie wel verzameld, maar zijn de bijbehorende streefdoelen impliciet, onvolledig of afwezig. De meeste opleidingen hebben wel streefdoelen voor het onderwijsrendement geformuleerd. Bij slechts enkele van de onderzochte opleidingen waren ze onvolledig of afwezig. Informatie over het onderwijsrendement wordt wel overal verzameld, maar soms dus niet getoetst aan een vooraf vastgesteld doel. VBI’s blijken hier genoegen mee te nemen.

Daarnaast heeft meer dan de helft van de opleidingen minimumscores vastgesteld voor de uitgevoerde evaluaties (bijvoorbeeld een minimale score van 3,5 op een 5-puntsschaal). Ook hebben ze, met name HBO-opleidingen, vaak streefdoelen voor het ziekteverzuim onder personeel. In sommige gevallen wordt de ratio docent/student als streefdoel gebruikt, zij het met weinig succes (zie daarover 2.3.3, onderdeel kwantiteit van het personeel).

Instellingen bevelen de opleidingen vaak aan streefdoelen te formuleren, soms verplichten zij dit, of stellen centraal rendementsstreefdoelen vast. In de praktijk blijkt het voor opleidingen moeilijk voor alle te evalueren aspecten goede streefdoelen te formuleren.

Over de waarde van streefdoelen lopen de meningen uiteen. De NVAO geeft aan dat streefdoelen vooral van belang zijn om opleidingen te doen nadenken over bepaalde zaken. Er bestaan volgens de NVAO geen ideale waarden, maar de uitleg bij de waarden is belangrijk: wat verstaat een opleiding onder de ratio docent/student? Van welke factoren is het rendement afhankelijk?

Opleidingen zelf geven aan dat streefdoelen een functie moeten hebben. Rendementsdoelen zeggen op zichzelf niet zoveel. Het beleid achter rendementsverbeteringen vinden ze wel belangrijk: wat is er nodig om studenten sneller te laten afstuderen, hun studie succesvol te beëindigen of van studie te kunnen veranderen? Opleidingen vinden dat het niveau van de opleiding of de kwaliteitsnormen niet mogen worden bijgesteld ten behoeve van de rendementsdoelen. Het komt zelden voor dat docenten zich door hun management onder druk voelen gezet vanwege de rendementen.

Verbetermaatregelen

Als de evaluatieresultaten daartoe aanleiding geven, moeten verbetermaatregelen worden genomen. Uit gesprekken en documenten bleek dat aan de docenten wordt gevraagd de kritische punten van de evaluaties te analyseren en oplossingen te suggereren. Vaak hebben opleidingen voor de evaluatiescore een norm gesteld. Als de score lager uitvalt dan die norm, dienen de resultaten te worden besproken in opleidingscommissies en andere daartoe ingestelde organen. De verbetermaatregelen worden doorgeleid naar de opleidingsmanager en regelmatig doorgevoerd, zij het niet altijd met succes. De Algemene Rekenkamer heeft notulen opgevraagd van de bijeenkomsten vanaf 2005 en geconstateerd dat de opleidingscommissies en de eventuele andere gremia regelmatig bijeenkomen. Naast de wettelijk voorgeschreven adviezen over de onderwijs- en examenregeling komen de evaluaties van de afzonderlijke vakken en curricula aan de orde.

Uit de bijkomende informatie die de Algemene Rekenkamer heeft opgevraagd over willekeurig gekozen vakken, stages en afstudeeropdrachten, kon zij vaststellen dat verbetermaatregelen inderdaad werden uitgevoerd. De besluiten om te verbeteren naar aanleiding van de uitkomsten van evaluaties waren evenwel niet altijd terug te vinden in de verslagen van overleggremia.

Bij wijze van steekproef vroeg de Algemene Rekenkamer aan de geselecteerde opleidingen om de stand van zaken te beschrijven van in totaal 54 verbeterpunten die ten tijde van de accreditatie werden geformuleerd, hetzij in het zelfevaluatierapport, hetzij in het visitatierapport. In bijna vier vijfde van de gevallen werd of overtuigend aangetoond dat de verbeteringen inderdaad waren doorgevoerd of gemotiveerd waarom het verbeterpunt bij nader inzien toch lager geprioriteerd moest worden en derhalve niet was doorgevoerd. In circa een vijfde van de gevallen was de onderbouwing summier of in het geheel niet overtuigend.

Betrokkenheid van studenten, medewerkers, alumni en beroepenveld

• Studenten

Alle opleidingen raadplegen studenten om modules te evalueren. Omdat de respons bij schriftelijke evaluaties soms laag is en toelichting op de antwoorden gewenst is, worden de schriftelijke evaluaties vaak aangevuld met mondelinge. De mondelinge evaluaties vinden plaats in de vorm van panelgesprekken. Vaak hebben de opleidingen naast de voorgeschreven opleidingscommissies andere overlegorganen in het leven geroepen. Een faculteit heeft bijvoorbeeld een onderwijsevaluatiecommissie ingesteld, alleen bestaande uit studenten, gerekruteerd uit de studievereniging. Een andere instelling laat studenten zitting nemen in het opleidingsbestuur. Sommige opleidingen hebben een permanent studentenpanel ingesteld, waarin het onderwijs periodiek wordt geëvalueerd en ook een terugkoppeling van de evaluatieresultaten en eventuele acties plaatsvindt. Bij de hogescholen staan de resultaten van de evaluaties vaak ook op intranet.

De geïnterviewde studenten waren meer dan gemiddeld bij hun opleiding betrokken. Zo zaten ze vaak in de opleidingscommissie, de studievereniging of een medezeggenschapsorgaan. De studenten gaven aan dat de gemiddelde student niet weet wat er met de evaluaties gebeurt, maar zich daar ook weinig voor interesseert. Zo is het moeilijk studenten te vinden voor panelgesprekken of opleidingscommissies, terwijl de terugkoppeling van evaluatieresultaten doorgaans daar plaatsvindt. De studenten merkten op dat ze gemotiveerder zijn om de evaluatieformulieren in te vullen sinds ze weten dat evaluaties daadwerkelijk navolging krijgen.

De studenten gaven bij ongeveer de helft van de opleidingen aan dat er een open cultuur is en dat ze op informele wijze hun opmerkingen kwijt kunnen. Dat blijkt ook uit de gesprekken met de docenten, waarin sommigen hebben opgemerkt dat ze, los van de evaluaties aan het eind van een module, bij de studenten polsen hoe ze de module hebben ervaren.

• Medewerkers

Alle onderzochte opleidingen betrekken de medewerkers bij de evaluaties via periodieke overleggen en opleidingscommissies. Vaak wordt jaarlijks een dag georganiseerd waarop medewerkers op het onderwijs reflecteren. Tijdens interviews kwam geregeld naar voren dat studentenevaluaties een rol spelen bij functioneringsgesprekken. De hogescholen organiseren onder de medewerkers instellingsbrede tevredenheidsonderzoeken, op universiteiten is dat geen gemeengoed. Vanzelfsprekend zijn de medewerkers ook inhoudelijk betrokken bij de ontwikkeling en het onderhoud van cursussen.

• Alumni

De meeste instellingen gaven aan dat het beleid voor het actief betrekken van alumni nog in ontwikkeling is. Ze ondernemen wel pogingen tot een structurele raadpleging van alumni, maar de resultaten zijn nog minimaal.¹

Alle onderzochte instellingen hebben op hun website een alumnipagina en beschikken over de adressenbestanden van hun alumni. Ze wezen erop dat het niet meevalt die gegevens nauwkeurig bij te houden. Verschillende opleidingen hebben een alumnivereniging. Minder dan de helft van de opleidingen gaf aan dat ze, meestal jaarlijks, een terugkomdag of andere bijeenkomst organiseren. Ook voeren sommige opleidingen een eigen meting of onderzoek uit, maar de waarde ervan is beperkt en zelden generaliseerbaar, omdat het vaak een gering aantal reacties van min of meer geslaagde alumni betreft. Bij een enkele opleiding worden alumni in de vorm van een bijeenkomst vooraf geraadpleegd bij curriculumwijzigingen.

Eén instelling gaf aan meer geïnteresseerd te zijn in informatie over de functies die hun afgestudeerden bekleden en de hoogte van hun salaris. Volgens haar zou die informatie een objectiever beeld geven van de kwaliteit van de opleiding dan de opvatting van de alumni over het genoten onderwijs. De betrokken instelling maakt veel werk van het alumnibestand en wil binnenkort door middel van een representatief panel de bedoelde informatie verzamelen.

• Beroepenveld

In het HBO wordt het beroepenveld actiever betrokken bij de evaluaties dan in het WO. De HBO-opleidingen kunnen het beroepenveld immers vaak duidelijker uittekenen, waardoor gerichter contact met de werkgevers mogelijk is.

De onderzochte HBO-opleidingen zijn landelijk georganiseerd. In zo’n landelijk platform dat contact heeft met het beroepenveld, worden afspraken gemaakt over domeinspecifieke eisen waaraan een afgestudeerde moet voldoen om in de praktijk goed te kunnen functioneren. Dit is ook voorgeschreven in het accreditatiekader (zie eisen eindkwalificatie). Op opleidingsniveau wordt met het beroepenveld contact gehouden via formele overlegorganen in de vorm van adviesraden of andersoortige commissies. Een andere vorm van contact bestaat uit de stages en afstudeeropdrachten. De opleiding heeft op die manier contact met begeleiders en sluit soms overeenkomsten met stage-instellingen af. Ook nemen docenten zelf het initiatief tot contact en stimuleren sommige opleidingen dat docenten deeltijds werkzaam blijven in het veld om zo hun beroepservaring op peil te houden en in te zetten in het onderwijs.

Het WO-beleid voor contact met het beroepenveld is veel minder geëxpliciteerd. Overigens is het accreditatiekader voor het WO minder dwingend in het betrekken van het beroepenveld bij het bepalen van eindkwalificaties. Een gering aantal opleidingen heeft wel een formeel adviesorgaan of organiseert een bedrijvendag, maar meestal verloopt hetcontact op initiatief van de medewerkers zelf. Zij organiseren gastcolleges of geven aan door hun onderzoek en netwerken contact te hebben met het beroepenveld. Sommige WO-opleidingen zijn vanwege de aard van de opleiding meer op het bedrijfsleven gericht en hebben daardoor een uitgebreidere relatie met het beroepenveld.

2.3.3 Overige kwaliteitsaspecten

Inleiding

Hieronder volgen enkele bevindingen die het systeem van interne kwaliteitszorg overstijgen, maar naar het oordeel van de Algemene Rekenkamer van belang zijn voor de kwaliteit van de opleidingen. Achtereenvolgens wordt ingegaan op de relatie tussen kwaliteit en kwaliteitszorg, de kwantiteit van het personeel (een facet in het accreditatiekader) en de onderwijsveranderingen die zich sinds de accreditatie hebben voltrokken en die de opleidingen qua vorm en inhoud wezenlijk hebben gewijzigd.

Kwaliteit en kwaliteitszorg

De relatie tussen interne kwaliteitszorg en kwaliteit werd niet in dit onderzoek betrokken, maar is in gesprekken regelmatig aan de orde gekomen. Docenten maakten regelmatig kritische opmerkingen over de relevantie van de informatie die bepaalde facetten van de interne kwaliteitszorg opleveren. Ze vinden het op orde hebben van interne kwaliteitszorg en andere processen wel een noodzakelijke, maar geen voldoende voorwaarde voor onderwijskwaliteit.

Veel docenten en managers wezen erop dat de kwaliteit van het personeel een belangrijke bepalende factor is voor onderwijskwaliteit. Zij stelden ook dat een goede docent een kwaliteitszorgsysteem heeft geïnternaliseerd. Hun boodschap is dat een opleiding beter kan investeren in personeel dan in kwaliteitszorg en dat het niet binnen een redelijke termijn invullen van openstaande vacatures schadelijker is voor de kwaliteit van een opleiding dan een matig kwaliteitszorgsysteem. Er is overigens een grote groep docenten die de waarde en noodzaak erkent van kwaliteitszorg, maar ze maakten vrijwel allemaal de kanttekening dat kwaliteitszorg niet moet worden overdreven en zich moet richten op de inhoud. Vooral aan dat laatste schort het volgens hen nogal eens.

Een aantal geïnterviewden gaf aan dat het accreditatiestelsel veel invloed heeft gehad op de interne kwaliteitszorg. De strenge bewijslast wordt door sommige docenten en managers ervaren als bureaucratisch en procedureel. Toch verklaarden sommige docenten dat ze eigenlijk alleen maar vragenlijsten moeten uitdelen en pas iets merken van interne kwaliteitszorg als negatieve punten uit de evaluatie komen. Een dergelijke constatering kan behalve op een beperkte belasting ook wijzen op een geringe betrokkenheid bij de kwaliteitszorg. Daarnaast waren er opleidingen die hebben aangegeven dat het accreditatiestelsel een impuls heeft gegeven aan de interne kwaliteitszorg.

Van de onderzochte instellingen heeft maar één opleiding bij de NVAO een bijzonder kwaliteitskenmerk aangevraagd, maar de NVAO vond de kwaliteit op dat punt niet excellent genoeg. De overige instellingen namen genoegen met basiskwaliteit. Het accreditatiesysteem stimuleerde opleidingen blijkbaar niet zich te profileren of te excelleren: in de eerste accreditatieronde heeft de NVAO nauwelijks aanvragen voor een bijzonder kwaliteitskenmerk ontvangen. Dat komt enerzijds doordat de kwalificatie voldoende al resulteert in een accreditatie. Anderzijds gaven opleidingen aan dat ze er het extra werk niet voor over hebben: als ze al zo een kwaliteitskenmerk zouden behalen, zouden ze daarmee zelf de publiciteit moeten zoeken, omdat een vergelijking met andere soortgelijke opleidingen ontbreekt. De NVAO gaf aan dat de eerste accreditatieronde bedoeld was om ondermaatse opleidingen te detecteren. Inmiddels is het concept bijzonder kwaliteitskenmerk aangepast. Nu kunnen opleidingen vooraf een aanvraag doen voor beoordeling van excellentie op een facet en daarmee een bijzondere kwaliteit toegekend krijgen. Ook kunnen opleidingen vooraf een verzoek indienen om een bijzonder kenmerk te laten beoordelen. Ze dienen dan concreet aan te geven waarin de opleiding onderscheidend is.

Kwantiteit personeel

Het accreditatiekader vereist dat er voldoende personeel wordt ingezet om de opleiding met de gewenste kwaliteit te verzorgen. De opleidingen drukken de kwantiteit van het personeel uit in ratio’s docent/student, fulltime equivalent(fte)/student of staf/student. Sommige gebruiken ook de ratio’s medewerker/student of ondersteunend personeel/student. Die verschillende berekeningsmethoden maken de getallen van de verschillende opleidingen moeilijk vergelijkbaar. Bovendien zeggen cijfers over de hoeveelheid personeel weinig over de bijdrage aan de kwaliteit van de opleiding. De interpretaties van het opleidingsmanagement zijn bijvoorbeeld niet eenduidig over wat onder personeel wordt verstaan en de cijfers zeggen niets over de hoeveelheid tijd die het beschikbare personeel aan onderwijs besteedt.

De Algemene Rekenkamer constateerde een groot verschil tussen WO- en HBO-instellingen bij het kwantificeren van hun personeel. Hoewel de opleidingen van beide soorten instellingen tegen dezelfde problemen aanlopen, leveren HBO-opleidingen wel getallen en streefdoelen over de hoeveelheid personeel en WO-opleidingen veelal niet.

WO-instellingen hebben de omvang van hun personeelsbestand vaak niet gekwantificeerd per opleiding. Zij gaven aan dat het heel moeilijk is te achterhalen hoeveel fte’s verbonden zijn aan een bepaalde opleiding, doordat docenten vaak zijn verbonden aan een faculteit en bij meerdere opleidingen doceren. Bovendien besteden de docenten maar een gedeelte van hun tijd aan onderwijs en is vaak niet bekend hoeveel dat is. Streefdoelen voor de hoeveelheid personeel ontbreken bij de WO-instellingen volledig.

De HBO-opleidingen hebben wel allemaal de ratio docent/student of een variant daarvan vastgesteld. Ook hebben ze daarvoor meestal streefdoelen geformuleerd, vaak ook door de instelling op centraal niveau vastgelegd. Eén opleiding gaf aan dat zo’n getal weinig zegt als docenten veel andere taken hebben, bijvoorbeeld ontwikkeltaken. Het zou volgens haar beter zijn de contacttijd in beeld te brengen. Voor alle HBO-opleidingen geldt net als bij de WO-opleidingen dat docenten vaak aan meerdere opleidingen doceren en veel meer taken hebben dan onderwijs alleen. Alle docenten geven aan dat de werkdruk erg hoog is.

Onderwijsveranderingen

Het competentiegerichte onderwijs heeft de organisatie en de toetsing van het HBO behoorlijk veranderd. In de eerste jaren hebben frequent evaluaties plaatsgevonden, waarbij studenten betrokken waren. Een en ander resulteerde in een aantal bijstellingen. Zo hebben veel opleidingen besloten het onderwijs beter te gaan inrichten en meer aandacht te besteden aan de vaardigheden waarover een docent moet beschikken bij studieloopbaanbegeleiding. Ook is, op aangeven van het werkveld en van docenten, meer nadruk komen te liggen op de kenniscomponent. Docenten en managers gaven vaak aan dat het werkveld erg te spreken is over het competentiegerichte onderwijs. Medio 2007 waren er bij de onderzochte instellingen nog geen afgestudeerde studenten die een volledig major-minorcurriculum hebben gevolgd volgens het competentiegerichte onderwijs. Opleidingen hebben daarom nog geen zicht op wat de veranderingen betekenen voor de arbeidsmarktpositie van studenten of voor het uiteindelijk gerealiseerde niveau.

Het WO heeft minder dan het HBO te maken gehad met inhoudelijke onderwijsveranderingen, zoals het competentiegerichte onderwijs. Eindtermen worden soms wel geformuleerd in termen van competenties, maar dat heeft geen consequenties voor de inhoud van modules en voor de toetsvormen. Docenten in het WO zijn daarom wellicht minder kritisch over de veranderingen in het onderwijs. Omdat vrijwel alle bij dit onderzoek betrokken docenten ook een onderzoeksaanstelling hebben, ligt het minder voor de hand dat de kenniscomponent te weinig aandacht krijgt.

De invoering van de BaMa-structuur heeft in het WO wel meer consequenties gehad dan in het HBO. In het HBO is de vierjarige opleiding omgezet in een vierjarige bachelor. In het WO zijn alle vierjarige WO-opleidingen omgezet in een driejarige bachelor en een eenjarige master. Vijfjarige WO-opleidingen kregen een tweejarige master. Die ingreep was in de praktijk nogal ingrijpend voor het WO. Met de nieuwe structuur is op grote schaal de brede bachelor ingevoerd. Centraal staat een algemene vorming met een nominale duur van drie jaar. De onderzochte WO-bacheloropleidingen worden in de meeste gevallen afgesloten met een relatief kleine bachelorscriptie. Daarna kunnen studenten hun opleiding verder aanvullen met een master van één of twee jaar. Het aanbod van masters is veel gedifferentieerder dan dat van bachelors en heeft veelal het karakter van een specialisatie. De Algemene Rekenkamer constateerde dat sommige docenten zich zorgen maakten over het inhoudelijke niveau van de opleiding. Zij stellen dat de brede bachelor minder gelegenheid biedt voor inhoudelijke diepgang, ook omdat binnen de gegeven tijd een extra afstudeermoment moet worden gecreëerd en ruimte moet worden gereserveerd voor algemeen vormende vakken, zoals communicatie en rapporteren. Hoewel beperkt vergelijkbaar, valt ook het verschil in nominale duur tussen master (meestal een jaar) en doctoraalstudie (drie jaar) in negatieve zin op.

Door bovenstaande veranderingen was bij de geaccrediteerde opleidingen geen sprake van een stabiele situatie van het onderwijs, wat gevolgen kan hebben voor de houdbaarheid van de accreditatie, die in Nederland een duur heeft van zes jaar, en uiteindelijk ook voor de kwaliteit van het onderwijs. Dat geldt in het bijzonder voor de HBO-opleidingen.

2.3.4 Conclusie interne kwaliteitszorg Nederland

Iedere onderzochte opleiding beschikt over een voldoende uitgewerkt systeem van interne kwaliteitszorg. Uit het onderzoek bleek dat de voorgenomen evaluaties en reflecties inderdaad hebben plaatsgevonden en de daarvoor aangewezen gremia functioneerden zoals voorgeschreven. In die zin heeft de accreditatieverplichting stimulerend gewerkt voor de ontwikkeling van interne kwaliteitszorg.

Verbeterpunten die in evaluaties naar voren komen, worden meestal doorgevoerd of gemotiveerd afgewezen. Bij alle onderzochte opleidingen worden de modules of vakken geëvalueerd, het gehele curriculum daarentegen wordt veel minder geëvalueerd.

Hoewel het accreditatiekader voorschrijft dat evaluaties plaatsvinden aan de hand van toetsbare streefdoelen, blijkt de praktijk daarvan af te wijken. Streefdoelen zijn slechts impliciet geformuleerd, zijn onvolledig of ontbreken. Vooral voor de kwantiteit van het personeel bestaan weinig eenduidige streefdoelen. Dat is opmerkelijk, omdat het voor de kwaliteit van een opleiding van belang is over voldoende personeel te beschikken.

De respons van studenten op evaluaties is meestal laag, deels omdat niet alle studenten daarvoor interesse opbrengen. Medewerkers worden over het algemeen actief betrokken, alumni slechts summier. Het contact met het beroepenveld is in het HBO, in tegenstelling tot in het WO, formeel vormgegeven en intensief.

Een aantal docenten en managers vindt dat de huidige invulling van het kwaliteitszorgsysteem te veel tijd kost en dat het te veel is gericht op het proces in plaats van op de inhoud.

De onderzochte opleidingen zijn geaccrediteerd toen een aantal onderwijsveranderingen zich nog in de planningsfase bevonden of net waren ingevoerd. In de jaren na de verkregen accreditatie zijn de opleidingen daardoor nog sterk gewijzigd, wat vragen oproept bij de houdbaarheid van de accreditaties.

2.4 Interne kwaliteitszorg aan de Vlaamse instellingen

2.4.1 Organisatie van de interne kwaliteitszorg

Kwaliteitssystemen

Universiteiten gingen vroeger dan hogescholen van start met interne kwaliteitszorg. De kwaliteitssystemen zijn er historisch gegroeide systemen. Nieuwe methodes en technieken worden doorgaans slechts geïntroduceerd als er bij de opleidingen een draagvlak voor bestaat. Bij de universiteiten ligt het zwaartepunt van de interne kwaliteitszorg dan ook sterk bij de opleidingen zelf.

Doordat aan de hogescholen de interne kwaliteitszorg pas later werd geïntroduceerd, was die bij de invoering van het accreditatiestelsel minder ver gevorderd. De hogescholen hebben veelal geopteerd voor een standaardsysteem, zoals TRIS of PROZA, gebaseerd op de principes van EFQM en waar nodig aangepast aan de eigen situatie. In dergelijke kwaliteitssystemen wordt voor negen aandachtspunten het niveau of de kwaliteit van de opleiding afgetoetst volgens een periodiciteit die de instelling zelf kiest. Op die manier worden de kwaliteitszorgactiviteiten in de verschillende hogeschoolopleidingen sterker gestuurd dan aan de meeste universiteiten.

Opleidingscommissies

De hogeronderwijsinstellingen hebben een bestuursstructuur waarin ze op eigen initiatief adviesorganen op opleidingsniveau hebben opgericht, de zogenaamde opleidingscommissies. Het zijn permanente adviesorganen met betrekking tot het beleid en de organisatie van de opleidingen. Hun takenpakket varieert van instelling tot instelling, maar het is in essentie gericht op een permanente bewaking en bijsturing van de kwaliteit van het onderwijs. Zij vormen in feite ook de eerstelijnszorg als problemen bij de opleiding worden aangekaart. Ook hun samenstelling is verschillend van instelling tot instelling, maar de opleidingsverantwoordelijke, de docenten en studenten van de opleiding zijn steeds vertegenwoordigd. In uitzonderlijke gevallen maken ook personen uit het beroepenveld deel uit van de commissie.

Het overgrote deel van de geïnterviewden (docenten, specialisten kwaliteitsbewaking, opleidingsverantwoordelijken en studenten) vinden dat de opleidingscommissie het belangrijkste orgaan vormt voor kwaliteitsbewaking van het onderwijs. Zij zijn ook overwegend tevreden met de werking van het orgaan en met de invloed die zij langs die weg op het onderwijs hebben.

Haaks op die algemene tevredenheid staat de klacht van sommige visitatiecommissies dat opleidingscommissies te weinig invloed en inspraak hebben bij aanwervingen van nieuw personeel. De bevoegdheid voor aanwervingen ligt op een hoger bestuursniveau (rector, raad van bestuur, decaan, faculteit, vakgroepen). In sommige selectiecommissies zetelt wel een beperkte vertegenwoordiging van de opleidingscommissies. De hogere bestuursniveaus hebben volgens een aantal visitatiecommissies bij de selectie meer oog voor onderzoek dan voor onderwijs.

Bepaalde modules van een opleiding worden soms verzorgd door docenten die hiërarchisch onder een andere opleiding ressorteren (het zogenaamde serviceonderwijs). De opleidingscommissie is in die situatie formeel niet bevoegd en heeft bijgevolg slechts beperkte middelen om de kwaliteit van die modules te bewaken en te beïnvloeden.

Plaats van het instellingsbestuur in de interne kwaliteitszorg

Bij de universiteiten legt de organisatiestructuur de bevoegdheden voor de kwaliteitsbewaking voornamelijk decentraal bij de faculteiten. Meestal beslissen in de praktijk de opleidingen zelf. De opleidingscommissies leggen voorstellen van beslissingen voor aan de faculteitsraad, die de voorstellen bijna steeds bekrachtigt. Bij de meerderheid van de hogescholen is de autonomie van de opleidingen minder uitgesproken.

Op het niveau van de instelling bestaat meestal een stafdienst voor onderwijsaangelegenheden. Die dienst staat in voor onderwijsbeleid en -organisatie, kwaliteitszorg en onderwijsinnovatie. Hij fungeert meestal als studiedienst, als ondersteunende dienst of als adviesorgaan voor academische en administratieve aangelegenheden. Onder meer ondersteunt hij bij enquêtes onder studenten. De stafdienst doet echter zelf geen systematisch onderzoek naar de kwaliteit van opleidingen, oordeelt er ook niet over en moet de zelfevaluatierapporten van de opleidingen niet formeel goedkeuren of er formeel kennis van nemen. Hij wordt doorgaans wel betrokken bij het opstellen van het zelfevaluatierapport en staat in voor de coördinatie ervan. De dienst heeft voornamelijk informele adviesmogelijkheden ten aanzien van de onderwijsontwikkelingen en de kwaliteitsbewaking bij de opleidingen.

Uit de bestuursbeslissingen en de gevoerde gesprekken bleek dat het instellingsmanagement en de stafdienst over weinig instrumenten beschikken om tijdig en dwingend op te treden bij kwaliteitsproblemen. In de praktijk blijkt het binnen een instelling, langs hiërarchische weg, moeilijk om de docenten en de verantwoordelijken van een opleiding te overtuigen van kwaliteitsproblemen en hen aan te zetten tot initiatieven.

2.4.2 Toepassing van het accreditatiekader op de interne kwaliteitszorg

Evaluaties

De bezochte universiteiten evalueren permanent de kwaliteit van hun onderwijs volgens een vast schema dat op instellingsniveau is uitgewerkt. De intensiteit verschilt van instelling tot instelling en neemt duidelijk toe in het vooruitzicht van een zelfevaluatie en visitatie. De medewerkers zijn vooral via de opleidingscommissies betrokken. De nadruk ligt wel overal op een evaluatie van de modules en van de docenten door enquêtes onder studenten. De frequentie van de vak- en/of docentenevaluaties varieert van jaarlijks tot vierjaarlijks. Aanvullend of ter vervanging van die evaluaties organiseren sommige opleidingen met kleine groepen studenten hearings of focusgesprekken. De interne kwaliteitszorg houdt ook in dat het curriculum inhoudelijk en op studeerbaarheid wordt geëvalueerd en bijgestuurd. Daartoe worden onder meer specifieke studietijdmetingen uitgevoerd.

De bezochte hogescholen stellen werkgroepen samen die het kwaliteitsniveau van het onderwijs moeten bepalen, onder meer aan de hand van enquêtes onder studenten, personeel, werkveld en alumni.

Het Rekenhof heeft bij de evaluaties die de onderzochte instellingen organiseren, een aantal onvolkomenheden vastgesteld:

– Het instrumentarium voor studietijdmetingen is niet altijd accuraat of is niet aanvaard in de onderwijssector.

– De tijdsbesteding van docenten (onderwijs, onderzoek en maatschappelijk dienstverlening) wordt onvoldoende gerapporteerd en opgevolgd.

– Het assisterend academisch personeel wordt niet rechtstreeks geëvalueerd, hoewel het aanzienlijke onderwijsactiviteiten vervult.

– De studiebegeleiding heeft dikwijls een informeel karakter, waardoor de informatie uit individuele studentencontacten bijna niet wordt gebruikt voor analyses, noch verwerkt in de evaluatie van docenten en vakinhoud.

Bij het gebruik van onaangepaste instrumenten of niet correct gebruik van meetinstrumenten lopen de opleidingen het gevaar dat ze hun zwakke punten niet of onvoldoende detecteren.

Daarnaast worden de resultaten nog te weinig getoetst aan streefdoelen, omdat de opleidingen nog onvoldoende of te weinig concrete doelstellingen hebben geformuleerd. Zo is tijdens het onderzoek vastgesteld dat de opleidingen meestal geen concrete slaagcijfers (interne doelstelling) hadden vooropgesteld. Heel wat opleidingen formuleren hun doelstellingen pas op het ogenblik dat zij het zelfevaluatierapport moeten schrijven. Opleidingen halen hun doelstellingen vaak uit aanbevelingen van vorige visitaties. Doorgaans nemen zij de meeste aanbevelingen van de visitatiecommissies over, behalve de zwakke punten en aanbevelingen waarmee ze niet instemmen. Doelstellingen ontbreken vooral op het vlak van eindkwalificaties van de studenten en kwaliteit van het personeel. De opleidingen doen ook te weinig aan Europese en internationale benchmarking om hun doelstellingen vast te leggen.

Verbetermaatregelen

De verbeterpunten die uit de evaluaties naar voren komen, worden door de meeste bezochte opleidingen en instellingen niet in detail uitgewerkt tot toetsbare streefdoelen en concrete maatregelen waarmee een docent of docentengroep aan de slag kan. De verantwoordelijkheid voor het verbetertraject wordt bij de opleiding als geheel gelegd, zonder aanduiding van personen of organen.

De aanwijzing van de verantwoordelijkheid voor verbetering vormt nog een groter probleem bij onderwijsaspecten waarvoor niet de opleiding, maar het instellingsbestuur de bevoegdheden en middelen heeft (bijvoorbeeld uitbreiding van de personeelsformatie en investering in gebouwen). De vaststelling en planning van dergelijke verbetermaatregelen vragen afspraken en feedback tussen verschillende niveaus. Bij de meeste opleidingen werden hierover klachten genoteerd.

Betrokkenheid van studenten, medewerkers, alumni en beroepenveld

• Studenten

De medewerking van studenten bestaat uit hun participatie aan de overlegorganen die zijn gericht op interne kwaliteitszorg, bestuur of medezeggenschap (opleidingscommissies, faculteitsraden, academische raden) en uit evaluaties van vakken en docenten.

Over het algemeen leveren de hogeronderwijsinstellingen heel wat inspanningen om de studenten te laten participeren. De studenten zelf maken niet steeds voldoende gebruik van de beschikbare kanalen. Daardoor blijkt de inspraak in de praktijk veelal beperkt tot een kleine groep. Het Rekenhof constateerde dat het succes van de studentenparticipatie aan de diverse advies- en overlegorganen sterk verschilt naargelang de instelling of opleiding.

Ook de deelname van studenten aan de verschillende vormen van evaluatie varieert sterk van opleiding tot opleiding. Enkele opleidingen hebben de studentenpeilingen meerdere jaren verdaagd, zonder afdoende verantwoording. In een aantal opleidingen is een enquête over het vak of de docent niet verplicht en wordt het volledig overgelaten aan het persoonlijke initiatief van de docent. Het Rekenhof stelde ook vast dat elektronische raadplegingen vaak resulteren in een zwakke respons. Over het algemeen zijn de raadplegingen over vak of docent niet of amper representatief.

Naast enquêtes organiseert een aantal opleidingen discussies met een representatieve groep studenten (hearings, focusgroepen). Die discussies leveren meer kwalitatieve informatie dan de enquêtes. Zij maken het mogelijk om vastgestelde problemen te remediëren en vormen dus een noodzakelijke aanvulling op algemene peilingen.

• Alumni

De deelname van alumni en personen uit het beroepenveld is zeer beperkt, op enkele uitzonderingen na. De afgestudeerden zijn moeilijk blijvend te motiveren voor een engagement in hun instelling of opleiding zonder dat zij daar nog enig belang bij hebben. Na verloop van tijd verliezen ze voeling met het onderwijs. Toch zijn sommige opleidingen succesvol in het onderhouden van contacten. Dat bleek eerder toe te schrijven aan persoonlijke initiatieven van personeelsleden dan aan een doelbewust beleid van de opleiding. Werkende alumni zijn slechts beperkt beschikbaar voor kwaliteitsbewaking doordat de vergaderingen van de opleidingscommissies vooral tijdens de werkuren plaatsvinden. Bijna alle bezochte opleidingen betrekken hun recent afgestudeerde alumni daarom vooral met specifieke en gerichte enquêtes.

• Beroepenveld

Beroepsgerichte opleidingen schakelen het beroepenveld wel in om het curriculum te actualiseren. Bij dergelijke opleidingen organiseert het beroepenveld zich vaak in beroepsverenigingen, waardoor het duidelijk is tot welke gesprekspartner de opleidingen zich moeten richten. In een aantal opleidingen is de inbreng van het beroepenveld institutioneel verankerd door de vertegenwoordiging in een opleidingsadviesraad. Bij professioneel gerichte bacheloropleidingen zijn er ook vaak contacten met het beroepenveld via de stages. Daarentegen is de betrokkenheid van het beroepenveld matig tot onbestaande bij opleidingen met een breed uitstroomprofiel. Doordat hun afgestudeerden in een brede waaier van bedrijfstakken actief zijn, ondervinden de opleidingen moeilijkheden om hun beroepenveld te definiëren.

• Medewerkers

In de universiteiten participeren de docenten alleen via de opleidingscommissies, faculteitsraden en academische raden in de kwaliteitsbewaking van het onderwijs. Onder docenten worden geen enquêtes georganiseerd. Zij zijn wel betrokken bij de zelfevaluatierapporten.

In de hogescholen zijn door de gehanteerde kwaliteitssystemen (TRIS of PROZA) alle personeelsleden en medewerkers duidelijker betrokken bij de kwaliteitszorg (o.a. via tevredenheidsonderzoeken). Op die manier worden ieders mening en inbreng verwerkt en gehoord door de hogere niveaus.

2.4.3 Kwaliteit van het personeel

Het accreditatiekader vereist dat er voldoende personeel (kwantiteit) wordt ingezet en personeel met het vereiste niveau (kwaliteit) om een opleiding met de vereiste minimale kwaliteit aan te bieden. De hoeveelheid personeel die een opleiding inzet, zegt immers nog niets over de bijdrage van die personeelsleden aan de kwaliteit van de opleiding. De kwaliteit van het personeel is tweeledig: het personeel moet het vereiste niveau hebben (diploma’s, ervaring, onderzoeksprestaties en andere kwalificaties) en het moet zijn intrinsieke kwaliteit ook goed en blijvend aanwenden.

Niet alle bezochte instellingen of opleidingen nemen de vereiste maatregelen als uit opeenvolgende evaluaties blijkt dat een docent ondermaats presteert. Meestal kan een docent zelf bepalen of hij bijsturingen nodig acht, zonder dat daarop wordt toegezien. Aan de meeste instellingen wordt hij bij didactische tekortkomingen bijvoorbeeld niet verplicht om docententraining te volgen. Tot ontslag komt het zelden, omdat die procedure jaren in beslag neemt. Het risico bestaat dat een docent zijn ondermaatse werk nog jaren kan voortzetten. Bijsturen kan enkel door de onderwijsopdracht sterk in te perken en het personeelslid bijna uitsluitend onderzoek en dienstverlening te laten doen of door het personeelslid een volkomen nieuwe functie te geven, meestal buiten de opleiding. Als het personeelslid bijna pensioengerechtigd is, neemt de instelling zelden of nooit maatregelen.

Overigens kan een opleiding niet zomaar nieuw personeel aannemen of een docent vervangen. De personeelskost mag niet meer dan 80% van de werkingsuitkering bedragen en de instelling mag die grens slechts overschrijden, mits ze een saneringsplan uitwerkt.

Ook interne beslissingsprocedures kunnen een hindernis vormen voor het tijdig verhelpen van personeelsproblemen. De opleidingscommissie formuleert een voorstel voor de faculteitsraad betreffende een personeelsaangelegenheid. De faculteitsraad formuleert op zijn beurt een advies voor de raad van bestuur. Het is de raad van bestuur die bevoegd is voor personeelsaangelegenheden, zoals aanstelling en ontslag, en die een beslissing treft.

2.4.4 Conclusie interne kwaliteitszorg Vlaanderen

De invoering van het accreditatiestelsel heeft de opleidingen bijkomende impulsen gegeven om hun interne kwaliteitszorg te ontwikkelen. Die ontwikkeling is nog aan de gang en wordt permanent bijgestuurd.

Op opleidingsniveau zijn de opleidingscommissies het best geplaatst om de kwaliteit te bewaken en te stimuleren. Zij leveren in de praktijk grote inspanningen, maar worden nog te weinig betrokken bij de aanwerving van personeelsleden.

De stafdiensten bieden aan de opleidingen methodes en ondersteuning voor kwaliteitsbewaking. Het instellingsbestuur en de stafdiensten beschikken echter over weinig instrumenten of systemen om tijdig op te treden en van de opleidingen verbetermaatregelen af te dwingen.

Het niveau van de interne kwaliteitszorg is op opleidingsniveau gemiddeld voldoende, maar er zijn nog belangrijke onvolkomenheden:

– De betrokkenheid van medewerkers, studenten en beroepenveld kent belangrijke lacunes.

– Om de evaluaties te kunnen uitvoeren die het accreditatiekader voorschrijft, ontbreekt het aan goed beschreven, concrete streefdoelen waarvoor personeelsleden of vakgroepen verantwoordelijk worden gesteld.

– De meeste instellingen organiseren peilingen (bijvoorbeeld studentenpeilingen, studietijdmetingen, aansluiting op arbeidsmarkt), maar er bestaat nog geen consensus over de optimale methode of techniek.

– De instellingen hebben weinig vat op ondermaats presterende personeelsleden.

– De verantwoordelijkheid voor de realisatie van verbeteringen is zelden toegewezen.

3 EXTERNE KWALITEITSZORG

3.1 Inleiding

Dit hoofdstuk geeft een antwoord op de vraag hoe de externe kwaliteitszorg verloopt en of die leidt tot gefundeerde accreditaties. Ten eerste werd onderzocht hoe de opleidingen invulling geven aan de zelfevaluatie. Ten tweede werd nagegaan of de Vlaamse evaluatieorganen een goede invulling geven aan de wettelijke eisen inzake visitatie en of zij de informatie leveren die de NVAO nodig heeft om tot accreditatie over te gaan. De Nederlandse VBI’s zijn private marktpartijen en behoren daarmee niet tot het controledomein van de Algemene Rekenkamer. Wel is nagegaan in welke mate de VBI’s die op de VBI-lijst van de NVAO voorkomen, aan bepaalde vereisten voldoen. Ten derde werd de werking en besluitvorming van de NVAO onderzocht.

Externe kwaliteitszorg wordt gedefinieerd als het deel van de kwaliteitszorg waarbij externen de prestaties van een opleiding bekijken en beoordelen. Strikt genomen bevat externe kwaliteitszorg dus enkel visitatie en accreditatie en hoort de zelfevaluatie bij interne kwaliteitszorg. Toch wordt de zelfevaluatie in dit hoofdstuk behandeld, omdat opleidingen verplicht zijn een zelfevaluatierapport te schrijven ten behoeve van de visitatie. In dit kwaliteitszorgstelsel is de zelfevaluatie de interne voorbereiding van de visitatie en een belangrijke informatiebron voor de visitatiecommissie.

In het zelfevaluatierapport moet de opleiding een volledig en kritisch beeld van zichzelf schetsen: alle aspecten van de opleiding worden globaal bekeken, waar dit in de dagelijkse kwaliteitszorg eerder gefragmenteerd gebeurt. De opleiding moet alle noodzakelijke informatie (enquêtes, metingen, rapporten enz.) verzamelen, haar prestaties op basis van die informatie analyseren en neerschrijven in een rapport. De structuur van het zelfevaluatierapport is afgestemd op de accreditatiekaders.

Het zelfevaluatierapport dient als vertrekpunt voor de externe beoordeling door de visitatiecommissies, georganiseerd door de VBI’s in Nederland en de evaluatieorganen VLIR en VLHORA in Vlaanderen. De VBI’s en evaluatieorganen hebben bezoekschema’s voor de visitaties uitgewerkt en het verloop van de visitaties in handleidingen, de zogenaamde visitatieprotocollen, uitgewerkt. De feitelijke beoordeling is in handen van een visitatiecommissie, die daarvoor steunt op de onderwerpen, facetten en criteria van de accreditatiekaders (zie 1.3) en haar bevindingen neerschrijft in een visitatierapport. De commissie dient bij de beoordeling van alle facetten een vierpuntenschaal te hanteren, gaande van onvoldoende, voldoende, goed tot excellent.

De visitaties hebben naast een verantwoordingsfunctie ook een verbeterfunctie. De commissies formuleren in het visitatierapport concrete aanbevelingen ten aanzien van de opleiding en besteden aandacht aan de opvolging van de bevindingen en aanbevelingen van de vorige visitaties. De visitatiecommissies moeten de volgende specifieke deskundigheden bevatten:

– domeinspecifieke deskundigheid in de discipline en het afnemend beroepenveld;

– onderwijsdeskundigheid;

– evaluatiedeskundigheid;

– deskundigheid in de internationale ontwikkelingen van de discipline.

Het visitatierapport wordt met de accreditatieaanvraag naar de NVAO gestuurd. Het moet de NVAO in staat stellen te beoordelen of de opleiding voldoet aan de eisen die de accreditatiekaders opleggen. Door de accreditatieverlening stelt de NVAO vast dat de opleiding over voldoende basiskwaliteit (generieke kwaliteitswaarborgen) beschikt.

In Nederland heeft de NVAO bij de invoering van het accreditatiestelsel overgangsregelingen afgesproken met de koepels van de universiteiten en hogescholen. Met de universiteiten is afgesproken dat opleidingen die pas waren gevisiteerd of op dat moment in het proces van visitatie zaten, een vervroegde accreditatieaanvraag konden indienen. Daarbij steunde het oordeel gedeeltelijk op informatie uit de zelfevaluatie en visitatierapporten van de oude ongedeelde opleiding en gedeeltelijk op plannen met betrekking tot de nieuwe BaMa-opleidingen (NVAO i.o., 2003 en NVAO, 2006a).

De Algemene Rekenkamer en het Rekenhof hebben de zelfevaluatierapporten en de visitatierapporten van de geselecteerde opleidingen bestudeerd en met elkaar vergeleken. In Nederland werden met de twee grootste en een kleinere VBI gesprekken gevoerd. In Vlaanderen zijn de dossiers van de onderzochte opleidingen bij de evaluatieorganen en bij de NVAO opgevraagd. De vaststellingen hebben als basis gediend voor de casuïstieke vragen die aan de VLIR, VLHORA en NVAO zijn gesteld. Omdat is gebleken dat het visitatieproces na de aanloopperiode een zekere evolutie heeft gekend, zijn ook recente visitatierapporten beperkt in het onderzoek betrokken.

3.2 Zelfevaluatie in Nederland

3.2.1 Wet- en regelgeving

Het Nederlandse accreditatiekader bepaalt dat een instelling een zelfevaluatie dient uit te voeren. Het zelfevaluatierapport geeft een beschrijving en een evaluatie van de opleiding aan de hand van ten minste de onderwerpen, facetten en criteria uit het accreditatiekader. De VBI dient de kwaliteit van het zelfevaluatierapport te beoordelen, dat wil zeggen dat het ook voldoende zelfkritisch moet zijn. Instellingen moeten in het zelfevaluatierapport de uitkomsten voor alle varianten van een opleiding (voltijd, deeltijd of duaal) afzonderlijk beschrijven, het niveau (bachelor of master) en de oriëntatie (HBO of WO) beargumenteren en de initiële of postinitiële status van de opleiding vermelden (NVAO, 2003a).

De onderzochte WO-opleidingen zijn vervroegd geaccrediteerd volgens de overgangsregeling. Omdat zij in het oude visitatiestelsel in 2003 of 2004 zijn beoordeeld of het beoordelingstraject nog niet hadden afgerond, is afgesproken dat het zelfevaluatierapport en het visitatierapport deels van toepassing konden worden verklaard op de accreditatieaanvraag. Die rapporten hadden betrekking op de oude doctoraalopleiding en waren opgesteld volgens het oude stelsel. Informatie over de doelstellingen, het programma, de formele eisen en de interne kwaliteitszorg daarentegen kon niet worden overgenomen, maar moest betrekking hebben op de nieuwe BaMa-opleidingen en voldoen aan de eisen van het accreditatiekader. Opleidingen konden voor die onderwerpen aanvullende informatie aanleveren (NVAO i.o., 2003).

3.2.2 Zelfevaluatierapporten

Kwaliteit en aanpak

Alle onderzochte HBO-opleidingen hebben een zelfevaluatie uitgevoerd en de uitkomsten beschreven in een zelfevaluatierapport. De rapporten beschrijven de stand van zaken van alle facetten uit het accreditatiekader en geven ook verbeterpunten aan.

De zelfevaluatierapporten van de WO-opleidingen uit het oude visitatiestelsel dateren van 2001 of 2002. Ze zijn allemaal volgens de richtlijnen van het oude stelsel geschreven. Door een sterkte-zwakteanalyse toonden opleidingen aan reflectief te zijn over hun opleiding. Voor de vervroegde aanvragen kwamen in aanvullende zelfevaluatierapporten die punten aan de orde die niet uit de beoordeling van de doctoraalopleiding konden worden overgenomen. Soms stelden VBI’s ook nog extra vragen. Opleidingen gaven daarop antwoord in de vorm van een aanvullende notitie. Daarin kwamen verbeteracties niet expliciet aan de orde, omdat de informatie grotendeels slechts plannen betrof.

Opleidingsmanagers in het HBO en WO gaven vaak aan dat het schrijven van het zelfevaluatierapport veel tijd en moeite kost: de schattingen voor bestede tijd lopen uiteen van drie tot zes maanden. Opleidingen worden daarbij vaak ondersteund door centrale diensten, die meestal richtlijnen of draaiboeken hebben opgesteld. Een daarvoor samengesteld team stelt het zelfevaluatierapport op. Met de eerste voorbereidingen wordt meestal één of twee jaar van te voren gestart. In het WO vonden de betrokkenen het vooral lastig een aanvullend zelfevaluatierapport voor de vervroegde aanvraag te schrijven, omdat de te accrediteren BaMa-opleidingen nog slechts op papier bestonden. Ook viel hen de hoeveelheid werk tegen. Hoewel de vervroegde accreditatie bekend stond als een lichtere toets, moest nog veel informatie worden aangeleverd. Bovendien vond een aantal van hen het een procedureel en bureaucratisch proces.

Het systeem van interne kwaliteitszorg zou in beginsel structuur moeten bieden voor een efficiënte uitvoering van een zelfevaluatierapport. Dat was bij de onderzochte opleidingen minder het geval: zij behoorden tot de eerste te accrediteren opleidingen en de inrichting van de interne kwaliteitszorg was destijds niet geheel uitgekristalliseerd. Het opstellen van het zelfevaluatierapport kostte die opleidingen dan ook meer moeite dan opleidingen waar de interne kwaliteitszorg al uitgedacht en in werking was.

Functies

Tijdens het opstellen van een zelfevaluatierapport dient een opleiding zich reflectief op te stellen. Naast een verantwoordingsfunctie, heeft het zelfevaluatierapport immers een verbeterfunctie. In de praktijk blijkt echter dat het accreditatiestelsel niet uitnodigt tot openheid, maar juist tot een strategische opstelling, omdat openheid zware consequenties kan hebben. Een zelfevaluatierapport dat open rapporteert over de te verbeteren onderdelen, leidt tot een eveneens kritisch visitatierapport, dat de zwakke punten benoemt en op zijn beurt kan leiden tot een negatief accreditatiebesluit. In de loop der jaren zijn opleidingen en instellingen daarom zorgvuldiger gaan formuleren. Zo werd tijdens een gesprek gezegd dat een opleiding vroeger in alle oprechtheid een document schreef, maar nu veel meer schrijft met de mogelijke interpretatie van de VBI en NVAO in het achterhoofd. Toch heeft een aantal opleidingsmanagers verklaard dat ze zich transparant opstellen in het zelfevaluatierapport omdat een goede commissie de zwakke punten toch detecteert. Het belang van strategisch formuleren blijven ze terdege beseffen.

3.2.3 Conclusie zelfevaluatie in Nederland

De Algemene Rekenkamer constateerde dat de opleidingen de zelfevaluatierapporten conform de regelgeving hebben opgesteld.

De verbeterfunctie die het rapport naast de verantwoordingsfunctie dient te hebben, komt in de praktijk minder goed uit de verf. Opleidingen wegen namelijk zeer zorgvuldig af welke verbeterpunten ze in het rapport opnemen en hoe ze die het beste kunnen formuleren. De vrees om de accreditatie mis te lopen, komt de transparantie in hun rapportering niet ten goede.

Het opstellen van een zelfevaluatierapport heeft de opleidingen veel tijd gekost en werd door een aantal als een bureaucratisch proces ervaren.

3.3 Zelfevaluatie in Vlaanderen

3.3.1 Wet- en regelgeving

In het Vlaamse accreditatiekader is vastgelegd dat de te accrediteren opleidingen een zelfevaluatierapport moeten opmaken. De opleiding deelt daarin haar sterke en zwakke kanten mee en formuleert verbetermaatregelen. In hoofdstuk 2 van het visitatieprotocol van de evaluatieorganen is nader vastgelegd hoe het verslag moet worden opgemaakt en aan welke criteria het moet beantwoorden. De NVAO heeft haar gezaghebbend advies verleend aan het protocol.

3.3.2 Zelfevaluatierapporten in Vlaanderen

Aanpak

De onderzochte opleidingen deelden mee dat een zelfevaluatie hen dwingt een oplossing te vinden voor hangende problemen en daarvoor een draagvlak te vinden bij het personeel. Volgens de visitatieprotocollen dient een zelfevaluatierapport immers de visie van de hele opleiding weer te geven. De opleidingen stelden voor de redactie van een zelfevaluatierapport zes maanden voorop.

De opleidingen krijgen voor hun zelfevaluatie ondersteuning van centrale diensten, die draaiboeken ontwikkelen, rapporten nalezen en cijfermateriaal aanleveren. Het werk wordt verdeeld tussen diverse personen van een opleiding. Vaak wordt gewerkt met werkgroepen of leescommissies. Uit het onderzoek blijkt dat sommige opleidingen moeite hebben met een goede taakverdeling. De redactie berust soms te sterk bij één persoon, zodat de betrokkenheid van de rest van het personeel te beperkt is.

Het betrokken instellingsbestuur keurt het zelfevaluatierapport officieel goed. Formeel en strikt juridisch ligt de eindverantwoordelijkheid van het zelfevaluatierapport dus bij de instelling. In de praktijk heeft het instellingsbestuur slechts een begeleidende rol en ligt de verantwoordelijkheid eerder bij de opleiding zelf. Zij ondervindt nauwelijks inhoudelijk sturing of toezicht van het instellingsniveau.

Kwaliteit

Globaal gezien voldoen de zelfevaluatierapporten aan de gestelde vormelijke en inhoudelijk eisen. Ze zijn altijd het eindresultaat van een interne evaluatie door de opleiding en behandelen alle onderwerpen en facetten van het accreditatiekader. Meestal zijn de zelfevaluatierapporten lijvig en bevatten ze veel algemene beschrijvingen. Volgens de visitatiecommissies zijn ze bruikbaar en meestal voldoende informatief. Ze formuleren meestal sterke en zwakke punten, maar die zijn in de rapporten niet altijd helder gedocumenteerd. De zelfevaluatierapporten missen vaak concrete informatie om een vergelijking tussen de opleidingen over de verschillende instellingen mogelijk te maken. Dikwijls ontbreekt zelfs informatie over facetten die gemakkelijk te kwantificeren zijn, zoals kwantiteit personeel en studietijd. Daardoor wordt de visitatiecommissie beperkt of belemmerd in de beoordeling en benchmarking. Inhoudelijk kunnen de zelfevaluatierapporten dan ook nog worden verbeterd.

Tijdens de interviews kwam geregeld naar voren dat opleidingen onzeker zijn over de kwaliteit van hun zelfevaluatierapport. De opleidingen zijn vragende partij om meer feedback te krijgen van de visitatiecommissie. De visitatierapporten gaan maar summier in op de kwaliteit van de zelfevaluaties, terwijl het oordeel van de commissie daar voor een groot deel op steunt.

Functies

Het zelfevaluatierapport heeft een dubbele functie, een verbeter- en een verantwoordingsfunctie. Die functies staan in een gespannen relatie tot elkaar. Een zelfevaluatie is voor alle interne en externe actoren slechts nuttig als een opleiding voldoende kritisch is ten aanzien van haar prestaties en dat correct in haar rapport neerschrijft. Een correcte en volledige rapportering wordt echter bemoeilijkt doordat het zelfevaluatierapport niet alleen voor intern gebruik is bedoeld, maar ook dient voor een externe beoordeling, met consequenties voor het voortbestaan van de opleiding. De visitatiecommissie steunt voor haar beoordeling sterk op de informatie uit het zelfevaluatierapport. Hoe meer zwakke punten een opleiding meedeelt, hoe kwetsbaarder zij zich opstelt en hoe groter het risico op kritiek en een minder goede beoordeling. De redactie van het rapport blijkt dan ook een delicate evenwichtsoefening. De opleidingen getuigden open te zijn geweest, maar stelden ook dat de beschrijvingen en conclusies het resultaat zijn van grondig wikken en wegen. Opleidingen getuigden dat ze in de volgende visitatieronde nog voorzichtiger zullen zijn: ze zullen de zelfkritiek minder nadrukkelijk formuleren en het evenwicht van zwaktes en sterktes beter afwegen. Opleidingen die bij de afgeronde visitatie lager werden gequoteerd dan verwacht, blijken daar sterker de neiging toe te hebben.

3.3.3 Conclusie zelfevaluatie in Vlaanderen

De zelfevaluatierapporten voldoen aan de formele eisen en zijn bruikbaar voor de visitaties. Ze zijn voldoende informatief, bevatten sterke en zwakke punten, hoewel ze toch dikwijls te beschrijvend zijn en voor verschillende onderwerpen kwantitatieve, exacte en vergelijkbare kwalitatieve informatie missen. De opleidingen zijn doorgaans open in hun zelfevaluatierapporten, maar op een diplomatieke manier. De verantwoordingsfunctie van het zelfevaluatierapport zet de opleiding immers aan tot voorzichtigheid. Het belang en nut van het zelfevaluatierapport worden door alle opleidingen correct begrepen. Ze investeren bijgevolg kwantitatief en kwalitatief sterk in hun zelfevaluatie. De betrokkenheid bij de redactie van het zelfevaluatierapport is niet altijd evenwichtig verdeeld over de personeelsleden.

3.4 Visitatie in Nederland

3.4.1 Wet- en regelgeving

De WHW schrijft voor dat instellingsbesturen, zoveel mogelijk in samenwerking met andere instellingen, voorzien in een regelmatige beoordeling, mede door onafhankelijke deskundigen, van de kwaliteit van de opleidingen. De NVAO moet jaarlijks aan de instellingen bekend maken welke instanties de opleidingen kunnen beoordelen. Die beoordelende en visiterende instanties, de VBI’s, zijn onafhankelijke marktpartijen waarvan de kwaliteit wordt bewaakt door de NVAO. De VBI stelt een commissie samen, die de opleidingen bezoekt en een visitatierapport schrijft.

In het beoordelingsprotocol voor VBI’s staat beschreven hoe de NVAO oordeelt of de VBI op de jaarlijkse VBI-lijst wordt geplaatst. Daartoe voert de NVAO audits uit bij VBI’s, waarbij ze nagaat of de VBI zich in de praktijk houdt aan de vereisten waaraan ze dient te voldoen. VBI’s moeten namelijk hun beoordeling op de accreditatiekaders baseren. Op basis daarvan stellen ze een eigen protocol vast, waarin ze bepalen hoe zij de kwaliteit van de opleidingen beoordelen. Verder houdt de NVAO rekening met de kwaliteit van de ingediende visitatierapporten en voert zij regelmatig overleg met de VBI’s (NVAO, 2007b).

Opleidingen kunnen ook opteren voor VBI’s die niet op de VBI-lijst staan. De NVAO toetst dan later of de totstandkoming en de kwaliteit van het visitatierapport voldoende zijn gegarandeerd (NVAO, z.d. a).

3.4.2 VBI’s

VBI-lijst

Momenteel komen de volgende VBI’s op de lijst van de NVAO voor:

– ASIIN: Fachakkreditierungsagentur für Studiengänge der Ingenieurwissenschaften, der Informatik, der Naturwissenshaften und der Mathematik e.V.

– EAPAA: European Association for Public Administration Accreditation.

– FIBAA: Internationale Stiftung für Qualität bei Bachelor en Masterstudiengängen; Foundation for International Business Administration Accreditation, onder voorwaarde van accreditatie door de Duitse Stiftung zur Akkreditierung von Studiengängen.

– Hobéon: Hobéon Certificering bv.

– Certiked: Certiked VBI (handelsnaam), Lloyd’s Register Nederland B.V.

– NQA: Netherlands Quality Agency.

– QANU: Quality Assurance Netherlands Universities.

In de praktijk nemen twee VBI’s het gros van de visitaties voor hun rekening: de NQA is de grootste VBI voor HBO-bachelors en de QANU visiteert op enkele uitzonderingen na alle universitaire bachelors en masters.

VBI-protocollen

VBI’s leggen hun werkwijze vast in een eigen protocol. De protocollen vormen een operationalisering van de onderwerpen, facetten en criteria van het accreditatiekader. Voor het onderzoek zijn de protocollen van twee VBI’s geanalyseerd. Deze VBI’s hebben ook richtlijnen opgesteld waarin ze aangeven hoe conclusies kunnen worden onderbouwd en welke documenten als bewijsstukken kunnen dienen.

Beide VBI’s scheppen in hun protocol weinig duidelijkheid over welk bewijsmateriaal moet worden aangedragen en hoe dat materiaal wordt beoordeeld. Enerzijds is dat begrijpelijk, want de kwaliteit op facetniveau kan methodologisch gezien op uiteenlopende manieren worden aangetoond. Anderzijds bieden de protocollen de opleidingen weinig duidelijkheid en is het op basis van de protocollen niet goed mogelijk te beoordelen of de methodologie van de VBI’s een valide oordeel oplevert over de (basis)kwaliteit van een opleiding. Zo kan het toetspunt «de eindkwalificaties die de afgestudeerden verworven hebben, komen overeen met de beoogde eindkwalificaties van de opleiding» procedureel of inhoudelijk worden gemeten. In het eerste geval wordt de vraag gesteld of het programma logischerwijs leidt tot realisatie van de eindkwalificaties, in het tweede geval zal de focus meer liggen op de beoordeling van afstudeerwerkstukken of vaardigheden van alumni.

Van alle VBI’s zijn er sommige die zich meer richten op inhoud, andere meer op borgingsmechanismen. Een groot aantal opleidingsmanagers en docenten vond het merkwaardig dat vergelijkbare zaken volstrekt verschillend kunnen worden beoordeeld. Ook de Inspectie van het Onderwijs (2007) constateerde in De staat van het onderwijs dat, afhankelijk van de gekozen VBI, oordelen anders kunnen zijn.

Oordeelsvorming

De Algemene Rekenkamer heeft van alle onderzochte opleidingen het visitatierapport bestudeerd. Het valt op dat oordelen van de commissies soms onhelder zijn. Op basis van de tekst is het lastig te beoordelen of een facet excellent, goed, voldoende of onvoldoende is. Soms ook lijkt het oordeel over een facet onlogisch. De tekst lijkt het eindoordeel over dat facet dan niet te rechtvaardigen. Een voorbeeld is de beoordeling van het facet betrekken van medewerkers, studenten, alumni en beroepenveld. De NVAO stelt als eis dat de partijen actief betrokken zijn. Een VBI schrijft bij een van de opleidingen dat twee van de drie partijen niet betrokken zijn en één slechts matig, en bekritiseert dat er geen structureel contact is met de partijen. Toch krijgt dat facet een voldoende. Een ander voorbeeld betreft het facet beoordeling en toetsing. Het accreditatiekader stelt als eis dat door de beoordelingen, toetsingen en examens adequaat wordt getoetst of de studenten de leerdoelen van (onderdelen van) het programma hebben gerealiseerd. Een VBI schrijft dat het onhelder is hoe eindwerkstukken worden beoordeeld, geeft aan dat de relatie tussen onderwijseenheden en competenties niet helder is en somt nog een aantal kritiekpunten op, maar komt toch tot een voldoende.

De weging van de afzonderlijke facetscores tot een beoordeling op onderwerpniveau kan daardoor onlogisch zijn. Ook docenten en opleidingsmanagers geven aan dat beoordelingscriteria nogal eens onhelder zijn.

Het is van belang dat het facet gerealiseerd niveau eenduidig wordt beoordeeld. Het gerealiseerd niveau van een student bepaalt immers of de opleiding erin is geslaagd haar doelstelling te verwezenlijken en de student voldoende heeft meegegeven om zijn loopbaan met succes te vervolgen. Bovendien kan het gerealiseerd niveau bij benadering gemakkelijk worden getoetst aan concrete producten, zoals tentamenresultaten, maar meer nog aan de hand van afstudeeronderzoeken of stageverslagen. De Algemene Rekenkamer stelde vast dat onvoldoende duidelijk is hoe het gerealiseerd niveau wordt beoordeeld. Zo selecteerden opleidingen zelf eindwerkstukken. Daarnaast gingen visitatierapporten vaak niet in op het aantal beoordeelde werkstukken, noch op de wijze waarop de beoordeling tot stand kwam. Evenmin werd ingegaan op de gehanteerde normen. Van een degelijke onderbouwing van het oordeel was dus geen sprake. De NVAO heeft de VBI’s later expliciet gevraagd meer aandacht te besteden aan de beoordeling van eindwerkstukken. De Algemene Rekenkamer heeft daarop nog enkele visitatierapporten van recente datum gecontroleerd. Zij stelde vast dat de commissie weliswaar aangeeft dat ze eindwerkstukken heeft ingezien, maar de wijze van beoordeling en de criteria blijven onduidelijk.

Uit verslagen van gesprekken tussen de NVAO en VBI’s blijkt dat zij van mening zijn dat de beoordeling van een opleiding geen rekenkundige optelsom mag zijn, maar dat het altijd gaat om inhoudelijke argumentatie.

Werkwijze

De VBI’s hebben ieder een eigen aanpak. Hieronder wordt de werkwijze beschreven van drie VBI’s waarmee de Algemene Rekenkamer heeft gesproken.

De commissieleden van VBI A zijn voor een enkelvoudige opleiding op één locatie ongeveer 25 uur beschikbaar. Dat neemt toe naarmate meerdere curricula of meerdere locaties moeten worden beoordeeld. Omdat opleidingen zeer veel documentatie opsturen, maken de commissieleden een keuze in wat ze lezen en welke punten toelichting behoeven.

VBI B gaat eerst bij een opleiding langs om de stand van zaken en de gevolgen daarvan voor de werkwijze door te nemen. Soms wordt afgesproken een aantal facetten op een hoger niveau, dat wil zeggen op het niveau van de faculteit of de instelling te meten. De VBI laat een opleiding niet een zelfevaluatierapport, maar een managementreview schrijven. Een managementreview is volgens de VBI concreter dan een zelfevaluatierapport omdat het per facet aangeeft in welke mate omschreven doelen zijn bereikt, welke verbetermaatregelen worden ingezet en waar die toe moeten leiden. Opleidingen dienen alleen die informatie te bezorgen die argumenten uit het managementreview onderbouwen. De VBI laat zijn medewerkers vervolgens het voorbereidende werk doen. Zij stellen op basis van de ontvangen informatie voorafgaand aan de visitatie een conceptrapport op, waarin twijfelpunten al worden vermeld. Het beoordelen van de informatie die een opleiding stuurt, kost drie à vier dagen. Op basis van het conceptrapport kan het visitatieteam, dat na een dag voorbereidingstijd een dag op bezoek gaat bij de opleiding, zijn vragen bepalen. Na de visitatie schrijft de secretaris, die in dienst is van de VBI, in drie à vier dagen het visitatierapport.

VBI C benadrukt dat hun commissies op afstand staan van de opleiding. De commissie bestaat uit peers. De secretaris is geen lid van de commissie en draagt niet bij aan de vakinhoudelijke beoordeling. Uit haar protocollen blijkt dat een commissie ongeveer twee dagen bij een opleiding verblijft. Deze VBI is de enige die een spreekuur houdt tijdens het opleidingsbezoek. Studenten en personeel kunnen dan op eigen initiatief de commissie benaderen.

Alle drie de VBI’s geven opleidingen de mogelijkheid invloed uit te oefenen op de samenstelling van de commissie. Opleidingen kunnen bijvoorbeeld leden voordragen of afkeuren. Uiteindelijk bepalen de VBI’s wie wel of niet zitting neemt in een commissie.

Deskundigheid en onafhankelijkheid van de commissies

De meningen van docenten en opleidingsmanagers over de deskundigheid van de commissies zijn divers. Een aantal docenten en opleidingsmanagers is van mening dat de commissies deskundig zijn en de juiste onderwerpen selecteren voor verdere verdieping. Toch heeft een groot aantal andere docenten en managers kritiek op de deskundigheid van commissieleden.

Met name een groot aantal HBO-docenten gaf aan vraagtekens te plaatsen bij de domeindeskundigheid van de commissieleden in de desbetreffende vakdiscipline. Zij gaven aan dat commissieleden slechts in een beperkt deel van de vakdiscipline deskundig zijn of dat er überhaupt geen domeindeskundigen in de commissie zitting hebben en wordt volstaan met twee deskundigen uit het afnemend beroepenveld.

In het WO werd aangegeven dat de gebondenheid aan de Nederlandse taal beperkingen meebrengt voor de keuze van commissieleden. Om onafhankelijkheid te kunnen garanderen, bestaan de commissies vaak uit leden die zelf niet meer actief deelnemen aan het onderwijs en daardoor niet altijd op de hoogte zijn van de meest recente wijzigingen in het onderwijs.

Opleidingen hebben op de onafhankelijkheid van de commissieleden weinig kritiek. De Algemene Rekenkamer is echter opgevallen dat het bijna onmogelijk lijkt volstrekte onafhankelijkheid van commissieleden te garanderen als de vakdiscipline erg klein is, wat zich in het WO wel eens voordoet.

Hoe de NVAO oordeelt over de vereisten waaraan de Nederlandse commissies moeten voldoen, komt in 3.6 aan de orde.

3.4.3 Conclusie visitatie in Nederland

Het gros van de visitaties wordt uitgevoerd door slechts twee van de VBI’s op de lijst met onafhankelijke marktpartijen.

De visitatiecommissies hebben een beperkte tijd voor het hele visitatieproces. Er vindt een taakverdeling plaats. Zo kan het voorkomen dat het oordeel over een onderwerp feitelijk wordt voorbereid door één of slechts een zeer beperkt aantal commissieleden.

VBI’s hebben hun werkwijze vastgelegd in een protocol. Dat biedt echter niet altijd voldoende houvast om te kunnen oordelen of de gehanteerde methodologie een valide oordeel oplevert over de basiskwaliteit van een opleiding. In de visitatierapporten zijn de oordelen over de facetten en de onderwerpen niet altijd logisch af te leiden uit de bijbehorende argumentatie. Daarnaast is het niet onmogelijk dat verschillende commissies tot een verschillend oordeel komen. De onderzochte instellingen hebben uiteenlopende ervaringen met de deskundigheid van de commissies.

Vanwege het bijzonder belang van het facet gerealiseerd niveau heeft de NVAO extra aandacht gevraagd voor de beoordeling van eindwerkstukken. De Algemene Rekenkamer heeft echter vastgesteld dat die beoordeling, en dan voornamelijk de criteria die daarbij worden gebruikt, in de visitatierapporten onduidelijk blijft.

3.5 Visitatie in Vlaanderen

3.5.1 Wet- en regelgeving

In Vlaanderen heeft de decreetgever de VLIR en de VLHORA aangeduid als evaluatieorganen (artikel 93 van het structuurdecreet). De opleidingen van eenzelfde domein worden gezamenlijk of geclusterd gevisiteerd en beoordeeld. Het evaluatieorgaan stelt in overleg met de te visiteren opleidingen een visitatiecommissie samen. De Erkenningscommissie bekrachtigt de samenstelling.¹ Het evaluatieorgaan levert de secretaris van de visitatiecommissie en bewaakt de onafhankelijkheid, de transparantie en de gelijkvormige uitvoering van het gehele visitatieproces. Decretaal is ook bepaald dat de beoordelingen van de visitatiecommissies in een openbaar verslag moeten uitmonden en dat de instellingen in hun beleid gevolg moeten geven aan de uitkomsten van de kwaliteitsbeoordeling.

In tegenstelling tot de VBI’s in Nederland hoeven de VLIR en de VLHORA niet door de NVAO te worden erkend om te kunnen optreden als evaluatieorgaan. Toch hebben zij een gezamenlijk visitatieprotocol ter advisering aan de NVAO voorgelegd, waarin zij regels hebben bepaald voor de samenstelling van de visitatiecommissie, de werking ervan en de rapportering. Hun evaluatieprocedures en hun methodiek zijn door de NVAO goed bevonden.

3.5.2 Evaluatieorganen in Vlaanderen

Onafhankelijkheid van het evaluatieorgaan

De VLIR en VLHORA zijn instellingen die oorspronkelijk als advies- en overlegorganen werden opgericht door de universiteiten en hogescholen. De vertegenwoordigers van de universiteiten en hogescholen zetelen daardoor ook in het bestuur van de evaluatieorganen. Bij het onderzoek heeft het Rekenhof er dan ook op gelet of de universiteiten en hogescholen de visitaties niet beïnvloeden in hun hoedanigheid van bestuurslid van het evaluatieorgaan.

Uit het onderzoek bleek dat de evaluatieorganen hun werkzaamheden goed hebben afgebakend en daardoor mogelijke belangenvermenging goed hebben ingeperkt. Zij garanderen een onafhankelijke werking en besluitvorming door zich als evaluatieorgaan strikt te beperken tot de organisatie van de visitatie. De evaluatieorganen komen niet tussenbeide bij de formulering van het oordeel over een opleiding. Het evaluatieorgaan neemt de visitatierapporten enkel in ontvangst en bezorgt ze vervolgens formeel aan de betrokken instellingen. Ook wat betreft het verloop van de visitatie van de onderzochte opleidingen heeft het Rekenhof noch formeel, noch informeel klachten of aanwijzingen betreffende afhankelijkheid of beïnvloeding vastgesteld. Er kan dus algemeen worden gesteld dat er geen aanwijzingen zijn dat de hogescholen of universiteiten de werkzaamheden van de evaluatieorganen of visitatiecommissies beïnvloeden, noch bij visitaties van hun eigen opleidingen, noch bij die van andere onderwijsinstellingen. Er zijn ook geen aanwijzingen dat zij de besluitvorming hebben trachten te beïnvloeden.

De VLIR en VLHORA zijn lid van de ENQA. Daardoor zijn zij verplicht zich door een externe commissie te laten doorlichten, die ook oog moet hebben voor hun onafhankelijkheid. Zo’n extern onderzoek heeft in vergelijking met het Rekenhofonderzoek betrekking op een ruimere visitatieperiode en is meer specifiek gericht op de evaluatieorganen.

Onafhankelijkheid en functioneren van de secretaris

De evaluatieorganen staan zelf in voor de aanwerving van hun secretarissen en stellen ze ook aan. De VLIR heeft alleen vaste secretarissen in dienst met een contract van onbepaalde duur. De VLHORA heeft vaste secretarissen, maar doet daarnaast ook een beroep op losse medewerkers die zijn aangesteld voor een specifieke opdracht (bijvoorbeeld het begeleiden en coördineren van de visitatie van een opleiding aan een bepaalde hogeschool). Er zijn geen garanties dat de tijdelijke secretarissen van de VLHORA hun gegevens voldoende beveiligen. Zij verwerken de informatie van de visitatiecommissie met hun persoonlijke computer en staan zelf in voor de beveiliging ervan. De informatie wordt niet regelmatig overgezet op het centrale computersysteem van de VLHORA. De VLHORA nam nog geen maatregelen om dat gebrek te verhelpen.

De secretaris heeft een belangrijke rol in het visitatieproces. Hij staat niet alleen in voor de organisatie van de visitatie (organisatie vergaderingen, bezoeken opleidingen), maar verzorgt ook de redactie van het visitatierapport op basis van de aantekeningen, suggesties en conclusies van de commissieleden en in samenspraak met de voorzitter. De secretaris is geen lid van de commissie en mag de inhoudelijke beoordeling niet beïnvloeden. Ondanks de belangrijke rol van de secretaris voorziet de huidige regelgeving niet in specifieke onafhankelijkheidseisen voor de secretarissen. Hij moet in tegenstelling tot de commissieleden, geen onafhankelijkheidsverklaring ondertekenen.

Bij de visitatie van een brede cluster van opleidingen zijn er verschillende secretarissen betrokken. Het Rekenhof stelde vast dat bepaalde secretarissen van de VLHORA personeelslid zijn van één van de hogescholen van de cluster. Zij waren niet betrokken bij de visitatie van de eigen instelling. Hoewel de secretarissen een welomschreven rol hebben, houdt een dergelijke situatie risico’s op beïnvloeding van de commissieleden in, vooral omdat sommigen actief aan de visitatie-interviews deelnamen.

3.5.3 Visitatiecommissies in Vlaanderen

Algemene bevinding

In de regel telt een visitatiecommissie vijf of zes leden, met name drie of vier vakdeskundigen, een onderwijsdeskundige en een student. De commissieleden moeten voldoen aan eisen van onafhankelijkheid, deskundigheid en gezag. Bij de vaststelling van de onafhankelijkheid deden zich geen problemen voor. De onafhankelijkheid van de commissieleden wordt dubbel getoetst. Eerst gaat het evaluatieorgaan na of de verschillende commissieleden aan de onafhankelijkheidseisen voldoen, daarna legt het de samenstelling voor aan een erkenningscommissie, die de onafhankelijkheid al dan niet bevestigt.

De visitatiecommissies moeten voor alle opleidingen oordelen of er voldoende generieke kwaliteitswaarborgen zijn. De vereiste waarborgen zijn algemeen en vakoverschrijdend beschreven in het structuurdecreet en op hun beurt gebaseerd op internationaal aanvaarde normen (de zogenaamde Dublindescriptoren). Op basis daarvan ontwikkelt de commissie vóór de visitatie van een opleiding een zogenaamd domeinspecifiek referentiekader met de minimale en domeinspecifieke kwaliteitseisen die ze zal gebruiken om de opleidingen te beoordelen.

De visitatiecommissie maakt voor de beoordeling voornamelijk gebruik van het zelfevaluatierapport van de opleiding, aangevuld met informatie die de opleiding als bijlage en ter staving van het zelfevaluatierapport voorlegt. De commissie moet het zelfevaluatierapport onderzoeken op juistheid en volledigheid, opdat zij er zonder risico op zou kunnen steunen. Daartoe voert zij ter plaatse onder meer gesprekken met personeelsleden en andere stakeholders van de opleiding. Daarnaast steunt haar beoordeling op stukken die zij ter plaatse heeft geraadpleegd, bijvoorbeeld studiemateriaal, verslagen van vergaderingen, masterproeven en stageverslagen. Aan het eind van het visitatiebezoek geeft elk commissielid zijn persoonlijk oordeel over elk onderwerp en facet van het accreditatiekader. Op basis van de verschillende scores komt de commissie in consensus tot een gemeenschappelijk commissieoordeel. Dat oordeel is geen rekenkundige optelling van de verschillende individuele scores. Nadat de bezoeken aan alle opleidingen van een cluster zijn afgerond, wordt de beoordeling van bepaalde facetten van een opleiding uitzonderlijk nog aangepast, omdat de commissie op dat moment een goed beeld heeft van het niveau van de verschillende opleidingen in Vlaanderen.

Het Rekenhof heeft vastgesteld dat de commissies doorgaans op degelijke wijze tewerk gaan, zodat ze tot volkomen en betrouwbare informatie kunnen komen. Ook bleek uit de gesprekken met de NVAO dat de visitatierapporten over het algemeen voldoende betrouwbaar, volkomen en bruikbaar zijn voor de NVAO. De eerste Vlaamse rapporten kampten wel met redactieproblemen, vooral wat betreft de motivering van de beoordeling.

Toch heeft het Rekenhof een aantal risico’s of tekortkomingen vastgesteld in de samenstelling, werkwijze en methodiek van de commissies. Dat kan tot gevolg hebben dat de balans soms negatief wordt. Die risico’s en tekortkomingen worden hieronder beschreven.

Samenstelling, deskundigheid en onafhankelijkheid van de commissies

De samenstelling van de visitatiecommissies die door de VLIR en de VLHORA worden voorgesteld, moet door de Erkenningscommissie worden bekrachtigd. Daarbij doet die commissie een onderzoek naar respectering van de onafhankelijkheidscriteria. Deze wettelijk vereiste tussenkomst blijkt voldoende garanties te bieden voor de onafhankelijkheid van de visitatiecommissies en hun leden.

Volgens het visitatieprotocol is het wenselijk dat minstens één lid – bij voorkeur twee – afkomstig is uit het buitenland. De leden van de commissie moeten over een actieve kennis beschikken van het Nederlands, behalve als de opleiding in een andere taal wordt aangeboden en het zelfevaluatierapport in een andere taal is opgesteld. Die vereiste blijkt een belemmerende of beperkende factor te zijn bij de internationale werving van commissieleden.

Bij de eerste visitaties van Vlaamse universitaire opleidingen bestond de internationale vertegenwoordiging bijna uitsluitend uit Nederlandse vakgenoten. De VLIR hanteert nu als interne richtlijn (die niet in het protocol is opgenomen) dat minstens één buitenlander in de visitatiecommissie moet zetelen die geen Nederlander is. Het blijkt moeilijk te zijn buiten Nederland leden te vinden die actief Nederlands kennen. Om budgettaire redenen hanteert de VLIR de interne richtlijn (evenmin in het protocol opgenomen) dat slechts bij uitzondering commissieleden afkomstig uit niet-Europese landen kunnen worden geworven. Dat maakt het nog moeilijker om geschikte Nederlandstalige kandidaten te vinden. Uitgeweken Vlamingen en Nederlanders buiten Europa worden nog maar heel sporadisch aangesproken. De richtlijn van de VLIR is moeilijk te verzoenen met het streven van het hoger onderwijs (en de Bolognaverklaring) naar internationale afstemming (curriculumontwikkeling, toetsing, niveauvereisten).

In de visitatiecommissies van de hogeschoolopleidingen is de internationale samenstelling doorgaans beperkt tot één Nederlands commissielid. Soms zetelt zelfs geen buitenlands lid in de visitatiecommissie. De internationale samenstelling is er dus heel beperkt en eenzijdig Nederlands.

Algemeen kan worden gesteld dat de internationale samenstelling van visitatiecommissies zowel voor hogescholen als universiteiten breder zou moeten. Daardoor zouden de commissies de opleidingen beter in een internationale context kunnen plaatsen. Momenteel is er een te beperkte toetsing van de doelstellingen, het programma, de eindtermen en het personeel van een opleiding aan gelijkaardige opleidingen in Europa en erbuiten.

In een visitatiecommissie moet ook altijd een student zetelen. De evaluatieorganen hebben het moeilijk om studenten te vinden. In Vlaanderen stelt de Vlaamse Vereniging van Studenten kandidaat-studenten voor aan de evaluatieorganen. De vereniging slaagt er niet altijd in verschillende kandidaten voor te stellen. De clustering van veel opleidingen maakt het voor studenten moeilijk de volledige cyclus te volgen. In dergelijke gevallen gebeurt het dat de andere commissieleden de vragen stellen die de student aan andere opleidingen heeft gesteld. In de praktijk komt het ook geregeld voor dat er geen student in de commissie zetelt.

Het visitatieprotocol stelt dat er domeinspecifieke deskundigheid met betrekking tot het afnemend beroepenveld aanwezig moet zijn in de visitatiecommissie. In het geval van een opleiding waarvan de uitstroom gericht is op een specifieke arbeidsmarktsector, is er bij voorkeur één vakdeskundige uit het beroepenveld. In de praktijk zitten er voor de academische opleidingen nauwelijks mensen uit het beroepenveld in de visitatiecommissies. Bijna alle commissieleden zijn afkomstig uit de academische wereld. Volgens de evaluatieorganen kunnen de mensen uit het beroepenveld zich moeilijk vrijmaken om in een commissie te zetelen. Voor de visitaties van professionele opleidingen blijkt de samenstelling van commissies minder problematisch te zijn. Zij bevatten doorgaans wel leden afkomstig uit het beroepenveld. Op grond van de review van het eerste visitatiejaar kan worden gesteld dat een eenzijdige academische invulling van de commissie een invloed heeft op de beoordeling. Commissies met een meer gevarieerde samenstelling zijn doorgaans kritischer (zie verder onder oordeelsvorming).

Het accreditatiekader en het visitatieprotocol schrijven voor dat naast domein- en onderwijsdeskundigheid ook evaluatiedeskundigheid in de commissie aanwezig moet zijn. De NVAO omschrijft dat als expertise op het vlak van quality assessment and audit expertise (NVAO 2007a). Bij de visitatiecommissies van de onderzochte opleidingen was die expertise zwak vertegenwoordigd. Volgens de evaluatieorganen volstaat ook onderwijsdeskundigheid voor de invulling van de expertise.

Domeinspecifiek referentiekader

In de praktijk wordt het domeinspecifieke referentiekader voornamelijk opgesteld door de voorzitter en de secretaris. De andere leden van de commissie bekijken het kritisch en stellen eventueel aanpassingen voor. Die manier van werken houdt het risico in van overwicht van één commissielid.

Het domeinspecifieke kader bevat doorgaans maar weinig specifieke normen. De commissies geven bijvoorbeeld nooit aan welke personeelsbezetting ze minimaal nodig achten. Het domeinspecifieke kader is ook onvoldoende duidelijk over het minimale curriculum (minimale vakinhoud en minimaal te realiseren competenties). Een te algemeen geformuleerd normenkader is voor een visitatiecommissie geen goed instrument voor de toetsing van de aangeboden opleiding en bemoeilijkt de beoordeling.¹ Bij geclusterde visitaties ontstaat zo het gevaar van overmatige benchmarking van de verschillende opleidingen om tot een oordeel te komen.

Het domeinspecifieke referentiekader is ook heel zwak op internationale toetsing gericht. De beperkte internationale samenstelling van de visitatiecommissies is daarvan mogelijk de oorzaak. Door de eenzijdige inbreng van Nederlandse commissieleden is de internationale toetsing in de praktijk beperkt en zuiver op Nederland gericht.

Het visitatieprotocol schrijft voor dat over het domeinspecifieke referentiekader met de opleidingen gediscussieerd wordt. Slechts enkele commissies boden de mogelijkheid tot discussie. Het referentiekader werd in die gevallen vóór de visitatie aan de opleidingen slechts ter kennisgeving voorgelegd. Een opleiding kan, als ze het oneens is met dat kader, haar specifieke bezwaren laten opnemen in het visitatierapport. Volgens de evaluatieorganen passen de commissies het domeinspecifieke kader aan op basis van de inbreng van de opleidingen, als ze die inbreng bijtreden en belangrijk vinden. Volgens de opleidingen gebeurt dat in de praktijk zelden. Onvoldoende afstemming en bespreking of motivering van het domeinspecifieke kader lokt kritiek uit van de opleidingen en heeft tot gevolg dat de opleidingen bepaalde punten van het domeinspecifieke referentiekader niet of moeilijk aanvaarden. In dergelijke gevallen aanvaarden de opleidingen moeilijker het oordeel en de kritiek van de commissie.

Oordeelsvorming

Aangezien één onvoldoende op het niveau van een onderwerp leidt tot een globale negatieve beoordeling, is het belangrijk dat elk oordeel op niveau is. Het Rekenhof heeft echter vastgesteld dat de werkwijze van de visitatiecommissies een aantal onvolkomenheden of risico’s inhoudt, waardoor een onderwerp niet altijd correct wordt beoordeeld. Het onderzoek wees de volgende problemen aan:

– Nadat een commissie het zelfevaluatierapport heeft doorgenomen, beschikt zij gemiddeld slechts over twee en een halve dag om de informatie te toetsen en aan te vullen. Als blijkt dat het zelfevaluatierapport van slechte kwaliteit is (onjuist, onvolledig) beschikt zij over weinig tijd voor bijkomend onderzoek.

– Gelet op de beperkte onderzoekstijd ter plaatse blijft het onderzoek van de commissie noodgedwongen sterk gericht op de documenten en verslagen. Ze toetst vooral procedures en processen. De commissie heeft bijvoorbeeld wel toegang tot de elektronische leerplatformen en kan cursus- en leermateriaal inkijken, maar haar visitatie blijkt toch minder gericht op de onderwijskundige realiteit.

– Visitatiecommissies beschouwen niet alle onderwerpen van het accreditatiekader als evenwaardig. Zo wordt het onderwerp interne kwaliteitszorg doorgaans minder streng beoordeeld. Zeker in de aanvangsfase van de visitatieronde is bij de visitatiecommissies een zekere terughoudendheid merkbaar om voor dat onderwerp een onvoldoende toe te kennen. Voor opleidingen waarvan de kwaliteit bij de visitatie maar net voldoet, is een sterke interne kwaliteitszorg nochtans primordiaal om hun kwaliteit de komende acht jaar te bewaken en te verbeteren.

– Visitatiecommissies beoordelen een onderwerp niet door de rekenkundige som van de scores voor de verschillende facetten te maken. Sommige facetten krijgen een zwaarder gewicht. Daarnaast wordt het oordeel over een bepaald facet sterk beïnvloed door de kwaliteit van andere facetten en door het algemene beeld over een opleiding. Bij de beoordeling van het facet kwantiteit personeel bijvoorbeeld gaat de commissie niet sec na of de opleiding het minimale personeelskader heeft. Zij houdt rekening met het algemene beeld en niveau van de opleiding of met de score voor facetten die de commissie en de NVAO essentieel achten, zoals gerealiseerd niveau. Een dergelijke werkwijze is tot op zekere hoogte aanvaardbaar, maar maakt de beoordeling voor de verschillende partijen ondoorzichtig. Bovendien houdt de werkwijze risico’s in. Bepaalde facetten die op zich maar net voldoende of zelfs onvoldoende zijn, krijgen soms toch een voldoende. Finaal is het mogelijk dat het niveau voor een onderwerp sluipend en ten onrechte voldoende wordt bevonden.

– Als visitatiecommissies van academische opleidingen hoofdzakelijk zijn samengesteld uit academici, bestaat het gevaar dat de commissieleden te veel begrip hebben voor onvolkomenheden bij een opleiding en bij vakgenoten. Uit de visitatierapporten en de gesprekken met de evaluatieorganen en de NVAO blijkt dat een oordeel daardoor gemiddeld iets gunstiger uitvalt. Het risico is reëel dat de score van een facet dat net onder de maat zit, wordt omgebogen tot voldoende. De commissies rekenen er dan op dat de aangemaande opleiding de aangewezen tekortkomingen zal rechtzetten. Het tolereren van licht ondermaatse opleidingen wordt ook in de hand gewerkt doordat voor onderwijskwaliteit tot nu toe dikwijls geen klare normen worden gehanteerd.

– Visitatiecommissies moeten aan elk facet een score geven. De evaluatieorganen geven slechts een summiere beschrijving van het kwaliteitsniveau dat met een bepaalde score correspondeert (excellent=best practice, goed=geen kanttekening, voldoende=basiskwaliteit, onvoldoende=geen basiskwaliteit). Zij geven niet aan hoe een visitatiecommissie het kwaliteitsniveau moet vaststellen. De commissies lossen dat probleem uiteenlopend op. Een aantal oordeelt bijvoorbeeld dat een opleiding voor een bepaald facet excellent scoort als zij de beste is van haar cluster.

– Omdat de BaMa-hervorming bij de aanvangsfase van de huidige visitatieronde nog niet volledig afgerond was, bekijken visitatiecommissies bij de beoordeling van een opleiding niet alleen de bestaande toestand, maar houden zij ook rekening met plannen. De evaluatieorganen en de NVAO stellen dat er voor de beoordeling van de plannen klare richtlijnen zijn en dat de secretarissen de visitatiecommissie adviseren bij problemen. In de eerste plaats geeft de beoordeling van plannen maar beperkte garanties. Bovendien stelde het Rekenhof vast dat de verschillende visitatiecommissies niet altijd op dezelfde wijze met toekomstplannen omgaan. De evaluatieorganen hanteren ook onderling verschillende richtlijnen. De VLIR adviseert aan de visitatiecommissies alle plannen te bekijken die tijdens het visitatiebezoek worden voorgelegd. De VLHORA geeft het advies alleen plannen mee te nemen als daar in het zelfevaluatierapport expliciet naar wordt verwezen.

– Sommige vakken (meestal de zogenaamde bijvakken) van het curriculum worden verzorgd door docenten die aan een andere opleiding zijn verbonden. Aan die vakken en docenten besteedt de visitatiecommissie weinig aandacht. De commissie beschikt niet over de domeindeskundigheid om dergelijke niet-domeingebonden vakken te beoordelen. Daardoor kan de beoordeling van het curriculum, van de kwaliteit van het personeel en andere facetten onvolledig zijn.

Verplichting tot oordeelsvorming

De regelgeving bepaalt dat een visitatiecommissie voor elk facet en onderwerp van het accreditatiekader een oordeel uitspreekt (structuurdecreet en NVAO, 2005a). Bij een van de eerste visitaties voldeed het visitatierapport niet aan die eis. De commissie formuleerde geen oordeel over het onderwerp inzet van personeel, omdat de opleiding niet de informatie leverde die voor de beoordeling noodzakelijk was. De instelling ontving een onvolkomen rapport, dat niet bruikbaar was om een accreditatieaanvraag in te dienen. De NVAO zou in een dergelijk geval niet anders kunnen dan een hoorzitting organiseren of een aanvullende of nieuwe visitatie gelasten. De instelling besliste geen accreditatieaanvraag in te dienen.

Een evaluatieorgaan moet de commissieleden voldoende opleiding en toelichting geven, opdat zij hun opdracht volgens de formele en inhoudelijke regels uitvoeren. Noch het evaluatieorgaan, noch de secretaris heeft in dit geval effectieve acties ondernomen. De evaluatieorganen beschikken overigens niet over dwingende procedures en middelen om een oordeel van de commissie af te dwingen. Mocht dat wel het geval zijn, dan zou dat de onafhankelijkheid van de commissies in het gedrang brengen. Als een visitatiecommissie geen oordeel formuleert, is dat binnen de huidige opzet van het stelsel voor de evaluatieorganen een onopgelost probleem.

3.5.4 Conclusie visitatie in Vlaanderen

De evaluatieorganen hebben een onafhankelijke beoordeling gegarandeerd door hun opdracht duidelijk af te bakenen van die van de visitatiecommissies. Er zijn geen aanwijzingen dat de onderwijsinstellingen die deel uitmaken van het bestuur van de evaluatieorganen, de werking en besluitvorming van een visitatiecommissie hebben beïnvloed.

De secretarissen van de evaluatieorganen vormen een zwakke schakel voor de garantie van onafhankelijkheid. Zij moeten namelijk geen onafhankelijkheidsverklaring ondertekenen. De hiërarchische band van de meeste secretarissen met het evaluatieorgaan vormt een gevaar voor onopgemerkte beïnvloeding van het oordeel van de commissie. Bij de visitaties van een brede cluster van opleidingen heeft de VLHORA personeelsleden van een van de hogescholen uit de cluster toegelaten als secretaris voor de visitatie van de andere hogescholen. Dat kan de besluitvorming van de commissieleden beïnvloeden.

Visitatiecommissies gaan over het algemeen op degelijke wijze te werk en leveren bruikbare rapporten voor de NVAO. Toch constateerde het Rekenhof een aantal risico’s en tekortkomingen in hun samenstelling, werkwijze en methodiek:

– Er zetelen weinig buitenlandse leden in de commissie, waardoor kansen voor internationale benchmarking worden gemist. Soms zijn de studenten niet vertegenwoordigd en wordt weinig belang gehecht aan de aanwezigheid van evaluatiedeskundigheid. Voorts zijn visitatiecommissies voor universitaire opleidingen te eenzijdig academisch samengesteld en is het afnemend beroepenveld ondervertegenwoordigd.

– Het domeinspecifieke referentiekader wordt maar zelden en dan nog beperkt met de opleidingen besproken. Dat kan ertoe leiden dat de instelling het oordeel van de commissie niet aanvaardt. De minimale domeinspecifieke normen zijn nog te weinig nauwkeurig en te weinig internationaal geïnspireerd.

– De visitatiewerkzaamheden zijn te beperkt ingeval de commissie onvoldoende kan steunen op het zelfevaluatierapport.

– De visitatiecommissies beschikken niet over goede richtlijnen om een kwaliteitsscore toe te kennen. Het is onduidelijk hoe ze tot een oordeel komen voor een bepaald onderwerp of facet. Niet alle onderwerpen of facetten worden bovendien even nauwkeurig of streng beoordeeld.

Als een visitatiecommissie geen oordeel uitspreekt over een onderwerp en het visitatierapport bijgevolg onbruikbaar is, is dat in het huidige stelsel voor de evaluatieorganen een onopgelost probleem.

Masteropleidingen zijn voor een deel op basis van plannen gevisiteerd en geaccrediteerd. Het Rekenhof stelt daarom de garanties in vraag die deze accreditaties geven. Gelet op de accreditatietermijn van acht jaar verhoogt dat de risico’s nog meer in Vlaanderen.

3.6 Accreditatie door de NVAO

3.6.1 Inleiding

De Algemene Rekenkamer en het Rekenhof onderzochten of de NVAO haar opdracht naar behoren vervult. Daarop aansluitend werden de volgende punten bekeken:

– Neemt de NVAO duidelijke beslissingen die voldoende gemotiveerd zijn en worden de beslissingen en rapporten gepubliceerd?

– Hoe gaat de NVAO te werk? Heeft de NVAO een methodiek ontwikkeld om de visitatierapporten kritisch te benaderen? Hoe wordt de voorbereiding van de beslissing georganiseerd?

De interne NVAO-dossiers van de geselecteerde opleidingen werden opgevraagd en besproken met de verantwoordelijke behandelaars. Ze werden getoetst aan de regelgeving en de interne procedures.

3.6.2 Wet- en regelgeving

De NVAO is bij het verdrag van 3 september 2003 tussen Nederland en Vlaanderen opgericht. De NVAO is bevoegd zelfstandig accreditatiebeslissingen te nemen. Beide landen hebben de NVAO opgedragen de hogeronderwijsopleidingen te accrediteren overeenkomstig de toepasselijke regelgeving. De bevoegdheden van de NVAO worden beschreven in hoofdstuk vijf van de WHW. Artikel 59, § 1 van het structuurdecreet bepaalt dat de accreditatie wordt verleend wanneer het accreditatieorgaan op basis van de gepubliceerde externe beoordeling in redelijkheid meent te kunnen besluiten dat voldoende generieke kwaliteitswaarborgen voorhanden zijn.

Het verdrag regelt de financiering van de NVAO en legt ook de uitgangspunten vast voor de uitvoering van haar taak en haar organisatie.

De NVAO bestaat uit een algemeen bestuur, dat 11 leden omvat, en een dagelijks bestuur, dat is samengesteld uit twee Nederlandse en twee Vlaamse leden. De leden worden respectievelijk door de Nederlandse en Vlaamse minister voorgedragen. In 2007 had de NVAO 33 personeelsleden in dienst. Ze beschikt over een jaarlijks budget van ongeveer 6 miljoen euro, waaraan Nederland 60% bijdraagt en Vlaanderen 40% (zie ook hoofdstuk 4 betreffende de kosten van het stelsel).

De NVAO moet zich ook inschakelen in het Europese streven naar de ontwikkeling van een Europese hogeronderwijsruimte. Om dat te verwezenlijken is zij lid van de Europese organisaties ENQA en ECA.

3.6.3 Werkwijze van de NVAO: beschrijving

Basisprocedures

De NVAO heeft haar procedure voor beoordeling van accreditatieaanvragen in interne draaiboeken vastgelegd. Er is daarbij rekening gehouden met alle eisen uit de accreditatiekaders, overgangsregelingen, protocollen en dergelijke.

De directie van de NVAO wijst voor elke accreditatieaanvraag een eerste behandelaar (beleidsmedewerker) aan en een portefeuillehouder (lid dagelijks bestuur). De eerste behandelaar bereidt het dossier voor volgens de procedure van de draaiboeken. Als het geen probleemdossier betreft, brengt de behandelaar advies uit in de vorm van een voornotitie, die wordt goedgekeurd door de portefeuillehouder. Op basis van die notitie, zo nodig vergezeld van het visitatierapport, stelt het dagelijks bestuur een voornemen tot besluit (VtB) vast. Het algemeen bestuur bekrachtigt dat besluit. Als de dossierbehandelaar twijfelt aan zijn eigen oordeel of als de directie of het dagelijks bestuur daar aanleiding toe ziet, kunnen een tweede behandelaar en portefeuillehouder worden ingeschakeld.

Volgens haar procedures waarborgt de NVAO de consistentie in de beoordeling door meerdere personen bij een dossierbehandeling te betrekken en door dossiers per discipline aan beleidsmedewerkers en portefeuillehouders toe te wijzen, tenzij de werkdruk dat niet toelaat. De NVAO geeft ook aan dat zij consistentieonderzoeken uitvoert, waarbij dossiers met elkaar worden vergeleken. De consistentie wordt ook bewaakt door middel van intern en extern (met VBI’s, VLIR en VLHORA) overleg.

De behandeling van een accreditatieaanvraag omvat een aantal administratieve en formele aspecten. Zo moet de accreditatieaanvraag vergezeld zijn van een visitatierapport en van onafhankelijkheidsverklaringen van alle commissieleden, moet de deskundigheid van de commissie de hele breedte van de opleiding omvatten, enz. Daarnaast houdt de behandeling door de beleidsmedewerker een inhoudelijk onderzoek van het visitatierapport in. Hij gaat na of het beoordelingsprotocol dat tussen de NVAO en VBI’s of evaluatieorganen is overeengekomen, naar behoren is gehanteerd. Dat beoordelingsprotocol beschrijft hoe visitatiecommissies oordelen of een opleiding het vereiste niveau heeft. Bovendien controleert de NVAO of het domeinspecifieke referentiekader aan de eisen voldoet. De beleidsmedewerker geeft vervolgens per facet aan of de motivering van de commissie al dan niet aansluit bij haar oordeel. De beleidsmedewerker gaat na of de bevindingen van de commissie, de overwegingen die ze daarbij heeft en de conclusies die ze daaruit trekt, een logisch geheel vormen en of het rapport voor de NVAO voldoende informatie bevat om tot een weloverwogen beslissing te komen.

De accreditatiebesluiten en accreditatierapporten van de NVAO worden integraal gepubliceerd op haar website.

Probleemdossiers

Bij een negatief visitatierapport kan de NVAO tot het besluit komen de opleiding niet te accrediteren. Accreditatieaanvragen met een onvolkomen visitatierapport vormen voor de NVAO probleemdossiers. Als het rapport niet voldoet, zijn er voor Nederland en Vlaanderen verschillende opties mogelijk. Overigens kan elke opleiding haar accreditatieaanvraag tijdens de procedure altijd intrekken.

In Nederland kan de NVAO bij minder ernstige tekortkomingen aanvullende informatie opvragen. De NVAO neemt daarvoor contact op met de VBI en stelt de instelling op de hoogte. De NVAO kan ook besluiten een verificatiecommissie in te stellen, die ze zelf samenstelt. De bevindingen worden gerapporteerd en vervolgens valt alsnog de beslissing over de accreditatie. Omdat bij VBI’s en instellingen behoefte bestond aan meer duidelijkheid over deze procedure, is ze beschreven in een memo (NVAO, 2005b). Als er ernstige tekortkomingen zijn, bijvoorbeeld als de onderbouwing niet goed is, kan de NVAO besluiten het rapport af te keuren. Afkeuring van het rapport leidt tot het niet verlenen van accreditatie. Een instelling krijgt dan één jaar de tijd om een nieuwe aanvraag in te dienen op basis van een nieuw of aanvullend rapport. De vervaldatum van de accreditatie gaat in deze situatie pas in op het moment dat over de nieuwe aanvraag is beslist (WHW art. 5a.9).

In Vlaanderen ligt decretaal vast hoe de NVAO probleemdossiers moet benaderen. Die procedure regelt de behandeling van gevallen waarin de NVAO van mening is dat de externe beoordeling onvoldoende zorgvuldig is uitgevoerd of geformuleerd. De NVAO kan bij minder ernstige gebreken of onvolledige informatie besluiten tot een hoorzitting met de leden van de visitatiecommissie of, als dat niet voldoende is, tot een aanvullende visitatie door dezelfde commissie, met aanvullend rapport. Bij de vaststelling van ernstige gebreken wordt een rapport afgekeurd en wordt het evaluatieorgaan belast met de organisatie van een nieuwe visitatie door een andere commissie.

3.6.4 Werkwijze van de NVAO: analyse

De Algemene Rekenkamer en het Rekenhof constateerden dat de NVAO over het algemeen de nodige procedures goed heeft uitgewerkt en toegepast. Ze neemt duidelijke beslissingen die voldoende gemotiveerd zijn. De beslissingen en rapporten worden gepubliceerd. Enkele punten verdienen echter nog aandacht. Hieronder komen eerst de aandachtspunten aan de orde die zowel in Vlaanderen als Nederland van belang zijn, daarna de landspecifieke kwesties.

Gemeenschappelijke bevindingen

Door de hoge instroom van dossiers zijn lezingen door een tweede behandelaar en portefeuillehouder erg beperkt en vinden er ook bijna geen consistentiechecks plaats. Er is bijgevolg een risico op ongelijke behandeling of beoordeling van opleidingen. Dat risico is moeilijk in te schatten omdat niet kan worden bepaald in hoeveel dossiers, wegens beoordelingsproblemen, een tweede lezing of een consistentiecheck raadzaam is.

De NVAO maakt voor het eindoordeel over een onderwerp uit het accreditatiekader geen louter rekenkundige som van afzonderlijke facetoordelen. De NVAO beschouwt de facetten op grond van hun inhoud niet als evenwaardig. Zo is in de loop der jaren meer nadruk komen te liggen op facetten als gerealiseerd niveau, oriëntatie, kwaliteit en kwantiteit personeel en beoordeling en toetsing. Het oordeel over een bepaald facet wordt sterk beïnvloed door de kwaliteit van andere facetten en door het algemene beeld over een opleiding. Op zich is die werkwijze aanvaardbaar, maar ze is voor externen en voor de betrokken opleidingen niet altijd transparant. Het komt namelijk niet steeds uit de verf dat bepaalde facetten maar net voldoende of zelfs onvoldoende zijn. De ondoorzichtigheid wordt nog versterkt doordat ook de visitatiecommissies een ontoereikend niveau voor een facet verschillend laten doorwegen in de beoordeling, afhankelijk van de waarde die zij eraan hechten.

In haar zelfevaluatie gaf de NVAO aan dat kritische opmerkingen of aanbevelingen steeds meer uit de VBI-rapporten zijn verdwenen (NVAO 2007a). De NVAO erkent dat zij de aanbevelingen in het begin te zeer heeft opgevat als kritiek en daardoor de beoordeling van de commissie niet logisch vond. In Nederland komt het voor dat VBI’s naar de opleidingen aanbevelingen sturen in aparte brieven waar de NVAO geen zicht op heeft. De NVAO geeft aan dat ze intussen een aanbeveling voor de toekomst niet meer als een negatieve conclusie over de situatie op dit moment opvat (NVAO, 2007a). In Vlaanderen hebben de reacties van de NVAO op de eerste visitatierapporten voorlopig niet geleid tot verdringing van de verbeterfunctie van de visitatierapporten.

Bevindingen Nederland

Het is mogelijk dat de NVAO een visitatierapport afkeurt omdat het niet zou voldoen aan alle eisen, terwijl zij eigenlijk de kwaliteit van de opleiding onvoldoende vindt. Op die manier wordt de opleiding alsnog een verbetertraject aangeboden, zonder dat zij met een negatief accreditatiebesluit wordt geconfronteerd.

Uit een aantal dossiers is gebleken dat de NVAO geen bezwaar heeft geformuleerd als een commissie niet aan de vereisten voldeed. Vertrouwen in de commissie vormt nochtans het fundament van het accreditatiestelsel. De commissie bepaalt namelijk sterk de aard en de kwaliteit van de informatie in een rapport en het besluit van NVAO steunt uitsluitend op haar oordeel. Bovendien heeft de NVAO weinig zicht op hoe het visitatieproces in de praktijk verloopt en is zij afhankelijk van wat er in de visitatierapporten is opgenomen over de onafhankelijkheid en deskundigheid van de commissies. De volgende concrete gevallen hebben zich voorgedaan:

– In vier dossiers ontbraken onafhankelijkheidsverklaringen. De NVAO heeft die niet meer opgevraagd bij de VBI’s.

– Bij een beoordeling van een cluster van dezelfde opleidingen was een commissielid niet onafhankelijk van de instelling. Hij heeft deelgenomen aan de visitatie, maar niet aan de oordeelsvorming. De NVAO is daarmee akkoord gegaan.

– In de praktijk accepteert de NVAO een commissie in het HBO als er ter compensatie van een deskundige voor de specifieke vakdiscipline twee deskundigen voor het afnemend beroepenveld en een kundig secretaris zitting in hebben.

Bevindingen Vlaanderen

In Vlaanderen waren er in de startjaren (2005–2006) vooral problemen met de redactie van de visitatierapporten, vooral met de motivering van de beoordeling, en was er een te sterke nadruk op de tekortkomingen. Daardoor moest de NVAO met beperkte garantie oordelen of aan de generieke kwaliteitseisen was voldaan. Uit de onderzoeksgesprekken en de documentatie van de NVAO blijkt dat ook in Vlaanderen wordt aangedrongen op duidelijkere informatie en een duidelijkere normtoetsing in de visitatierapporten. Er zijn nog geen garanties en aanwijzingen dat de visitatiecommissies daaraan voldoende gevolg zullen geven.

Als de NVAO oordeelt dat zij op grond van het visitatierapport en de hoorzitting van de visitatiecommissie geen beslissing kan treffen, kan zij een aanvullende of nieuwe visitatie gelasten. Als voor het aanvullende of nieuwe oordeel recente en nieuwe evoluties of wijzigingen in rekening worden genomen, wordt de opleiding een oneigenlijk (niet-reglementair) verbetertraject toegestaan. Bovendien blijkt in de praktijk dat een zelfde commissie bij een hoorzitting of een aanvullende visitatie maar moeilijk op haar eigen oordeel terugkomt. Zij zal eerder nieuwe elementen en argumenten zoeken om haar oorspronkelijk oordeel te onderbouwen. Het Rekenhof stelde ook vast dat de NVAO haar procedures niet altijd volgt. Zo heeft de NVAO een afstudeerrichting die van de visitatiecommissie de beoordeling «onvoldoende» kreeg voor één van de onderwerpen van het accreditatiekader, toch geaccrediteerd. Dat gebeurde op basis van aanvullende stukken die door de inrichtende instelling werden bezorgd, maar zonder een hoorzitting of bijkomende visitatie te organiseren. Bij bestendiging van die werkwijze komt de correcte invulling van de taak van de NVAO in het gedrang.

De sterkte van de accreditatieonderbouwing is vooral afhankelijk van de kwaliteit van de visitatierapporten. De NVAO is altijd aangewezen op de goede werking van de visitatiecommissies, georganiseerd door de evaluatieorganen. De meest verregaande maatregel die de NVAO kan treffen is een nieuwe commissie vragen, opnieuw georganiseerd door de VLIR of VLHORA. Andere, meer ingrijpende maatregelen kan zij niet treffen. Voor Nederlandse probleemdossiers kan de NVAO wel een eigen verificatiecommissie samenstellen en gelasten met een opdracht.

3.6.5 Conclusie accreditatie door NVAO

De NVAO heeft de invulling van haar opdracht en haar werkzaamheden goed geregeld en afgebakend met reglementen, protocollen en draaiboeken. In de praktijk past de NVAO haar procedures doorgaans goed toe. Zij komt tot duidelijke beslissingen die zij publiceert.

Toch bestaat in de praktijk de kans, vooral bij een hoge instroom van aanvragen, dat de beoordeling van een opleiding onvoldoende wordt nagekeken en afgestemd.

Doordat de NVAO de te beoordelen facetten niet als evenwaardig beschouwt en niet altijd duidelijk is hoe zij de facetten afweegt, is de oordeelsvorming onvoldoende doorzichtig.

In Nederland bestaat het risico dat de NVAO wegens een gebrekkig visitatierapport geen accreditatiebeslissing kan nemen, terwijl zij eigenlijk de kwaliteit van de opleiding onvoldoende vindt. Zo krijgt de opleiding een oneigenlijk verbetertraject. In Vlaanderen bestaat hetzelfde risico als de NVAO een aanvullende of nieuwe visitatie gelast.

Hoewel de Nederlandse commissies niet altijd aan de vereisten van onafhankelijkheid en domeinspecifieke deskundigheid bleken te voldoen, maakte de NVAO daar geen bezwaar tegen.

In Vlaanderen heeft de NVAO in de beginfase een verhoogd risico genomen door bij minder klaar onderbouwde visitatierapporten toch te accrediteren, zonder een hoorzitting of een aanvullende visitatie te organiseren.

De NVAO is sterk afhankelijk van de kwaliteit van de visitatierapporten. Ze heeft weinig instrumenten om eigen onderzoek te verrichten. Zo kan de NVAO een onderwerp van het accreditatiekader dat negatief werd beoordeeld door de visitatiecommissie, niet gunstig beoordelen op basis van nieuwe informatie, zonder een hoorzitting of een aanvullende visitatie. In Vlaanderen kan de NVAO, in tegenstelling tot Nederland, niet zelf een verificatiecommissie samenstellen en sturen.

4 KOSTEN VOOR KWALITEITSZORG

4.1 Inleiding

De Algemene Rekenkamer en het Rekenhof gingen na of de onderwijsinstellingen inzicht hebben in de kosten voor kwaliteitszorg. De totale kosten voor kwaliteitszorg van een opleiding bestaan uit de accreditatiekosten, de visitatiekosten en de kosten voor interne kwaliteitszorg op opleidings- en instellingsniveau.

Het is van belang dat de instellingen en opleidingen voldoende zicht hebben op de kosten, zodat ze beheersbaar zijn. De kwaliteitszorg van de opleidingen kan immers inefficiënt zijn, zelfs als zich geen kwaliteitszorgproblemen voordoen. Ook met het oog op de geplande herzieningen van het accreditatiestelsel is inzicht in de kosten belangrijk.

Aan de bezochte instellingen werd gevraagd welke middelen (personeel en materieel) ze inzetten om de interne en externe kwaliteitszorg te realiseren en of ze de kosten (directe en indirecte) daarvan kennen en opvolgen. Op basis van de informatie uit de stukken en de gesprekken ontstond een algemeen beeld. Het is niet uitgesloten dat het inzicht in de kosten bij sommige instellingen daarvan afwijkt.

De vraag rees ook of de evaluatieorganen in Vlaanderen de middelen (personeel en financieel) hebben om de huidige en de te verwachten visitaties goed te organiseren. In Nederland is die vraag niet gesteld, omdat de VBI’s onafhankelijke private marktpartijen zijn.

Tot slot werd nagegaan of de financiële en personele middelen die de NVAO van Nederland en Vlaanderen ontvangt, zijn afgestemd op het huidige en toekomstige werkvolume.

4.2 Kosten voor kwaliteitszorg in Nederland

4.2.1 Inleiding

Naar aanleiding van signalen uit het hogeronderwijsveld heeft de Tweede Kamer in 2004 vragen gesteld over de kosten die instellingen maken in het kader van de accreditatie. Die zouden namelijk in vergelijking met het oude visitatiestelsel enorm zijn toegenomen. Volgens een onderzoek van de Inspectie van Onderwijs en de Auditdienst OCW (2005) waarbij ze de kosten hebben berekend op basis van een kostprijsmodel, was sprake van een verdubbeling van de externe kosten, dat wil zeggen de vergoedingen die opleidingen aan NVAO en VBI betalen en de subsidie van OCW aan NVAO. Voor de interne kosten, dat wil zeggen kosten verbonden aan het zelfevaluatierapport en aan contacten met VBI en NVAO, werd geen vergelijking gemaakt, omdat dergelijke gegevens binnen het oude stelsel ontbraken. De Inspectie van het Onderwijs en de Auditdienst OCW hebben een globale inschatting gemaakt van de interne kosten per opleiding. Ze kwamen daarbij uit op 55 000 euro, waarvan 34 550 werd besteed aan het zelfevaluatierapport, 16 100 aan contact met de VBI, 2 750 aan contact met de NVAO en 1 600 euro aan drukkosten en verspreiding (Inspectie van het Onderwijs en Auditdienst OCW, 2005).

Om te kunnen vaststellen of de opleidingen zelf zicht hebben op de kosten voor het accreditatietraject, heeft de Algemene Rekenkamer aan de onderzochte opleidingen gevraagd of zij die kosten in kaart konden brengen. Bovendien is in dit onderzoek gevraagd naar de kosten van de reguliere interne kwaliteitszorg. Hieronder worden de resultaten besproken van de inschattingen die de opleidingen hebben gemaakt.

4.2.2 Kosten voor interne kwaliteitszorg

Uit de beschrijvingen die de opleidingen geven van hun kosten voor interne kwaliteitszorg, zijn vier verschillende categorieën te destilleren.

– Een eerste categorie bestaat uit de kosten voor de planning-and-controlcyclus die op bestuurlijk niveau plaatsvindt tussen het instellingsbestuur en het management van de faculteit. Soms worden interne audits uitgevoerd binnen een instelling.

– Een tweede categorie vormen de kosten voor activiteiten die het management uitvoert om de interne kwaliteitszorg op facultair of soms op opleidingsniveau te sturen. Een aantal universitaire opleidingen rekent daartoe ook werkzaamheden van de opleidingscommissies en examencommissies.

– De derde categorie bestaat uit kosten voor de uitvoering van de kwaliteitszorg door specifiek met die taak belaste functionarissen. Vaak bestaat er een kwaliteitszorgteam met administratieve ondersteuning.

– Een vierde categorie vormen de taken die de docenten uitvoeren in het kader van kwaliteitszorg. Vijf opleidingen hebben aangegeven dat docenten vijf tot tien procent per fte besteden aan onderwijsverbetering.

Voor veruit de meeste van de gegevens hebben de opleidingen een inschatting gemaakt en waren de feitelijke kosten dus niet bekend. De meeste opleidingen hebben voor enkele van de vier categorieën gegevens geleverd, vooral voor de tweede en derde categorie. Slechts vier HBO-opleidingen, waarvan er drie tot dezelfde instelling behoren, hebben inzichtelijk kunnen maken hoeveel geld zij besteden aan alle bovenstaande categorieën. Zij hebben de kosten onderverdeeld naar functie, taak, aantal uren en uurkosten. Eén instelling heeft voor haar drie onderzochte opleidingen geen informatie verstrekt.

Een gekwantificeerde vergelijking van de geleverde gegevens over de kosten van de interne kwaliteitszorg is weinig zinvol, omdat of alleen het aantal uren of juist alleen een geldbedrag was vermeld. Bovendien was vaak onduidelijk welke kosten of uren aan welk aspect van kwaliteitszorg is besteed. Daarnaast varieerde de eenheid (faculteit of opleiding) waarin de opleidingen meten. Het is voor de opleidingen niet altijd eenvoudig tot op het opleidingsniveau gegevens te berekenen, omdat bepaalde aspecten van de kwaliteitszorg vanuit de faculteit worden geregeld of zelfs op instellingsniveau plaatsvinden, bijvoorbeeld de verwerking van enquêtes.

4.2.3 Kosten voor externe kwaliteitszorg

Ook de inschattingen van de kosten voor externe kwaliteitszorg variëren van zeer summier tot zeer gedetailleerd. Waar een vergelijking wel in zekere mate mogelijk was, worden hieronder bedragen genoemd. Die bedragen dienen met terughoudendheid te worden geïnterpreteerd omdat kosten hoger of lager zijn naargelang het een bachelor- of masteropleiding betreft, opleidingen geclusterd worden beoordeeld, enz.

De kosten voor de externe kwaliteitszorg kunnen worden opgesplitst in drie categorieën.

– Een eerste categorie bestaat uit de personele kosten voor de voorbereiding en uitvoering van de visitatie. De inschattingen (zeven opleidingen) voor het aantal uren lopen uiteen van 760 tot 1 570 uren. De kosten (acht opleidingen) verschillen tussen de 23 000 en 63 000 euro, met daarnaast een uitschieter van rond de 171 000 euro.¹ Bij de inschattingen tussen de 23 000 en 63 000 euro verschilt de mate waarin diensten van de instelling een rol vervullen bij het proces en de mate waarin de kosten daarvoor worden doorberekend aan de opleidingen of faculteiten. Toch blijven tussen opleidingen verschillen aanwezig in de mate van voorbereiding zelf. Zo wordt bij een aantal instellingen een uitgebreide proefaccreditatie verricht.

– Ten tweede bestaan er facilitaire kosten, zoals de catering, vergoedingen aan studenten, reiskosten en drukkosten van het zelfevaluatierapport. Eén opleiding heeft daaraan rond de 22 000 euro besteed, twee opleidingen 8 500 euro en een opleiding 2 400 euro.

– Tot slot zijn de facturen van de VBI en de NVAO een onderdeel van de kosten voor de externe kwaliteitszorg. Het bedrag van de NVAO is voor alle opleidingen 500 euro. Zeven opleidingen hebben vermeld hoeveel zij aan de VBI hebben betaald. Die kosten liggen voor HBO-bacheloropleidingen meestal rond de 30 000 euro. Voor één universitaire masteropleiding is 8 800 en voor één universitaire bacheloropleiding is 25 000 euro aan de VBI betaald. VBI’s zijn btw-plichtig. Dat werkt door in de facturen.

4.3 Kosten voor kwaliteitszorg in Vlaanderen

4.3.1 Kosten voor interne kwaliteitszorg

Voor interne kwaliteitszorg voorzien de instellingen in hun boekhouding niet in afzonderlijke kostensoorten of -plaatsen. Ze kunnen dus niet aangeven wat de totale kosten zijn voor interne kwaliteitszorg, zeker niet voor elke opleiding afzonderlijk. Daarom kon het Rekenhof enkel tot een beschrijving van de kosten komen en dit op basis van de gevoerde gesprekken.

Elke onderwijsinstelling heeft haar centrale onderwijsdiensten versterkt met het oog op de externe kwaliteitscontrole. Deze diensten zijn meestal niet uitsluitend belast met kwaliteitszorg in beperkte zin, maar bijvoorbeeld ook met internationalisatie en onderwijsinnovatie. De meeste instellingen boeken de personeelskosten van deze diensten op de algemene kostenrekening voor administratief en technisch personeel.

Bij de hogescholen is de versterking van de centrale onderwijsdiensten procentueel aanzienlijk groter dan bij de universiteiten. Bij de bezochte hogescholen telt deze dienst twee tot drie personeelsleden belast met kwaliteitszorg, ongeveer een verdubbeling van het personeel. De universiteiten beschikten vroeger al over vrij ruime centrale diensten. Die diensten zijn ook veel groter bij de twee grootste universiteiten (tot 25 personeelsleden) dan bij de andere. Daardoor is het niet relevant voor de universiteiten de gemiddelde aangroei te bepalen.

Ook bij de faculteiten of departementen is een verhoogde personeelsinzet voor kwaliteitszorg vast te stellen. Meestal wordt bij de universiteiten en hogescholen respectievelijk een voltijds en deeltijds personeelslid ingezet voor de interne kwaliteitszorg en begeleiding van zelfevaluaties van de verschillende opleidingen binnen de faculteit of het departement. Hun salaris wordt aangerekend op het personeelsbudget van de faculteit of het departement. Bij de hogescholen besteedt bovendien een opleidingshoofd naast zijn lesopdracht gemiddeld 30% van zijn tijd aan activiteiten in verband met de kwaliteitszorg van de opleiding. Daarnaast zijn er nog de belangrijke inspanningen van een aantal academische personeelsleden in de kwaliteitszorg die niet worden vertaald in effectieve meerkosten. Tijdens de interviews kwam aan bod dat de permanente opdrachtverzwaring van de opleidingsverantwoordelijken op termijn moeilijk houdbaar blijft.

De kostenstijging voor de onderwijsinstellingen door de invoering van het accreditatiestelsel dient gerelativeerd te worden. Ze wordt deels verklaard door de inspanningen die instellingen en opleidingen nog moesten leveren bij de invoering van de accreditatie, omdat zij voordien nog geen volledig uitgewerkt kwaliteitszorgstelsel hadden.

4.3.2 Kosten voor visitatie

De onderwijsinstellingen boeken de kosten van de externe kwaliteitszorg (visitaties en accreditaties) op een specifieke kostenrekening. De instellingen hebben dus zicht op de kostprijs van de visitatie en de accreditatie van hun opleidingen.

Er is een lichte kostenstijging ten gevolge van het nieuwe accreditatiestelsel. Die wordt veroorzaakt door de hogere eisen die aan de visitatiecommissies worden gesteld. Er moet nu een student aanwezig zijn in de visitatiecommissies en er worden wat meer leden buiten België en Nederland gerekruteerd. Er worden ook hogere eisen gesteld aan de verantwoording van het oordeel van de commissie. Zij moet meer facetten onderzoeken en volgens vastgestelde protocolvereisten rapporteren. Dat laatste punt verhoogt de inzet en de kosten voor de secretaris van de commissie.

Bij de VLIR bedraagt de kostprijs voor de visitatie van een opleiding in de periode 2006–2007 gemiddeld 19 600 euro. De kostprijs van een visitatie is sterk afhankelijk van het aantal opleidingen dat wordt geclusterd en van het aantal visitatiedagen. Dit laatste is lager als een bachelor- en masteropleiding gezamenlijk worden gevisiteerd. De kostprijs van een visitatie kent een sterke spreiding, gaande van 7 600 euro bij clustering van twintig opleidingen tot 60 000 euro voor een enige opleiding.

Bij de VLIR betalen de instellingen de reële kosten van de visitatie. De direct toewijsbare kosten van de visitatiedagen (honoraria, reis- en verblijfskosten) worden exact doorberekend. De vergoedingen en kosten die samenhangen met de redactie van het rapport en overheadkosten, zoals administratiekosten van de VLIR, worden verdeeld via sleutels en percentages.

Bij de VLHORA gebeurt de prijsvorming anders. Hij hanteert twee kostenfacturen: één met vaste tarieven en één met variabele kosten. Voor de visitaties van 2007–2011 rekent de VLHORA op de vaste factuur het volgende aan:

– 19 700 euro voor een enige initiële opleiding.

– 14 550 euro voor een enige bachelor-na-bachelor of master-na-master.

– 7 700 euro voor een geclusterde visitatie van een opleiding.

Dit vaste tarief dekt de vergoedingen van de commissieleden en de secretaris, evenals de personeelskosten (overhead) van de afdeling visitaties van de VLHORA.

Daarnaast worden de reële en variabele kosten aangerekend voor de redactie, publicatie en verzending van de openbare visitatierapporten en, in voorkomend geval, beperkte onvoorziene kosten. Bovendien moeten de hogescholen zelf instaan voor de organisatie en de kosten van het verblijf van de visitatiecommissie. Een doorsnee verblijffactuur kan op 2 000 euro per opleiding worden geraamd.

De prijsvorming bij de VLIR en de VLHORA verschilt dus licht. Door gedeeltelijk met een vast tarief te werken, creëert de VLHORA solidariteit tussen enerzijds de brede opleidingen en anderzijds de unieke of minder courante opleidingen waarvoor een afzonderlijke visitatie moet worden georganiseerd. Daardoor is het mogelijk dat een opleiding bij de VLHORA meer of minder betaalt dan de reële kosten.

De VLIR en de VLHORA hebben een planning uitgewerkt voor de visitaties. Ze stellen uitdrukkelijk dat ze ook de nodige personeelsvoorzieningen hebben getroffen of zullen treffen om die planning te realiseren. Omdat de kosten verhaald worden op de onderwijsinstellingen, blijken zij de financiële middelen te verwerven om de huidige en de te verwachten visitaties te kunnen organiseren.

4.4 Budget van NVAO

Elke minister bepaalt de tarieven die de NVAO moet hanteren voor accreditatieaanvragen. In beide landen hebben de ministers het tarief vastgesteld op 500 euro voor een accreditatie. Die tarieven vormen de bijdrage van de hogeronderwijsinstellingen in het stelsel. In 2006 ontving de NVAO 1 114 000 euro uit toetsing en accreditatie, waarvan 1 040 000 euro voor Nederlandse opleidingen en 74 000 euro voor Vlaamse opleidingen. Daarnaast is er de bijdrage van Nederland en Vlaanderen in het stelsel. In 2007 bedroeg de Vlaamse subsidie 2,253 miljoen euro, de Nederlandse bijdrage 3,713 miljoen euro. De NVAO heeft dus in 2007 van Nederland en Vlaanderen voor een totaal van 5,966 miljoen euro aan subsidies ontvangen.

De NVAO beschikt over een gedetailleerde planning om de accreditaties uit te voeren. Ze stelt uitdrukkelijk dat de financiële middelen die de overheden momenteel ter beschikking stellen, toereikend zijn om de huidige en toekomstige werkzaamheden te financieren. Tijdens het onderzoek waren er geen aanwijzingen van manifeste personeelstekorten, maar wel is vastgesteld dat met het huidige personeelskader de consistentiebewaking van de dossierbehandeling niet altijd even sterk kan worden verzekerd (zie 3.6.4).

4.5 Conclusie kosten voor kwaliteitszorg in Nederland en Vlaanderen

De kosten van de interne kwaliteitszorg zijn bij de instellingen onvoldoende bekend en daardoor onvoldoende beheersbaar. Alleen in Nederland waren enkele opleidingen in staat de kosten voor de kwaliteitszorg op te splitsen in de taken en de tijd die daaraan wordt besteed. De kosten voor de externe kwaliteitszorg zijn beter bekend.

In Vlaanderen zijn de kosten voor de visitaties van de evaluatieorganen bekend, beheersbaar en betaalbaar. VLIR en VLHORA hebben verschillende, maar gelijklopende benaderingen voor de aanrekening van kosten. Bij de VLIR worden de nadelen van een niet-geclusterde visitatie wel volledig aan de opleiding doorgerekend, terwijl de VLHORA vaste tarieven hanteert voor hetzelfde type opleiding. Beide evaluatieorganen blijken de middelen (personeel en financieel) te hebben om de huidige en de te verwachten visitaties goed te organiseren.

De tarieven van de NVAO voor accreditatie zijn duidelijk en bekend. Er zijn geen aanwijzingen van personeelstekorten bij de NVAO, maar de werklast beïnvloedt wel de consistentiebewaking van de dossierbehandeling.

In Vlaanderen is de accreditatiefactuur het enige nieuwe kostprijselement sinds de invoering van het accreditatiestelsel, maar de kosten voor de interne kwaliteitszorg en de visitaties zijn wel verhoogd in vergelijking met het oude visitatiestelsel. Klachten van Vlaamse onderwijsinstellingen over sterk verhoogde kosten wijzen vooral op een gebrek aan degelijke interne kwaliteitszorg in het verleden.

In vergelijking met Nederland liggen de kosten van de visitatie in Vlaanderen lager voor professionele bachelors. Die opleidingen (HBO-bachelors in Nederland) worden in Nederland bijna steeds afzonderlijk gevisiteerd. De tarieven voor visitatie van academische masters en bachelors liggen in Nederland en Vlaanderen dichter bij elkaar. In beide gevallen wordt bij de meeste opleidingen de visitatie geclusterd georganiseerd. Een ander belangrijk verschil is dat de VBI’s in Nederland btw aanrekenen.

5. TOEZICHT OP HET KWALITEITSZORGSTELSEL

5.1 Inleiding

Op het vlak van de kwaliteitsbewaking in het hoger onderwijs hebben de Nederlandse en Vlaamse parlementen de uitvoering van een aantal publieke taken aan derden toevertrouwd. De accreditatie van de opleidingen hebben ze toevertrouwd aan de NVAO. De organisatie van de visitaties werd in Vlaanderen exclusief toegewezen aan de VLIR en VLHORA. In Nederland werd die taak overgelaten aan het vrijemarktinitiatief van VBI’s. De realisatie van de eerste schakel in de kwaliteitszorg, de interne kwaliteitszorg, behoort de instellingen en opleidingen zelf toe.

De grote mate van autonomie die de hogeronderwijsinstellingen genieten en de overdracht van opdrachten en bevoegdheden ontslaan de ministers echter niet van hun verantwoordelijkheid voor het onderwijsstelsel als geheel. Zij worden verondersteld zich er door goed toezicht van te vergewissen dat het kwaliteitszorgstelsel, inzonderheid de NVAO, naar behoren werkt en dat de opleidingen het vereiste niveau hebben. De ministers dienen dus informatie in te winnen, zo nodig in te grijpen en verantwoording af te leggen tegenover het parlement.

Daarom is onderzocht of de Vlaamse en Nederlandse ministers van hoger onderwijs toezicht houden op de interne en externe kwaliteitszorg en of zij aan hun parlement verantwoording afleggen over de kwaliteit en de kwaliteitszorg in het hoger onderwijs. Eerst komt aan bod hoe de ministeriële verantwoordelijkheid voor het kwaliteitszorgstelsel in Vlaanderen en Nederland is geregeld, vervolgens wordt uiteengezet hoe het Comité van Ministers toezicht houdt op het accreditatiestelsel en op de NVAO.

5.2 Toezicht op het kwaliteitszorgstelsel

5.2.1 Nederland

Wet- en regelgeving

De rechten en plichten van het HBO en WO zijn vastgelegd in de WHW. De rol van de inspectie is vastgelegd in de wet op het onderwijstoezicht. De rol van de NVAO is bij verdrag¹ tussen Nederland en Vlaanderen vastgelegd. Overigens zijn de wet op het onderwijstoezicht en de website van de Inspectie van het Onderwijs nog niet in overeenstemming gebracht met dat verdrag.

De NVAO bewaakt de basiskwaliteit van de individuele opleidingen. Alleen de geaccrediteerde opleidingen worden van overheidswege gefinancierd en mogen diploma’s uitreiken. De minister is onder andere verantwoordelijk voor de financiering van het bekostigde onderwijs. Daartoe is de Centrale Financiën Instellingen (CFI) in het leven geroepen, een uitvoeringsorganisatie die instaat voor de bekostiging van de onderwijsinstellingen en voor informatievoorziening aan die instellingen. Geaccrediteerde opleidingen staan geregistreerd in het Centraal Register Opleidingen Hoger Onderwijs (CROHO), dat wordt beheerd door de Informatie Beheer Groep. De instellingen dienen zelf de geaccrediteerde opleiding aan te melden voor registratie in het CROHO. De Informatie Beheer Groep verstrekt de gegevens noodzakelijk voor bekostiging van de instellingen aan de minister.

De Inspectie van het Onderwijs ziet in het algemeen toe op de naleving van wet en regelgeving binnen het onderwijs (bijvoorbeeld de uitvoering van examenregelingen) en op de kwaliteit van het stelsel van hoger onderwijs, waaronder de werking van het accreditatiestelsel. Daartoe heeft zij onder andere in 2005/2006 een midterm review uitgevoerd. Op 5 maart 2003 zijn door de NVAO en de Inspectie van het Onderwijs nadere afspraken gemaakt over de afstemming van taken. Deze zijn geactualiseerd in januari 2008.

Bevindingen

Eén keer per maand vindt bestuurlijk overleg plaats over lopende zaken tussen het bestuur van de NVAO en de directeur van de directie Hoger Onderwijs van het OCW. Ook vindt naar aanleiding van concrete onderwerpen overleg plaats tussen de minister, de NVAO, de HBO-raad (vereniging van hogescholen) en de VSNU (vereniging van universiteiten). Op dit moment vormen daar de eventuele aanpassingen van het accreditatiestelsel na de eerste ronde van accreditaties de belangrijkste gespreksthema’s.

De Inspectie van het Onderwijs heeft vijf rapporten over het accreditatiestelsel opgesteld. In die rapporten zijn de internationale ontwikkelingen, het vraagstuk over kostenstijging door het accreditatiestelsel, bevindingen op stelselniveau en gevolgen voor de direct betrokkenen onderzocht. Volgens het jaarwerkplan voor 2007 zou de Inspectie twee projecten belichten die zij samen met de NVAO zou uitvoeren. Het ene project zou betrekking hebben op het opsporen van niet-geaccrediteerde opleidingen die nog wel worden aangeboden en het andere op een follow-up van accreditaties, waarin zou worden onderzocht of de basiskwaliteit gedurende zes jaar is gegarandeerd (Inspectie van het Onderwijs, 2006c). In het Onderwijsverslag 2006–2007 van de Inspectie (2008) wordt daaraan evenwel niet meer gerefereerd.

Omdat alleen geaccrediteerde opleidingen recht hebben op bekostiging, is het van belang dat de Informatie Beheer Groep zorgt dat de gegevens in het CROHO juist en volledig zijn en dat de CFI tijdig wordt geïnformeerd over de status van een te financieren opleiding. Volgens OCW is er in 2005 een opschoningsactie uitgevoerd nadat de Inspectie enkele fouten in het register had aangetroffen. De auditdienst van OCW heeft daarnaast eveneens in 2005 een audit uitgevoerd waaruit enkele aanbevelingen voortkwamen. OCW gaf aan dat binnenkort een nieuwe audit wordt uitgevoerd om te zien of de aanbevelingen zijn opgevolgd. Ook wordt bezien of de kwaliteitszorg van het CROHO door de Informatie Beheer Groep kan worden bevorderd door een wetswijziging. De Algemene Rekenkamer heeft geconstateerd dat van 1 van de 18 onderzochte opleidingen de accreditatietermijn was verlopen, maar dat zij niet onmiddellijk uit het register werd gehaald, in afwachting van een positieve accreditatiebeslissing. Dat betekent dat de opleiding gedurende bijna drie maanden onrechtmatig werd gefinancierd en dat de eventueel in die periode uitgereikte diploma’s niet rechtsgeldig zijn.

5.2.2 Vlaanderen

Wet- en regelgeving

De Vlaamse regelgeving (structuurdecreet, art. 9 octies) bepaalt dat de NVAO jaarlijks over haar werkzaamheden aan het Vlaams Parlement rapporteert.

Er is geen inspectie die bevoegd is voor het hoger onderwijs. Wel hebben de regeringscommissarissen bij de universiteiten, hogescholen en onderwijsassociaties een algemene decretale controleopdracht, die de Vlaamse Regering in een besluit heeft geëxpliciteerd.

Bevindingen

De minister heeft de regeringscommissarissen nog niet nadrukkelijk belast met toezicht op de kwaliteitsbewaking. De regeringscommissarissen stellen dat zij waken over de uitwerking van de kwaliteitszorg op het niveau van de associatie. Zij ontvangen ook een exemplaar van elk zelfevaluatierapport op het ogenblik dat het aan de raad van bestuur of een ander bestuursorgaan ter goedkeuring of kennisname wordt voorgelegd. Kort na haar oprichting heeft de NVAO met de regeringscommissarissen contact gehad over hun opdracht en geïnformeerd naar raakpunten op het vlak van controle van de kwaliteitsbewaking.

De Vlaamse regelgeving voorziet niet in de mogelijkheid toezicht te houden op de manier waarop de evaluatieorganen zich van hun taak kwijten. Zij moeten de minister niet periodiek rapporteren over hun visitatiewerkzaamheden. Gelet op hun lidmaatschap van de Europese ENQA worden zij, net zoals de NVAO, periodiek geëvalueerd door een externe commissie. Dat vormt de enige externe beoordelingsmogelijkheid. De minister heeft een beperkt toezicht op hun beslissingen door zijn vertegenwoordiging in de raad van bestuur van de evaluatieorganen. Daartegenover staat dat de evaluatieorganen geen vergoeding krijgen voor de belangrijke maatschappelijke opdracht die de decreetgever hen heeft toegewezen. De kosten die voortvloeien uit de prestaties van de VLIR en VLHORA worden ook zonder winstneming aangerekend aan de onderwijsinstellingen.

De NVAO komt haar decretale rapporteringsverplichting na door neerlegging van haar jaarverslagen bij het Vlaams Parlement waardoor de minister erover kan worden aangesproken. De NVAO rapporteert over haar werkzaamheden in die jaarverslagen. Op initiatief van de NVAO ontvangt de minister ook een kopie van elk accreditatiebesluit. Er vindt overleg plaats tussen het ministerie en de NVAO ter voorbereiding van de twee bijeenkomsten per jaar van het Comité van Ministers. De Vlaamse minister vergewist zich formeel van de goede werking van de NVAO met het verslag van de externe commissie aangesteld door het Comité van Ministers (zie 5.3.2).

Ook in Vlaanderen moet worden gewaarborgd dat de instellingen alleen worden gefinancierd voor geaccrediteerde opleidingen en alleen diploma’s uitreiken voor geaccrediteerde opleidingen. De NVAO kreeg bij decreet de opdracht een Hoger Onderwijsregister op te maken en bij te werken met alle opleidingen die aan die voorwaarden voldoen. De administratie moet jaarlijks nakijken of de informatie van het Hoger Onderwijsregister juist en volledig is en een echtheidscertificaat toekennen. Er is echter niet bepaald dat de administratie controleert of de opleidingen (benaming van het diploma) die de onderwijsinstellingen organiseren, correct aansluiten met de informatie uit het onderwijsregister. Bijgevolg is het in theorie mogelijk dat een universiteit bijvoorbeeld een opleiding aanbiedt onder de benaming master-na-master, maar dat het een niet-geaccrediteerde opleiding betreft die alleen als voortgezette opleiding mag worden aangeboden. Een andere mogelijkheid is dat een geregistreerde instelling een niet-geaccrediteerde opleiding toch onder de benaming van master, bachelor, master-na-master of bachelor-na-bachelor aanbiedt.

Het Hoger Onderwijsregister moet de studenten informatie leveren voor een goede studiekeuze. De onderzoeksgesprekken met studentenvertegenwoordigers wezen uit dat zij zelden op de hoogte waren van het bestaan van het Hoger Onderwijsregister.

5.2.3 Conclusie toezicht op het kwaliteitszorgstelsel

In Nederland vervult de Inspectie van het Onderwijs de rol van toezichthouder op het accreditatiestelsel. Het toezicht van de Vlaamse minister is in vergelijking met Nederland beperkt. De decreetgever heeft de minister niet van middelen voorzien om toezicht te houden op de werkwijze van de evaluatieorganen. De Vlaamse minister vergewist zich formeel van de goede werking van de NVAO – en in bijkomende orde van de werking van het stelsel met het verslag van een externe commissie aangesteld door het Comité van Ministers. In vergelijking met Nederland vindt in Vlaanderen minder structureel overleg plaats tussen het ministerie en de NVAO. De NVAO stuurt haar jaarverslagen naar het Vlaams Parlement en bezorgt een kopie van elke accreditatiebeslissing aan de ministers.

Ondanks de acties om het CROHO op te schonen heeft de Algemene Rekenkamer één opleiding aangetroffen die korte tijd niet was geaccrediteerd. De Vlaamse administratie controleert de juistheid en volledigheid van het Hoger Onderwijsregister, maar controleert niet of het opleidingsaanbod van de gefinancierde en geregistreerde instellingen daarmee overeenstemt.

5.3 Comité van Ministers

5.3.1 Wet- en regelgeving

Het Comité van ministers, bestaande uit de Nederlandse minister van Onderwijs, Cultuur en Wetenschap en de Vlaamse minister van Onderwijs is verantwoordelijk voor het accreditatiestelsel, de Nederlandse minister voor het Nederlandse deel, de Vlaamse minister voor het Vlaamse deel. De bevoegdheden van het Comité van Ministers zijn vastgelegd in het Verdrag tussen het Koninkrijk der Nederlanden en de Vlaamse Gemeenschap van België inzake de accreditatie van opleidingen binnen het Nederlandse en Vlaamse hoger onderwijs, dat dateert van 3 september 2003. Artikel 17 van het verdrag verplicht het Comité van Ministers ertoe binnen vijf jaar na de inwerkingtreding van het verdrag en vervolgens telkens na vier jaar een verslag op te stellen over de werking en het functioneren van de accreditatieorganisatie. De ministers moeten die verslagen naar de respectieve parlementen sturen.

De NVAO is lid van ENQA en ECA, twee Europese organisaties die actief zijn op het vlak van kwaliteitsverzekering van het hoger onderwijs in de Europese onderwijsruimte. ENQA heeft in 2005 de Standards and Guidelines for Quality Assurance in the European Higher Education Area opgesteld, die door de Europese ministers van Onderwijs zijn aanvaard. Dat document voorziet in een vijfjaarlijkse doorlichting. ECA heeft als doel de wederzijdse erkenning van de accreditatiebeslissingen van zijn leden te bewerkstelligen. Zijn Code of Good Practice van 2004 legt eveneens een intern kwaliteitszorgsysteem en een beoordeling door een externe commissie op.

5.3.2 Bevindingen

De regelgeving voorziet niet in formeel periodiek overleg tussen de ministeries van Nederland en Vlaanderen, maar het Comité van Ministers heeft zelf informeel afgesproken dat twee keer per jaar overleg wordt gepleegd. Daarnaast wordt alleen contact opgenomen als dat nodig blijkt. Sinds de invoering van het stelsel werd weinig aanvullend overleg georganiseerd. Beide ministeries geven aan dat er op ambtelijk niveau geregeld afstemming plaatsvindt over de dagelijkse zaken en de beleidsontwikkeling.

Tussen Nederland en Vlaanderen heeft overleg plaatsgevonden over de Nederlandse strategische agenda waarin ook is opgenomen het voorstel voor vernieuwing van de accreditatie, nadat de lopende ronde is afgerond. Op 11 februari 2008 heeft de Nederlandse minister van OCW de notitie Focus op kwaliteit: Vernieuwing van accreditatie in het hoger onderwijs naar de Tweede Kamer gezonden. Daarin wordt op hoofdlijnen aangegeven hoe de vernieuwing vorm moet krijgen. In Vlaanderen is nog maar weinig maatschappelijk debat over de vernieuwing.

Het Comité van Ministers heeft op 14 december 2006 beslist een internationale evaluatiecommissie samen te stellen om de werking van de NVAO door te lichten. In bijkomende orde werd de commissie gevraagd haar mening over de transparantie en de betrouwbaarheid van het stelsel te formuleren. De doorlichting vond plaats begin juni 2007. De NVAO ontving het rapport in september 2007 en maakte het in de loop van november 2007 publiek op haar website. Het rapport doet uitspraak over de organisatie en werkzaamheden van de NVAO en bevat een beperkt aantal aanbevelingen aangaande het Nederlands-Vlaamse accreditatiestelsel zelf. De commissie heeft haar werkzaamheden hoofdzakelijk bij de NVAO verricht. Naast een studie van de beschikbare stukken en informatie bij de NVAO heeft zij ook gesproken met de VBI’s, de VLIR en VLHORA en de Nederlandse en Vlaamse studentenorganisaties. Het Comité van ministers heeft op 11 februari 2008 zijn beleidsreactie kenbaar gemaakt (zie 6.5.3 nieuwe ontwikkelingen).

5.3.3 Conclusie Comité van Ministers

Het Comité van Ministers heeft in 2007 een externe doorlichting laten uitvoeren, waardoor het een beperkt zicht op de werking van het accreditatiestelsel verwierf. De doorlichting was voornamelijk gericht op de werking van de NVAO en slechts in bijkomende orde op het gehele kwaliteitszorgstelsel.

Het Comité van Ministers heeft afgesproken tweemaal per jaar overleg te plegen. Er is ook contact als de omstandigheden dat vragen. De initiatieven tot hervorming van het systeem en de openbare bespreking ervan lopen in Nederland en Vlaanderen niet gelijk.

6. VERGELIJKING VAN HET ACCREDITATIESTELSEL IN NEDERLAND EN VLAANDEREN

6.1 Inleiding

Dit hoofdstuk gaat in op de belangrijkste verschillen tussen de externe kwaliteitszorg in de beide landen. De behandelde onderwerpen zijn thematisch gerangschikt. De Algemene Rekenkamer en het Rekenhof hebben vastgesteld dat de verschillen geen belemmering vormen voor de werking van de NVAO. Ook de instelling zelf heeft dat benadrukt. Er zijn uiteraard ook overeenkomsten tussen beide stelsels vastgesteld. Die werden deels verwerkt in de voorafgaande hoofdstukken, maar komen hierna ook aan bod. Op die manier wordt inzicht verkregen in de zwakke en sterke punten van de verschillende spelers in het accreditatieproces.

De onderstaande bevindingen kunnen een aanzet zijn tot aanpassingen in één van beide stelsels opdat beide stelsels meer naar elkaar toegroeien. De internationale evaluatiecommissie die de werking van de NVAO heeft geëvalueerd, wees erop dat de NVAO als binationale accreditatieorganisatie uniek is en dat de mogelijkheden tot afstemming van het stelsel en de procedures niet onbenut mogen worden gelaten. In het vorige hoofdstuk is al aan de orde geweest dat de initiatieven tot hervorming van het accreditatiestelsel in Nederland en Vlaanderen niet gelijk lopen. Dit kan de stelsels verder uit elkaar drijven.

6.2 Taakafbakening van de actoren

6.2.1 Aanwijzing van VBI’s en evaluatieorganen

De NVAO heeft in Nederland bij wet de opdracht jaarlijks een lijst samen te stellen van organisaties die naar haar oordeel voldoen aan de criteria om visitaties te kunnen uitvoeren. De NVAO voert bij de aanvaarde VBI’s audits uit, waarbij ze bekijkt of de informatie in het informatiedossier correct is en overeenkomt met de administratieve processen van de VBI in de praktijk. Mede aan de hand van die audit beslist de NVAO het volgende jaar of de VBI opnieuw wordt aanvaard.

Toen het accreditatiestelsel in Nederland werd ingevoerd, was het de bedoeling dat er een markt voor VBI’s zou ontstaan. Afgaande op het geringe aantal actieve VBI’s kan worden gesteld dat die doelstelling nauwelijks is gehaald. Dat is zeker zo in het WO, waar feitelijk sprake is van één VBI die al het werk doet. In het HBO zijn wel meerdere marktspelers actief. Niettemin heeft ook in het HBO één VBI verreweg het grootste marktaandeel.

De Vlaamse evaluatieorganen, VLIR en VLHORA, worden niet door de NVAO geauditeerd, omdat zij decretaal en voor de gehele accreditatieronde zijn aangewezen. De decreetgever heeft de NVAO die opdracht of bevoegdheid niet gegeven. Er is ook niet uitdrukkelijk voorgeschreven dat de NVAO de Vlaamse minister inlicht over het algemene werk van de evaluatieorganen. Zij kan dit eventueel wel doen in haar verplichte jaarlijkse rapportering aan het Vlaams Parlement over haar eigen werking (structuurdecreet, art. 9 octies). De regelgeving bepaalt evenmin dat de evaluatieorganen zich moeten verantwoorden tegenover de minister. De evaluatieorganen zijn privaatrechtelijke stichtingen die niet onder het hiërarchische toezicht van de minister staan. Het gebrek aan toezicht staat in contrast tot de Nederlandse regeling betreffende toezicht op de werkingvan de visiterende organisaties. In de praktijk heeft het gebrek aan toezicht op de evaluatieorganen nog niet tot problemen geleid, maar de decreetgever heeft wel een risico genomen en zich afhankelijk gemaakt van de evaluatieorganen.

De evaluatieorganen moeten aan de onderwijsinstelling een degelijk visitatierapport afleveren dat voor de NVAO bruikbaar is. Dat wordt voornamelijk gegarandeerd door de visitaties te laten verlopen conform het visitatieprotocol, waaraan de NVAO haar gezaghebbend advies heeft verleend. Desondanks dient de NVAO elke aanvraag tot accreditatie op zijn merites te beoordelen. De NVAO kan immers geen beslissing treffen als zij haar oordeel niet kan onderbouwen met een deugdelijk visitatierapport. Bij een slechte werking en rapportering van het evaluatieorgaan beschikken noch de NVAO, noch de Vlaamse minister over middelen om het evaluatieorgaan een sanctie op te leggen, bijvoorbeeld door het, zoals in Nederland, te schrappen van een lijst van geautoriseerde instellingen.

Het gebrek aan toezicht op de algemene werking van de evaluatieorganen kan gedeeltelijk worden opgevangen door voldoende sturing door de NVAO, bijvoorbeeld in de vorm van gestructureerd overleg. Uit de agenda van de NVAO en uit de onderzoeksgesprekken blijkt echter dat de NVAO minder gestructureerd overleg heeft met de Vlaamse evaluatieorganen dan met de VBI’s.

6.2.2 Rolverdeling NVAO versus VBI’s en evaluatieorganen

De verdeling in de werkzaamheden tussen de NVAO en VBI’s, waarbij de NVAO accrediteert en de VBI verifieert, is in opzet helder afgebakend, maar roept in de praktijk bij veel Nederlandse opleidingen discussie op. Verschillende opleidingen hebben het idee dat er een spanningsveld is tussen de taak van de NVAO en die van de VBI’s. Ook vindt een aantal opleidingen het vervelend dat de NVAO delen van het onderzoek opnieuw uitvoert als zij het oordeel van een VBI in twijfel trekt. Eén instelling gaf zelfs aan dat de NVAO zich op die manier niet aan haar rol houdt. Geregeld is de wens geuit één instantie zowel de visitatie als de accreditatie te laten uitvoeren. Volgens een aantal opleidingen zou de NVAO dat het best kunnen doen. De relatie met de VBI vinden zij complex omdat de opleiding opdrachtgever en de VBI opdrachtnemer is, maar de VBI tegelijk als beoordelaar van de opleiding optreedt.

In Vlaanderen werden haast geen klachten genoteerd over de taakafbakening van de evaluatieorganen en de NVAO. Ten tijde van het onderzoek moest een aantal geselecteerde opleidingen wel nog worden geaccrediteerd, waardoor zij nog geen klaar beeld hadden over hoe de NVAO haar opdracht in de praktijk precies zou invullen. Veel opleidingshoofden zijn tevreden dat een instelling, zoals de NVAO op voldoende afstand en onafhankelijk de kwaliteit van de opleidingen beoordeelt. Ook zijn er geen klachten over het optreden van de evaluatieorganen geformuleerd.

6.2.3 Afbakening onderzoeks- en onderwijsaccreditatie

Zowel in Nederland als in Vlaanderen heeft de accreditatie betrekking op het onderwijs, niet op het wetenschappelijk onderzoek. Het wetenschappelijk onderzoek wordt wel periodiek en afzonderlijk doorgelicht, maar resulteert niet in een onderzoeksaccreditatie van bijvoorbeeld de NVAO.

In Nederland ligt de beoordeling van de kwaliteit van de onderzoeksactiviteiten in handen van de Koninklijke Academie van Wetenschappen (KNAW), de vereniging van universiteiten (VSNU) en de Nederlandse Organisatie van Wetenschappelijk Onderzoek (NWO). Daartoe hebben zij gezamenlijk een protocol opgesteld (VSNU, KNAW en NWO, 2003). Internationaal samengestelde visitatiecommissies beoordelen volgens dat protocol de onderzoeksprestaties van universiteiten, (interuniversitaire) research schools en onderzoeksinstituten. De resultaten van de evaluaties worden nauwkeurig gevolgd door de Meta Evaluatie Commissie Kwaliteitszorg Wetenschappelijk Onderzoek. Die commissie publiceerde haar eerste rapport Trust, but verify in januari 2007. De commissie formuleerde daarin twaalf aandachtspunten, die onder meer betrekking hebben op het functioneren en op de samenstelling van de Peer Review Committees (Meta Evaluatie Commissie, 2007).

In Vlaanderen vormt artikel 92 van het structuurdecreet de basis voor de interne en externe kwaliteitszorg van het wetenschappelijk onderzoek. Om de acht jaar moet de kwaliteit van de onderzoeksactiviteiten van de opleiding worden doorgelicht en moet daarvan een openbaar verslag worden gemaakt. In Vlaanderen heeft nog geen enkele opleiding gevolg gegeven aan die regel. De visitatiecommissies kunnen zich dus niet baseren op bevindingen uit onderzoeksvisitaties om het onderwijs te beoordelen. Het wetenschappelijk onderzoek van de opleidingen komt nochtans aan bod bij meerdere facetten die bij de onderwijsaccreditatie worden beoordeeld (bijvoorbeeld het facet eisen professionele en academische gerichtheid), maar de kwaliteit van het onderzoek krijgt geen primordiale rol. Verschillende visitatiecommissies wijzen er in hun rapport wel expliciet op dat academisch onderwijs moet steunen op eigen wetenschappelijk onderzoek en dat onvoldoende kwaliteit van het onderzoek uiteindelijk zal resulteren in een slechtere academische opleiding van de studenten.

Bij één van de onderzochte opleidingen uit Vlaanderen rezen er twijfels bij de NVAO over de beoordeling van de onderzoeksprestaties door de visitatiecommissie. Het was ook voor de opleiding onduidelijk welke informatie zij over hun onderzoeksprestaties moest leveren in het kader van haar zelfevaluatie. Dat was een van de redenen voor de NVAO om een hoorzitting te organiseren. De casus bevestigt de opmerking van enkele andere Vlaamse opleidingen dat er onzekerheid is over de wijze waarop een commissie de onderzoeksprestaties meeneemt in de beoordeling van het onderwijs.

6.3 Oordeelsvorming

6.3.1 Inhoud versus procedures

In Nederland gaven de meeste geïnterviewden aan dat de visitatie en de accreditatie zich voornamelijk richten op processen (bijvoorbeeld het onderwerp kwaliteitszorg) en dat de invalshoek bij de beoordeling van de facetten vaak procedureel is. Het is in de eerste jaren van het accreditatiestelsel voorgekomen dat bij de beoordeling van de facetten de primaire informatiebronnen niet werden ingezien en beoordeeld, terwijl de interne procedures voor het desbetreffende facet een bovenmatige aandacht kregen van de visitatiecommissies. Zo bekeken de commissies bij het facet gerealiseerd niveau niet altijd de eindwerkstukken of masterproeven zelf, maar wel of er richtlijnen waren om eindwerkstukken of masterproeven te beoordelen. De NVAO heeft al in een vroeg stadium de VBI’s geïnstrueerd afstudeerwerkstukken te beoordelen en daarover expliciet te rapporteren.

In Vlaanderen waren de meeste opleidingen tevreden met de onderwijskundige inzichten en toetsing van de visitatiecommissies. Overmatige aandacht voor procedures bleek er eerder uitzondering dan regel. Toch hadden de Vlaamse opleidingen er problemen mee dat de commissies weinig moeite deden inzicht te verwerven in hun onderwijskundige praktijk (bijwonen van lessen, inkijken van lesvoorbereidingen, enz.).

De Algemene Rekenkamer en het Rekenhof wijzen erop dat het niet mogelijk is de kwaliteit van het onderwijs goed te meten als het onderzoek te eenzijdig is gericht op procedures. De verschillende invulling van de externe kwaliteitstoets in Nederland en Vlaanderen kan wellicht voor een deel worden toegeschreven aan de uiteenlopende methodes van de VBI’s en de evaluatieorganen. De evaluatieorganen staan dichter bij het onderwijs dan een aantal VBI’s.

6.3.2 Beoordeling op instellingsniveau of opleidingsniveau

Alle onderwerpen van het accreditatiekader worden door de verschillende visitatiecommissies voor elke opleiding telkens opnieuw beoordeeld. Die benadering vloeit logisch voort uit het huidige stelsel dat erop is gericht de basiskwaliteit van elke opleiding afzonderlijk te garanderen. De werkwijze lijkt echter tot inefficiënties en planlast op alle niveaus van het stelsel te leiden, bij de instellingen, bij de VBI’s of evaluatieorganen en bij de NVAO. Vaak hebben universiteiten of hogescholen immers bepaalde onderwerpen of facetten uit het accreditatiekader volledig op het facultair of instellingsniveau georganiseerd, bijvoorbeeld de organisatie van kwaliteitszorg, de prioriteiten voor huisvesting of andere materiële voorzieningen en de inzet (kwantiteit) van personeel. Geregeld hebben managers van de opleidingen, de stafdiensten van de instellingen en ook VBI’s de wens geuit die onderwerpen of facetten op facultair of instellingsniveau te laten beoordelen in plaats van op opleidingsniveau. De voorstellen van de Nederlandse minister voor bijsturing van het kwaliteitszorgstelsel blijken gehoor te willen geven aan de wensen van de betrokkenen.

Toch kunnen er gevaren schuilen in een beoordeling op instellingsniveau. Er moet immers over worden gewaakt dat de betrokken onderwerpen en facetten ook op opleidingsniveau aan de vereisten blijven voldoen. Hieronder enkele voorbeelden.

– De permanente, dagelijkse kwaliteitszorg gebeurt door de opleiding. De docenten moeten rekening houden met klachten van de studenten. Zij moeten didactisch bijsturen en de vakinhoud aanpassen of actualiseren naar de gestelde doelstellingen. De bereidheid tot kwaliteitsverbetering en de effectieve acties om het niveau en de inhoud te verbeteren, moeten daarom ook op het niveau van de opleiding gegarandeerd blijven. Ook de zelfevaluatie en het daaruit voortkomende rapport situeren zich op het niveau van de opleiding en kunnen op dat niveau een beoordelingsfacet worden.

– De afwezigheid van minimale materiële voorzieningen leidt tot een negatieve beoordeling van dat facet voor de betrokken opleiding, ook al liggen het budget en de beslissingsbevoegdheid voor gebouwen en zware uitrusting bij de faculteit of het instellingsbestuur. Finaal kan desinvestering bij een opleiding dus leiden tot een negatief accreditatieoordeel. Door een dergelijk facet op globaal instellingsniveau te beoordelen, wordt een gemiddeld oordeel geveld over de totale materiële voorzieningen en bestaat het gevaar dat bepaalde opleidingen ongestraft niet de minimale materiële voorzieningen bieden.

– Bij een globale beoordeling van de personeelsinzet valt het veel minder op dat opleidingen met lage studentenaantallen een te beperkte personeelsformatie krijgen van het instellingsbestuur. De kans bestaat dat zij toch worden geaccrediteerd en nog zes tot acht jaar kunnen blijven bestaan. Bovendien creëert globale beoordeling het risico dat personeelsnoden op metaniveau worden beoordeeld door commissies die geen domeinspecifieke kennis hebben.

6.3.3 Geclusterde visitatie

In Vlaanderen worden alle opleidingen van eenzelfde domein gezamenlijk gevisiteerd omdat de regelgeving dat oplegt. In Nederland bestaat die verplichting niet omdat de instellingen zelf een VBI mogen kiezen. In de praktijk gebeuren er in Nederland toch gezamenlijke externe beoordelingen, maar enkel voor WO-opleidingen.

Een geclusterde visitatie is om verschillende redenen raadzaam.

– Er moeten minder visitatiecommissies worden samengesteld en geïnstrueerd.

– Een visitatierapport over een cluster van Vlaamse of Nederlandse opleidingen in een specifiek domein bevat een hoofdstuk met een vergelijkend perspectief van de opleidingen, met een vergelijkende tabel van de scores van de verschillende opleidingen. Dat maakt het mogelijk een opleiding tegenover het geheel van opleidingen in haar domein te situeren.

– Als een visitatiecommissie meerdere opleidingen ziet, kan ze beter het correcte niveau van een opleiding bepalen en consistenter oordelen.

– Clustering kan commissies met minder domeinspecifiek onderlegde commissieleden aanvullende instrumenten bieden voor een correcte beoordeling. Dergelijke commissies zullen door benchmarking toch in staat zijn de betere opleidingen van de slechtere te onderscheiden (Review committee, 2007).

Een geclusterde visitatie houdt het nadeel in dat tussen het afleveren van het zelfevaluatierapport en de accreditatie tot meer dan twee jaar kan verstrijken.

In Vlaanderen staan alle betrokkenen positief tegenover het systeem van geclusterde visitaties. Het wordt ervaren als een van de belangrijkste sterktes van het stelsel. Ook in Nederland staat het onderwijsveld positief tegenover clustering. Opleidingen vinden het een gemis dat in het huidige stelsel vergelijking van kwaliteit niet meer goed mogelijk is. In het oude visitatiestelsel, waarin opleidingen geclusterd werden gevisiteerd, hadden de opleidingen wel zicht op hun positie ten opzichte van andere (concurrerende) opleidingen. De NVAO stelt eveneens dat clustering van opleidingen een meerwaarde biedt.

6.4 Gevolgen van accreditatie

6.4.1 Accreditatietermijn

De geldigheid van de accreditatie bedraagt zes jaar voor opleidingen in Nederland en acht jaar voor opleidingen in Vlaanderen.

In Vlaanderen geven de systemen van interne kwaliteitszorg aan de opleidingen nog te weinig (dwingende) impulsen tot verbetering. Er wordt ook nog te weinig opgevolgd of de verbeterpunten van de visitatiecommissies effectief door de opleidingen worden gerealiseerd. In het huidige stelsel vindt er in de praktijk naast de achtjaarlijkse visitatie geen tussentijdse externe review plaats, waardoor een opleiding vrij lang kan wachten met maatregelen en acties. Een accreditatieperiode van acht jaar is dan ook vrij lang.

In Nederland vindt naast de zesjaarlijkse visitatie evenmin een tussentijdse externe review plaats. Wel hebben enkele instellingen kwaliteitszorgsystemen ingevoerd waarbij midterm reviews worden uitgevoerd. Dat is voor de opleidingen een extra impuls om hun kwaliteit te bewaken en te verbeteren.

De internationale evaluatiecommissie die de werking van de NVAO heeft geëvalueerd, ziet geen gegronde redenen om de accreditatieduur in beide landen te laten verschillen. De commissie vindt dat een binationaal systeem het best gelijke accreditatietermijnen hanteert. Ze kant zich tegen te korte accreditatieperiodes, omdat dit het peerreviewsysteem onder druk zou zetten en de planlast zou opdrijven. De commissie suggereert een variabele termijn van accreditatie. Voor elke opleiding zou de NVAO haar beslissing kunnen steunen op de historiek van de opleiding, de inhoudelijke en didactische wijzigingen binnen het programma en de bewezen strengheid van het interne kwaliteitszorgsysteem.

6.4.2 Verbetertraject

Momenteel kent alleen Vlaanderen een verbetertraject. Het biedt een instellingsbestuur de mogelijkheid een aanvraag voor een tijdelijke erkenning in te dienen als het accreditatiebesluit over een opleiding negatief is. Bij de aanvraag moet de instelling een verbeteringsplan voegen, waarin ze aangeeft hoe ze de opleiding zal verbeteren. De duur van de tijdelijke erkenning varieert van één tot maximum drie jaar.

In Nederland bestaat een herstelperiode. Een opleiding kan binnen twee jaar alsnog haar accreditatie verkrijgen, maar zolang ze niet is geaccrediteerd, mogen geen nieuwe studenten worden ingeschreven. De opleiding krijgt geen tijdelijke erkenning, zoals in Vlaanderen. Alle betrokkenen onderkennen dat de verstrekkende gevolgen van een negatief accreditatiebesluit de VBI’s ervan weerhouden de zwaktes van een opleiding en de corresponderende aanbevelingen te vermelden in hun rapporten. Daardoor komt het nu voor dat VBI’s de verbeterpunten voor de opleiding verwerken in aparte brieven, die niet in het openbare visitatierapport terechtkomen. Het huidige Nederlandse stelsel leidt op die manier tot erosie van de verbeterfunctie van accreditatie.

Bij de externe evaluatie van de NVAO stelde de internationale evaluatiecommissie het Vlaamse stelsel met verbetertraject te verkiezen en ze heeft aanbevolen het Nederlandse stelsel in die zin bij te sturen. De ervaring in Vlaanderen leert echter dat de visitatiecommissies, ondanks het bestaan van de optie verbetertraject, terughoudend zijn om een negatieve beoordeling te geven als een opleiding licht ondermaats scoort. Dat is te wijten aan de negatieve perceptie die onvermijdelijk is verbonden aan een negatief oordeel en aan de invloed hiervan op de instellingskeuze van de studenten bij inschrijving. Niettemin is de invoering van een verbetertraject in Nederland aan te bevelen.

6.5 Nieuwe ontwikkelingen

6.5.1 Inleiding

Hieronder wordt ingegaan op drie documenten die voor de toekomstige werking van het accreditatiestelsel van belang zijn. In de eerste plaats betreft het de externe review van de NVAO op verzoek van het Comité van Ministers. Het rapport werd op 19 september 2007 aangeboden (review committee, 2007). In de tweede plaats de reactie daarop van het Comité van Ministers van 11 februari 2008 (Comité van Minsiters, 2008). Tot slot volgt een overzicht van de belangrijkste voornemens uit de notitie Focus op kwaliteit: Vernieuwing van accreditatie in het hoger onderwijs van de Nederlandse minister van OCW, eveneens verschenen op 11 februari 2008 (OCW, 2008).

Omdat het huidige accreditatiestelsel in Vlaanderen later in werking is gesteld dan in Nederland (2003) en de eerste ronde pas in het academiejaar 2012–2013 afloopt, is de noodzaak om nu al initiatieven te ontwikkelen minder dringend dan in Nederland.

6.5.2 Report of the committee for the review of the Accreditation Organization of The Netherlands and Flanders (NVAO)

De belangrijkste aanbevelingen van de internationale commissie die de NVAO heeft geëvalueerd, luiden als volgt.

– De accreditatie is sterk gericht op processen en procedures en er is te weinig aandacht voor de inhoud en voor kwaliteitsverbetering boven de basiskwaliteit. Het gaat meer over de verantwoording en financiering dan over de kwaliteit. Niettemin kunnen belanghebbenden erop vertrouwen dat de accreditatiebeslissing zorgvuldig is genomen. De VBI’s moeten gebruik gaan maken van één betrouwbare en valide beoordelingsmethode. Een vrije markt van VBI’s staat dat uitgangspunt in de weg, omdat de NVAO daarover formele afspraken met VBI’s dient te maken. De positie van de VBI’s/evaluatieorganen is onduidelijk, in het bijzonder in Nederland. De NVAO zou vertrouwen moeten ontwikkelen in de organen en ze als partners in het accreditatieproces moeten beschouwen.

– Hoewel beide landen op menig punt verschillen, is er volgens de review ruimte voor harmonisatie. De commissie geeft enkele voorbeelden.

a. De invoering in Nederland van een wettelijke bescherming van de titels «bachelor» en «master».

b. De invoering in Nederland van een herstelperiode met behoud van bekostiging en het recht om studenten in te schrijven.

c. De invoering van een macrodoelmatigheidstoets voorafgaand aan de initiële accreditatie. In Vlaanderen is dat al zo, in Nederland zal dat per juli 2008 worden aangepast.

d. De geldigheidsduur van de accreditatie.

e. De invoering van geclusterde accreditaties over de grenzen heen (nu alleen op nationale schaal).

6.5.3 Beleidsreactie van het Comité van Ministers over de internationale peer review van de NVAO

De ministers reageren als volgt op de aanbevelingen van de commissie.

– Zij zijn het eens met de analyse dat de balans is doorgeschoten naar «de maat nemen» ten koste van de verbeterfunctie. Daarnaast valt een aantal kwaliteitsfacetten op het niveau van de opleiding buiten de invloedssfeer van de opleiding. Het Nederlandse voorstel voor de tweede accreditatieronde komt tegemoet aan de belangrijkste kritiekpunten van de commissie en legt de nadruk met name op de kwaliteit van de opleiding.

– De bescherming van de titels «bachelor» en «master» wordt vooralsnog in Nederland niet toegepast. Dat lijkt moeilijk handhaafbaar en studenten die in het buitenland hun titel hebben gehaald zouden die in Nederland niet mogen gebruiken.

– De Nederlandse minister bereidt een wetswijziging voor waarmee een herstelperiode van maximaal twee jaar met behoud van nieuwe inschrijvingen mogelijk wordt.

– De omkering van de macrodoelmatigheidstoets en de toets nieuwe opleiding is in Nederland intussen bij wet geregeld.

– De accreditatietermijnen zullen voor de tweede accreditatieronde gehandhaafd blijven (zes jaar voor Nederland en acht jaar voor Vlaanderen). Op langere termijn zal gekeken worden of harmonisatie mogelijk is.

6.5.4 Focus op kwaliteit: vernieuwing van accreditatie in het hoger onderwijs

Nu de meeste bestaande opleidingen in Nederland in de eerste ronde accreditatie hebben aangevraagd, bezint de minister van OCW zich over de vraag of accreditatie heeft voldaan en zo neen, welke veranderingen moeten worden doorgevoerd. De minister heeft daartoe contact gezocht met de betrokken instellingen (zoals de Inspectie van het Onderwijs, VNSU, HBO-raad, studenten en docenten). De minister heeft vooralsnog veranderingen voor ogen met de volgende kenmerken.

– Er wordt een instellingsaudit uitgevoerd op de interne kwaliteitszorg;

– Bij de opleidingsaccreditatie ligt het zwaartepunt bij de inhoudelijke kwaliteit;

– Er komt een betere balans tussen toetsen en verbeteren van de kwaliteit.

Als de instellingsaudit positief uitvalt kan de opleidingsaccreditatie op lichtere wijze plaatsvinden. Er is dan sprake van verdiend vertrouwen. Bij de instellingsaudit zal de kwaliteit en kracht van de interne kwaliteitszorg worden beoordeeld. Bij de opleidingsaccreditatie zullen onafhankelijke peers de kwaliteit van de onderwijsinhoud beoordelen. Daarbij wordt gedacht aan beoordeling van ambitie, resultaten, kwaliteit van de staf en inhoud en actualiteit van de opleiding. Het is niet meer verplicht een VBI in te schakelen.

Een en ander moet gedurende 2008 en 2009 concreet vorm krijgen. Het wetsvoorstel zal volgens de vigerende planning in het najaar 2008 worden aangeboden aan de Tweede Kamer.

BEGRIPPEN EN AFKORTINGEN

BaMa-structuur	Bachelor-masterstructuur
CFI	Centrale Financiën Instellingen
CROHO	Centraal Register Opleidingen Hoger Onderwijs
ECA	European Consortium for Accreditation in higher education
ENQA	European Association for Quality Assurance in Higher Education
Fte	Fulltime equivalent
HBO	Hoger beroepsonderwijs
NVAO	Nederlands-Vlaamse Accreditatieorganisatie
OCW	Onderwijs, Cultuur en Wetenschap
Structuurdecreet	Decreet van 4 april 2003 betreffende de herstructurering van het hoger onderwijs in Vlaanderen
VBI	Visiterende en beoordelende instantie
VLHORA	Vlaamse Hogescholenraad
VLIR	Vlaamse Interuniversitaire Raad
VSNU	Vereniging van universiteiten
WHW	Wet van 8 oktober 1992 houdende bepalingen met betrekking tot het hoger onderwijs en wetenschappelijk onderzoek
WO	Wetenschappelijk onderwijs

LITERATUUR

Publicaties

Comité van Ministers (2008). Beleidsreactie van het Comité van Ministers over de internationale peer review van de NVAO. Tweede Kamer, vergaderjaar 2007–2008, 31 288, nr. 21.

European Association for Quality Assurance in Higher Education (2005, 2007). Standards and Guidelines for Quality Assurance in the European Higher Education Area. www.enqa.eu/pubs.lasso.

European consortium for accreditation (2004). Code of Good Practice for the Members of the European Consortium for Accreditation in Higher Education (ECA). www.ecaconsortium.net.

Inspectie van het Onderwijs (2005a). Accreditatie. Introductie. Utrecht: Eigen beheer.

Inspectie van het Onderwijs (2005b). Accreditatie 1. Accreditatie in internationaal perspectief. Utrecht: eigen beheer.

Inspectie van het Onderwijs en Auditdienst OCW (2005). Accreditatie 2. De kosten in kaart. Utrecht: eigen beheer.

Inspectie van het Onderwijs (2006a). Accreditatie in werking. 3. Beoogde en niet-beoogde effecten. Utrecht: eigen beheer.

Inspectie van het Onderwijs (2006b). Accreditatie 4. De opleiding aan het werk. Utrecht: eigen beheer.

Inspectie van het Onderwijs (2006c). Activiteiten 2007. Jaarwerkplan Inspectie van het Onderwijs. Utrecht: eigen beheer.

Inspectie van het Onderwijs (2007). De staat van het onderwijs. Onderwijsverslag 2005/2006. Utrecht: eigen beheer.

Inspectie van het Onderwijs (2008). De staat van het onderwijs. Onderwijsverslag 2006/2007. Utrecht: eigen beheer.

Meta Evaluatie Commissie (2007). «Trust, but verify». Het eerste rapport van de Meta Evaluatie Commissie Kwaliteitszorg Wetenschappelijk Onderzoek. www.knaw.nl/publicaties/pdf/20 071 011.pdf.

NVAO (z.d. a). www.nvao.net/vbilijst, geraadpleegd op 31 januari 2008.

NVAO (2005b) Memo. Werkwijze wanneer VBI rapport niet voldoet – accreditatie Nederland. 11 juni 2005. www.nvao.net

NVAO (2007a). NVAO Self-evaluation report. 16 April 2007. www.nvao.net.

OCW (2007a). Strategische agenda. Bijlage bij Tweede Kamer, vergaderjaar 2007–2008, 31 288, nr. 17. Den Haag: Sdu.

OCW (2008). Focus op kwaliteit: Vernieuwing van accreditatie in het hoger onderwijs. www.minocw.nl/documenten/4788a.pdf.

Review committee (2007). Report of the committee for the review of the Accreditation Organization of The Netherlands and Flanders (NVAO). September 2007. www.enqa.eu/extrew_reports.lasso.

VLIR/VLHORA (2005). Handleiding onderwijsvisitaties VLIRVLHORA. Brussel, februari 2005. www.nvao.net.

Wet- en regelgeving

Decreet van 12 juni 1991 betreffende de universiteiten in de Vlaamse Gemeenschap.

Decreet van 13 juli 1994 betreffende de hogescholen in de Vlaamse Gemeenschap.

NVAO (2003a). Accreditatiekader bestaande opleidingen hoger onderwijs. www.nvao.net.

NVAO (2003b). Toetsingskader nieuwe opleidingen hoger onderwijs. www.nvao.net.

NVAO i.o. (2003). Overgangsregeling bekostigd WO. www.nvao.net

NVAO (2005a). Accreditatiekader bestaande opleidingen hoger onderwijs Vlaanderen. www.nvao.net.

NVAO (2005c). Toetsingskader nieuwe opleidingen hoger onderwijs. www.nvao.net.

NVAO (2006a). Overgangsregeling bekostigd hoger beroepsonderwijs. www.nvao.net.

NVAO (2007b). Protocol VBI’s. Nederland. www.nvao.net.

Structuurdecreet. Decreet betreffende de herstructurering van het hoger onderwijs in Vlaanderen. 4 april 2003.

Toelichtende nota (2003). Behorende bij Verdrag tussen het Koninkrijk der Nederlanden en de Vlaamse Gemeenschap van België inzake de accreditatie van opleidingen binnen het Nederlandse en Vlaamse hoger onderwijs. 3 september 2003.

Verdrag (2003). Verdrag tussen het Koninkrijk der Nederlanden en de Vlaamse Gemeenschap van België inzake de accreditatie van opleidingen binnen het Nederlandse en Vlaamse hoger onderwijs. 3 september 2003.

VSNU, NWO en KNAW (2003). Standard Evaluation Protocol 2003–2009 for Public Research Organisations. www.vsnu.nl/web/show/id=100 311/langid=43.

Wet op het hoger onderwijs en wetenschappelijk onderzoek (WHW). Wet van 8 oktober 1992, houdende bepalingen met betrekking tot het hoger onderwijs en wetenschappelijk onderzoek.

Wet op het onderwijstoezicht. Wet van 20 juni 2002 houdende Wet op het onderwijstoezicht.

BIJLAGE ACCREDITATIEKADER NEDERLAND

Onderwerp Doelstellingen opleiding
Facetten	Criteria
Domeinspecifieke eisen	De eindkwalificaties van de opleiding sluiten aan bij de eisen die door (buitenlandse) vakgenoten en de beroepspraktijk gesteld worden aan een opleiding in het betreffende domein (vakgebied/discipline en/of beroepspraktijk).
Niveau: Bachelor en Master	De eindkwalificaties van de opleiding sluiten aan bij algemene, internationaal geaccepteerde beschrijvingen van de kwalificaties van een Bachelor of een Master.
Oriëntatie HBO/WO	De eindkwalificaties van de opleiding sluiten aan bij de volgende beschrijvingen van een Bachelor en een Master in HBO en WO: HBO:
	– De eindkwalificaties zijn mede ontleend aan de door (of in samenspraak met) het relevante beroepenveld opgestelde beroepsprofielen en/of beroepscompetenties.
	– Een HBO-bachelor heeft de kwalificaties voor het niveau van beginnend beroepsbeoefenaar in een specifiek beroep of samenhangend spectrum van beroepen waarvoor een HBO-opleiding vereist is of dienstig is.
	– Een HBO-master heeft de kwalificaties voor het niveau van zelfstandig en/of leidinggevend beroepsbeoefenaar in een beroep of spectrum van beroepen, dan wel het niveau van het functioneren in een multidisciplinaire omgeving waarin een HBO-opleiding vereist is of dienstig is.
	WO:
	– De eindkwalificaties zijn ontleend aan eisen vanuit de wetenschappelijke discipline, de internationale wetenschapsbeoefening en voor daarvoor in aanmerking komende opleidingen de relevante praktijk in het toekomstige beroepenveld.
	– Een WO-bachelor heeft de kwalificaties voor toegang tot ten minste één verdere WO-studie op masterniveau en eventueel voor het betreden van de arbeidsmarkt.
	– Een WO-master heeft de kwalificaties om zelfstandig wetenschappelijk onderzoek te verrichten of multi- en interdisciplinaire vraagstukken op te lossen in een beroepspraktijk waarvoor een WO-opleiding vereist is of dienstig is.
Onderwerp Programma
Facetten	Criteria
Eisen HBO/WO	Het programma sluit aan bij de volgende criteria voor het programma van een HBO- of een WO-opleiding:
	HBO:
	– Kennisontwikkeling door studenten vindt plaats via vakliteratuur, aan de beroepspraktijk ontleend studiemateriaal en via interactie met de beroepspraktijk en of (toegepast) onderzoek.
	– Het programma heeft aantoonbare verbanden met actuele ontwikkelingen in het vakgebied/de discipline.
	– Het programma waarborgt de ontwikkeling van beroepsvaardigheden en heeft aantoonbare verbanden met de actuele beroepspraktijk WO.
	– Kennisontwikkeling door studenten vindt plaats in interactie tussen het onderwijs en het wetenschappelijk onderzoek binnen relevante disciplines.
	– Het programma sluit aan bij ontwikkelingen in de relevante wetenschappelijke discipline(s) door aantoonbare verbanden met actuele wetenschappelijke theorieën.
	– Het programma waarborgt de ontwikkeling van vaardigheden op het gebied van wetenschappelijk onderzoek.
	– Bij daarvoor in aanmerking komende opleidingen heeft het programma aantoonbare verbanden met de actuele praktijk van de relevante beroepen.
Relatie tussen doelstellingen en inhoud programma	Het programma is een adequate concretisering van de eindkwalificaties, qua niveau, oriëntatie en domeinspecifieke eisen. De eindkwalificaties zijn adequaat vertaald in leerdoelen van (onderdelen van) het programma. De inhoud van het programma biedt studenten de mogelijkheid om de geformuleerde eindkwalificaties te bereiken.
Samenhang programma	Studenten volgen een inhoudelijk samenhangend studieprogramma.
Studielast	Het programma is studeerbaar doordat factoren, die betrekking hebben op dat programma en die de studievoortgang belemmeren zoveel mogelijk worden weggenomen.
Instroom	Het programma sluit qua vorm en inhoud aan bij de kwalificaties van de instromende studenten:
	– HBO-bachelor: VWO, HAVO, middenkaderopleiding of specialistenopleiding (WEB) of daarmee vergelijkbare kwalificaties, blijkend uit toelatingsonderzoek.
	– WO-bachelor: VWO, HBO-propedeuse of daarmee vergelijkbare kwalificaties, blijkend uit toelatingsonderzoek
	– HBO- en WO-master: bachelor en eventueel (inhoudelijke) selectie
Duur	De opleiding voldoet aan formele eisen m.b.t. de omvang van het curriculum:
	– HBO-bachelor: 240 studiepunten.
	– WO-bachelor: in de regel 180 studiepunten.
	– HBO-master: minimaal 60 studiepunten.
	– WO-master: minimaal 60 studiepunten, afhankelijk van de opleiding.
Afstemming tussen vormgeving en inhoud	Het didactisch concept is in lijn met de doelstellingen. De werkvormen sluiten aan bij het didactisch concept.
Beoordeling en toetsing	Door de beoordelingen, toetsingen en examens wordt adequaat getoetst of de studenten de leerdoelen van (onderdelen van) het programma hebben gerealiseerd.
Onderwerp Inzet van personeel
Facetten	Criteria
Eisen HBO/WO	De opleiding sluit aan bij de volgende criteria voor de inzet van personeel van een HBO- of een WO-opleiding: HBO: Het onderwijs wordt voor een belangrijk deel verzorgd door personeel dat een verbinding legt tussen de opleiding en de beroepspraktijk WO: Het onderwijs wordt voor een belangrijk deel verzorgd door onderzoekers die een bijdrage leveren aan de ontwikkeling van het vakgebied.
Kwantiteit personeel	Er wordt voldoende personeel ingezet om de opleiding met de gewenste kwaliteit te verzorgen.
Kwaliteit personeel	Het personeel is gekwalificeerd voor de inhoudelijke, onderwijskundige en organisatorische realisatie van het programma.
Onderwerp Voorzieningen
Facet	Criteria
Materiële Voorzieningen	De huisvesting en materiële voorzieningen zijn toereikend om het programma te realiseren.
Studiebegeleiding	De studiebegeleiding en de informatievoorziening aan studenten zijn adequaat met het oog op studievoortgang. De studiebegeleiding en de informatievoorziening aan studenten sluiten aan bij de behoefte van studenten.
Onderwerp Interne kwaliteitszorg
Facet	Criteria
Evaluatie resultaten	De opleiding wordt periodiek geëvalueerd, mede aan de hand van toetsbare streefdoelen.
Maatregelen tot verbetering	De uitkomsten van deze evaluatie vormen de basis voor aantoonbare verbetermaatregelen die bijdragen aan realisatie van de streefdoelen.
Betrekken van medewerkers, studenten, alumni en beroepenveld	Bij de interne kwaliteitszorg zijn medewerkers, studenten,alumni en het afnemend beroepenveld van de opleidingactief betrokken.
Onderwerp Resultaten
Facetten	Criteria
Gerealiseerd niveau	De gerealiseerde eindkwalificaties zijn in overeenstemming met de nagestreefde eindkwalificaties qua niveau, oriëntatie en domeinspecifieke eisen.
Onderwijsrendement	Voor het onderwijsrendement zijn streefcijfers geformuleerd in vergelijking met relevante andere opleidingen. Het onderwijsrendement voldoet aan deze streefcijfers.

BIJLAGE ACCREDITATIEKADER VLAANDEREN

Onderwerp Doelstellingen opleiding
Facetten	Criteria
Niveau en oriëntatie: bachelor hoger professioneel onderwijs	De opleidingsdoelstellingen zijn er op gericht de student te brengen tot:
	– Het beheersen van algemene competenties als denk- en redeneervaardigheid, het verwerven en verwerken van informatie, het vermogen tot kritische reflectie en projectmatig werken, creativiteit, het kunnen uitvoeren van eenvoudige leidinggevende taken, het vermogen tot communiceren van informatie, ideeën, problemen en oplossingen, zowel aan specialisten als aan leken en een ingesteldheid tot levenslang leren.
	– Het beheersen van algemene beroepsgerichte competenties als teamgericht kunnen werken, oplossingsgericht kunnen werken in de zin van het zelfstandig kunnen definiëren en analyseren van complexe probleemsituaties in de beroepspraktijk en het kunnen ontwikkelen en toepassen van zinvolle oplossingsstrategieën, en het besef van maatschappelijke verantwoordelijkheid samenhangend met de beroepspraktijk.
	– Het beheersen van beroepsspecifieke competenties op het niveau van een beginnend beroepsbeoefenaar.
Niveau en oriëntatie: bachelor academisch onderwijs	De opleidingsdoelstellingen zijn er op gericht de student te brengen tot:
	– Het beheersen van algemene competenties als denk- en redeneervaardigheid, het verwerven en verwerken van informatie, het vermogen tot kritische reflectie, creativiteit, het kunnen uitvoeren van eenvoudige managementtaken, het vermogen tot communiceren van informatie, ideeën, problemen en oplossingen, zowel aan specialisten als aan leken en een ingesteldheid tot levenslang leren.
	– Het beheersen van algemene wetenschappelijke competenties als een onderzoekende houding, kennis hebben van onderzoeksmethoden en -technieken en deze adequaat kunnen toepassen, het vermogen om de relevante data te verzamelen die een oordeelsvorming over maatschappelijke, wetenschappelijke en ethische vraagstukken kunnen sturen, een appreciatie van de onzekerheid, de ambiguïteit en de grenzen van de kennis en de vaardigheid tot het probleemgestuurd initiëren van onderzoek.
	– Het begrip van de wetenschappelijk-disciplinaire basiskennis eigen aan een bepaald domein van de wetenschappen of de kunsten, een systematische kennis van de kernelementen van een discipline met inbegrip van het verwerven van coherente en gedetailleerde kennis deels geïnspireerd door de nieuwste ontwikkelingen van de discipline en een begrip van de structuur van het vakgebied en de samenhang met andere vakgebieden.
Niveau en oriëntatie: master	De opleidingsdoelstellingen zijn er op gericht de student te brengen tot:
	– Het beheersen van algemene competenties op een gevorderd niveau als het vermogen om op een wetenschappelijke wijze te denken en te handelen, het om kunnen gaan met complexe problemen, het kunnen reflecteren op het eigen denken en werken en het kunnen vertalen van die reflectie naar de ontwikkeling van meer adequate oplossingen, het vermogen tot het communiceren van het eigen onderzoek en probleemoplossingen met vakgenoten en leken en het vermogen tot oordeelsvorming in een onzekere context.
	– Het beheersen van algemene wetenschappelijke competenties op een gevorderd niveau als het kunnen gebruiken van methoden en technieken in onderzoek, het kunnen ontwerpen van onderzoek, het kunnen toepassen van paradigma’s in het domein van de wetenschappen of kunsten en het kunnen aanduiden van de grenzen van paradigma’s, het vermogen tot originaliteit en creativiteit met het oog op het continu uitbreiden van de kennis en inzichten en het samen kunnen werken in een multidisciplinaire omgeving.
	– Een gevorderd begrip en inzicht in de wetenschappelijk-disciplinaire kennis eigen aan een bepaald domein van de wetenschappen of de kunsten, inzicht hebben in de nieuwste kennis van het vakgebied of delen ervan, in staat zijn om de wijze waarop de theorievorming beweegt te volgen en te interpreteren, in staat zijn om in een of enkele delen van het vakgebied een originele bijdrage aan de kennis te leveren en het bezitten van specifieke bij het vakgebied horende vaardigheden als ontwerpen, onderzoeken, analyseren en diagnosticeren.
	– Hetzij het beheersen van de competenties nodig voor het zelfstandig kunnen verrichten van wetenschappelijk onderzoek of de zelfstandige beoefening van de kunsten op het niveau van een beginnend onderzoeker of kunstenaar, hetzij het beheersen van de algemene en specifieke beroepsgerichte competenties nodig voor de zelfstandige aanwending van wetenschappelijke of artistieke kennis op het niveau van een beginnend beroepsbeoefenaar.
Domeinspecifieke eisen*	De doelstellingen van de opleiding (uitgedrukt in eindkwalificaties van de student) sluiten aan bij de eisen die door (buitenlandse) vakgenoten en het relevante beroepenveld gesteld worden aan een opleiding in het betreffende domein (vakgebied/discipline en/of beroepspraktijk of kunstpraktijk). Ze zijn, ingeval van gereglementeerde beroepen, in overeenstemming met de reglementering of regelgeving ter zake Voor professioneel gerichte bachelorsopleidingen zijn de eindkwalificaties getoetst bij het relevante beroepenveld. Voor academisch gerichte bachelorsopleidingen en mastersopleidingen zijn de eindkwalificaties ontleend aan eisen vanuit de wetenschappelijke en/of artistieke discipline, de internationale wetenschapsbeoefening en voor daarvoor in aanmerking komende opleidingen de praktijk in het relevante beroepenveld.
* De domeinspecifieke eisen operationaliseren de generieke kwaliteitswaarborgen. Zij zijn hiërarchisch aan deze waarborgen ondergeschikt.
Onderwerp Programma
Facetten	Criteria
Eisen professionele en academische gerichtheid	Het programma sluit aan bij de volgende criteria voor professionele of academische gerichtheid: Professioneel gerichte bachelorsopleiding:
	– Kennisontwikkeling door studenten vindt plaats via vakliteratuur, aan de beroeps- of kunstpraktijk ontleend studiemateriaal en via interactie met de beroepspraktijk, de kunstpraktijk en/of (toegepast) onderzoek.
	– Het programma heeft aantoonbare verbanden met actuele ontwikkelingen in het vakgebied/de discipline.
	– Het programma waarborgt de ontwikkeling van beroeps- of artistieke vaardigheden en heeft aantoonbare verbanden met de actuele beroepspraktijk Academisch gerichte bachelorsopleiding en mastersopleiding.
	– Kennisontwikkeling door studenten vindt plaats in interactie tussen het onderwijs en het wetenschappelijk onderzoek (met inbegrip van het onderzoek in de kunsten) binnen relevante disciplines.
	– Het programma sluit aan bij ontwikkelingen in de relevante wetenschappelijke discipline(s) door aantoonbare verbanden met actuele wetenschappelijke theorieën.
	– Het programma waarborgt de ontwikkeling van vaardigheden op het gebied van wetenschappelijk onderzoek en/of de ontwikkeling en beoefening van de kunsten.
	– Bij daarvoor in aanmerking komende opleidingen heeft het programma aantoonbare verbanden met de actuele praktijk van de relevante beroepen.
Relatie tussen doelstellingen en inhoud programma	Het programma is een adequate concretisering van de eindkwalificaties van de opleiding, qua niveau, oriëntatie en domeinspecifieke eisen De eindkwalificaties zijn adequaat vertaald in leerdoelen van (onderdelen van) het programma. De inhoud van het programma biedt studenten de mogelijkheid om de geformuleerde eindkwalificaties te bereiken.
Samenhang programma	Studenten volgen een inhoudelijk samenhangend studieprogramma.
Studielast	De werkelijke studietijd wordt getoetst en sluit aan bij de normen vastgesteld krachtens decreet. Het programma is studeerbaar doordat factoren, die betrekking hebben op dat programma en die de studievoortgang belemmeren zoveel mogelijk worden weggenomen.
Toelatingsvoorwaarden**	Het programma sluit qua vorm en inhoud aan bij de kwalificaties van de instromende studenten:
Bachelor:	– Diploma secundair onderwijs, diploma van het hoger onderwijs van het korte type met volledig leerplan, diploma van het hoger onderwijs voor sociale promotie of een diploma of getuigschrift dat bij of krachtens een wet, decreet, Europese richtlijn of een andere internationale overeenkomst als gelijkwaardig wordt erkend.
	– Door het instellingsbestuur bepaalde voorwaarden voor personen die niet aan bovengenoemde voorwaarden voldoen Bachelor na bachelor:
	– Bachelorsgraad, met (een) door het instellingsbestuur nader bepaalde kwalificatie(s), eventueel aangevuld met een onderzoek naar geschiktheid of bekwaamheid of een voorbereidingsprogramma Master.
	– Bachelorsgraad, met (een) door het instellingsbestuur nader bepaalde kwalificatie(s), en in voorkomend geval aangevuld met een geïndividualiseerd opleidingsprogramma, een voorbereidingsprogramma of een schakelprogramma Master na master.
	– Mastersgraad, met (een) door het instellingsbestuur nader bepaalde kwalificatie(s), eventueel aangevuld met een onderzoek naar geschiktheid of bekwaamheid of een voorbereidingsprogramma.
Studieomvang	De opleiding voldoet aan formele eisen m.b.t. de studieomvang:
	– Bachelor: ten minste 180 studiepunten
	– Bachelor na bachelor: ten minste 60 studiepunten
	– Master: ten minste 60 studiepunten
	– Master na master: tenminste 60 studiepunten
Afstemming tussen vormgeving en inhoud	Het didactisch concept is in lijn met de doelstellingen. De werkvormen sluiten aan bij het didactisch concept.
Beoordeling en toetsing	Door de beoordelingen, toetsingen en examens wordt adequaat en voor studenten inzichtelijk getoetst of de studenten de leerdoelen van (onderdelen van) het programma hebben gerealiseerd.
** De beschreven toelatingsvoorwaarden zijn deze vastgelegd in het structuurdecreet. Vanaf 2005–2006 worden de toelatingsvoorwaarden in het hoger onderwijs geregeld door het flexibiliseringsdecreet. Deze toelatingsvoorwaarden zullen inhoudelijk identiek zijn aan deze die hier worden opgesomd.
Masterproef	De mastersopleiding wordt afgesloten met een masterproef, waarmee de student blijk geeft van een analytisch en synthetisch vermogen of van een zelfstandig probleemoplossend vermogen op academisch niveau of het vermogen tot kunstzinnige schepping. Het werkstuk weerspiegelt de algemeen kritischreflecterende ingesteldheid of de onderzoeksingesteldheid van de student. De masterproef heeft een omvang van ten minste één vijfde van het totale aantal studiepunten met een minimum van 15 en een maximum van 30 studiepunten.
Onderwerp Inzet van personeel
Facetten	Criteria
Eisen professionele/academische gerichtheid	De opleiding sluit aan bij de volgende criteria voor de inzet van personeel van een professioneel gerichte of een academisch gerichte opleiding:
	– Professioneel gerichte opleidingen: – Het onderwijs wordt voor een belangrijk deel verzorgd door personeel dat een verbinding legt tussen de opleiding en de beroeps- of kunstpraktijk Academisch gerichte opleidingen.
	– Het onderwijs wordt voor een belangrijk deel verzorgd door onderzoekers die een bijdrage leveren aan de ontwikkeling van het vakgebied (met inbegrip van het onderzoek in de kunsten).
	– Bij de daartoe in aanmerking komende opleidingen dient daarenboven voldoende personeel te beschikken over kennis en inzicht in de desbetreffende beroeps- of kunstpraktijk.
Kwantiteit personeel	Er wordt voldoende personeel ingezet om de opleiding met de gewenste kwaliteit te verzorgen.
Kwaliteit personeel	Het personeel is gekwalificeerd voor de inhoudelijke, onderwijskundige en organisatorische realisatie van het programma.
Onderwerp Voorzieningen
Facet	Criteria
Materiële Voorzieningen	De huisvesting en materiële voorzieningen zijn toereikend om het programma te realiseren.
Studiebegeleiding	De studiebegeleiding en de informatievoorziening aan studenten zijn adequaat met het oog op studievoortgang De studiebegeleiding en de informatievoorziening aan studenten sluiten aan bij de behoefte van studenten.
Onderwerp Interne kwaliteitszorg
Facet	Criteria
Evaluatie resultaten	De opleiding wordt periodiek geëvalueerd, mede aan de hand van toetsbare streefdoelen.
Maatregelen tot verbetering	De uitkomsten van deze evaluatie vormen de basis voor aantoonbare verbetermaatregelen die bijdragen aan realisatie van de streefdoelen.
Betrekken van medewerkers, studenten, alumni en beroepenveld	Bij de interne kwaliteitszorg zijn medewerkers, studenten,alumni en het afnemend beroepenveld van de opleiding actief betrokken.
Onderwerp Resultaten
Facetten	Criteria
Gerealiseerd niveau	De gerealiseerde eindkwalificaties zijn in overeenstemming met de nagestreefde eindkwalificaties qua niveau, oriëntatie en domeinspecifieke eisen.
Onderwijsrendement	Voor het onderwijsrendement zijn streefcijfers geformuleerd in vergelijking met relevante andere opleidingen. Het onderwijsrendement voldoet aan deze streefcijfers.

---

1 De minister van Onderwijs, Cultuur en Wetenschap formuleerde in de strategische agenda over het hogeronderwijs-, onderzoek- en wetenschapsbeleid (OCW, 2007a) de hoofdlijnen van de geplande wijziging.

1 In Nederland worden de commissies panels genoemd, maar voor de leesbaarheid wordt in dit onderzoek de term (visitatie)commissies gebruikt.

1 Visitaties voor academische opleidingen van hogescholen, georganiseerd in het kader van een associatie, worden gezamenlijk door beide organen georganiseerd.

1 Hoewel bachelor- en masteropleidingen als afzonderlijk te accrediteren opleidingen worden beschouwd, zijn ze in dit onderzoek samen onderzocht. In Nederland werd daarbij de nadruk gelegd op de bacheloropleidingen, omdat zij langer duren en te maken hebben met grotere studentenaantallen dan de masteropleidingen, terwijl de kwaliteitszorgsystemen van de bachelor- en masteropleidingen identiek zijn. In Vlaanderen was het proces van accreditatie nog niet bij alle geselecteerde opleidingen afgerond.

2 Voor de Vlaamse Xios Hogeschool werden slechts twee opleidingen geselecteerd, omdat de instelling geen opleiding Verpleegkunde heeft.

3 1. techniek, 2. gedrag en maatschappij en rechtsgeleerdheid, 3. handelswetenschappen en bedrijfskunde/economie. De instelling kon geselecteerd worden als ze beschikte over de drie typen opleidingen.

4 Een managementteam omvatte twee opleidingen, waardoor het totaal op 17 in plaats van 18 ligt.

5 De managementteams telden personeelsleden die op instellings- en opleidingsniveau binnen de kwaliteitszorg actief zijn, alsook leden van het opleidingsbestuur. In sommige gevallen was ook het instellingsbestuur aanwezig.

1 In Nederland voert het Researchcentrum voor Onderwijs en Arbeidsmarkt jaarlijks de HBO- en WO-monitor uit. Dit is een landelijke enquête onder afgestudeerden. Instellingen kunnen instellingsspecifieke vragen toevoegen. Dit instrument wordt vaak genoemd als manier om alumni te betrekken. Een opleiding acht de waarde van dat onderzoek gering vanwege de lage respons.

1 De Erkenningscommissie Hoger Onderwijs werd initieel opgericht bij besluit van de Vlaamse Regering van 4 juli 2003 betreffende de samenstelling van de Erkenningscommissie in het hoger onderwijs. Dit gebeurde in het licht van de omvormingsoperatie naar de bachelor–masterstructuur. De Erkenningscommissie startte haar activiteiten op 1 oktober 2003.

1 Het Vlaams Ministerie van Onderwijs en Vorming vraagt of het referentiekader niet eerder op een generieke wijze moet vastgesteld worden los van de visitaties zodat de opleidingen zich daarop kunnen richten bij de bepaling van het studieprogramma. Het vaststellen van het referentiekader op het moment van de evaluatie zelf, is volgens het ministerie te laat, want eigenlijk zou ook de zelfevaluatie hieraan moeten refereren.

1 Bij die laatste inschatting lijkt gebruik te zijn gemaakt van een brede uitwerking van het begrip, lijkt de uitbesteding van het zelfevaluatierapport relatief duur te zijn uitgevallen en is waarschijnlijk de factuur van de VBI ook opgenomen.

1 Verdrag tussen het Koninkrijk der Nederlanden en de Vlaamse Gemeenschap van België inzake de accreditatie van opleidingen binnen het Nederlandse en Vlaamse hoger onderwijs van 3 september 2003.