Addendum Toezichtkader bve 2012

Beoordeling opbrengsten bekostigd en niet bekostigd mbo-onderwijs per 1 januari 2012

1. Inleiding

In het toezichtkader bve 2012 is in het waarderingskader nog geen specifieke informatie opgenomen over het onderdeel opbrengsten. In dit addendum geven we duidelijkheid over de wijze waarop de inspectie in 2012 met de opbrengsten om gaat.

Opbrengsten zijn een belangrijk onderdeel van de beoordeling van de kwaliteit van het onderwijs. Bij bekostigde instellingen is het een weergave van het voldoen aan de maatschappelijke opdracht en daarnaast is het, zowel voor het bekostigd als niet-bekostigd onderwijs, een belangrijke indicator voor het succes van de opleiding.

Voorts zijn de opbrengsten voor de inspectie een belangrijke risico-indicator. Bij lage opbrengsten bestaat het risico op tekortkomingen in het onderwijsleerproces.

Voor de beoordeling van de opbrengsten van bekostigd mbo zijn in overleg met de MBO-raad, de AOC-raad, Duo/CFI en het Ministerie van OCW kengetallen ontwikkeld: het jaarresultaat en het diplomaresultaat. Deze indicatoren gebruikt de inspectie ook in 2012.

Met de beoordeling van opbrengsten van niet-bekostigd mbo is de afgelopen jaren een begin gemaakt. Deze opbrengsten zijn nog niet uit Bron (de Basisregistratie van onderwijsgegevens door middel van het onderwijsnummer) te halen en moeten door de instellingen zelf aangeleverd worden. Per 1 januari 2012 moeten ook deze instellingen hun gegevens aan Bron aanleveren. Het zal echter tot 2014 duren voordat deze gegevens voor het toezicht bruikbaar zijn. Opbrengsten worden net als bij het bekostigd onderwijs met name gebruikt voor de risicoanalyse en de beoordeling van opbrengsten op opleidingsniveau. Opbrengsten vormen ook bij niet bekostigde instellingen een essentieel onderdeel van het oordeel over het onderwijskwaliteit. Het kengetal is anders samengesteld vanwege het andere karakter van de niet bekostigde instellingen, maar de uitkomsten zijn vergelijkbaar.

Belangrijk ontwikkelingstraject betreft de indicator toegevoegde waarde. In 2011 is een project gestart met bovengenoemde organisaties om deze indicator vorm te geven. Verderop in dit addendum wordt dit nader toegelicht.

Daarnaast is er het kengetal voor voortijdige schoolverlaters (VSV) zoals deze door het ministerie van OCW wordt gebruikt voor de meting van de terugdringing van VSV en de prestaties van instellingen daarbij. Dit kengetal wijkt af van de kengetallen jaarresultaat en diplomaresultaat; zowel teller als noemer verschillen in samenstelling en/of doelgroepen. Ook hierop wordt in dit addendum ingegaan.

De normen voor de opbrengsten 2009–2010 per niveau zijn per 15 juni 2011 vastgesteld door de Minister. Deze normen zijn dezelfde als voor de opbrengsten 2008–2009 en zullen ook voor de opbrengsten 2010–2011 gehandhaafd blijven. Dat betekent een grote stabiliteit in zowel kengetallen als normen voor deze drie jaren.

In dit addendum worden achtereenvolgens behandeld:

• Beoordeling opbrengsten op het niveau van kwalificatiedossiers.

• Opbrengsten bekostigd onderwijs: kengetallen en normen.

• Opbrengsten niet-bekostigd onderwijs: kengetallen en normen.

• Beoordeling VSV.

• Ontwikkeling indicator toegevoegde waarde.

• Vavo

• Educatie

Strekking van dit addendum

Dit addendum is geldig voor het toezichtsjaar 2012 en daarmee voor de opbrengsten bekostigd onderwijs 2009-2010 en 2010-2011 en voor de opbrengsten niet bekostigd onderwijs van 2010 en 2011. Mocht het nodig zijn tussentijds dit addendum aan te passen, dan zal dit tijdig met de belanghebbenden worden gecommuniceerd.

2. Beoordeling opbrengsten op niveau van kwalificatiedossiers

In het overleg met MBO-raad, AOC-raad, DUO/CFI en Ministerie van OCW is overeengekomen dat opbrengsten bij het bekostigd onderwijs beoordeeld gaan worden op het niveau van de kwalificatiedossiers¹ (kd) per niveau. Voorheen vond dit plaats op het niveau van individuele opleidingen, volgens de creboregistratie. De opbrengsten waren op dat niveau echter niet goed te vergelijken.

Er is een lijst beschikbaar van alle kwalificatiedossiers (met cp-codes).² De beoordeling van opbrengsten vindt op dat niveau plaats en het oordeel heeft dus betrekking op alle daaraan verbonden crebo’s.

Tijdens onderzoeken van de inspectie wordt de samenstelling van de cp-code zorgvuldig gecheckt om vast te stellen of deze ook de werkelijke situatie bij de instelling weergeeft.

3. Opbrengsten bekostigd onderwijs: kengetallen en normen

De kengetallen jaarresultaat en diplomaresultaat worden onveranderd gebruikt in de beoordeling van de opbrengsten 2009–2010 alsmede 2010–2011. Er worden in 2012 geen nieuwe kengetallen toegevoegd.

Jaarresultaat

Object: Alle gediplomeerden in een jaar plus de in hetzelfde jaar ongediplomeerde instellingsverlaters.

Vraagstelling: Hoe groot is het aantal gediplomeerden in een jaarperiode (instellingsverlaters met diploma plus gediplomeerde doorstromers binnen de instelling) als percentage van hetzelfde aantal gediplomeerden plus de ongediplomeerde instellingsverlaters in dezelfde periode.

Formule op instellingsniveau:

Formule op niveau kwalificatiedossier:

Opmerkingen jaarresultaat:

• Eerder behaalde diploma’s tellen niet mee.

• Tussentijds (in het jaar) behaalde diploma’s tellen mee. M.a.w. de datum waarop het diploma is behaald is bepalend voor wat er in de teller staat.

• Wanneer een deelnemer in een meetperiode meer diploma’s behaalt wordt het hoogste diploma geteld.

Diplomaresultaat

Object: Instellingsverlaters in een jaar.

Vraagstelling: Hoe groot is het aantal gediplomeerde instellingsverlaters in een jaar als percentage van alle instellingsverlaters in hetzelfde jaar.

Formule op instellingsniveau:

Formule op niveau kwalificatiedossier:

Opmerking diplomaresultaat:

• Alle (ook eerder binnen de instelling behaalde) diploma’s worden meegeteld.

Wie tellen mee?

Bekostigde deelnemers, niet-bekostigde deelnemers (niet zijnde contractdeelnemers), examendeelnemers en overige gediplomeerden in de jaarperiode (deelnemers die zijn ingestroomd na de teldatum en gediplomeerd zijn uitgestroomd voor de volgende teldatum). Bekostigde deelnemers gaan voor niet-bekostigde deelnemers, niet-bekostigde deelnemers gaan voor examendeelnemers.

Normen

De normen zijn voor drie achtereenvolgende jaren (2008–2009, 2009–2010, 2010–2011) vastgesteld. Daarmee is er voor zowel kengetallen als normen een stabiele situatie van drie jaar gecreëerd.

Niveau	Jaarresultaat	Diplomaresultaat
1	60,7	45,1
2	56,5	45,2
3	65,3	67,3
4	64,2	67,3

Overgangsregeling naar het nieuwe opbrengstenjaar

Ieder voorjaar komt er een moment waarop de opbrengsten van een volgend teljaar worden gebruikt. Rondom dit moment zijn er altijd vragen van instellingen over het gebruik van de nieuwe opbrengsten in de onderzoeken. Alhoewel in die periode instellingen vaak al op opleidingsniveau getallen zelf berekende cijfers beschikbaar hebben, hanteert de inspectie in verband met de betrouwbaarheid en validiteit alleen de door haar verwerkte kengetallen uit Bron. De exacte datum van overgang naar beoordeling van de opbrengsten van een volgend teljaar zal zoals ook afgelopen jaren per brief worden aangekondigd. Voor de rapporten die op die datum nog niet definitief zijn, worden de nieuwe opbrengsten gehanteerd.

4. Opbrengsten niet-bekostigd onderwijs: kengetallen en normen.

In het toezichtkader bve 2012 is in paragraaf 5.5.1 opgenomen dat de inspectie voor het niet bekostigd mbo een vergelijkbare indicator hanteert voor het rendement van de opleiding.

De opbrengsten van niet bekostigde instellingen worden per 1 januari 2012 systematisch betrokken bij de jaarlijkse risicoanalyse. Ook wordt over de opbrengsten een oordeel gegeven in de driejaarlijkse Staat van de instelling, alsmede in kwaliteitsonderzoeken en eventuele onderzoeken naar kwaliteitsverbetering in de tweede orde. Daarmee krijgen de opbrengsten bij deze instellingen dezelfde status als bij de bekostigde instellingen.

Het kengetal en de normen zijn afgestemd op de specifieke situatie en studentkenmerken van deze groep instellingen. Het geheel is afgestemd met de NRTO en besproken met een vertegenwoordiging van de instellingen.

Kengetal

Als kengetal hanteren we het rendement, oftewel de slaagkans. Dit is een kengetal dat uitgaat van een cohortbenadering.

Formule op instellings- en opleidingsniveau:

Aantal gestarte studenten in startjaar y (de noemer)

Voor de cohortbenadering gaan we uit van een startgroep. Het gaat hier om studenten die (ongeveer) op dezelfde tijd met een opleiding zijn gestart. De specifieke startdata van de studenten kunnen verschillen, maar worden voor de berekening van het rendement toegerekend aan het halfjaar waarin de studenten gestart zijn. Als de ene student is gestart op 1 februari 2009 en de andere op 1 april 2009, dan zijn er bijvoorbeeld twee studenten gestart in het eerste halfjaar van 2009.

Aantal geslaagde studenten van startjaar y (de teller)

Voor het totaal aantal geslaagde studenten van startjaar y, gaan we uit van het aantal studenten uit de startgroep dat geslaagd is in de periode vanaf het startmoment van de studie, tot 12 maanden na de door de instelling geprogrammeerde studieduur van de opleiding.³ De einddatum van een opleiding valt aan het einde van de geprogrammeerde studieduur. Dit is de eerste peildatum: studenten die dan het diploma halen zijn geslaagd binnen de gestelde termijn. De tweede peildatum valt 12 maanden na de eerste peildatum. Studenten die vóór de tweede peildatum hun diploma halen, zijn met een vertraging van maximaal 12 maanden geslaagd. Het aantal studenten dat dán geslaagd is nemen we als basis voor het berekenen van het rendement.⁴ Voor afstandsonderwijs is het uitgangspunt hetzelfde, met dien verstande dat de eerste peildatum valt na tweemaal de nominale studieduur voor de desbetreffende opleiding. De tweede peildatum valt 12 maanden na de eerste peildatum.

Een voorbeeld

Als van de 100 studenten die in een startjaar gestart zijn, na de tweede peildatum (12 maanden na het einde van de nominale studieduur) 80 procent een diploma gehaald heeft, is het rendement 80 procent. Anders gezegd: een gemiddelde student in deze opleiding had bij de start 80 procent kans om een diploma te halen binnen de genoemde periode.

Norm P30

De inspectie berekent net als bij de bekostigde instellingen aan de hand van percentiel 30 de bijbehorende toe te passen opbrengstennorm. Het percentiel 30 is de basis voor het berekenen van de uiteindelijke toe te passen norm.⁵

De inspectie onderscheidt drie doelgroepen (jonger dan 23, ouder dan 23, afstandsonderwijs). Aan de hand van het percentiel 30 wordt voor elk van deze groepen de uiteindelijke toe te passen norm berekend. De benodigde gegevens voor het berekenen van de toe te passen normen worden bij de instellingen opgevraagd.

De norm wordt berekend over de trajecten die gericht zijn op het behalen van een mbo diploma.⁶

	< 23 jaar	> 23 jaar	afstandsonderwijs
Uiteindelijk toe te passen norm bij P30:	PM (volgt als informatie van instellingen is ontvangen)	PM (volgt als informatie van instellingen is ontvangen)	PM (volgt als informatie van instellingen is ontvangen)

Definitie ‘instellingen voor afstandsonderwijs’

Het gaat om instellingen die voor lesactiviteiten geen aanwezigheidsverplichtingen aan studenten opleggen, en op dat punt ook geen aanbod doen. Onder lesactiviteiten wordt verstaan: bijeenkomsten/lessen die in het kader staan van leren. Deze bijeenkomsten/lessen zijn gerelateerd aan het onderwijsprogramma en het eindtermendocument/kwalificatiedossier.

Onder lesactiviteiten wordt niet verstaan: voorlichtingsbijeenkomsten of instructiebijeenkomsten over digitale onderwijsprogramma’s. De aanwezigheid bij examens staat hier los van.

Terugvaloptie

In 2012 gaat de inspectie voor het eerst met de genoemde driedeling werken. De inspectie hanteert een terugvaloptie. Als mocht blijken dat er te kleine aantallen per groep overblijven om de norm betrouwbaar te kunnen berekenen, of als er veel opleidingen zijn waarbij het onderscheid tussen ‘jonger dan 23 jaar’ en ‘ouder dan 23 jaar’ niet is te maken, dan wordt geen onderscheid gemaakt tussen de leeftijdsgroepen.

Bevraging

De toe te passen norm kan pas worden bepaald als de instellingen informatie hebben aangeleverd aan de inspectie. De toe te passen norm is immers afhankelijk van de door niet bekostigde instellingen gerealiseerde rendementen. De bevraging start op 1 januari 2012 en de norm wordt zo snel mogelijk daarna per brief bekend gemaakt aan de niet bekostigde instellingen.

De instellingen zijn verplicht aan de bevraging mee te werken en betrouwbare gegevens op te leveren. Bij het niet opleveren van gegevens zal de inspectie dit als een ernstig signaal beschouwen en tweede orde toezicht uitvoeren. Als bij het bezoek aan de instelling nog geen betrouwbare gegevens beschikbaar gesteld worden, dan zijn de opbrengsten ‘onvoldoende’ hetgeen tot een aangepast arrangement leidt. Dit geldt uiteraard niet voor nieuwe instellingen of nieuwe opleidingen, waar nog geen rendement berekend kan worden.

Als de niet bekostigde instelling voor 2012 geselecteerd is voor de driejarige instellingsanalyse, en er blijken geen betrouwbare opbrengstgegevens voorhanden te zijn, dan volgt eveneens het oordeel ‘onvoldoende opbrengsten’ voor de betreffende opleidingen. Ongeveer een jaar later volgt dan een onderzoek naar kwaliteitsverbetering.

5. Beoordeling VSV

Het Ministerie van OCW heeft afspraken met de instellingen omtrent de terugdringing van vsv. Het Ministerie stelt periodiek de definitieve cijfers van vsv op instellingsniveau vast.⁷ Voor het toezicht gebruikt de inspectie deze definitieve cijfers per instelling. Bij voortijdig schoolverlaten gaat het niet om instellingsverlaters maar om onderwijsverlaters. Daardoor kan de instelling het vsv-cijfer niet uit eigen gegevens herleiden.

Voor de beoordeling van VSV op instellingsniveau hanteren wij drie vragen.

1. Wat zijn de resultaten op het gebied van terugdringing vsv?

Het vsv- kengetal op instellingsniveau betrekken wij bij het opmaken van de staat van de instelling. Wij gaan hierbij uit van de meest actuele en definitieve cijfers die door het ministerie van OCW zijn vrijgegeven.

De informatie betrekken we bij het bepalen van de vraag of er bij de instelling sprake is van veel, enkele of geen risico’s. Die driedeling in soorten risico’s is weergegeven in figuur 3.2 van het toezichtkader bve 2012. Bij een goede of voldoende kwaliteitsborging is vervolgens de kans op het doen van tweede orde toezicht kleiner dan wanneer er sprake is van onvoldoende of slechte kwaliteitsborging.

Als er mede als gevolg van een te hoog vsv cijfer tweede orde toezicht wordt uitgevoerd wordt nader onderzocht wat de oorzaak daarvan is.

2. Is er binnen de instelling vsv-beleid vastgesteld en wordt daarop gestuurd?

Bij het onderzoek naar de staat van de instelling wordt vastgesteld of er vsv-beleid is, en of daarop voldoende wordt gestuurd. Nagegaan wordt of vsv onderdeel vormt van de kwaliteitsborging.

De conclusie wordt betrokken bij de vraag of sprake is van goede, voldoende, onvoldoende of slechte kwaliteitsborging.

3. Voldoet de instelling aan de wettelijke meldingsplicht?

Het voldoen aan de wettelijke meldingsplicht vsv wordt bij de opleidingen in de steekproefonderzoeken en eventuele kwaliteitsonderzoeken in de tweede orde altijd onderzocht. Bij niet voldoen zijn de wettelijke vereisten onvoldoende en moet de instelling dit herstellen. Hier vindt hercontrole op plaats.

Op het niveau van het kwalificatiedossier/opleidingen is geen concrete informatie over vsv beschikbaar. Daarom maakt het vsv-kengetal geen deel uit van de set opbrengstindicatoren die op dat niveau wordt gehanteerd. In de toekomst kan dat mogelijk wel gebeuren.

6. Ontwikkeling indicator toegevoegde waarde.

In 2011 is een gezamenlijk project van de inspectie, MBO-raad, AOC-raad, DUO/CFI en het ministerie van OCW gestart om een indicator toegevoegde waarde te ontwikkelen die door alle partijen te gebruiken is. De toegevoegde waarde geeft het niveau van uitstroom van de student weer, gegeven het niveau van instroom. Daardoor geeft deze indicator informatie over de bijdrage die de instelling in die periode heeft geleverd. In 2012 worden proeven gedaan met de ontwikkelde indicator. Mogelijk worden in 2013 de opbrengsten 2011–2012 met deze indicator beoordeeld.

De gehanteerde set indicatoren wordt in dat geval bijgesteld.

7. VAVO.

De opbrengsten van bekostigd en niet-bekostigd VAVO worden in 2012 bij het toezicht betrokken. Er wordt geen onderscheid gemaakt tussen bekostigde en niet-bekostigde instellingen.

De opbrengstennormen zijn als volgt:

• Voor SE-CE mag het verschil niet meer bedragen dan 0.5 punt (wanneer geldt dat het schoolexamen over drie jaar gemiddeld meer dan een half punt hoger is dan het centraal examen, dan spreken we van een groot verschil).

• Voor CE geldt absoluut de norm van 5.8. Deze norm wordt op 1 september 2013 verhoogd naar 5,9 en op 1 september 2014 naar 6,0

We gaan hierbij uit van driejaarsgemiddelden.

8. Overige educatie

De opbrengsten van Educatie worden in 2012 in het gesprek over risico’s met het bevoegd gezag aan de orde gesteld. Daarbij wordt van de instelling verwacht dat zij zelf de resultaten en mogelijke risico’s in beeld hebben en daarop sturen. De conclusies worden betrokken bij het oordeel over het niveau van de kwaliteitsborging van de instelling.

---

1 Ook wel genoemd de cp-codes.

2 Het gaat bij de CP-code om het kwalificatiedossier, met daarbij alleen uitstroomvarianten en de oude stijlopleidingen. Wanneer hier meerdere niveaus inzitten, wordt per niveau de opbrengsten berekend.

3 Als de door de instelling geprogrammeerde studieduur langer is dan de nominale studieduur, wordt voor de berekening van het rendement uitgegaan van de nominale studieduur.

4 In de berekening delen we die studenten toe aan een halfjaar, zoals dat ook bij het startjaar is gedaan.

5 Percentiel 30 geeft de grens aan tussen de groep van 30% met lagere opbrengsten en de groep van 70% met hogere opbrengsten. Het opbrengstpercentage dat hoort bij de grens 30/70 is de uiteindelijk toe te passen norm. Het is daarmee een relatieve norm.

6 De inspectie vraagt ook informatie op over het aantal studenten dat onderdelen van de studie volgt, maar die niet van plan zijn om het mbo-diploma te behalen.

7 Begin november 2011 heeft de minister van OCW de brief “Vernieuwde vsv aanpak 2012-2015’ aan de instellingen gestuurd.