Tweede Kamer der Staten-Generaal 2 Vergaderjaar 2007-2008 KST113847 2007-2008 31 007 Parlementair Onderzoek Onderwijsvernieuwingen Nr. 9 RAPPORTEN Inhoud blz. Deelonderzoek Researchcentrum voor Onderwijs en Arbeidsmarkt (Maastricht) 3 Deelonderzoek Onderzoekscentrum Leren in Interactie (Utrecht) 115 Essay Centraal Planbureau (Den Haag) 157 Deelonderzoek uitgevoerd door Researchcentrum voor Onderwijs en Arbeidsmarkt (ROA) Faculteit der Economische Wetenschappen en Bedrijfskunde Universiteit Maastricht Het meten van onderwijskwaliteit en de effecten van recente onderwijsvernieuwingen Lex Borghans Rolf van der Velden Charlotte Büchner Johan Coenen Christoph Meng Inhoudsopgave blz. 1 Inleiding 7 2 Het meten van de kwaliteit van onderwijs 10 2.1 Doel van het onderwijs 10 2.2 Een heuristisch kader voor de beoordeling van kwaliteit 11 2.3 Het meten van kennis, vaardigheden en competenties 13 2.4 Praktische problemen bij het meten van kennis en vaardigheden 16 2.5 Waarom is het meten van kwaliteit van onderwijs van belang? 18 3 Evaluatie van ontwikkelingen in de onderbouw: de basisvorming 24 3.1 Inleiding 24 3.2 De basisvorming 24 3.3 Zijn de doelstellingen van de basisvorming gerealiseerd? 25 3.4 Conclusies 39 4 Evaluatie van de invoering van het VMBO 42 4.1 Inleiding 42 4.2 Schoolloopbaan tijdens VBO/MAVO/VMBO 43 4.3 Bestemming van de gediplomeerde MAVO/VBO/VMBO schoolverlaters 50 4.4 Doorstroom naar kwalificerend vervolgtraject 51 4.5 Conclusies 56 5 De evaluatie van de invoering van de tweede fase in de bovenbouw van HAVO en VWO 58 5.1 Inleiding 58 5.2 Leerlingenstromen binnen HAVO en VWO 59 5.3 Doorstroompatronen van gediplomeerden van HAVO en VWO 68 5.4 Aansluiting met vervolgonderwijs 74 5.5 Veranderingen in vaardigheden 76 5.6 Conclusies 81 6 Internationaal vergelijkende testen 83 6.1 Inleiding 83 6.2 Mogelijkheden en beperkingen van internationale vergelijkingen 83 6.3 Internationaal vergelijkende testen sinds 1990 89 6.4 Conclusie 90 7 Conclusies 91 7.1 De data 91 7.2 De effecten van de onderwijsvernieuwingen 94 8 Een voorstel voor een aanpak voor het meten van kwaliteit 99 8.1 Inleiding 99 8.2 Wat voor informatie zou systematisch verzameld moeten worden? 102 Literatuur 109 Appendix 1 112 1 INLEIDING De Tweede Kamer der Staten-Generaal heeft de Commissie Parlementair Onderzoek Onderwijsvernieuwingen geïnstalleerd die tot doel heeft inzicht te verwerven in de invoering van onderwijsvernieuwingen zoals de basisvorming, tweede fase voortgezet onderwijs en het VMBO, om daarmee lessen te trekken voor de toekomst. In dit kader is er behoefte aan een deelonderzoek kwaliteit om inzicht te krijgen in de kwaliteit van het onderwijs, waar mogelijk internationaal vergelijkend. De nadruk ligt daarbij op het voortgezet onderwijs. De vragen die hierbij beantwoord moeten worden, zijn met enige wijzigingen gebaseerd op de vragen 4 en 8 uit het onderzoeksvoorstel van de commissie en luiden: 1. Is er inzicht en overeenstemming te verkrijgen over de werkelijke kwaliteit van het onderwijs, mede op basis van beschikbare gegevens zoals uit VOCL of PRIMA-VO? Is er op basis van internationale studies, zoals PISA en TIMMS een eenduidige uitspraak te doen over de staat van het Nederlandse onderwijs? Valt er op basis van beschikbare gegevens een vergelijking te trekken met de kwaliteit van het onderwijs in het verleden? 2. Is er een relatie tussen de onderwijsvernieuwingen (basisvorming, tweede fase en VMBO) en de ontwikkeling van schoolprestaties en schoolloopbanen? Er wordt veel onderzoek gedaan naar onderwijs, maar toch weten we nog maar weinig over wat er echt toe doet in het onderwijs. Er zijn grote verschillen in de inrichting van het onderwijssysteem tussen landen. Terwijl er grote interesse is in de onderlinge vergelijking van deze systemen, is er niet veel duidelijk over de implicaties van deze verschillen voor de eindopbrengsten van het onderwijs. Ook met betrekking tot de recente onderwijshervormingen die in Nederland in het voortgezet onderwijs zijn doorgevoerd is er weinig duidelijkheid over de effecten die deze veranderingen hebben gehad op de kwaliteit van het onderwijs. De afgelopen 15 jaar is er in het voortgezet onderwijs in Nederland een aantal belangrijke onderwijsvernieuwingen doorgevoerd, die tot doel hadden de doorstroom in het onderwijs te verbeteren, de kwaliteit van het onderwijs te verhogen en de aansluiting naar het vervolgonderwijs te verbeteren. De basisvorming is in 1993 ingevoerd. Het ging hierbij om de introductie van een gezamenlijk onderwijsprogramma voor de eerste jaren van het VBO, MAVO, HAVO en VWO. Een belangrijk motief was de veronderstelling dat voor veel leerlingen de keuze voor een onderwijsniveau aan het einde van de basisschool te vroeg kwam, maar dat verschillen in het onderwijsprogramma het moeilijk maakten om op latere leeftijd alsnog van onderwijsniveaus te veranderen. Bovendien veronderstelde men dat alle leerlingen over een minimumpakket aan algemene vakken diende te beschikken als basis om volwaardig te kunnen functioneren in vervolgopleiding of maatschappij. Er werd daarom één gemeenschappelijk programma geïntroduceerd. Om toch nog tegemoet te komen aan de niveauverschillen van de leerlingen, zijn er twee niveaus van dit programma en kunnen scholen de basisvorming in twee of drie jaar programmeren. Daarnaast werden er de vakken voor de onderbouw aangepast aan de wensen van de tijd en kwam meer nadruk te liggen op constructivistisch leren. De invoering van het VMBO in 1999 luidde het samengaan in van het voormalige VBO en MAVO in een viertal nieuwe leerwegen: basisberoepsgerichte leerweg (BL), kaderberoepsgerichte leerweg (KL), gemengde leerweg (GL) en theoretische leerweg (TL). De eerste leerlingen die vanuit de nieuwe structuur doorstroomden naar het vervolgonderwijs waren de eindexamenkandidaten van het schooljaar 2002/2003. De hervorming van de tweede fase van het HAVO en VWO betekende onder meer de invoering van vier nieuwe studieprofielen: Natuur en Techniek, Natuur en Gezondheid, Economie en Maatschappij en Cultuur en Maatschappij. De profielen zijn in augustus 1998 op 125 scholen voor HAVO en VWO ingevoerd. In 1999 volgden de overige 430 scholen. Dat betekent dat de eerste volledige uitstroom vanuit de nieuwe profielen plaatsvond bij de eindexamenkandidaten van het HAVO in het schooljaar 2000/2001 en voor het VWO in het schooljaar 2001/2002. Daarnaast werd op HAVO en VWO ook het zogenaamde studiehuis geïntroduceerd. Hierbij gaat het om didactische veranderingen waarbij leerlingen meer zelfstandigheid en verantwoordelijkheid voor hun studie krijgen. Nieuwe vormen van leren, naast het traditionele klassikale lesgeven werden bevorderd. In de periode 1998–2004 werd deze aanpak door een groot aantal scholen geleidelijk aan geïmplementeerd, waarbij er een aanzienlijke verscheidenheid tussen de scholen bestaat. Bij deze drie hervormingen in het voortgezet onderwijs speelt steeds zowel het streven om de doorstroom en selectie in het onderwijs te verbeteren en het streven om de inhoud van het onderwijs aan te passen om daarmee de kwaliteit te verhogen of om de opleiding beter af te stemmen op de eisen die het vervolgonderwijs en de maatschappij stelt. Een verandering in de doorstroom en selectie kan de kwaliteit van het onderwijs bevorderen als daarmee gestimuleerd wordt dat het juiste kind op de juiste plaats terecht komt. Bij de veranderingen in het onderwijsprogramma kan het er om gaan dat leerlingen meer kennis en vaardigheden verwerven, maar dat de inhoud hiervan niet verandert, maar kan het ook gaan om een accentverschuiving waarin het gaat om andere kennis en vaardigheden waarvan gedacht wordt dat deze een hogere waarde hebben voor het functioneren in het vervolgonderwijs en in de maatschappij. Bij een beoordeling van de kwaliteitsverandering van het onderwijs als gevolg van deze vernieuwingen ligt het dan ook voor de hand om alle drie deze aspecten in ogenschouw te nemen: 1. Heeft de vernieuwing geleidt tot een andere doorstroom en selectie in en na het voortgezet onderwijs? 2. Is de kwaliteit van het onderwijs, gegeven bepaalde maatstaven, verhoogd? 3. Heeft er een verschuiving plaatsgevonden in het soort kennis en vaardigheden dat in het onderwijs wordt geleerd? Er zijn twee redenen waarom we op het terrein van onderwijs nog zo vaak in het duister tasten. In de eerste plaats is ook onderzoek op het terrein van onderwijs een kwestie van kosten en baten. Onderwijs is een complex proces waarvan de effecten zich afspelen over een zeer lange termijn. Er is een groot aantal factoren dat van invloed is op het maatschappelijke succes van mensen, waardoor het statistisch gezien niet eenvoudig is om deze effecten te identificeren. Tien tot twintig jaar geleden was het waarschijnlijk nog onhaalbaar om op een statistisch verantwoorde wijze de langetermijneffecten van onderwijs op een nauwkeurige wijze in kaart te brengen. Door de opkomst van ICT en de mogelijkheid om administratieve bestanden te benutten voor onderzoek worden de mogelijkheden voor dergelijk onderzoek steeds groter. Tegenover deze dalende kosten van onderzoek staan ook de toenemende baten van een onderbouwd inzicht van hoe het onderwijs het beste ingericht kan worden. De kennis en competenties van mensen worden immers een steeds belangrijkere input in het economisch proces. In de tweede plaats opereren het onderwijs en het onderzoek van het onderwijs vrij los van elkaar. Deze scheiding begrenst op een fundamentele manier de mogelijkheid om met onderzoek meer over het onderwijs te weten te komen. De wijze waarop het onderwijs wordt ingericht en de manier waarop veranderingen worden doorgevoerd bepalen in grote mate de informatie die over het onderwijssysteem beschikbaar komt. Door bij de inrichting van het onderwijs rekening te houden met de behoefte aan informatie over het functioneren van dit systeem, kunnen nieuwe inzichten ontstaan die nodig zijn voor de verdere bijsturing van het onderwijs. In dit rapport gaan we aan de ene kant in op de vraag welk soort informatie nodig is om de kwaliteit van het onderwijs te kunnen monitoren en om vernieuwingen in het onderwijs te kunnen doorvoeren die gebaseerd zijn op adequate statistische analyses. Aan de andere kant brengen we de huidige situatie met betrekking tot kwaliteitsmeting van het onderwijs in Nederland in kaart en gaan we op basis van de beschikbare gegevens in op de effecten die recente onderwijshervormingen in het voortgezet onderwijs hebben gehad voor de kwaliteit van het onderwijs. In hoofdstuk 2 wordt ingegaan op het meten van kwaliteit en de mogelijkheden en problemen die zich hierbij voordoen. In de hoofdstukken 3 tot en met 5 gaan we vervolgens in op de drie grote vernieuwingen in het voortgezet onderwijs in de afgelopen 15 jaar. In hoofdstuk 3 gaan we in op de introductie van de basisvorming. In hoofdstuk 4 komt de introductie van het VMBO aan bod en in hoofdstuk 5 gaan we in op de introductie van de tweede fase bij HAVO en VWO. In hoofdstuk 6 kijken we hoe Nederland het doet in het internationaal vergelijkend onderzoek. In hoofdstuk 7 presenteren we de belangrijkste conclusies van dit rapport. Vervolgens presenteren we in hoofdstuk 8 een voorstel hoe het meten van kwaliteit in de toekomst vorm zou kunnen krijgen. Voor de analyses maken we voornamelijk gebruik van twee soorten databronnen. Op de eerste plaats betreft dit de zogeheten onderwijsmatrices van OCW. Dit betreft door de scholen van voortgezet onderwijs opgegeven telgegevens van het aantal leerlingen per onderwijselement op tijdstip T alsmede de positie van deze leerlingen op tijdstip T+1. Deze registerdata hebben het voordeel dat ze niet op steekproeven gebaseerd zijn en dus in beginsel goed inzicht geven in de stromen in het voortgezet onderwijs, zoals instroom, doorstroom, aandeel zittenblijvers, aandeel ongediplomeerde uitstroom en doorstroom naar vervolgonderwijs. Daarnaast gebruiken we data van een aantal survey’s die zijn uitgevoerd, zoals de onderwijscohorten VOCL van het CBS/GION en het SchoolverlatersInformatieSysteem (SIS) van het ROA. De onderwijscohorten betreffen schoolloopbaangegevens van leerlingen die in respectievelijk 1989, 1993 en 1999 zijn gestart in het voortgezet onderwijs (VOCL89, VOCL93 en VOCL99). SIS betreft de jaarlijkse onderzoeken onder gediplomeerde schoolverlaters en afgestudeerden van het gehele onderwijs. Het gaat hierbij om metingen die ongeveer 1,5 jaar na het verlaten van de opleiding worden verricht. 2 HET METEN VAN DE KWALITEIT VAN ONDERWIJS 2.1 Doel van het onderwijs Het doel van het onderwijs wordt vrijwel altijd gezien in termen van toekomstige opbrengsten. Onderwijs is dus een investering. Soms worden de opbrengsten alleen in termen van arbeidsmarktsucces bekeken. Hoewel dit een belangrijk aspect is, is men het er in het algemeen over eens dat ook andere toekomstige opbrengsten bij de vraag naar de kwaliteit van het onderwijs moeten worden betrokken. Het gaat hierbij om persoonlijke ontplooiing, culturele ontwikkeling, gezond en veilig gedrag, burgerschapszin, normen en waarden etc. Het ligt daarom voor de hand om de kwaliteit van onderwijs primair vanuit dit langetermijnperspectief te definiëren. Kwalitatief goed onderwijs is dus onderwijs dat er in slaagt de potentiële opbrengsten van het onderwijs zo veel mogelijk te realiseren. De meningen over de gewichten die toegekend moeten worden aan deze doelen lopen uiteen mede omdat een aantal doelen ook moeilijk meetbaar zijn. Het is daarom niet goed mogelijk om een eenduidige empirische maatstaf voor dit overkoepelende kwaliteitsbegrip vast te stellen, maar als abstract referentiepunt heeft het een grote betekenis. Het onderwijs is opgebouwd uit onderdelen. De eerste ontwikkeling van kinderen begint doorgaans thuis, later gaat men naar kinderopvang, peuterspeelzalen, en/of voorschoolse educatie. Dan volgt de basisschool, voortgezet onderwijs en beroepsonderwijs of hoger onderwijs. Als men kijkt naar een afzonderlijke fase in deze keten of zelfs naar een afzonderlijk jaar op een bepaalde school – vanuit het perspectief dat het doel van onderwijs gelegen is in de toekomstige opbrengsten – dan kan de functie van ieder afzonderlijk onderdeel zijn om een bijdrage aan het einddoel te leveren, maar kan dit ook de voorbereiding op volgende fases in het onderwijs zijn. De optimale opbouw van het onderwijs hangt af van: • Het vermogen van mensen om in bepaalde fases van hun leven dingen te leren. • Het belang van kennis en vaardigheden voor het verwerven van kennis en vaardigheden in de toekomst. • De einddoelen van het onderwijs. Een onderwijsprogramma dat op deze optimale wijze is opgebouwd wordt doeltreffend of effectief genoemd. Bij doeltreffendheid moet vrijwel altijd een balans gevonden worden tussen voor- en nadelen van een bepaalde inrichting van het onderwijs. Het duidelijkste voorbeeld is de vraag wanneer scholen moeten beginnen met het aanleren van lezen en schrijven aan kinderen. Uit psychologisch onderzoek komt naar voren dat het vermogen om te leren lezen en schrijven sterk afhangt van leeftijd. Te jonge kinderen zijn hier nog niet aan toe. Aan de andere kant betekent een goede beheersing van lezen en schrijven dat kinderen bij andere vakken zoals rekenen, geschiedenis of aardrijkskunde zelfstandig aan de slag kunnen gaan. Het leervermogen voor deze vakken wordt door de lees- en schrijfvaardigheid dus aanzienlijk verhoogd. Hoe eerder kinderen leren lezen en schrijven des te eerder kan geprofiteerd worden van dit positieve effect. De uitdaging bij de inrichting van het onderwijs is daarom om de juiste balans tussen deze tegengestelde effecten te vinden. Ook de inzet van middelen (in de vorm van leerkrachten en onderwijsmateriaal) speelt hierbij een rol. Als de jaren waarin leren lezen en schrijven cruciaal zijn en duidelijk zou zijn dat kleinere klassen sterk bevorderlijk zijn voor dit leerproces, zou men kunnen overwegen om juist in die groepen meer leerkrachten in te zetten. Gegeven de opbouw van het onderwijs en de middelen die hiervoor beschikbaar zijn, is het daarnaast belangrijk dat leerlingen in ieder onderdeel zo veel mogelijk leren. Dit is de doelmatigheid of efficiëntie van het onderwijs. Als in een bepaalde groep het leren lezen en schrijven voorop staat, dan is het van belang om te streven naar een manier van lesgeven waarbij dit doel ook zo goed mogelijk wordt gehaald. De keuze van het lesmateriaal en de manier van lesgeven kunnen hierbij een belangrijke rol spelen. 2.2 Een heuristisch kader voor de beoordeling van kwaliteit Zoals hierboven is aangegeven dient het onderwijs uiteindelijk beoordeeld te worden op de realisatie van doelen die voor een belangrijk deel in de latere levensloop gerealiseerd worden. Het effect van onderwijs op deze einddoelen is moeilijk te bepalen als niet ook naar de afzonderlijke stappen in het leerproces wordt gekeken, omdat de realisatie ervan niet uitsluitend door het onderwijs beïnvloed wordt en omdat de termijn waarop deze effecten spelen vaak zeer lang is. Het is daarom zinvol om bij de beoordeling van de kwaliteit van het onderwijs de aandacht te richten op de vraag of het onderwijs de condities heeft geschapen waaronder deze einddoelen gerealiseerd kunnen worden. Ook binnen de kaders van een specifieke opleiding of opleidingsjaar kan gekeken worden naar de doeltreffendheid en doelmatigheid van het onderwijs (Onderwijsraad, 1999).Doeltreffendheid wordt dan gedefinieerd als de mate waarin het onderwijs de functies vervult die haar worden toegeschreven. Deze doelen voor een specifieke component van het onderwijs hangen uiteraard af van de doelen van het onderwijs als geheel en de rol die de afzonderlijk onderdelen hierbij spelen. Doelmatigheid is de mate van kostenefficiëntie waarmee het onderwijs deze functies vervult. Met betrekking tot de doeltreffendheid van het onderwijs onderscheiden we de kwalificatiefunctie, de selectiefunctie en de allocatiefunctie. • Bij de kwalificatiefunctie van het onderwijs gaat het om de vraag of het onderwijs de leerlingen heeft uitgerust met die competenties die relevant zijn voor de doorstroom naar vervolgopleidingen of de doorstroom naar de arbeidsmarkt. Hierbij zijn twee dimensies van belang: het domein van de verworven competenties en de tijdshorizon. Relevante competenties kunnen op verschillende domeinen betrekking hebben, die bovendien kunnen verschillen tussen de verschillende fasen van het onderwijs en kunnen verschuiven in de tijd. Daarnaast dienen opleidingen niet alleen beoordeeld te worden op de vraag of ze hun schoolverlaters voldoende startbekwaam hebben gemaakt voor vervolgopleiding of arbeidsmarkt (de kortetermijndoelstelling van het onderwijs), maar ook op de vraag of ze een voldoende basis hebben geboden voor de verdere ontwikkeling van kennis en vaardigheden (delangetermijndoelstelling). • De tweede functie betreft de selectiefunctie van het onderwijs. Hierbij gaat het om het beoordelen van de leerlingen op de aanwezige competenties en het op grond hiervan toewijzen aan verschillende onderwijsstromen of certificeren naar eindniveau. Ook hier kan een aantal dimensies onderscheiden worden:betrouwbaarheid, transparantie en toegankelijkheid. De maatschappelijke legitimering van de kwalificatiefunctie van het onderwijs is voor een belangrijk deel gelegen in de betrouwbaarheid waarmee het onderwijs deze selectiefunctie vervult. Hierbij gaat het om de vraag of leerlingen die een diploma krijgen ook daadwerkelijk over de competenties beschikken waar dit diploma voor staat. Een tweede dimensie die bij de selectiefunctie onderscheiden kan worden betreft de transparantie. Leerlingen variëren in kwaliteit en de selectie dient die variatie in kwaliteit ook te weerspiegelen. Ook voor de arbeidsmarkt geldt dat het onderwijs geen homogeen product aflevert. Werkgevers hebben daarom behoefte aan heldere signalen over de kwaliteit van individuele afgestudeerden (Spence, 1973). De transparantie van de selectie kan variëren van een simpel pass/fail systeem tot systemen waarbij via portfolio’s gedetailleerde informatie wordt verschaft over de afgestudeerden. Ten slotte kan de selectiefunctie beoordeeld worden op de gevolgen die het heeft voor de toegankelijkheid van het onderwijs voor bepaalde groepen, bijvoorbeeld vrouwen of allochtonen. Het is zinvol om systematisch na te gaan of bepaalde groepen onderof oververtegenwoordigd zijn als gevolg van (zelf-)selectie. • De derde functie die onderscheiden wordt, betreft de allocatiefunctie van het onderwijs. Dit betreft de vraag of het onderwijs de leerlingen/schoolverlaters op een adequate wijze toe leidt naar vervolgtrajecten, zowel in het onderwijs als op de arbeidsmarkt. Hier kunnen de volgende dimensies onderscheiden worden: ondersteuning bij de transitie van opleiding naar vervolgopleiding of werk en de mate waarin de vervolgopleiding of het gevonden werk past bij de opleiding (aansluiting). De ondersteuning kan variëren van het geven van informatie en voorlichting over vervolgopleidingen of arbeidsmarkt, tot het feitelijk bemiddelen tussen vraag en aanbod. Bij de aansluiting gaat het om de vraag in welke mate sprake is van een optimale allocatie. De tweede invalshoek, de doelmatigheid, beziet de kwaliteit van het onderwijs primair vanuit een oogpunt van kostenefficiëntie. Krijgt de consument of de overheid waar voor zijn geld? De meeste indicatoren die op dit moment gebruikt worden voor de beoordeling van de kwaliteit van het onderwijs (zoals het onderzoek van Trouw of de kwaliteitskaarten van de Inspectie) gaan over doelmatigheid. Het is echter van belang om erop te wijzen dat het geen zin heeft om naar de doelmatigheid van opleidingen te kijken, zonder de doeltreffendheid in ogenschouw te nemen. Voor elk van de onderscheiden functies van doeltreffendheid kan naar de doelmatigheid worden gekeken. Bij de kwalificatiefunctie gaat het om het leerrendement, bij de selectiefunctie om het interne rendement en bij de allocatiefunctie gaat het om het externe rendement. Binnen elk van deze aspecten kan een onderscheid worden gemaakt tussen de kosten en de opbrengsten: • Het leerrendement kan gedefinieerd worden als de efficiëntie waarmee het onderwijs competenties bijbrengt. Het is bijvoorbeeld denkbaar dat een opleiding door het gebruik van bepaalde onderwijsmethoden een hoger leerrendement weet te behalen dan andere opleidingen. De opbrengsten betreffen hier de feitelijk gerealiseerde inhoudelijke toegevoegde waarde door het onderwijs, d.w.z. het verschil in competentie van een student bij intrede en bij afstuderen. Het begrip toegevoegde waarde speelt een sleutelrol in het onderzoek naar «effectieve scholen» (Scheerens & Bosker, 1999; Dijkstra et al., 2001) en geeft aan dat het voor de beoordeling van de kwaliteit van onderwijs nodig is om te corrigeren voor verschillen in aanvangsniveau. Een opleiding die bij aanvang de betere studenten selecteert, kan gemakkelijker een hoog eindniveau halen dan een opleiding die minder streng selecteert, maar voegt niet noodzakelijkerwijs meer toe. Uiteraard moeten de opbrengsten van het leerrendement wel afgewogen worden tegen de daarmee gepaard gaande kosten, uitgedrukt bijvoorbeeld in de totale instructietijd of totale kosten van personeel en voorzieningen per uitgereikt diploma. • De efficiëntie van de selectiefunctie wordt uitgedrukt in het interne rendement van een opleiding. Hierbij staan twee vragen centraal: Wat is de slaagkans van leerlingen en wat is de verblijfsduur van zowel de geslaagden als degenen die de opleiding voortijdig verlaten? De kosten betreffen de totale verblijfsduur in het onderwijs. Bij de opbrengsten gaat het om de behaalde diploma’s. Het interne rendement wordt laag door voortijdig verlaten van een opleiding en door lange verblijfsduur. • Extern rendement kan gedefinieerd worden als de verhouding van kosten en opbrengsten van onderwijs die door individuen en de overheid gerealiseerd worden. Bij de kosten gaat het hierbij zowel om de directe uitgaven aan onderwijs als de niet-gerealiseerde opbrengsten die studenten hadden kunnen verwerven indien ze in plaats van onderwijs te volgen waren gaan werken (de zogeheten opportuniteitskosten). Bij de opbrengsten gaat het zowel om de (materiële en immateriële) opbrengsten die individuen kunnen realiseren over de levensloop als de stijging van de productiviteit en de bijdrage aan de economische groei, als gevolg van de stijging van hun productiviteit. Voor een beoordeling van de kwaliteit van het onderwijs is het noodzakelijk dat de hierboven onderscheiden aspecten tegelijk en in samenhang bestudeerd worden. Daarbij vervult de kwalificatiefunctie een conditio sine qua non. Deze ligt het dichtst bij wat gewoonlijk onder kwaliteit wordt verstaan en men kan stellen dat het weinig zin heeft om naar de selectie- of de allocatiefunctie te kijken wanneer de competenties waarop die selectie en/of allocatie moet plaats vinden onvoldoende zijn bijgebracht. Bovendien moeten aspecten van doeltreffendheid bezien worden in het licht van de doelmatigheid. Zo kan het onderwijs zeer betrouwbaar selecteren, maar dat kan ten koste gaan van het interne rendement. Ten slotte verschillen de aspecten in de mate waarin ze uitsluitend door het onderwijs beïnvloedt worden. Bij de allocatie naar de arbeidsmarkt en het extern rendement is het evident dat deze in grote mate bepaald worden door factoren die buiten de invloedsfeer van het onderwijs liggen, zoals de vraag naar arbeid en persoonlijke voorkeuren. Deze aspecten zouden daarom in de uiteindelijke beoordeling een minder zware rol moeten spelen dan aspecten waarvoor het onderwijs in sterkere mate verantwoordelijk is. 2.3 Het meten van kennis, vaardigheden en competenties Hoewel de einddoelen van onderwijs doorgaans geformuleerd worden in termen van het functioneren van een persoon na afloop van het onderwijs, op de arbeidsmarkt of daarbuiten (de zogeheten «outcomes» van het onderwijs), richt men zich bij het meten van de kwaliteit van onderwijs doorgaans op de competenties van de deelnemers tijdens of aan het einde van hun opleiding (de zogeheten «output» van het onderwijs). De reden hiervoor is dat goed functioneren in de maatschappij niet alleen afhangt van wat op school is geleerd maar ook van allerlei andere invloeden en omgevingfactoren. De veronderstelling is dat een opleiding mensen primair helpt bij hun latere functioneren door het vergroten van de kennis en vaardigheden of competenties. Door de kwaliteitsmeting te richten op kennis, vaardigheden en competenties, kan het effect van onderwijs zuiverder worden vastgesteld. Doorgaans worden kennis, vaardigheden en competenties gemeten door een toets, waarin de betrokken persoon opdrachten krijgt die hij/zij zo goed mogelijk moet proberen te maken. De reguliere proefwerken, toetsen en examens voor vakken zoals wiskunde, taal, of aardrijkskunde zijn hier voorbeelden van. De scores geven een beeld van hoe goed iemand is in de betreffende vakken. In paragraaf 2.4 gaan we in op de problemen die zich in de praktijk voordoen bij dergelijke toetsen. Die leiden er toe dat er nogal wat «ruis» kan zitten tussen de score op een toets enerzijds en de kennis die die toets beoogt te meten anderzijds. Maar ook als toetsen de kennis, vaardigheden en competenties van leerlingen perfect zouden meten, is het niet evident dat er een duidelijke link is tussen deze toetsresultaten en de kwaliteit van het onderwijs. In deze paragraaf gaan we op enkele problemen nader in. De relatie tussen toetsresultaten en de einddoelen van het onderwijs Met toetsen worden specifieke aspecten van de kennis, vaardigheden en competenties van mensen gemeten. Of een hoge score op een dergelijke toets ook betekent dat iemand goed functioneert in de maatschappij, hangt af van de vraag in hoeverre die kennis, vaardigheden en competenties hiervoor van belang zijn. Over deze relatie tussen prestaties van (ex-)leerlingen en maatschappelijk succes is vrij weinig bekend. Impliciete en expliciete doelstellingen van het onderwijs zoals die naar voren komen uit eindtermen voor een opleiding of de examenvereisten zijn daarom in sterke mate gebaseerd op veronderstellingen over de betekenis van wat geleerd wordt op school voor het latere functioneren. Om de kwaliteit van het onderwijs adequaat vast te kunnen stellen is het daarom nodig duidelijkheid te hebben over de betekenis van specifieke kennis, vaardigheden en competenties voor het latere functioneren van mensen. Veranderingen in de einddoelen van het onderwijs In de loop van de tijd kunnen nieuwe inzichten ontstaan over wat belangrijke doelen van het onderwijs zijn of kunnen maatschappelijke ontwikkelingen verschuivingen in het belang van bepaalde vaardigheden met zich meebrengen. In een onderwijssysteem dat adequaat reageert op dergelijke ontwikkelingen zal in een dergelijk geval een verschuiving plaatsvinden in de prioriteit die bepaalde onderdelen in het geheel hebben. Wanneer deze verschuiving echter niet weerspiegeld wordt in de toetsen, dan kan dit tot een verkeerd oordeel over de kwaliteit leiden. Zo speelde bij de invoering het studiehuis de gedachte dat in de huidige samenleving andere vormen van kennis belangrijker worden een belangrijke rol. Een accentverschuiving in het curriculum zal waarschijnlijk ook leiden tot een verschuiving in de prestaties van leerlingen bij verschillende lesonderdelen. Stel bijvoorbeeld dat spelling minder belangrijk wordt gevonden en dat informatie verzamelen en verwerken als belangrijker wordt gezien. Als het curriculum hieraan wordt aangepast zullen leerlingen lager gaan scoren op de spellingstoets. Wanneer nu alleen op spelling wordt getoetst zullen critici wijzen op de achteruitgang van het onderwijs op dit gebied. Overigens geldt voor deze aanpassing – zoals hierboven al aangegeven – dat zelfs wanneer beide typen vaardigheden adequaat zouden worden gemeten dit nog geen antwoord geeft op de vraag of deze nieuwe vaardigheden ook daadwerkelijk belangrijker zijn geworden. Het probleem van het meten van «soft skills» Veelal meten we met testen slechts een deel van wat we aan kennis, vaardigheden of houdingen beogen te ontwikkelen. Zo is het makkelijker om «hard skills» te meten (bv. kennis van de Nederlandse taal, wiskunde etc) dan zogeheten «soft skills» (bv. studievaardigheden, doorzettingsvermogen). Toch worden deze laatste type vaardigheden en houdingen steeds belangrijker gevonden. Het blijkt in de praktijk echter heel moeilijk om hiervoor geschikte meetinstrumenten te ontwikkelen. Het probleem van specifieke vaardigheden Vrijwel alle gebruikte testen om de kwaliteit van het onderwijs te kunnen vaststellen richten zich op generieke vaardigheden. Dit geldt zowel voor het nationale als het internationale onderzoek. Dat is ook logisch omdat men zich wil richten op kennis en vaardigheden die voor een groot deel van de onderzoekspopulatie van belang zijn. Daarmee dreigen vakspecifieke vaardigheden echter ten onrechte genegeerd te worden (Van der Velden, 2006). Niettemin is een belangrijk doel van het onderwijs, zeker in het beroepsonderwijs en het hoger onderwijs, om juist deze vakspecifieke vaardigheden bij te brengen. Voor dit probleem is het niet eenvoudig om een oplossing te bedenken, maar het is goed om zich dit te realiseren. Voor het meten van de kwaliteit in het basisonderwijs en voortgezet onderwijs speelt dit overigens minder, omdat daar generieke competenties dominant zijn, met uitzondering van de beroepsgerichte leerwegen in het VMBO. De toegevoegde waarde van het onderwijs Leerlingen leren niet alleen op school, maar hun ontwikkeling wordt ook in hoge mate beïnvloed door de thuissituatie en invloeden uit hun omgeving. Als op landelijk niveau de kwaliteit van leerlingen gevolgd wordt, hoeft een verschuiving daardoor niet per se te wijzen op kwaliteitsveranderingen van de scholen maar kan ook de gemiddelde kwaliteit van het thuismilieu aan het veranderen zijn. Deze externe invloeden bemoeilijken nog sterker de vergelijking tussen scholen of tussen leerlingen. Een belangrijke verdienste van het onderzoek naar «effectieve scholen» (Scheerens & Bosker, 1999) is dat ze een bewustzijn op gang heeft gebracht om de kwaliteit van scholen niet uitsluitend af te meten aan de feitelijke of bruto opbrengsten van het onderwijs, maar om daarbij ook te kijken wat de toegevoegde waarde is geweest van het onderwijs. Een school die bij de entree leerlingen krijgt die over veel capaciteiten beschikken heeft het makkelijker om die leerlingen naar een hoog eindniveau te brengen dan een school die bij de entree leerlingen krijgt die over middelmatige capaciteiten beschikken. Ook tijdens de opleiding kan de invloed van thuis nog doorspelen en zal het voor scholen dus makkelijker zijn om hoge leeropbrengsten te bereiken bij leerlingen die sterk gesteund worden door hun ouders. Het meetmoment In paragraaf 2.1 is aangegeven dat de doelstellingen van het onderwijs vaak in een latere levensfase gerealiseerd moeten worden. Uit het oogpunt van monitoring van kwaliteit zou men echter al in een veel eerder stadium zicht willen hebben op de doeltreffendheid en doelmatigheid van het onderwijs. Het ligt voor de hand om de belangrijkste kwaliteitsmetingen te laten plaats vinden aan het einde van een onderwijsfase (bv. het eind van de basisschool, of het einde van het voortgezet onderwijs) waarbij een aantal aspecten (bv. intern rendement of leerrendement) uiteraard over de volle periode van de betreffende onderwijsfase gaan. Op dat moment dienen immers de voor die fase relevante doelstellingen te zijn gerealiseerd en kan de balans opgemaakt worden. Bij tussentijdse metingen dient men zich te realiseren dat deze verstoord worden door verschillen in opbouw van curricula. Als een school al in het eerste jaar met Duits begint en een andere school dit pas in het tweede jaar doet, zullen de prestaties met betrekking tot Duits bij vroege metingen in het voordeel van de eerste school uitvallen. Deze relatie tussen curriculum en testscores relativeert ook zeer sterk de betekenis van internationale vergelijkingen die gebaseerd zijn op metingen onder leeftijdscohorten. Zoals bijvoorbeeld uit Education at a Glance (OECD, 2006) naar voren komt zijn er vrij grote verschillen tussen landen in de fasering van taal- en rekenonderwijs. Als in een bepaald land een groot deel van dit onderwijs geconcentreerd zit in de periode voor een internationale meting, zal dat land goed presteren op de betreffende toets, maar wil dat nog niet zeggen dat ook het onderwijs daadwerkelijk beter is. In principe doet dit probleem zich ook voor bij de kwaliteitsbepaling aan het einde van een opleiding. Hoge scores voor een bepaald vak tonen immers nog niet aan dat de betreffende opleiding ook de meeste geëigende periode was om deze kennis en vaardigheden te verwerven. Zelfs aan het einde van het reguliere onderwijs speelt deze vraag nog. Mensen blijken zeer veel te leren als ze eenmaal op de arbeidsmarkt zitten. Vooral informeel worden zeer veel kennis en vaardigheden verworven. Als bepaalde vaardigheden makkelijk al werkend verworven worden, terwijl deze in het onderwijs alleen met veel inspanningen verworven kunnen worden, dan betekenen hoge scores voor de betreffende competenties dat de inspanningen van deze school toch inefficiënt zijn geweest. 2.4 Praktische problemen bij het meten van kennis en vaardigheden Naast de bovengenoemde conceptuele problemen doen zich ook een aantal praktische problemen voor bij het meten van kennis en vaardigheden. De belangrijkste bron van informatie over de kennis en vaardigheden van leerlingen zijn resultaten van toetsen die worden afgenomen in het kader van het onderwijs. Het is natuurlijk interessant om deze ook te benutten als statistisch materiaal om ontwikkelingen in de loop van de tijd in het onderwijs te kunnen volgen. Maar dit kan wel complicaties hebben waarover moet worden nagedacht. In de eerste plaats verandert de inhoud van toetsen vaak in de loop van de tijd. Als in het curriculum de aandacht voor bepaalde onderwerpen verschuift zal dit ook zijn weerslag hebben in de toetsen die worden afgenomen. Als bijvoorbeeld wordt besloten om de inhoud van het wiskundeprogramma op het VWO te veranderen zal ook het eindexamen voor wiskunde worden aangepast. Het gevolg is dat een vergelijking van de wiskundekennis vóór en ná deze verandering op grond van deze examens niet meer mogelijk is. Ook als men een deel van het examen ongewijzigd zou laten om zo een vergelijking mogelijk te maken, zou er een vertekening ontstaan, omdat het hier om vragen gaat die goed aansluiten bij de lesstof die leerlingen kregen voor de hervorming. Na de hervorming kreeg deze lesstof minder aandacht waardoor de leerlingen waarschijnlijk ook minder goed zullen scoren. In een ideale situatie zou men dus reeds enkele jaren voor de inhoudelijke verandering al de prestaties van leerlingen op de nieuwe toets willen meten, en tot enkele jaren na de verandering ook de oude toets willen handhaven om zo tijdelijk een overlap in meetinstrumenten te realiseren. Veranderingen in toetsen zullen echter onmiddellijk verandering in het leergedrag van leerlingen met zich meebrengen. Naast de veranderingen in de toetsen zelf zal ook de samenstelling van de groep die deelneemt aan een toets in de loop van de tijd veranderen. De achtergrondkenmerken van Nederlandse jongeren verschuiven langzaam over de tijd. Zo komen er aan de ene kant meer kinderen met hoger opgeleide ouders maar aan de andere kant ook steeds meer leerlingen van allochtone herkomst. Veranderingen in de toetsresultaten over de tijd zijn daarom niet per se een gevolg van veranderingen in de kwaliteit van het onderwijs, maar kunnen ook veranderingen in de samenstelling van de kenmerken van deelnemers weerspiegelen. Een dergelijk meetprobleem is nog groter als naar de toetsresultaten van een bepaalde schoolsoort wordt gekeken. Als de deelname aan het VWO stijgt, verandert daarmee ook de samenstelling van deze populatie. Doorgaans zal dat betekenen dat er met name een toename is van kinderen die wat minder getalenteerd zullen zijn. Ook als de school dezelfde kwaliteit blijft leveren, gegeven het talent van een leerling, zullen de gemiddelde scores in zo’n geval dalen. Toetsen worden daarnaast in de meeste gevallen niet ontworpen om de kwaliteit van het onderwijs over de tijd te kunnen volgen. Het is voor toetsmakers moeilijk om jaar in jaar uit een test van gelijke moeilijkheidsgraad te maken als hiervoor ieder jaar andere vragen moeten worden gebruikt. Weliswaar beoogt de Centrale Examencommissie Vaststelling Opgaven (CEVO) middels equivalering de toetsen van jaar op jaar vergelijkbaar te maken, maar in de praktijk is dat lastig. Vakken veranderen van inhoud en examens derhalve ook. Ook worden soms normeringen achteraf aangepast. Dit maakt een vergelijking tussen cohorten – zekere over een langere periode – problematisch. Als twee toetsen uit verschillende vragen bestaan is het vrijwel onmogelijk om te garanderen dat de moeilijkheidsgraad gelijk is. De enige oplossing om tot een goede ijking te komen is door minstens een deel van de vragen te herhalen. Hierbij moet of een deel van de vragen in beide toetsen worden opgenomen, of moet een deel van de leerlingen beide toetsen maken. Meetinstrumenten zoals de Periodieke Peilingen van het Onderwijs (PPON) die door het CITO in het basisonderwijs wordt uitgevoerd, gebruiken herhaling van vragen om vergelijkbaarheid in de tijd tot stand te brengen, maar ook hier zijn twijfels of de vergelijking in de tijd voldoende is (vergelijk Peschar, 2007, p. 19). Consequentie is dat de vragen die gebruikt worden op een toets niet openbaar kunnen worden gemaakt. In theorie is het ook achteraf nog mogelijk om toetsen die in verschillende jaren zijn afgenomen over de tijd vergelijkbaar te maken. Daarvoor zou een groep leerlingen alsnog vragen moeten beantwoorden uit verschillende jaargangen van deze toets. Door prestaties van dezelfde leerlingen op verschillende toetsen te vergelijken ontstaat een beeld over de relatieve moeilijkheidsgraad van de jaargangen van die toets. Bij toetsen die gebruikt worden in het onderwijs is het doorgaans voor de leerling van belang om goed te scoren. Bij het leren zijn leerlingen daardoor vaak sterk gericht op de specifieke vorm die een toets heeft. Uit onderzoek komt ook naar voren dat de resultaten op een toets niet alleen afhangen van de kennis en vaardigheden van leerlingen, maar ook van zijn of haar motivatie om een hoog punt te halen. Het belang van een hoog punt kan verschillen tussen leerlingen. Zo zijn hoge punten belangrijker voor leerlingen op het VWO die geneeskunde willen studeren omdat de kans bij de loting afhankelijk is van de examencijfers. Ook de geneigdheid om zich extra in te zetten als dit belangrijk is verschilt van leerling tot leerling. Ook de leraar heeft de neiging om bij de les de nadruk te leggen op de elementen die belangrijk zijn voor het halen van de toets. Dit heet «teaching to the test». Uit onderzoek is naar voren gekomen dat verbeteringen in het onderwijs vaak aanzienlijk minder groot zijn als hiervoor een toets wordt gebruikt die een andere vorm heeft dan de toets die bepalend is voor het studieresultaat van een leerling. Een recente ontwikkeling (met name in de VS) is dat ook scholen meer en meer worden afgerekend op de examenresultaten van de leerlingen. Dit heet «high-stake testing». Hierdoor is het «teaching to the test» effect waarschijnlijk in omvang aanzienlijk toegenomen. Er komt steeds meer onderzoek beschikbaar dat laat zien dat scholen allerlei methodes gebruiken om de toetsresultaten te verbeteren. Jacob en Levitt (2003) hebben laten zien dat dit in Chicago zelfs tot fraude bij de toetsen leidde. Onderwijzers gaven een aantal goede antwoorden door aan leerlingen tijdens de toets of corrigeerden na afloop een aantal antwoorden om daarmee de scores te verhogen. Daarnaast proberen scholen om leerlingen die het waarschijnlijk slecht zullen doen op de toets, buiten de toets te houden. Dit kan door ze niet toe te laten tot de opleiding, sneller de ouders (vlak voor de toets) te adviseren om hun kind van school te halen of door te stimuleren dat een leerling op de dag van de toets niet op school verschijnt. Om problemen met «teaching to the test» en «high stake testing» te voorkomen zou men ook kunnen overwegen om voor de monitoring van kwaliteit toetsen te gebruiken die losstaan van de toetsen die in het kader van het onderwijsproces worden afgenomen. Op deze manier zou ook voorkomen kunnen worden dat alleen leerlingen die een bepaald vak gekozen hebben een toets maken. Een mogelijk probleem dat zich dan echter voordoet is dat er voor de leerling juist niets op het spel staat. Net zoals er leerlingen zijn die extra gemotiveerd zijn als een goede score belangrijke gevolgen kan hebben, zo zijn er ook enkele aanwijzingen dat bepaalde leerlingen onder hun kunnen zullen presteren als er juist niets op het spel staat. Hoe groot dit effect is, is echter niet bekend. 2.5 Waarom is het meten van kwaliteit van onderwijs van belang? Een belangrijke vraag is waarom de kwaliteit van onderwijs gemeten zou moeten worden. Het meten van de onderwijskwaliteit heeft een drietal doelen. Allereerst het vaststellen van ontwikkelingen in de kwaliteit. Daarnaast is het van belang om vast te stellen wat het effect is van bepaalde beleidsmaatregelen of onderwijsvernieuwingen op de kwaliteit van het onderwijs. Ten slotte is het van belang om een beeld te krijgen van mogelijke veranderingen in het onderwijssysteem waarvan de grootste effecten te verwachten zijn. Ontwikkelingen in de kwaliteit van onderwijs In de eerste plaats is het van belang om een beeld te hebben van de trendmatige ontwikkeling van de kwaliteit van het onderwijs. Gegeven de grote investeringen van overheid en particulieren (leerlingen en ouders) in het onderwijs, hebben zij er alle belang bij om de kwaliteit van die investering goed te kunnen monitoren. Cruciaal hiervoor is uiteraard dat de meetinstrumenten die hiervoor gebruikt worden tussen de jaren vergelijkbaar zijn en dat alle studenten deelnemen aan de betreffende toets. De meest voor de hand liggende maat voor kwaliteit in het voortgezet onderwijs zijn wellicht de centrale eindexamens, maar die bieden daarvoor onvoldoende houvast. Sinds enkele jaren wordt door de Centrale Examencommissie Vaststelling Opgaven weliswaar geprobeerd de examens tussen de jaren te equivaleren, maar zonder terugkerende vragen is het zeer moeilijk om op langere termijn de vergelijkbaarheid van de examens daadwerkelijk te garanderen. Ook wordt de inhoud van de examens aangepast aan veranderingen in het curriculum. Ook hierdoor is een goede vergelijking in de tijd niet mogelijk. Daarnaast hangt deelname aan examens af van het gekozen vakkenpakket en de doorstroom in het onderwijs. Als bijvoorbeeld meer leerlingen wiskunde in hun pakket kiezen zullen de extra leerlingen waarschijnlijk minder goed in wiskunde zijn dan de leerlingen die altijd al wiskunde kozen. Het gemiddelde niveau kan hierdoor omlaag gaan, zonder dat de kwaliteit werkelijk daalt. Als leerlingen blijven zitten maken ze het examen een jaar later. Als zittenblijven toeneemt zijn er meer leerlingen die een langere studietijd achter de rug hebben en daardoor beter zullen scoren. Ook dit komt de vergelijkbaarheid in de tijd niet ten goede. Om het niveau van leerlingen in het Voortgezet Onderwijs adequaat te kunnen monitoren in de tijd, zouden instrumenten zoals PPON in het basisonderwijs ideaal zijn. Deze testen zouden dan wel betrekking moeten hebben op alle leerlingen, onafhankelijk van hun vakkenpakket en doorstroom in het onderwijs. In hoofdstuk 8 doen we een aanbeveling om een dergelijk instrument in de vorm van de Nationale Onderwijstest op te gaan zetten. Het probleem van het vaststellen van de causaliteit van onderwijs Trendmatige ontwikkelingen in de kwaliteit hoeven niet altijd te wijzen op veranderingen in de kwaliteit van scholen. De sociaal-culturele herkomst en activiteiten die kinderen verrichten buiten school hebben ook een grote invloed op hun ontwikkeling. Daarnaast is het voor de aansturing van het onderwijssysteem belangrijk om te weten welke aspecten van het systeem tot een verbetering of verslechtering van de kwaliteit hebben geleid. Hierbij gaat het om de causaliteit van effecten in het onderwijs. Om causaliteit vast te kunnen stellen om daarmee een goede meting van de effecten van bepaalde facetten van het onderwijssysteem uit te kunnen voeren, is het nodig dat er een adequate vergelijking gemaakt kan worden tussen een groep leerlingen die de betreffende onderwijsaanpak heeft gehad en een groep die een andere aanpak heeft gehad. Een dergelijke vergelijking kan alleen zinvol worden gemaakt als deze groepen voor wat betreft andere kenmerken redelijk vergelijkbaar zijn. Juist in het onderwijs is dit vaak een probleem omdat de keuzes die mensen maken in het onderwijs, ook sterk afhangen van persoonskenmerken die van belang zijn voor de latere ontwikkeling. Het effect van het onderwijssysteem en de selectie in het onderwijs kunnen in de meeste gevallen daardoor niet uit elkaar worden gehaald. Het traditionele experiment is een methode om een dergelijke vergelijking mogelijk te maken. Door voor een kleine aselect gekozen groep scholen of leerlingen een bepaalde verandering door te voeren en zowel deze treatment groep als een controle groep in de tijd te volgen, is het mogelijk om statistische uitspraken te doen over de effecten van deze verandering. Een nadeel van deze aanpak is dat het vaak lang duurt voordat de uitkomsten van het experiment bekend zijn. Onderwijs kan immers effecten op een zeer lange termijn teweeg brengen. Ook geeft een traditioneel experiment alleen maar antwoord op de vraag of een bepaalde verandering al dan niet een verbetering met zich meebrengt. Een hervorming van het onderwijs betekent doorgaans dat een groot aantal samenhangende maatregelen worden genomen. Als door middel van een experiment wordt onderzocht wat de effecten van deze hervorming zijn, komt hierdoor alleen de opbrengst van dit samenhangende pakket naar voren. Zowel beleidsmatig als vanuit het perspectief van het onderzoek is het echter ook belangrijk om te weten welke aspecten van een verandering de belangrijkste bijdrage hebben gehad en in hoeverre de maatvoering van de onderdelen van een nieuwe aanpak de juiste was. Verder speelt het probleem dat een onderwijskundig experiment per definitie niet dubbel-blind kan worden uitgevoerd. Met andere woorden, zowel de leerkrachten als de leerlingen weten dat ze aan een experiment meedoen. Dit enkele feit kan al de uitkomsten beïnvloeden, zonder dat er sprake is van een daadwerkelijk effect van de onderwijsvernieuwing zelf. Dit staat bekend als het Hawthorne-effect. Omdat er weinig experimenten worden uitgevoerd die voldoen aan de eisen van randomisatie zijn onderzoekers op zoek gegaan naar alternatieven. In het onderzoek wordt thans veel gewerkt met zogenaamde «natural experiments». Het gaat hier om situaties in de werkelijkheid waar zich meestal onbedoeld omstandigheden voordoen die sterk op een experiment lijken. Het kan hier gaan om regels waarbij loting wordt gehanteerd (zoals het inloten voor een opleiding), regels die een vrij abrupt onderscheid maken tussen twee groepen (iedereen boven de 50 krijgt een subsidie, iedereen onder de 50 niet) en om veranderingen in regelgeving in de loop der tijd. Door een vergelijking te maken van de mensen die net binnen of net buiten de maatregel vallen, en te veronderstellen dat deze twee groepen voor het overige sterk op elkaar lijken, ontstaat een setting die sterk lijkt op een experiment. Het Centraal Planbureau heeft onlangs een overzicht gemaakt van een groot aantal van dergelijke studies (Cornet et al., 2006). Hieruit komt naar voren dat de bevindingen van dergelijke «natural experiments» sterk kunnen verschillen tussen de diverse studies. Kennelijk zijn de omstandigheden in bijvoorbeeld verschillende landen, dermate anders dat ook de effecten van bepaalde maatregelen heel anders kunnen zijn. Net als bij het traditionele experiment geven ook deze studies weinig houvast bij de vraag waarom veranderingen in het onderwijs bepaalde effecten hebben. Daarnaast rijst bij de bestudering van dit overzicht de vraag of de maatregelen die in dit rapport de revue passeren, betrekking hebben op de aspecten van het onderwijssysteem die het meest cruciaal zijn voor een goed functioneren van het Nederlandse onderwijs. Het onderzoek dat is uitgevoerd wordt sterk bepaald door de creativiteit van de onderzoekers om in het onderwijs zoals zich dit voor doet «natural experiments» te herkennen en niet door de vraag voor welke aspecten van het onderwijs een dergelijk onderzoek de hoogste prioriteit heeft. Anders geformuleerd: onze kennis over wat werkt in het onderwijs blijft bij de «natural experiments» beperkt tot aspecten die wellicht niet het meest essentieel zijn. Als we meer zicht willen krijgen op de grote vragen die in het onderwijs spelen, zal er daarom voor gezorgd moeten worden dat er ook informatie beschikbaar komt waarmee deze hoofdvragen geanalyseerd kunnen worden. Omdat onderzoek altijd een kwestie is van vergelijken, kan dit alleen door de uitvoering van vernieuwingen in het onderwijs in enige mate te randomiseren. Een belangrijke kwestie hierbij is wel dat onderdelen van het onderwijs niet los van elkaar kunnen worden gezien. Experimenten waarbij deze samenhang uit het oog wordt verloren kunnen een vertekend beeld geven van de mogelijke betekenis van een verandering. Een voorbeeld hiervan zou het zelfstandig werken in de bovenbouw kunnen zijn. Een experiment met zelfstandig werken in de bovenbouw alleen zou negatieve resultaten kunnen hebben, maar wellicht zouden de resultaten juist positief kunnen zijn geweest als gelijktijdig leerlingen in de onderbouw ook voorbereid zouden worden op dit zelfstandig leren. De experimentele aanpak zoals die in de geneeskunde en psychologie gebruikelijk is wordt vaak als wetenschappelijk ideaal gezien, maar juist hier worden vaak interventies los van elkaar bestudeerd. Als op basis van psychologische inzichten bekeken wordt of een bepaalde manier van lesgeven beter werkt, dan gaat het om een analyse van de effecten voor een representatieve groep leerlingen in de bestaande populatie. Gelijktijdige veranderingen in het onderwijs in een eerdere fase zouden echter de kenmerken van de groep veranderen en dus ook andere effecten bij de interventie met zich mee kunnen brengen. Als binnen het onderwijs meer gebruik gemaakt gaat worden van experimenten en randomisering, zal de aanpak die hierbij gekozen wordt nog verder ontwikkeld moeten worden. Het is daarom redelijk om te verwachten dat een dergelijke aanpak aanvankelijk nog aanloopproblemen zal kennen. Overigens biedt juist de introductie van een onderwijsvernieuwing een eenvoudige mogelijkheid om een vergelijking tussen de situatie voor en na de vernieuwing te maken, door de groepen van vlak voor de verandering te vergelijken met de groepen van vlak daarna. Ook hierbij komt alleen het totaaleffect van de vernieuwing aan het licht en kan niet onderscheiden worden in welke mate aspecten van de hervorming hieraan hebben bijgedragen. Verderop in dit rapport gebruiken we deze aanpak om de effecten van de recente onderwijsvernieuwingen te verkennen. Aanname hierbij is dat de cohorten vlak voor en vlak na de verandering voor wat betreft andere kenmerken goed vergelijkbaar zijn. Bij onderwijsvernieuwingen wordt veelal niet alleen een andere manier van lesgeven geïntroduceerd maar kunnen er ook verschuivingen plaatsvinden met betrekking tot de basale inputs in het leerproces. Het is bekend dat het aantal uren dat geleerd wordt (contacturen maar ook uren voor zelfstudie) van grote invloed is op hoeveel geleerd wordt: «time on task». Om de effecten van onderwijsvernieuwingen in een goed perspectief te kunnen plaatsen is daarom inzicht in deze inputs ook gewenst. Daarnaast is het van belang om de effecten van bepaalde financiële regelgeving die een impact hebben op de loopbanen van leerlingen te bestuderen. Zo kunnen wettelijke verblijfsduurregels of bekostigingsregels een ongewenst effect hebben op de selectie van leerlingen voor bepaalde hogere onderwijstypen of zelfs een direct effect hebben op dropout. Voor een goed begrip van de effecten van hervormingen zouden de gevolgen van veranderingen in de inputs geïsoleerd moeten worden van de effecten van de inhoudelijke aspecten van de onderwijsvernieuwingen. Wanneer is systematisch onderzoek nuttig? Er is de laatste tijd in Nederland een groei in het aantal experimentele studies in het onderwijs waar te nemen. In de Verenigde Staten heeft een dergelijke ontwikkeling ook plaatsgevonden en zijn de resultaten van dit onderzoek bijeengebracht in het What Works Clearinghouse (http://ies.ed.gov/ncee/wwc). In Nederland bestaan plannen voor een vergelijkbare website www.onderwijskwaliteit.nl. Wat opvalt bij dit onderzoek is dat het vrijwel altijd betrekking heeft op de effecten van een wijze van lesgeven voor de leeropbrengst van dat specifieke lesprogramma. In de meeste gevallen richt dit onderzoek zich dus op de vraag hoe gegeven de doelen van een bepaald opleidingsprogramma een zo hoog mogelijk leerrendement kan worden gehaald. Murnane en Nelson (2005) trekken het nut van dergelijke studies in twijfel. Systematisch wetenschappelijk onderzoek is immers niet de enige manier om tot verbeteringen te komen. Een leraar die tot doel heeft zijn leerlingen aan het einde van het jaar zo goed mogelijk te laten scoren op het wiskunde-examen, zal zelf ook door vallen en opstaan naar verbeteringen zoeken. Door trial and error experimenteert hij ook. Murnane en Nelson wijzen er op dat als de ideale manier van lesgeven sterk afhangt van de leraar en de omstandigheden in de klas, en de opbrengsten door de leraar zelf goed waargenomen kunnen worden, dit individuele experimenteren wel eens effectiever kan zijn dan systematische analyses op basis van wetenschappelijke methodes. Voor de vraag wat de plaats is van verschillende onderdelen in het onderwijssysteem voor het geheel valt deze afweging heel anders uit. Er is niet een persoon die concreet ervaart welke effecten rekenonderwijs in groep 3 of 4 van de basisschool heeft voor het functioneren van leerlingen in het voortgezet onderwijs en er is ook niet een persoon die ervaart welke effecten een verandering in het curriculum in het voortgezet onderwijs hebben voor het functioneren van leerlingen in het vervolgonderwijs of op de arbeidsmarkt. Bij dergelijke systeemaspecten is ook de ruimte voor een individuele aanpak niet aanwezig. Juist voor dergelijke systeemkenmerken kan systematisch onderzoek daarom van grote betekenis zijn. Mogelijkheden voor verbetering Gedacht vanuit het perspectief van een empirische cyclus, zijn experimenten geschikte methodes als duidelijk is van welk soort veranderingen in het onderwijs de grootste verbeteringen te verwachten zijn. Om vast te kunnen stellen waar dergelijke mogelijkheden zich voordoen is goede informatie nodig over de sterktes en zwaktes van het onderwijssysteem. In paragraaf 2.1 is besproken dat de optimale opbouw van het onderwijs afhangt van: • Het vermogen van mensen om in bepaalde fases van hun leven dingen te leren. • Het belang van kennis en vaardigheden voor het verwerven van kennis en vaardigheden in de toekomst • De einddoelen van het onderwijs. Bij een adequate inrichting van het onderwijs gaat het daarom om een afweging van psychologische en economische factoren. Kennis over afzonderlijke aspecten van het onderwijs zijn daarom niet toereikend om aan te geven welke veranderingen waarschijnlijk ook tot verbeteringen van het systeem als geheel zullen leiden. Het ligt daarom voor de hand om de beschikbare kennis over de ontwikkeling van jongeren in het onderwijs bij elkaar te brengen in een model dat de samenhang tussen de onderdelen van het onderwijs in kaart brengt. Zoals het Centraal Planbureau doorrekent wat de gevolgen voor de gehele economie zijn als op specifieke gebieden veranderingen worden doorgevoerd, zo zou met een dergelijk model doorgerekend kunnen worden welke effecten specifieke onderwijsveranderingen hebben voor de ontplooiing van leerlingen over hun gehele onderwijsloopbaan. De ontwikkeling van dergelijke modellen staat momenteel nog in de kinderschoenen. Vooral Heckman heeft de laatste jaren vorderingen op dit terrein gemaakt door onderzoeksresultaten uit de psychologie en de sociale wetenschappen bijeen te brengen en door de ontwikkeling van geavanceerde schattingsmethoden (zie Cunha en Heckman, 2007). Hier speelt echter ook weer de belemmering dat het onderwijssysteem niet de informatie genereert die nodig is om het inzicht over hoe jongeren zich ontwikkelen te verkrijgen. Door op basis van een welopgezet plan meer variatie in het onderwijs aan te brengen, zou een dergelijk zelflerend systeem wel van de grond kunnen komen. 3 EVALUATIE VAN ONTWIKKELINGEN IN DE ONDERBOUW: DE BASISVORMING 3.1 Inleiding In dit hoofdstuk analyseren we de ontwikkelingen in de onderbouw van het voortgezet onderwijs. De invoering van de basisvorming is daarbij het belangrijkste aangrijpingspunt. Bij de invoering van de basisvorming heeft zowel een structuurverandering als een didactische verandering plaatsgevonden (de invoering van 15 vakken als kerncurriculum). Omdat de didactische verandering niet precies op één moment voor alle scholen plaats heeft gevonden, zullen we in dit hoofdstuk kijken naar algemene ontwikkelingen in de onderbouw, zowel rond de invoering van de basisvorming als in de periode daarna. 3.2 De basisvorming In 1993 is de basisvorming ingevoerd. Deze had drie doelen: • verhoging van het peil van het jeugdonderwijs • uitstel van de keuze voor een opleidingsniveau binnen het voortgezet onderwijs • modernisering van het onderwijsprogramma De basisvorming hield een verplicht kerncurriculum van 15 (deels nieuwe) vakken in voor de onderbouw van het gehele voortgezet onderwijs. Hierbij diende niet alleen aandacht besteed te worden aan theorie, maar ook aan vaardigheden en praktijk. Dat pakket van 15 vakken werd noodzakelijk gevonden als minimale basis voor vervolgonderwijs of werk, maar bood natuurlijk ook de mogelijkheid om tot een meer gemeenschappelijke curriculum te komen in de onderbouw. Hierdoor zou selectie naar typen voortgezet onderwijs kunnen worden uitgesteld, en zou het tussentijds overstappen tussen schooltypen makkelijker worden. In de Wet op de Basisvorming was vastgelegd dat de basisvorming na vijf jaar geëvalueerd zou worden. Deze taak werd uiteindelijk toegewezen aan de Inspectie van het Onderwijs. Deze heeft een zeer grondig onderzoek verricht, waarbij 120 scholen werden bezocht, 7300 lessen werden bekeken, en bij 63 000 leerlingen een basisvormingstoets werd afgenomen (Inspectie van het Onderwijs, 1999). Het gehele onderzoek resulteerde in 21 rapporten. De inspectie concludeert in het samenvattende rapport: «De Nederlandse scholen voor voortgezet onderwijs bieden in de onderbouw voldoende kernkwaliteit en hebben de basisvorming als systeem ingevoerd, maar hebben nog onvoldoende vorderingen gemaakt met de inhoudelijke en didactische aanpassing van het onderwijs aan de eisen van de basisvorming» (Inspectie van het Onderwijs, 1999, p. 5). Met de invoering van de basisvorming is het aanbod breder geworden en is het niveau volgens de Inspectie gestegen. Bovendien concludeert de Inspectie op basis van het internationaal vergelijkend onderzoek naar de reken- en wiskundeprestaties, TIMSS, dat de leerling-prestaties internationaal gezien vrij hoog zijn. De kerntaken zoals de organisatie, de leerlingbegeleiding en de aansluiting op het basisonderwijs is op orde. Waar het gaat om de modernisering van het onderwijs concludeert de Inspectie echter dat de ontwikkeling hapert. 3.3 Zijn de doelstellingen van de basisvorming gerealiseerd? 3.3.1 Verhoging van het peil van het jeugdonderwijs De Inspectie concludeert hierover het volgende: «Uit het onderzoek blijkt dat de leerlingprestaties stabiel zijn gebleven, terwijl leerlingen wel een breder pakket met meer vakken hebben gekregen. Testresultaten wijzen uit dat jongeren die de basisvorming volgen vergelijkbare scores op toetsen voor Nederlands (begrijpend lezen) en Wiskunde halen als leerlingen voor de invoering van de basisvorming. Internationaal gezien presteren Nederlandse leerlingen in de exacte vakken een stuk beter dan jongeren in het buitenland. Tegelijkertijd stromen meer leerlingen door naar HAVO en VWO en is er sprake van minder zittenblijven in de onderbouw. Als we afgaan op deze resultaten is het peil van het jeugdonderwijs de afgelopen vijf jaar gestegen» (Inspectie van het Onderwijs, 1999, p. 18). Klopt dit? Het gemiddelde opleidingsniveau is inderdaad gestegen. Volgens de Inspectie is het aandeel van de leerlingen dat naar HAVO en VWO gaat tussen 1985 en 1998 gestegen van 26,7% tot 35,2%. De vraag is overigens of dit door de basisvorming komt of dat het een gewone trendmatige stijging betreft. Vanaf 1998 is het aandeel immers ook verder gestegen van 33,8% naar 38,7% (zie figuur 3.1). Het gemiddelde opleidingsniveau is derhalve toegenomen. Figuur 3.1 Ontwikkeling aandeel leerlingen per onderwijssoort, leerjaar 3, 1998–2005 Intermezzo: de onderwaardering van het HAVO Er is iets vreemds met het aandeel leerlingen dat HAVO volgt. Het aantal leerlingen in het derde leerjaar bedraagt zowel voor HAVO als VWO ongeveer 39 000. Het aantal leerlingen in een TL/GL klas bedraagt ongeveer 50 000 terwijl het aantal leerlingen in een BL/KL klas ongeveer 44 000 bedraagt. Uitgaande van een normaalverdeling van cognitieve prestaties, zou men verwachten dat het aandeel leerlingen in de middelste twee onderwijstypen (TL/GL en HAVO) het hoogst zou zijn. In figuur 3.2 geven we de verdeling over de onderwijstypen in het derde leerjaar en een vergelijkbare verdeling van adviezen aan het einde van het basisonderwijs en de verdeling van aantallen diploma’s in vervolgonderwijs. Voor de verdeling van de adviezen hebben we gebruik gemaakt van VOCL99. Gemengde adviezen, zoals HAVO/VWO of VBO/MAVO, hebben we steeds voor de helft toegekend aan het ene en voor de helft aan het andere schooltype. Bij de indeling vanvervolgonderwijs hebben we WO gekoppeld aan VWO, HBO aan HAVO, MBO 3/4 aan TL/GL en MBO 1/2 aan KL/BL. We hebben LWOO en praktijkonderwijs, zowel bij het advies als bij het type voortgezet onderwijs buiten beschouwing gelaten. Figuur 3.2 Verdeling over onderwijstypen in het derde leerjaar, adviezen aan het einde van het basisonderwijs en de verdeling van aantallen diploma’s in vervolgonderwijs Duidelijk is te zien dat de verdeling van het advies de verwachte normaalverdeling volgt. De verdeling van vervolgonderwijs is rechtsscheef. Voor een deel kan dit verwacht worden: immers door de cumulatie van selectiemomenten zullen uiteindelijk minder mensen een WO-diploma halen dan op grond van het aantal VWO-adviezen verwacht zou mogen worden. Niettemin kunnen we constateren dat het aandeel hoger opgeleiden wel erg sterk achterblijft bij datgene dat we op grond van de verdeling van adviezen zouden mogen verwachten. Dat komt vooral door het achterblijven van het aandeel havisten. Uit Rekers-Mombarg, Kuyper en Van der Werf (2006) blijkt dat het HAVO-advies het minst voorspellend te zijn voor het te behalen VO-diploma. 23% van de leerlingen met een HAVO advies behaalde een VWO diploma en 24% behaalde een MAVO diploma. Met andere woorden er is een grote weglek van potentiële havisten naar andere onderwijstypen. De reden hiervoor zou kunnen zijn dat met de tweedeling in het voortgezet onderwijs tussen HAVO/VWO enerzijds en VMBO anderzijds, het HAVO meer beschouwd wordt als een inferieur type ten opzichte van het VWO en daarmee een deel van de aantrekkingskracht voor ouders en leerlingen verliest. Het is vreemd dat in de publieke discussie nooit aandacht is geschonken aan deze structurele ondervertegenwoordiging van havisten. Wil Nederland de Lissabon doelstelling halen van 50% hoger opgeleiden, dan moet daarvoor voldoende basis gegenereerd worden in het voortgezet onderwijs. Daarvoor zou de doorstroom naar HAVO aanzienlijk verhoogd moeten worden. TL/GL leerlingen met HAVO potentieel zouden eerder naar de HAVO moeten kunnen gaan, bijvoorbeeld via het creëren van dakpanklassen of zogeheten HAVO kansklassen (zie ook Onderwijsraad, te verschijnen). Daarnaast constateert de Inspectie dat het aantal zittenblijvers in de laatste jaren fors is gedaald. «Bleven er in de eerste drie leerjaren in 1992 achtereenvolgens 8,8 procent, 11,1 procent en 13,3 procent van de leerlingen zitten, nu (= 1999, RvdV) bedraagt het zittenblijfpercentage in die jaren nog maar 3,7 procent, 6,4 procent en 9,7 procent.» (Inspectie van het Onderwijs, 1999, p. 17). Dat beeld klopt nog steeds. Figuur 3.3 geeft het percentage zittenblijven in de eerste twee leerjaren in de periode 1998–2005. Duidelijk is te zien dat het zittenblijven als fenomeen vrijwel niet bestaat in het eerste leerjaar, terwijl het in het tweede leerjaar is gedaald van 4% naar 3%. Ook hierbij is eerder sprake van een trendmatige ontwikkeling dan dat het met onderwijsvernieuwingen als de basisvorming te maken heeft. Figuur 3.3 Ontwikkeling aandeel zittenblijvers in leerjaar 1 en 2, 1998–2005 Rekers-Mombarg, Kuyper en Van der Werf (2006) concluderen op basis van een vergelijking van VOCL89 en VOCL93 dat het interne rendement na de invoering van de basisvorming is toegenomen. Vooral de studieduur van VBO- en MAVO-gediplomeerden is aanzienlijk afgenomen. Ook Kuyper en Van der Werf (2007) concluderen op basis van een vergelijking van de schoolloopbanen in de cohorten VOCL89, VOCL93 en VOCL99 dat het percentage onvertraagden in het vierde jaar is toegenomen: van 72,2% in VOCL89 naar resp. 80,1% en 80,2% in VOCL93 en VOCL99. Per adviescategorie zijn de rendementen in VOCL99 duidelijk het hoogst. Hoe zit het met het kennisniveau? De Inspectie concludeerde op basis van de VOCL-data dat de testresultaten voor Nederlands en Wiskunde tussen 1989 (vóór basisvorming) en 1993 (ná invoering basisvorming) weinig veranderd zijn. Tegelijkertijd concludeert de Inspectie dat de vijftien vakken voor een versnipperd aanbod zorgen. Scholen moeten duizend uur besteden aan de basisvorming en hebben daarnaast 280 uur vrije ruimte. De gymnasia bieden in die vrije ruimte Latijn en Grieks aan terwijl het VBO in die tijd de beroepsgerichte vakken aanbiedt. Gelet op de exameneisen in het VBO (en ook vanwege de belangstelling van leerlingen) besteden VBO-scholen echter meer tijd aan deze beroepsgerichte vakken. Hierdoor ontstaat de – volgens Bronneman (2007) paradoxale – situatie dat de leerlingen die het meeste tijd nodig hebben om de kerndoelen van de basisvorming te halen er in de praktijk het minste tijd aan kunnen besteden. Bovendien constateert de Inspectie dat de meeste kerndoelen wel aan de orde komen, maar vaak erg oppervlakkig: «Op een gemiddelde school krijgt een leerling 88 procent van alle kerndoelen voorgeschoteld. Maar slechts 64 procent wordt hem zo aangeboden dat hij ze ook echt leert te beheersen» (Inspectie van het Onderwijs, 1999, p. 14). Kuyper en Van der Werf (2007) laten zien dat de gemiddelde scores op de testen voor tekstbegrip in zowel VOCL89 als VOCL93 49.1 bedroegen om in VOCL99 licht te stijgen tot 51.6. Bij de Wiskunde toets bedroeg het gemiddelde in VOCL89 48.4, in VOCL93 48.8 en in VOCL99 is dit gestegen tot 52.7. De stijging van de scores voor Wiskunde blijkt ook binnen de meeste afzonderlijke schooltypen te hebben plaatsgevonden. Het betreft hier de scores op toetsen die zijn afgenomen bij de cohortleerlingen in het derde leerjaar. De vergelijking van de testscores in het derde leerjaar is echter problematisch. Op de eerste plaats omdat de testen alleen zijn afgenomen bij onvertraagde leerlingen in het derde cohortjaar (bij VOCL89 ook bij 1-jaar vertraagden in het vierde cohortjaar). Omdat het percentage onvertraagden veranderd is zijn die groepen echter niet goed te vergelijken. Op de tweede plaats is de vergelijking problematisch omdat de testen in de loop der tijd veranderd zijn. Het CBS heeft weliswaar de testen formeel geëquivaleerd, maar Kuyper en Van der Werf (2007) betwijfelen of de testen daarmee ook echt vergelijkbaar zijn geworden. Met name bij de vergelijkbaarheid van de Wiskunde testen zetten zij grote vraagtekens. Zij opperen dat de Wiskunde toetsen in de loop der tijd makkelijker zijn geworden en dat dit door de equivalering onvoldoende is hersteld (Kuyper en Van der Werf, 2007, p 93). Mede op basis hiervan komen zij tot een conclusie die het tegenovergestelde is van die van de Inspectie: namelijk dat de kwaliteit van het onderwijs achteruit is gegaan. Zij baseren dat op de volgende overwegingen: 1. In VOCL99 zijn de scores op de entreetoetsen per advies lager dan voorheen. Met andere woorden: bij gelijke prestaties krijgen de leerlingen hogere adviezen. 2. In elke adviesgroep is het zittenblijven afgenomen en de opstroom toegenomen. 3. Deze stijging van het rendement wordt niet gerechtvaardigd door een vergelijkbare stijging van de testscores in het derde leerjaar, althans voor tekstbegrip en algemene vaardigheden. Hebben Kuyper en Van der Werf hierin gelijk? Feitelijk laten de cijfers geen duidelijke conclusie op dit punt toe. Immers de gemiddelde testscores zijn niet gedaald: dat betekent in ieder geval dat het gemiddelde kennispeil niet gezakt is (en misschien zelfs gestegen wanneer we de geëquivaleerde testscores mogen geloven). Verder is het aantal vakken door de basisvorming uitgebreid. Hoewel de wetgever waarschijnlijk de naïeve vooronderstelling had dat de prestaties voor elk vak gelijk zouden blijven, is de logische consequentie dat bij gelijkblijvende onderwijstijd de prestaties per vak zullen dalen. Uit een daling van de prestaties bij twee van deze vakken, kan daarom nog niet de conclusie getrokken worden dat de onderwijskwaliteit in het algemeen in het geding is. We zouden wel iets anders kunnen onderzoeken op basis van deze testscores: namelijk of het verschil tussen HAVO/VWO leerlingen aan de ene kant en VBO/MAVO leerlingen aan de andere kant kleiner is geworden. Met de invoering van de basisvorming zijn de curricula immers meer op elkaar gaan lijken, waardoor de verschillen zouden moeten afnemen. Aangezien de verandering voor het VBO het grootst is geweest zou men moeten verwachten dat met name de scores van die groep relatief omhoog zijn gegaan. Uit de analyse van Kuyper en Van der Werf (2007) blijkt dat niet. In tabel 3.6 van hun rapport blijkt dat de scores voor de VBO-leerlingen nauwelijks veranderd zijn. Hoe zit het dan met het onderscheid tussen HAVO/VWO aan de ene kant en VBO/MAVO aan de andere kant? In de figuren 3.4 en 3.5 staan de gemiddelde geëquivaleerde scores voor de onderscheiden cohorten. Figuur 3.4 Gemiddelde geëquivaleerde scores toets Nederlands voor VBO/MAVO en HAVO/VWO in VOCL89, VOCL93 en VOCL99 Bron: VOCL, eigen berekeningen Figuur 3.5 Gemiddelde geëquivaleerde scores toets Wiskunde voor VBO/MAVO en HAVO/VWO in VOCL89, VOCL93 en VOCL99 Bron: VOCL, eigen berekeningen Hieruit komt duidelijk naar voren dat met betrekking tot tekstbegrip het verschil tussen de hogere en de lagere schooltypen gelijk is gebleven. Voor Wiskunde is het verschil tussen VOCL89 en VOCL93 iets afgenomen, maar daarna is het verschil weer toegenomen. Dat komt met name door een stijging van de scores voor HAVO/VWO. De verschillen tussen schooltypen zijn in een aparte analyse nog eens getoetst vóór en ná controle voor verschillen in instroomkenmerken. De betreffende uitkomsten staan in appendix 1. Hieruit komt een vergelijkbaar beeld naar voren. De verschillen tussen de opeenvolgende cohorten in de gemiddelde scores voor tekstbegrip zijn in het algemeen klein. Voor Wiskunde wordt echter een groot verschil gevonden tussen VOCL93 en VOCL99 en dit verschil wordt nog groter wanneer men rekening houdt met de ontwikkelingen in de instroomkenmerken. Met andere woorden, de basisvorming heeft het gat in algemene kennis (tekstbegrip en Wiskunde) tussen HAVO/VWO aan de ene kant en VMBO aan de andere kant niet gedicht. Dit lijkt de conclusies van de Inspectie te bevestigen dat de kerndoelen wel aangeboden worden, maar dat betekent nog niet dat ze ook beheerst worden. Naast het onderscheid tussen VMBO en HAVO/VWO is het ook van belang om te bekijken of de introductie van de basisvorming invloed heeft gehad op het kennispeil van leerlingen van een specifiek niveau. Zijn de zwakkere leerlingen relatief beter geworden? Figuur 3.6 en 3.7 laten de scores op de geëquivaleerde test zien voor tien decielgroepen uit het eerste jaar. Deze groepen zijn gebaseerd op de test die het VOCL in het eerste jaar heeft afgenomen. Het betreft door het CITO speciaal voor de VOCL ontwikkelde toetsen op het gebied van Nederlandse taal, rekenen en informatieverwerking. De toets is een verkorte versie van de bekende CITO-eindtoets die aan het eind van het basisonderwijs wordt afgenomen. We gebruiken hier de totaalscore. Afhankelijk van de score op deze test zijn alle leerlingen ingedeeld in de zwakste 10% (groep 1), de een na zwakste 10% (groep 2), tot en met de sterkste 10% (groep 10). Figuur 3.6 laat zien dat voor wiskunde alle groepen behalve de onderste 10% en de twee hoogste groepen beter zijn gaan scoren. De veranderingen zijn echter zeer klein. De basisvorming lijkt daarmee nauwelijks invloed te hebben gehad op de relatieve prestaties van leerlingen van verschillende niveaus. Figuur 3.6 Gemiddelde geëquivaleerde scores toets Wiskunde voor tien decielgroepen, gebaseerd op de testscore in het eerste jaar voor VOCL89 en VOCL93 Bron: VOCL, eigen berekeningen Figuur 3.7 Gemiddelde geëquivaleerde scores toets tekstbegrip voor tien decielgroepen, gebaseerd op de testscore in het eerste jaar voor VOCL89 en VOCL93 Bron: VOCL, eigen berekeningen Figuur 3.7 laat een vergelijkbaar beeld voor tekstbegrip zien. De verschillen zijn wederom klein, hoewel hier de leerlingen van het laagste niveau iets zijn gezakt op de toets, terwijl bij de beste leerlingen een lichte stijging in de testscore wordt waargenomen. 3.3.2 Uitstel van de keuze voor een opleidingsniveau De gegevens van de drie VOCL cohorten (tabel 3.1) geven duidelijk aan dat het percentage leerlingen dat in het eerste leerjaar van het voortgezet onderwijs in een categorale klas terecht komt, sterk is afgenomen van 53% in 1989 naar 36% in 1999. Ook de plaatsing in brede brugklassen is met 10% afgenomen. De zogeheten «dakpanklassen» van twee naast liggende schooltypen is in 1999 de dominante organisatievorm. Na deze periode is de vorming van dakpanklassen gestabiliseerd. Uit de onderwijsmatrices blijkt dat sinds 1998 het percentage leerlingen dat in een smalle of brede ongedeelde klas zit in leerjaar 1 steeds 70% bedraagt (figuur 3.8). In het tweede leerjaar is dat percentage tussen 1998 en 2001 gestegen van 44% naar bijna 50%. Vanaf 2001 is ook dat percentage vrij stabiel gebleven. Tabel 3.1 Aandeel leerlingen per klastype eerste leerjaar, VOCL89, VOCL93 en VOCL99 Klastype eerste leerjaar percentages leerlingen VOCL’89 VOCL’93 VOCL’99 IVBO 4,3 7 4,4 IVBO/VBO 3,2 VBO 22,9 17 9,7 VBO/MAVO 6,9 14,2 11 MAVO 23,2 14,8 11,5 VBO/MAVO/HAVO 0,3 1,2 0,2 VBO/MAVO/HAVO/VWO 1,5 1,7 0,6 MAVO/HAVO 4,1 11,1 15,3 MAVO/HAVO/VWO 15,9 11,3 6,1 HAVO 0 0,1 2,8 HAVO/VWO 18 18,6 27,2 VWO 2,8 3 7,9 % categoraal 53,2 41,9 36,3 % dakpan 29 43,9 56,7 % breed 16,2 12,5 6,3 Bron: Bewerking van tabel uit Onderwijsraad (2007): Gegevens over VOCL-cohorten 1989, 1993 en 1999 van GION Figuur 3.8 Ontwikkeling aandeel leerlingen in ongedeelde klassen, leerjaar 1 en 2, 1998–2005 Door de vorming van dakpanklassen is de selectie voor een enkelvoudig schooltype voor 70% van de leerlingen uitgesteld tot minstens het tweede leerjaar en voor bijna de helft van de leerlingen tot het derde leerjaar. De Inspectie constateert ook dat er meer beweeglijkheid in de onderbouw is ontstaan, dat wil zeggen verandering van leerroute of opleiding, met name binnen brede scholengemeenschappen. Dat wordt bevestigd door Kuyper en Van der Werf (2007). Zij vergeleken de status in het vierde cohortjaar voor de onvertraagde leerlingen met het advies en constateren dat er zowel meer opstroom plaatsvindt (van 8,6 naar 11,3%) als meer afstroom (van 10,7 naar 12,6%). Rekers-Mombarg, Kuyper en Van der Werf (2006) geven bovendien aan dat na het behalen van het eerste diploma, het stapelen van VO-diploma’s tussen VOCL89 en VOCL93 is toegenomen. Deze resultaten lijken erop te wijzen dat de determinatie – mede door de verlenging van de ongedeelde brugperiode – minder afhankelijk is geworden van het advies van de basisschool of de prestaties op de CITO-score. Toch blijkt dat niet uit onze analyse van deze data. In deze analyse hebben we alle leerlingen betrokken, dus niet alleen de onvertraagden, en gekeken naar de eerste «keuze» van voortgezet onderwijs, dat wil zeggen het eerste categorale schooltype waarin leerlingen terecht zijn gekomen. Dit kan afhankelijk van de lengte van een ongedeelde brugperiode in het eerste jaar plaatsvinden, in het tweede jaar of zelfs nog later. Daarnaast hebben we gekeken naar het hoogst bereikte diploma in het voortgezet onderwijs. Voor beide analyses kijken we naar het totale effect van advies basisschool en de eerder besproken scores op de CITO-entreetoetsen die in het eerste jaar van de VOCL-studies zijn afgenomen. Opnieuw gebruiken we de totaalscore. Zowel het advies als de beide afhankelijke variabelen zijn gescoord op basis van de leerjarenladder van Bosker, Van der Velden en Hofman (1985). Dit drukt de onderwijspositie uit in termen van de afgelegde afstand tot de top (zie voor een toelichting Kuyper en Van der Werf, 2007). Een VWO-advies krijgt hierbij de score 5, HAVO 4, MAVO 3, VBO 2 en IVBO 1. Gemengde adviezen krijgen de gemiddelde score. De scores voor behaalde diploma’s zijn respectievelijk: VWO 11, HAVO 9, MAVO 7, VBO 6 en IVBO 5. Degenen die het onderwijs hebben verlaten zonder een diploma VO zijn bij de analyses van het hoogst behaalde diploma buiten beschouwing gelaten. De reden hiervoor is dat een deel van deze leerlingen weliswaar administratief uit het cohort verdwenen zijn, maar het niettemin mogelijk is dat ze nog steeds onderwijs volgen of inmiddels teruggekeerd zijn. Het probleem is dat de omvang van deze groep niet hetzelfde is tussen de jaren waardoor de vergelijkbaarheid bemoeilijkt wordt. Voor de analyse met VOCL99 moet bovendien een voorbehoud worden gemaakt. Op de eerste plaats zit een deel van de cohortleerlingen nog in het voortgezet onderwijs zonder een diploma gehaald te hebben. We hebben aan deze leerlingen de score toegekend van het diploma dat behoort bij het schooltype waar ze op dat moment in zitten. Op de tweede plaats – en belangrijker – is dat in de data van VOCL99 veel meer missende waarden zijn op de gebruikte variabelen dan bij de andere twee cohorten. Zo ontbreekt het advies basisschool voor 11% van de respondenten, ontbreekt het opleidingsniveau van de ouders voor 21% van de leerlingen, en is voor 21% van de leerlingen sprake van onvolledige informatie over de feitelijke onderwijsloopbaan in het voortgezet onderwijs. We hebben geprobeerd om in het laatste geval schattingen te maken over het meest waarschijnlijke behaalde onderwijsniveau in het voortgezet onderwijs, op basis van de wel aanwezige informatie, waardoor het percentage ontbrekende waarden werd teruggebracht tot 13%, maar uiteraard moeten de uitkomsten met voorzichtigheid worden geïnterpreteerd. Omdat voor grote groepen leerlingen informatie opéén of meerdere variabelen ontbreken, blijven er in de analyse van het oorspronkelijke aantal van ongeveer 20 000 leerlingen in VOCL89 zo’n 16 500 over, in VOCL93 zo’n 15 000 en in VOCL99 zo’n 13 000. We hebben overigens een aantal testen uitgevoerd om te kijken of de uitkomsten beïnvloed worden door de selectiviteit in de non-respons, maar dat blijkt nauwelijks het geval te zijn. We zijn daarom van mening dat de omvang en richting van de gepresenteerde effecten een goede afspiegeling vormen van de werkelijkheid. Tabel 3.2 eerste keuze type ongedeeld VO (IVBO, VBO, MAVO, HAVO, VWO) gestandaardiseerde Bèta coëfficiënten VOCL 1989 VOCL 1993 VOCL 1999 (1) (2) (3) (1) (2) (3) (1) (2) (3) Cito totaal score ,150** ,140** ,214** ,206** ,293** ,288** Advies basisschool ,756** ,739** ,714** ,699** ,604** ,591** Opleiding ouders ,423** ,057** ,421** ,050** ,299** ,058** Aantal N 16 570 16 570 16 570 15 009 15 009 15 009 12 803 12 803 12 803 Adj. R square ,768 ,179 ,770 ,794 ,177 ,796 ,723 ,089 ,726 Bron: CBS VOCL cohorten; eigen berekeningen ** significant p< 0.01 Tabel 3.3 Hoogst behaalde onderwijsdiploma VO (IVBO, VBO, MAVO, HAVO, VWO), excl. schoolverlaters zonder diploma – gestandaardiseerde Bèta coëfficiënten VOCL 1989 VOCL 1993 VOCL 1999 (1) (2) (3) (1) (2) (3) (1) (2) (3) Cito totaal score ,215** ,203** ,247** ,235** ,300** ,298** Advies basisschool ,647** ,625** ,623** ,601** ,475** ,461** Opleiding ouders ,406** ,077** ,411** ,079** ,211** ,079** Aantal N 15 047 15 047 15 047 13 900 13 900 13 900 8 881 8 881 8 881 Adj. R square ,677 ,165 ,682 ,690 ,169 ,695 ,502 ,045 ,508 Excl. schoolverlaters zonder diploma. Voor VOCL99 is verondersteld dat degenen die nog in het VO zitten het diploma zullen halen van het schooltype waar ze nu in zitten Bron: CBS VOCL cohorten; eigen berekeningen ** significant p< 0.01 Uit de analyse komt naar voren dat zowel de plaatsing in één van de onderwijstypen van het voortgezet onderwijs als het hoogst bereikte diploma voortgezet onderwijs niet minder afhankelijk is geworden van de CITO score en het advies van de basisschool. Beide variabelen samen verklaren in VOCL89 77% van de eerste keuze VO en 68% van het hoogst behaalde diploma. In VOCL93 was dit 79% en 69%. Voor VOCL99 vinden we respectievelijk 72% en 50%, maar zoals aangegeven moeten deze cijfers, zeker voor het behaalde diploma voortgezet onderwijs met enige terughoudendheid geïnterpreteerd worden. Verder zien we dat het relatieve gewicht van de CITO entree toetsen meer bepalend is geworden ten koste van het gewicht van het basisschooladvies. Deze trend doet zich zowel voor in de periode 89–93 als in de periode 93–99. Omdat in het VOCL99 informatie over het beroep van de vader of moeder ontbreekt, kan het sociale milieu alleen maar op basis van het opleidingsniveau van de ouders worden vastgesteld. De relatie tussen bereikt opleidingsniveau van de leerlingen en het opleidingsniveau van de ouders is tussen 1989 en 1993 nauwelijks veranderd. Ook Van der Werf, Lubbers en Kuyper (1999) geven aan dat tussen VOCL89 en VOCL93 degroepsgebonden ongelijkheid naar SES en etniciteit niet is afgenomen. Voor VOCL99 zien we wel een daling in het enkelvoudige effect, maar gecontroleerd voor CITO-score en basisschooladvies (model 3) lijkt er nauwelijks sprake van verandering. De drie variabelen samen voorspellen 77% van de eerste keuze VO en 68% van de variatie in het hoogst behaalde onderwijsdiploma in VOCL89. Bij VOCL93 is dat resp. 80% en 70%. Bij VOCL99 is dat weer lager, namelijk 73% en 51% maar dat komt waarschijnlijk door het grote aantal waarnemingen. Wanneer we ons concentreren op de periode 1989–1993 dan kunnen we zeggen dat ondanks de invoering van de basisvorming en de groei van ongedeelde brugperiodes het onderwijs nog steeds sterk het karakter heeft van een «sponsored mobility regime» (Turner, 1961). Dat wil zeggen dat de selectie die bij de aanvang van het voortgezet onderwijs plaats vindt bepalend is voor de verdere loopbaan, en dat er weinig mogelijkheden zijn voor herstel van foutieve selectie (door doorstroom, op- en afstroom) en evenmin weinig mogelijkheden voor zogenoemde «laatbloeiers». Figuur 3.9 laat zien hoe bij VOCL89, VOCL93 en VOCL99 het advies van de basisschool gerelateerd is aan hun relatieve positie bij aanvang van het voortgezet onderwijs, gemeten op basis van de begintoets in het VOCL. Opnieuw zijn de leerlingen ingedeeld in 10 decielen. Er zijn twee duidelijke veranderingen waar te nemen. In de eerste plaats is er een sterke groei van het aantal gemengde adviesen. Daarnaast vindt er tussen VOCL93 en VOCL99 voor alle adviezen, met uitzondering van het VWO advies, een aanzienlijke verschuiving plaats naar lagere decielen. De basisscholen lijken dus hun grenzen voor de adviezen naar beneden toe te hebben verschoven. Leerlingen met hetzelfde niveau krijgen in VOCL99 een hoger advies dan leerlingen in VOCL93. Figuur 3.10 geeft vergelijkbare grafieken voor de eerste keuze voor een niveau binnen het voortgezet onderwijs na de brugklas. Hier is dezelfde verschuiving naar hogere opleidingen in nog sterkere mate terug te vinden. Door de hogere adviezen van de basisschool lijken dus ook meer leerlingen in hogere opleidingen terecht te zijn gekomen. Leerlingen met gemengde adviezen komen bovendien vaker in de hogere dan de lagere opleiding terecht. Figuur 3.11 presenteert deze gegevens voor het diploma dat leerlingen uiteindelijk halen. Voor VOCL99 zijn hiervoor zoals hiervoor al werd beschreven voor sommige leerlingen die nog in het onderwijs zitten, veronderstellingen gemaakt over het niveau dat ze uiteindelijk zullen behalen. Het aandeel IVBO-diploma’s is behoorlijk gedaald. VBO is sterker geconcentreerd geraakt bij de doelgroep aan de onderkant van het talentenspectrum. Meer leerlingen uit de lage decielen en minder leerlingen uit de hogere decielen halen een diploma van VBO. De verdeling van diploma’s van het MAVO naar decielgroep zijn naar links verschoven. Dat betekent dat meer leerlingen met een relatief lage CITO-score en minder leerlingen met een hoge CITO-score een MAVO-diploma halen. Ook zijn er bij VOCL99 duidelijk minder MAVO-diploma’s dan bij de eerdere cohorten. HAVO kende een sterke toename, die men name leerlingen betrof van een beginniveau dat iets lager is dan wat gebruikelijk was voor HAVO. Een vergelijkbare ontwikkeling heeft zich voorgedaan bij het VWO. De omvang van deze verschuiving is echter veel geringer dan bij het HAVO. Het aantal leerlingen zonder diploma is bij VOCL99 toegenomen. Dit kan echter een gevolg zijn van het feit dat een deel van de leerlingen alsnog een diploma zal behalen. Deze verschuiving van leerlingen naar hogere schooltypes gegeven hun aanvangsniveau betekent dat in ieder opleidingstype het niveau van de leerlingen gemiddeld lager is geworden. Ook als leerlingen op de school evenveel zijn blijven leren, draagt dit bij aan een gevoel dat leerlingen steeds minder kunnen. Het gaat dan echter bij zo’n vergelijking ook om andere leerlingen dan voorheen. Figuur 3.9 Advies van de basisschool voor leerlingen uit VOCL89, VOCL93 en VOCL99 per decielgroep Bron: VOCL, eigen berekeningen Figuur 3.10 Eerste bestemming van leerlingen uit VOCL89, VOCL93 en VOCL99 per decielgroep Bron: VOCL, eigen berekeningen Figuur 3.11 Eindbestemming van leerlingen uit VOCL89 en VOCL93 per decielgroep Bron: VOCL, eigen berekeningen 3.3.3 Modernisering van het onderwijsprogramma Waar het gaat om de modernisering van het onderwijs concludeert de Inspectie dat de ontwikkeling hapert (Inspectie van het Onderwijs, 1999). Men geeft aan dat de basisvorming vooral in technische zin is ingevoerd, maar dat dit niet heeft geleid tot modernisering van het onderwijsprogramma. De Inspectie constateert bovendien dat vaardigheidsdoelen nauwelijks gehaald worden. Bovendien is sprake van een versnipperd aanbod. De gebrekkige voortgang in de modernisering van het onderwijsprogramma wordt mede geweten aan het feit dat veel scholen in dezelfde periode tevens verwikkeld waren in fusieprocessen, mede vanwege de organisatorische consequenties van de basisvorming. Opvallend genoeg verwacht men op dat moment (1999) juist van de vernieuwing van de Tweede Fase een «terugroleffect» op de didactische vernieuwing van de onderbouw (Inspectie van het Onderwijs, 1999). Over de modernisering van het onderwijsprogramma zijn geen systematische empirische gegevens aanwezig, zodat we ook niet in staat zijn na te gaan of die modernisering sinds 1999 wel heeft plaatsgevonden. Uit het rapport van de Inspectie komt wel naar voren dat er grote verschillen zijn van school tot school. Ongeveer 20% van de scholen heeft een slechte kwaliteit van het onderwijsleerproces. Het betreft vaak kleine en zelfstandige VBOof MAVO-vestigingen, scholen met veel allochtone leerlingen of leerlingen met gedragsproblemen of scholen waarbij veel onrust is wegens fusies of directiewisselingen. 60% van de scholen wordt beoordeeld als middelmatig, waarbij vooral het onderwijskundige beleid om vernieuwingen door te voeren tekort schiet. De bovenlaag van 20% scholen met een voldoende kwaliteit wordt voornamelijk gevormd door brede scholengemeenschappen. Waar de «slechte» scholen vooral te maken hebben met ongunstige externe omstandigheden, wordt het verschil tussen matige of goede scholen vooral bepaald door de kwaliteit van het lerarenkorps (Inspectie van het Onderwijs, 1999). Het belang van een goed lerarenkorps, brengt de Inspectie tot de aanbeveling om het aantal lesuren voor leerlingen te verminderen van 32 uur tot 30 uur en de resterende 2 uren te gebruiken voor onderwijsontwikkeling door leraren (Inspectie van het Onderwijs, 1999). Intermezzo: kwaliteit en tijd In hetzelfde rapport constateert de Inspectie dat in de praktijk niet voldaan wordt aan de wettelijke verplichting om 40 weken les te geven. Volgens de Inspectie wordt tien procent benut voor introductie, sportdagen, rapportvergaderingen en extra vrije dagen aan het begin en einde van het schooljaar en gaat door slechte organisatie van de lessen nog eens zeven procent van de totale lestijd verloren. Met andere woorden zeventien procent van de wettelijk voorgeschreven lestijd wordt niet vervuld. De Inspectie beveelt daarom aan de onderwijstijd terug te brengen tot een meer realistische tijd van 38 weken van elk 30 uur, in totaal 1140 uur in plaats van 1280 uur (Inspectie van het Onderwijs, 1999). De totale leertijd zou daarbij voor leerlingen gelijk kunnen blijven indien men meer opdrachten buiten de lessen zou krijgen. Feitelijk stelt de Inspectie hiermee voor om de bestaande praktijk waarbij minder les wordt gegeven dan wettelijk verplicht is, te legitimeren. Het is niet vanzelfsprekend dat deze tijd door leerlingen via zelfstudie wordt gecompenseerd. Wel is het duidelijk dat minder onderwijstijd ook tot lagere leeropbrengsten leidt.«Time-on-task» is misschien wel een van de weinige wetmatigheden in het onderwijs: hoe meer tijd besteed wordt aan het leerproces, hoe hoger het prestatieniveau. Het zou in dat verband gepaster zijn om juist erg verontrust te zijn over de 17% onderwijstijd die verloren gaat (zie ook Borghans, 2007). Uiteraard moeten wettelijke verplichtingen realistisch haalbaar zijn, maar het is zeker van belang om de feitelijk gerealiseerde onderwijstijd nauwlettend te monitoren. We zullen hier in hoofdstuk 7 nog op terugkomen. 3.4 Conclusies In 1993 is de basisvorming ingevoerd. Deze had tot doel om het peil van het jeugdonderwijs te verhogen, de keuze voor een opleidingsniveau binnen het voortgezet onderwijs uit te stellen en het onderwijsprogramma te moderniseren. Wat is er van deze doelen terecht gekomen? Ten aanzien van het peil van het jeugdonderwijs is het beeld wat wisselend. • Het gemiddelde opleidingsniveau is gestegen: er stromen meer leerlingen door naar HAVO en VWO. Dit heeft waarschijnlijk weinig te maken met de invoering van de basisvorming, omdat er sprake is van een trendmatige stijging. Overigens blijft de deelname aan het HAVO achter bij wat op grond van de verdeling van adviezen verwacht zou mogen worden. Dit lijkt een effect te zijn van de tweedeling in het onderwijs waarbij de positie van het HAVO eerder de status krijgt van relatief laag (dat wil zeggen laag binnen de HAVO/VWO combinatie) en dus minder aantrekkelijk voor ouders en leerlingen. • Het zittenblijven in de onderbouw is duidelijk afgenomen. Ook hier lijkt echter eerder sprake te zijn van een trendmatige ontwikkeling. • Er is geen harde conclusie te trekken of het kennispeil met betrekking tot tekstbegrip en Wiskunde veranderd is. De testen die in de VOCL cohorten in het 3 leerjaar zijn afgenomen, zijn namelijk in de loop der tijd veranderd en er zijn vraagteken of de toetsen voldoende vergelijkbaar gemaakt kunnen worden. Wel kunnen we constateren dat het verschil in kennisniveau tussen de HAVO/VWO leerlingen enerzijds en de VBO/MAVO/VMBO leerlingen anderzijds niet kleiner is geworden. Voor VOCL99 lijkt het verschil bij Wiskunde zelfs groter te zijn geworden. De basisvorming is er niet in geslaagd het niveau in de algemene vakken aan de onderkant op te krikken. • Wel kunnen we concluderen dat leerlingen met dezelfde score op de CITO-entree toetsen in VOCL99 hogere adviezen krijgen en ook een hoger eindniveau bereiken. Ten aanzien van het uitstellen van de keuze voor een opleidingsniveau binnen het voortgezet onderwijs trekken we de volgende conclusies: • Het percentage leerlingen dat in een categorale brugklas terechtkomt, is sterk afgenomen. Door de vorming van dakpanklassen is de selectie voor een enkelvoudig schooltype voor 70% van de leerlingen uitgesteld tot minstens het tweede leerjaar en voor bijna de helft van de leerlingen tot het derde leerjaar. • Er lijkt sprake te zijn van meer op- en afstroom in de onderbouw. Dit duidt op meer flexibiliteit en aanpassing van eerdere beslissingen. • Niettemin is de schoolloopbaan in het voortgezet onderwijs nog steeds in sterke mate afhankelijk van de prestaties aan het eind van de basisschool: de CITO score neemt daarbij relatief in gewicht toe. Er is ook geen sprake van een afname van het effect van het opleidingsniveau van de ouders. We concluderen daarom dat de basisvorming in dit opzicht niet geslaagd is in de achterliggende doelstelling, namelijk het minder afhankelijk maken van de keuze van voortgezet onderwijs van achtergrondkenmerken van de leerling. De selectie die bij de aanvang van het voortgezet onderwijs plaatsvindt, is bepalend voor de verdere loopbaan en er zijn weinig mogelijkheden voor herstel van foutieve selectie (door doorstroom, op- en afstroom) en evenmin weinig mogelijkheden voor zogenoemde «laatbloeiers». Ten aanzien van de modernisering van het onderwijs baseren we ons volledig op de conclusies van de Inspectie naar aanleiding van de evaluatie van de basisvorming in 1999 (Inspectie van het Onderwijs, 1999): • De basisvorming is weliswaar in technische zin ingevoerd, maar dit heeft niet geleid tot modernisering van het onderwijsprogramma. • Er zijn grote verschillen in kwaliteit tussen scholen. • Er is sprake van een versnipperd aanbod. • Veel kerndoelen komen wel aan bod, maar veelal oppervlakkig. • De voorgestelde vaardigheidsdoelen worden nauwelijks gehaald. 4 EVALUATIE VAN DE INVOERING VAN HET VMBO 4.1 Inleiding In het schooljaar 1999/2000 zijn de scholen met VBO en MAVO in het eerste leerjaar gestart met de invoering van het VMBO. In de eerste jaren van het VMBO volgen leerlingen de basisvorming: een breed samengesteld vakkenpakket dat in principe voor iedereen hetzelfde is (zie hoofdstuk 3). Op zijn vroegst kiest men aan het eind van het tweede leerjaar voor een leerweg en een sector. Er worden vier leerwegen onderscheiden: de basisberoepsgerichte (VMBO-BL), de kaderberoepsgerichte (VMBO-KL), de gemengde (VMBO-GL) en de theoretische (VMBO-TL) leerweg. Met uitzondering van de leerlingen in de theoretische leerweg kiezen de leerlingen daarnaast uit de volgende vier sectoren: landbouw, techniek, economie en gezondheidszorg. BL en KL kunnen in hoofdlijnen gezien worden als de vervangers van het vroegere VBO. BL bereidt leerlingen voor op de basisberoepsopleidingen in het MBO (niveau 2) en KL op de middenkader- en vakopleidingen in het MBO (niveau 3 of 4). De TL is in hoofdlijnen de vervanger van het vroegere MAVO. De GL is een mengvorm, bedoeld voor leerlingen die op zich weinig moeite hebben met studeren maar zich ook al gericht willen voorbereiden op bepaalde beroepen. De GL ligt qua niveau dicht bij de TL en bereidt eveneens voor op de vak- en middenkaderopleidingen in het MBO. Bij de overgang van de oude situatie (met MAVO en VBO) naar het VMBO bleek dat, gezien de aantallen deelnemers in de jaren rond de overgang, de TL en GL samen ongeveer even groot waren als het MAVO was vóór invoering van het VMBO. Dit wil echter niet zeggen dat de TL en GL identiek zijn aan de vroegere MAVO, en de KL en BL aan het vroegere VBO: er heeft een duidelijke herstructurering van dit onderwijssegment plaatsgevonden. Ook het individueel voorbereidende beroepsonderwijs (IVBO) is herzien. Het IVBO is opgegaan in het VMBO met leerwegondersteunend onderwijs (LWOO). Het voortgezet speciaal onderwijs voor leerlingen met leer- en opvoedingsmoeilijkheden (VSO-LOM) en het voortgezet speciaal onderwijs voor moeilijk lerende kinderen (VSO-MLK) zijn omgezet in leerwegondersteuning (LWOO) en praktijkonderwijs (PRO). Na deze omzetting zijn het VSO-LOM en het VSO-MLK als onderwijssoorten opgeheven. Conform de wet van 28 mei 1998 zijn alle VSO-LOM en VSO-MLK scholen per 1 augustus 2002 of eerder gefuseerd met een VO-school of omgezet in PRO dan wel in een Orthopedagogisch Centrum (OPDC). Het LWOO is, in tegenstelling tot het PRO, geen afzonderlijke onderwijssoort maar een ondersteuningstraject binnen het VMBO. In de eerste paar jaar na de omzetting lag de ontwikkeling van het LWOO in dezelfde lijn als de prognoses voor IVBO en VSO-LOM tezamen, terwijl de ontwikkeling van het PRO aansloot op die van VSO-MLK. Gezien de gewijzigde indicatiestelling in die periode kunnen LWOO en PRO echter niet gelijkgesteld worden aan respectievelijk IVBO, VSO-LOM en VSO-MLK. Om de vergelijkingen zo zuiver mogelijk te houden, zijn zowel leerlingen van het IVBO, het LWOO, het VSO-MLK en het VSO-LOM in de analyses van dit hoofdstuk buiten beschouwing gelaten. In dit hoofdstuk wordt een bijdrage geleverd aan de discussie of de hervorming en de invoering van het VMBO tot een verbetering van de doorstroom binnen het voortgezet onderwijs, de doorstroom naar het vervolgonderwijs en de aansluiting met het vervolgonderwijs heeft geleid. Meer in detail wordt op de volgende aspecten ingegaan: • in- en doorstroom in het voortgezet onderwijs; • zittenblijven en ongediplomeerde uitstroom; • doorstroom naar een vervolgopleiding; • aansluiting op de vervolgopleiding. Om inzicht te krijgen in de effecten van de herstructurering vergelijken we in dit hoofdstuk de uitkomsten voor leerlingen en schoolverlaters van het oude systeem (MAVO en VBO) met de uitkomsten voor leerlingen en schoolverlaters van het nieuwe systeem (VMBO). Meer in detail: de situatie van VBO-leerlingen (schoolverlaters) wordt vergeleken met de situatie van VMBO-BLen VMBO-KL-leerlingen (schoolverlaters), en de situatie van MAVO-leerlingen (schoolverlaters) wordt vergeleken met de situatie van VMBO-TL- en VMBO-GL-leerlingen (schoolverlaters). Tabel 4.1 Tijdstip van invoering van het VMBO per leerjaar leerjaar 1 leerjaar 2 leerjaar 3 leerjaar 4 Oud T/m 1998–1999 T/m 1999–2000 T/m 2000–2001 T/m 2001–2002 Nieuw Vanaf 1999–2000 Vanaf 2000–2001 Vanaf 2001–2002 Vanaf 2002–2003 Onderscheiden onderwijstypen Oud systeem Nieuw systeem MAVO VMBO-TL/GL VBO VMBO-BL/KL Het hoofdstuk is als volgt opgebouwd: In paragraaf 4.2 wordt ingegaan op de schoolloopbaan tijdens het MAVO, het VBO of het VMBO. Hierbij analyseren we de instroom in het derde en het vierde leerjaar, het aandeel zittenblijvers, de tussentijdse op- en afstroom en de ongediplomeerde uitstroom. In paragraaf 4.3 wordt de bestemming van de gediplomeerde schoolverlaters in kaart gebracht, en in paragraaf 4.4 wordt nader ingegaan op de doorstroom naar vervolgonderwijs en de aansluiting tussen gevolgde opleiding en vervolgopleiding. Tot slot worden in paragraaf 4.5 de belangrijkste bevindingen samengevat en conclusies geformuleerd. 4.2 Schoolloopbaan tijdens VBO/MAVO/VMBO Ontwikkelingen in de instroom Rekers-Mombarg et al. (2005) geven op basis van een vergelijkende analyse van VOCL93 en VOCL99 aan dat sinds de invoering van het VMBO de instroomkenmerken van de leerlingen veranderd zijn: het opleidingsniveau van de ouders is gestegen, het percentage allochtone leerlingen is toegenomen en het prestatieniveau is iets hoger geworden. Bovendien zijn de scores op de entreetoets van de leerlingen in IVBO klassen sterk gestegen. Dit wijst erop dat veel leerlingen in de groep die leerwegondersteuning krijgen qua prestatieniveau niet helemaal vergelijkbaar zijn met de groep die voorheen IVBO volgde. De auteurs concluderen zelfs dat veel leerlingen nu ondersteuning krijgen die daarvoor op grond van hun prestaties eigenlijk niet in aanmerking komen (Rekers-Mombarg et al., 2005, p. 45), maar dat hoeft niet: een belangrijk verschil tussen IVBO en LWOO is immers dat LWOO geboden kan worden aan leerlingen van elke leerweg, dus ook van de TL. LWOO kan daarom niet helemaal gelijk gesteld worden aan IVBO, maar omvat ook wat vroeger onder IVO-MAVO (individueel voortgezet onderwijs MAVO) zou vallen. Ontwikkelingen in de deelname Figuur 4.1 geeft de absolute leerlingenaantallen weer in het derde en het vierde leerjaar. Zoals bij alle tabellen en grafieken op basis van de onderwijsmatrix staat 1998 voor het schooljaar 1997/98 etc. Om te beginnen kan vastgesteld worden dat er zowel voor het derde als het vierde leerjaar een lichte trend zichtbaar is waarbij het totaal aantal leerlingen geleidelijk daalt en er een verschuiving van VBO-VMBO-BL/KL naar MAVO-VMBO-TL/GL plaatsvindt. Stroomden in 1998 rond 100 000 leerlingen in het derde leerjaar (zo’n 49 500 in het VBO en 50 000 in de MAVO) en rond 100 000 leerlingen in het vierde leerjaar (zo’n 49 000 in het VBO en 52 000 in de MAVO), in 2005 was de instroom in het derde leerjaar 6% lager en de instroom in het vierde leerjaar zelfs 12% lager. Meer in detail, in 2005 volgden zo’n 50 000 leerlingen in het derde leerjaar de TL of GL, 44 000 leerlingen in het derde leerjaar de BL of KL, 48 000 leerlingen in het vierde leerjaar de TL of GL en 41 000 leerlingen in het vierde leerjaar de BL of KL. Figuur 4.1 laat verder zien dat bij de overgang naar het VMBO aanvankelijk iets meer leerlingen in de KL en BL zijn terecht gekomen en iets minder in de TL en GL. Borghans en Coenen (2006) verklaren deze verschuiving als een gevolg van het gezamenlijke onderwijsprogramma in de eerste twee jaar. Een programma dat niet is toegespitst op TL zal het voor de marginale leerling (op de grens tussen VBO en MAVO) moeilijker worden om voor de TL te kiezen. Dit is de prijs van meer flexibiliteit en latere keuzes in de opleidingsstructuur. In oude termen heeft er dus een lichte verschuiving plaatsgevonden van MAVO naar VBO. Mede door de trendmatige groei van MAVO-VMBO-TL/GL is dit verschil vier jaar na de invoering van het VMBO weer grotendeels hersteld. Figuur 4.1 Totaal aantal leerlingen in het derde en het vierde leerjaar, 1998–2005 Bron: Onderwijsmatrix (OCW) Ontwikkelingen in de prestaties in het derde leerjaar Rekers-Mombarg et al. (2005) geven aan dat de testscores voor Nederlands (tekstbegrip) tussen VOCL93 en VOCL99 met 0,8 punten zijn gestegen en voor Wiskunde met 0,5 punten zijn gedaald. Beide testen hebben een gemiddelde van 50 en standaarddeviatie van 15, dus we praten hier over vrij marginale verschillen. Binnen het VMBO zijn er echter wel verschillen naar leerwegen. Voor het LWOO vond men in vergelijking met het IVBO een stijging, voor het VBO/KL/BL vindt men een stijging voor Nederlands maar een daling voor Wiskunde en voor MAVO/TL/GL vindt men een daling bij beide testen. In de toetsende analyses vindt men, na controle voor instroomkenmerken, echter geen verschil meer tussen beide cohorten voor Nederlands, maar wel voor Wiskunde: leerlingen van VOCL99 scoren lager op Wiskunde dan leerlingen van VOCL93, behalve bij LWOO/IVBO (Rekers-Mombarg et al., 2005, p. 26). Ontwikkelingen in het zittenblijven Figuur 4.2 geeft het aandeel zittenblijvers in het derde leerjaar weer en figuur 4.3 doet hetzelfde voor het vierde leerjaar. Figuur 4.2 Aandeel zittenblijvers in het derde leerjaar, 1998–2005 Bron: Onderwijsmatrix (OCW) Figuur 4.2 en figuur 4.3 laten zien dat het aandeel zittenblijvers in het derde en het vierde leerjaar in de afgelopen jaren teruggelopen is. Bleef in 1998 (betreft schooljaar 1997/98) nog 10,3% van de MAVO-leerlingen in het derde leerjaar en 7,0% in het vierde leerjaar zitten, in 2005 was dit onder de leerlingen van het VMBO-TL/GL 7,5%, respectievelijk, 4,3%. Een vergelijkbare trend manifesteert zich onder de leerlingen van het VBO, respectievelijk het VMBO-BL/KL. In 1998 moest 7,6% van de VBO leerlingen het derde leerjaar overdoen en 3,2% het vierde leerjaar. In 2005 was dit het lot van 4,3% respectievelijk 1,7% van de VMBO-BL/KL leerlingen. Verder valt de relatief sterke daling in de periode 2001 (derde leerjaar) en 2002 (vierde leerjaar) op. Deze daling duidt op het feit dat scholen zogeheten «bezemklassen» wilden voorkomen: kleine klassen met leerlingen die nog in een oud systeem hun diploma moeten halen (zie ook, Borghans & Coenen, 2007). Ten slotte laat een algemene vergelijking van de oude situatie en de nieuwe situatie zien dat met de invoering van het VMBO het aandeel zittenblijvers, met uitzondering van de situatie onder de VBO/VMBO-BL/KL leerlingen in het vierde leerjaar, duidelijk daalde. De analyse van Rekers-Mombarg et al. (2005) wijzen ook in de richting van een afname van de vertraging voor het VMBO, met uitzondering van de IVBO/LWOO leerlingen. Korpershoek, Kuyper en Van der Werf (2007) ten slotte geven aan dat het aantal doubleurs over de gehele schoolloopbaan bij het VMBO is gehalveerd. Figuur 4.3 Aandeel zittenblijvers in het vierde leerjaar, 1998–2005 Bron: Onderwijsmatrix (OCW) Ontwikkelingen in op- en afstroom Naast het feit dat leerlingen een bepaald leerjaar overdoen, geeft het Nederlandse onderwijssysteem ook de mogelijkheid om tussentijds op te stromen naar een hoger niveau of tussentijds over te stappen naar een lager niveau. Opstroom naar een hoger niveau wil hier zeggen: tussentijds, zonder diploma, overstappen van VBO (VMBO-BL/KL) naar MAVO (VMBO-TL/GL) of van MAVO (VMBO-TL/GL) naar HAVO. Het kan dan gaan om een overstap naar hetzelfde leerjaar of naar een jaar hoger. Afstroom naar een lager niveau wil hier zeggen: tussentijds overstappen van MAVO (VMBO-TL/GL) naar VBO (VMBO-BL/KL). Tabel 4.2 laat het aandeel van de leerlingen zien dat een dergelijke overstap heeft gemaakt. De cijfers in tabel 4.2 laten zien dat de tussentijdse opstroom, zowel van VBO (VMBO-BL/KL) naar MAVO (VMBO-TL/GL) als van MAVO (VMBO-TL/GL) naar HAVO vrijwel nihil is. Minder dan 0,5% van de leerlingen stroomt tussentijds, dat wil zeggen zonder het diploma gehaald te hebben, door naar een hoger niveau. De invoering van het VMBO heeft hier geen invloed op gehad. Korpershoek, Kuyper en Van der Werf (2007) bevestigen dit beeld op basis van analyses van de VOCL. Wat de tussentijdse afstroom van MAVO naar VBO betreft, toont tabel 4.2 dat (behoudens het jaar 2001) het aandeel voor de invoering van het VMBO net onder de 2% lag. Na de invoering van het VMBO ligt dit aandeel net boven de 2%. In 2001 stapten 3,5% van de leerlingen van het derde leerjaar over van het MAVO naar het VBO. Dit zal ongetwijfeld met de invoering van het VMBO te maken hebben die voor deze leerlingen in het daarop volgende jaar in werking trad. Ook hier heeft deze afstroom te maken met het voorkomen van bezemklassen. Tabel 4.2 Percentage leerlingen dat tussentijds op- of afstroomt, derde leerjaar, 1998–2005 1998 1999 2000 2001 2002 2003 2004 2005 Van VBO naar MAVO 0,3 0,4 0,3 0,3 Van VMBO-BL/KL naar VMBO-TL/GL 0,5 0,3 0,4 0,4 Van MAVO naar HAVO 0,4 0,3 0,2 0,2 VAN VMBO-TL/GL naar HAVO 0,2 0,2 0,4 0,4 Van MAVO naar VBO 1,9 1,7 1,8 3,5 VAN VMBO-TL/GL naar VMBO-BL/KL 2,0 2,1 2,1 2,3 Bron: Onderwijsmatrix (OCW) Rekers-Mombarg et al. (2005) komen op basis van analyse met VOCL93 en VOCL99 tot de conclusie, dat de afstroom van MAVO-TL/GL naar VBO-KL/BL is toegenomen evenals de opstroom in de omgekeerde richting. Het verschil wat betreft de toegenomen opstroom kan te maken hebben met het feit dat zij alle opstroom registreren en de hier gepresenteerde gegevens uitsluitend betrekking hebben op de opstroom na het derde leerjaar. Bovendien hebben hun gegevens betrekking op een langere tijdsperiode dan de onze. In dat geval heeft de toename van de opstroom al voor de invoering van het VMBO plaats gevonden. Ontwikkelingen in de uitval Een deel van de leerlingen verlaat de school zonder diploma. Hierbij kan een onderscheid gemaakt worden tussen de leerlingen die de school ongediplomeerd verlaten zonder een ander bekostigde opleiding te starten en leerlingen die het onderwijs ongediplomeerd verlaten maar instromen in een MBO-BOL of MBO-BBL opleiding. Figuur 4.4 laat het aandeel leerlingen per leerjaar zien dat de opleiding ongediplomeerd verlaat. Tabel 4.3 geeft daarna in meer detail inzicht in de ongediplomeerde doorstroom naar het MBO en het aandeel leerlingen dat zonder diploma en zonder vervolgonderwijs de opleiding verlaat. Figuur 4.4 Aandeel leerlingen dat opleiding zonder diploma verlaat, per leerjaar, 1998–2005 Bron: Onderwijsmatrix (OCW) Figuur 4.4 laat in eerste instantie zien dat zowel in het derde als het 4e leerjaar de ongediplomeerde uitstroom uit de relatief meer beroepsgerichte opleidingen (VBO en VMBO-BL/KL) aanzienlijk hoger is dan uit het MAVO respectievelijk VMBO-TL/GL. In de jaren 1998 tot 2001 verliet zo’n 6% à 7% van de VBO-leerlingen in het derde leerjaar zonder diploma de opleiding. In het 4e leerjaar was het zelfs tussen de 8% en 9%. Tegelijkertijd lag het aandeel ongediplomeerde schoolverlaters van het MAVO tussen de 2% en de 3% onder de leerlingen van het derde leerjaar en steeg van zo’n 3% in 1998 naar bijna 6% in 2002 onder de leerlingen van het 4e leerjaar. Na de invoering van het VMBO daalt het aandeel leerlingen dat de opleiding zonder diploma verlaat in het derde en het 4e jaar van de VMBO-BL/KL en in het 4e jaar van de VMBO-TL/GL. Wat betreft de ongediplomeerde uitstroom uit het derde leerjaar van de VMBO-BL/KL zien we niet direct een duidelijke invloed van de invoering van het VMBO. Steeg en Webbink (2006) melden op basis van de onderwijsmatrix dat de aantallen VMBO schoolverlaters (alle leerjaren) zonder diploma in de periode 1998 tot 2003 redelijk constant zijn gebleven. Rekers-Mombarg et al. (2005) komen echter tot de conclusie dat de voortijdige schooluitval aanmerkelijk is toegenomen. Dit zou te maken kunnen hebben met het eerder geconstateerde verschil in de bestreken tijdsperiode: voor VOCL betreft dit de instroom in respectievelijk 1993 en 1999, voor de onderwijsmatrices betreft dit de instroom in de periode 1998–2005. Waarschijnlijker is echter dat beide databronnen niet erg geschikt zijn om voortijdige schooluitval goed vast te stellen. Bij het VOCL worden de leerlingen in beginsel gevolgd via opgave van de scholen. In een aantal gevallen weigeren scholen echter om medewerking te geven. Hoewel dan geprobeerd wordt om via andere kanalen informatie te verzamelen, valt niet met zekerheid vast te stellen dat een leerling die administratief het cohort verlaat ook echt een drop-out is. Hetzelfde geldt ook voor de onderwijsmatrices. Scholen weten niet altijd precies waar leerlingen naar toe gaan. Bovendien wordt terugkeer in het onderwijs noch in VOCL noch in de onderwijsmatrices waargenomen. Hierdoor wordt de voortijdige schooluitval systematisch te hoog geschat. De komst van het onderwijsnummer heeft hier wel verbetering ingebracht, maar is ook nog niet zaligmakend. Probleem daarbij is dat de uitstroom naar particulier onderwijs of naar een school in het buitenland (van belang voor degenen die in de grensstreek wonen) niet wordt waargenomen. Ook hierdoor wordt de voortijdige schooluitval dus te hoog geschat. Tabel 4.3 Ongediplomeerde doorstroom naar het MBO of naar de arbeidsmarkt en/of het niet-bekostigde onderwijs, per leerjaar, 1998–2005 1998 1999 2000 2001 2002 2003 2004 2005 Derde leerjaar MAVO naar MBO 0,6 0,7 0,8 0,9 MAVO naar buiten bekostigd onderwijs 1,8 1,8 1,8 2,2 VBO naar MBO 1,2 1,3 1,4 1,4 VBO naar buiten bekostigd onderwijs 5,4 4,7 5,1 5,7 VMBO-TL/GL naar MBO 1,3 0,9 1,6 1,3 VMBO-TL/GL naar buiten bekostigd onderwijs 2,1 1,9 2,1 2,0 VMBO-BL/KL naar MBO 1,0 1,1 2,2 2,3 VMBO-BL/KL naar buiten bekostigd onderwijs 5,0 3,1 3,0 2,4 4e leerjaar MAVO naar MBO 1,4 2,1 1,9 2,5 3,3 MAVO naar buiten bekostigd onderwijs 1,6 1,7 1,5 1,9 2,3 VBO naar MBO 3,8 4,6 4,8 4,8 4,3 VBO naar buiten bekostigd onderwijs 4,2 4,2 4,1 4,3 3,4 VMBO-TL/GL naar MBO 2,5 1,5 1,2 VMBO-TL/GL naar buiten bekostigd onderwijs 2,5 1,3 1,0 VMBO-BL/KL naar MBO 4,5 4,3 4,7 VMBO-BL/KL naar buiten bekostigd onderwijs 2,9 1,9 1,5 Bron: Onderwijsmatrix (OCW) Zoals eerder is vermeld, stroomt een deel van de leerlingen die de opleiding ongediplomeerd verlaten heeft door naar een MBO-opleiding. In tabel 4.3 wordt daarom onderscheid gemaakt tussen de ongediplomeerde schoolverlaters die in het MBO een vervolgopleiding starten en de ongediplomeerde schoolverlaters die niet gaan verder leren in een bekostigde opleiding. De laatste groep biedt zich of op de arbeidsmarkt aan of vervolgt de onderwijscarrière buiten het bekostigd onderwijs. Allereerst laat tabel 4.3 zien dat voor de invoering van het VMBO het merendeel van de leerlingen die het derde leerjaar ongediplomeerd verliet geen verder bekostigd onderwijs ging volgen. In 1998 stroomde slechts 0,6% van de MAVO-leerlingen en 1.2% van de VBO-leerlingen ongediplomeerd naar het MBO. Tegelijkertijd verliet 1,8% van de MAVO-leerlingen en 5,4% van de VBO-leerlingen de opleiding zonder diploma en zonder door te stromen naar een MBO-vervolgopleiding. Met andere woorden, slechts tussen 20% en 30% van het MAVOof VBO leerlingen die de opleiding zonder diploma in het derde leerjaar verlieten stroomde door naar een opleiding in het MBO. Na de invoering van het VMBO is hier een verbetering te zien. VMBO-TL/GL leerlingen die het derde leerjaar zonder diploma verlaten stromen in ongeveer 40% van de gevallen door naar een MBO-opleiding. Voor de leerlingen van KL en BL geldt dat pas vanaf 2004 (in 2004 stroomde 44% van de KL- en BL-leerlingen door naar een MBO-opleiding). Leerlingen van het 4e leerjaar die de opleiding zonder diploma verlaten stroomden al vóór de invoering van het VMBO in zo’n 50% van de gevallen door naar een MBO-opleiding. Na de invoering van het VMBO verandert hierin niet erg veel als we de bestemming van de ongediplomeerde VMBO-TL/GL schoolverlaters bekijken. Nog steeds stroomt zo’n 50% van hen door naar een MBO-opleiding terwijl de andere 50% geen bekostigd onderwijs meer volgt. Wel zien we dat bij deze groep zowel het aandeel ongediplomeerde schoolverlaters dat doorstroomt naar een MBO-opleiding als het aandeel ongediplomeerde schoolverlaters dat geen verder bekostigd onderwijs volgt na de herstructurering en de invoering van het VMBO duidelijk daalt. De situatie is echter anders onder de ongediplomeerde schoolverlaters van het VMBO-BL/KL. Hoewel ook hier een daling in het aandeel ongediplomeerde schoolverlaters na de invoering van het VMBO zichtbaar is (in 2003 verliet 7.4% de opleiding zonder diploma en in 2005 was het 6.2%), wordt deze volledig veroorzaakt door een daling in het aandeel ongediplomeerde schoolverlaters dat niet doorstroomt naar een MBO-vervolgopleiding. Ontwikkelingen in het percentage geslaagden Tot slot van deze paragraaf laat figuur 4.5 het aandeel leerlingen zien dat het einddiploma behaalt. Overigens zegt het percentage geslaagden nog niets over de kwaliteit van de afgestudeerden. Figuur 4.5 laat zien dat het aandeel leerlingen dat het einddiploma behaalt licht varieert tussen de jaren maar dat in de laatste twee jaren het percentage iets hoger is. Ontving in 1998 89% van de leerlingen in het 4e leerjaar een diploma, in 2005 was dit 92%. We zien bovendien een stijging in 2002 welke weer een gevolg is van het voorkomen van bezemklassen. Overigens zijn er verder geen echte verschillen tussen leerlingen in het MAVO(VMBO-TL/GL) en leerlingen in het VBO (VMBO-BL/KL) te zien. Korpershoek, Kuyper en Van der Werf (2007) merken nog op dat weliswaar het zakken voor het examen is afgenomen, maar dat er tegelijkertijd een toename is van het aantal leerlingen dat geen examen doet (maar wel een diploma haalt). Figuur 4.5 Aandeel leerlingen van het 4e leerjaar dat het einddiploma behaalt, 1998–2005 Bron: Onderwijsmatrix (OCW) 4.3 Bestemming van de gediplomeerde MAVO/VBO/VMBO schoolverlaters Wat doen de scholieren nadat zij de opleiding succesvol verlaten hebben? Gaan zij verder met een vervolgopleiding of bieden zij zich aan op de arbeidsmarkt. Figuur 4.6 laat het percentage gediplomeerde schoolverlaters zien dat in de jaren 1998 tot 2005 voor een vervolgopleiding koos. Figuur 4.6 Doorstroom naar vervolgonderwijs Bron: Onderwijsmatrix (OCW) Wat betreft de gediplomeerde MAVO-schoolverlaters zien we in de jaren 1998 tot 2002 een licht dalende trend. Koos in 1998 nog 88% voor een (bekostigde) vervolgopleiding, in 2002 was dit gedaald tot 84%. Bij de gediplomeerde VBO-schoolverlaters schommelde het percentage dat doorstroomde naar een (bekostigde) vervolgopleiding in dezelfde periode rond 70%. Het overall percentage VMBO-schoolverlaters dat in 2003 voor een vervolgopleiding koos, is ongeveer gelijk aan het percentage MAVO- of VBO-schoolverlaters dat voor een vervolgopleiding koos. Meer in detail, 81% van de VMBO-TL/GL schoolverlaters en 73% van de VMBO-BL/KL schoolverlaters koos in 2003 voor een vervolgopleiding. In 2004 zien we een sterke stijging voor beide groepen VMBO-schoolverlaters: 96% van de VMBO-TL/GL schoolverlaters en 89% van de VMBO-BL/KL schoolverlaters koos in 2004 voor een vervolgopleiding. Het aandeel daalde vervolgens in 2005 licht naar 91% respectievelijk 83%. Hiermee lijkt de invoering van het VMBO vooral bij de relatief meer beroepsgerichte opleidingen te hebben geleid tot een hoger aandeel schoolverlaters dat voor een vervolgopleiding kiest. Ook bij de TL en GL gediplomeerden is sprake van een stijging ten opzichte van de situatie bij het MAVO, al is de stijging hier minder groot vanwege het plafondeffect. Indien deze stijging in de volgende jaren doorzet, kan dit resultaat als een succes van de herstructurering gezien worden. Natuurlijk heeft de herstructurering niet als enige doel de doorstroom naar vervolgonderwijs te verhogen. Verbetering van de aansluiting op het vervolgonderwijs moet ook leiden tot een betere match tussen de opleiding en de vervolgopleiding. In de volgende paragraaf staat deze match centaal. 4.4 Doorstroom naar kwalificerend vervolgtraject De overgrote meerderheid van de gediplomeerde VBO/MAVO/VMBO-schoolverlaters gaat verder met een vervolgopleiding. In deze paragraaf wordt nader ingegaan op dit kwalificerende vervolgtraject. Na afronding van het VBO, het MAVO, of een van de leerwegen van het VMBO heeft een leerling verschillende mogelijkheden ten aanzien van de vervolgopleiding. De meest voor de hand liggende vorm van een vervolgopleiding is een MBO-BOL of een MBO-BBL opleiding. Voor de gediplomeerde schoolverlaters van het MAVO of de TL (en in beginsel ook de GL) van het VMBO is verder een HAVO-opleiding een reële optie. Figuur 4.7 Doorstroom naar HAVO Bron: Onderwijsmatrix (OCW) Figuur 4.7 laat de doorstroom van de gediplomeerde schoolverlaters van het MAVO en de TL en GL van het VMBO naar het HAVO zien. Met rond 18% was deze doorstroom het hoogst in 1998. In de daaropvolgende jaren (tot 2002) is het aandeel gediplomeerde MAVO-schoolverlaters dat doorstroomde naar het HAVO bijna gehalveerd. Dit hangt waarschijnlijk samen met de invoering van de tweede fase in het HAVO en het VWO, waardoor de doorstroom vanuit het MAVO moeilijker werd. Echter na de invoering van het VMBO nam de doorstroom weer sterk toe. In 2003 ging 13% van de gediplomeerde VMBO-TL/GL leerlingen naar de HAVO, in 2004 was dit 15% en in 2005 zelfs meer dan 16%. Uit onderzoek dat het CINOP Expertisecentrum (Van Esch en Neuvel, 2007) heeft verricht voor de Adviesgroep VMBO blijkt dat deze doorstroom ook redelijk succesvol is. Het CINOP heeft aan 140 scholen met een HAVO afdeling een telformulier toegestuurd waarop ingevuld kon worden hoeveel TL- en GL-leerlingen binnenstromen en hoeveel hiervan uiteindelijk een HAVO-diploma behaalden. De respons op de telformulieren bedroeg weliswaar slechts 46%, maar uit het uitgevoerde non-responsonderzoek kwam een vergelijkbaar beeld naar voren (Van Esch en Neuvel, 2007, p.18). De resultaten wijzen uit dat ruim driekwart van de TL-leerlingen het HAVO diploma haalt en iets minder dan een kwart voortijdig (vaak aan het einde van HAVO-4) afhaakt. Daarmee is de slaagkans van de TL-leerlingen weliswaar aanzienlijk kleiner dan van de «reguliere» havisten, maar niettemin haalt de overgrote meerderheid van de TL-doorstromers een diploma. Dit is een belangrijk succes van de invoering van het VMBO en tegelijkertijd ook onverwacht. Wat we zien is dat de hervorming in het HAVO/VWO die bedoeld was om de aansluiting naar het hoger onderwijs te verbeteren, als onbedoeld neveneffect had dat de doorstroom van MAVO naar HAVO die al eerder afnam nog sterker verminderde. Daarmee dreigde een tweedeling te ontstaan in het onderwijs tussen HAVO/VWO aan de ene kant en VBO/MAVO aan de andere kant. De invoering van het VMBO zou deze tweedeling juist hebben kunnen versterken, doordat er meer aandacht kwam voor de afstemming binnen de leerwegen van het VMBO en de afstemming naar MBO en minder op de afstemming naar HAVO. Niettemin blijkt dat met de invoering van het VMBO ook de aansluiting naar het HAVO lichtelijk is hersteld. Dat is van belang omdat deze route meer mogelijkheden biedt voor VMBO-leerlingen om uiteindelijk in het HBO terecht te komen. De HAVO-route duurt immers maar 2 jaar, terwijl de route via het MBO 4 jaar duurt. Hoewel de doorstroom via de beroepskolom belangrijk is, zou het voor de groei van het hoger onderwijs van belang zijn om de HAVO-route verder te versterken. Figuur 4.8 gaat in op de doorstroom naar een MBO-opleiding. We onderscheiden hierbij in eerste instantie MBO-opleidingen op niveau 1/2 en MBO-opleidingen op niveau 3/4. Figuur 4.8 Doorstroom naar MBO Bron: Onderwijsmatrix (OCW) Figuur 4.8 laat zien dat in de jaren 1999 tot 2002 rond 70% van de gediplomeerde MAVO-schoolverlaters voor een vervolgopleiding op niveau 3/4 in het MBO koos, terwijl minder dan 10% van de MAVO-schoolverlaters in het MBO-niveau 1/2 instroomde. Onder de meer algemeen opgeleide leerlingen heeft de invoering van het VMBO geen grote veranderingen teweeg gebracht wat betreft de keuze voor een vervolgopleiding in het MBO-niveau 1/2 of het MBO-niveau 3/4. Van de VMBO-TL/GL schoolverlaters kiest nog steeds rond 70% voor een vervolgopleiding op MBO-niveau 3/4 terwijl minder dan 10% voor een MBO-opleiding op niveau 1/2 kiest. Overigens is een licht dalende trend zichtbaar in het aandeel VMBO-TL/GL schoolverlaters dat voor een opleiding op niveau 1/2 kiest. Kijkend naar de keuze van MAVO- en VMBO-TL/GL-schoolverlaters voor een vervolgopleiding op niveau 1 dan wel niveau 2 of een vervolgopleiding op niveau 3 dan wel niveau 4 zien we een interessante trend. De dalende trend om een vervolgopleiding op niveau 1/2 te kiezen, is het gevolg van zowel een afname in het kiezen voor een vervolgopleiding op niveau 1 als een afname in het kiezen voor een vervolgopleiding op niveau 2 door de VMBO-TL/GL schoolverlaters. Deze trend begon in beide gevallen al in 2002 en zette zich na de invoering van het VMBO voort. Het in figuur 4.8 zichtbare resultaat dat het aandeel VMBO-TL/GL schoolverlaters dat voor een MBO opleiding op niveau 3/4 kiest ongeveer hetzelfde is als onder de gediplomeerde MAVO-schoolverlaters is het resultaat van twee tegenovergestelde trendbreuken (zie figuur 4.9). Figuur 4.9 Keuze voor een MBO-opleiding op niveau 3 of op niveau 4, MAVO/VMBO-TL/GL schoolverlaters Bron: Onderwijsmatrix (OCW) Figuur 4.9 laat in de jaren 1998 tot 2002 een stijgende trend zien wat betreft de keuze van gediplomeerde MAVO schoolverlaters voor een vervolgopleiding op niveau 3 en een dalende trend wat betreft de keuze voor een vervolgopleiding op niveau 4. Na de herstructurering en de invoering van het VMBO zien we dat het aandeel VMBO-TL/GL schoolverlaters dat voor een vervolgopleiding op niveau 3 kiest duidelijk lager ligt dan in de jaren ervoor en dat het aandeel dat voor een opleiding op niveau 4 kiest toeneemt. Zo koos in 2005 55% van de VMBO-TL/GL schoolverlaters voor een vervolgopleiding op niveau 4 (in 2002 was dit 47% van de MAVO schoolverlaters) en 15% voor een vervolgopleiding op niveau 3 (in 2002 was dit 20%). Terugkerend naar figuur 4.8 zien we dat in de jaren 1998 tot 2002 zo’n 35% van de VBO-schoolverlaters doorstroomde naar een MBO-opleiding op niveau 3/4 en dat een iets lager percentage VBO-schoolverlaters voor een opleiding op MBO niveau 1/2 koos. Na de invoering van het VMBO zijn deze percentages voor beide typen vervolgopleiding gestegen. Zo koos in 2005 40% van de gediplomeerde VMBO-BL/KL schoolverlaters voor een opleiding op niveau 1/2 (in 2002 was dit nog maar 32%) en 43% van de gediplomeerde VMBO-BL/KL schoolverlaters voor een opleiding op niveau 3/4 (in 2002 was dit 38%). Dit spoort met het eerder gepresenteerde resultaat (zie figuur 4.5) dat het aandeel gediplomeerde schoolverlaters van het VMBO-BL/KL dat voor een vervolgopleiding in het bekostigd onderwijs kiest hoger is dan het aandeel gediplomeerde schoolverlaters van het VBO dat deze keuze maakte. Ook hier manifesteren zich interessante resultaten als we nader op de keuze voor een vervolgopleiding op niveau 1 of 2 en op de keuze voor een vervolgopleiding op niveau 3 of 4 ingaan (zie tabel 4.4). Tabel 4.4 Keuze voor een vervolgopleiding op MBO-niveau 1, 2, 3 of 4, VBO/VMBO-BL/KL schoolverlaters 1998 1999 2000 2001 2002 2003 2004 2005 VBO Niveau 1 3,3 4,2 5,6 5,4 5,2 Niveau 2 27,6 26,9 27,9 26,3 26,5 Niveau 3 12,4 16,4 17,3 19,6 21,1 Niveau 4 21,8 20,0 17,8 17,7 17,2 VMBO-BL/KL Niveau 1 2,9 2,4 2,2 Niveau 2 31,2 41,2 37,3 Niveau 3 17,1 20,2 20,2 Niveau 4 20,7 23,0 22,9 Bron: Onderwijsmatrix (OCW) In de periode 1998–2002 steeg het aandeel van gediplomeerde VBO schoolverlaters die voor een opleiding op niveau 1 (1998: 3,3%; 2002: 5,2%) of niveau 3 (1998: 12,4%; 2002: 21,1%) kozen. In dezelfde periode daalde het aandeel dat voor een opleiding op niveau 4 (1998: 21,8%; 2002: 17,2%) koos, terwijl het aandeel dat voor een opleiding op niveau 2 (1998: 27,6%; 2002: 26,5%) koos redelijk stabiel bleef. Na de invoering van het VMBO zijn er duidelijke trendbreuken zichtbaar. Het aandeel VMBO-BL/KL schoolverlaters dat voor een vervolgopleiding op niveau 1 kiest, is minder dan de helft van het aandeel dat dit in de jaren 2000–2002 deed. Tegelijkertijd stijgt het aandeel dat voor een opleiding op niveau 2 kiest sterk. Koos in 2002 nog rond 27% van de VBO-schoolverlaters voor een opleiding op MBO niveau 2, in 2004 was dit 41% en in 2005 37%. Ten slotte zien we dat het aandeel dat voor een vervolgopleiding op MBO niveau 4 kiest na de invoering van het VMBO met zo’n 5%-punt toeneemt, terwijl het aandeel dat voor een vervolgopleiding op niveau 3 kiest redelijk constant blijft. De keuze voor een bepaalde vervolgopleiding en de keuze voor een bepaald niveau van deze vervolgopleiding mag dan wel een indicatie van de allocatie in het vervolgonderwijs zijn, een veel sterker teken van een succesvolle herstructurering valt af te lezen uit de tevredenheid van de schoolverlaters over de aansluiting op de vervolgopleiding. Aan de gediplomeerde schoolverlaters is daarom in het kader van het schoolverlatersonderzoek dat uitgevoerd wordt door het ROA de vraag gesteld «hoe is de aansluiting tussen de gevolgde opleiding en de vervolgopleiding?». De schoolverlaters konden aangeven of zij de aansluiting «slecht», «matig», «redelijk» of «goed» vonden. Figuur 4.10 laat het aandeel schoolverlaters zien dat de aansluiting redelijk of goed vond. Dit oordeel is daarbij gemeten rond 1,5 jaar na het behalen van het MAVO/VBO/VMBO diploma. Over de hele linie zijn de gediplomeerde schoolverlaters tevreden over de aansluiting tussen de gevolgde opleiding en de gekozen vervolgopleiding. Immers, in ieder cohort vond minimaal 70% van de schoolverlaters dat de aansluiting «redelijk» of «goed» was. Figuur 4.10 Aandeel gediplomeerden dat de aansluiting met de vervolgopleiding redelijk of goed vindt, 1995–2005 (gemeten 1,5 jaar na behalen van MAVO/VBO/VMBO diploma) Bron: Schoolverlatersinformatiesysteem (ROA) Verder laat figuur 4.10 eerst een daling zien tussen 1995 en 1998. Het aandeel gediplomeerden dat de aansluiting met de vervolgopleiding redelijk of goed vond, daalde naar net boven de 70%. Tussen 1999 en 2002 steeg het aandeel juist sterk, tot 89% onder de schoolverlaters van het MAVOen 88% onder de schoolverlaters van het VBO. Na de invoering van het VMBO daalt het aandeel weer. Van een echt effect van de invoering van het VMBO lijkt geen sprake te zijn. 4.5 Conclusies Met ingang van het schooljaar 1999/2000, zijn scholen met VBO en MAVO in het eerste leerjaar gestart met de invoering van het VMBO. In dit hoofdstuk hebben we gekeken wat de effecten zijn van deze herstructurering op de schoolloopbanen binnen het VMBO en de aansluiting naar het vervolgonderwijs. Hierbij kwamen de volgende resultaten naar voren: • De instroompopulatie van het VBO/MAVOVMBO is in de loop van de jaren ’90 veranderd: als gevolg van algemene demografische ontwikkelingen is het opleidingsniveau van de ouders gestegen en is het percentage allochtone leerlingen toegenomen. Verder is het prestatieniveau iets hoger geworden en zijn de scores op de entreetoets van de leerlingen in IVBO/LWOO klassen sterk gestegen, hetgeen erop wijst dat de leerlingen in de groep die LWOO krijgen qua prestatieniveau niet helemaal vergelijkbaar zijn met de groep die voorheen IVBO volgde. • De invoering heeft er aanvankelijk ertoe geleidt dat er meer leerlingen in de BL en de KL zijn terecht gekomen en minder in de TL en de GL. In oude termen heeft er dus een lichte verschuiving van MAVO naar VBO plaatsgevonden. Dit zou het gevolg kunnen zijn van een gezamenlijk onderwijsprogramma in de eerste twee jaar van het VMBO. Door de trendmatige groei van MAVO-VMBO-TL/GL is deze verschuiving na een aantal jaren weer hersteld. • Met de invoering van het VMBO is het zittenblijven in het derde als het 4e leerjaar duidelijk afgenomen. • Tussentijdse opstroom van VBO naar MAVO en van MAVO naar HAVO kwam bijna niet voor. Hierin heeft de invoering van het VMBO geen verandering gebracht. • Het aandeel leerlingen dat de opleiding zonder diploma verlaat lijkt lager te zijn dan voor de invoering van het VMBO. Ook stroomt een groter aandeel van deze schoolverlaters door naar een MBO-opleiding. Gelet op het feit dat voortijdige uitstroom bij de beschikbare datasets minder goed wordt waargenomen, moeten deze cijfers echter met de nodige voorzichtigheid geïnterpreteerd worden. • Het aandeel leerlingen in het 4e leerjaar dat een einddiploma haalt is sinds de invoering van het VMBO licht gestegen. Tegelijkertijd stijgt het aandeel leerlingen dat geen examen doet. • De doorstroom naar vervolgonderwijs is sinds de invoering van het VMBO duidelijk gestegen, zowel voor de BL/KL als voor de GL/TL leerwegen. • De doorstroom naar het HAVO laat sinds de invoering van het VMBO weer een stijgende trend laat zien. Hiermee lijkt de tweedeling tussen HAVO/VWO enerzijds en VBO/MAVO anderzijds die versterkt werd als gevolg van de invoering van de tweede fase weer enigszins teniet gedaan. • Gediplomeerden van het VMBO die doorstromen naar het MBO kiezen wat vaker voor de hogere niveaus dan de doorstromers vanuit VBO en MAVO. • Het aandeel schoolverlaters dat de aansluiting tussen de gevolgde opleiding en de vervolgopleiding «goed» of «redelijk» vindt vertoont over de hele periode een wat schommelend beeld. Er is geen duidelijk effect zichtbaar van de invoering van het VMBO. 5 DE EVALUATIE VAN DE INVOERING VAN DE TWEEDE FASE IN DE BOVENBOUW VAN HAVO EN VWO 5.1 Inleiding In de schooljaren 1998–1999 (bij één derde van de scholen) en 1999–2000 (bij de overige tweederde) werd bij het HAVO en VWO de tweede fase ingevoerd. In plaats van een vakkenpakket samen te stellen kiezen scholieren van HAVO en VWO voor aanvang van het vierde leerjaar een profiel. Er zijn vier profielen: Cultuur & Maatschappij, Economie & Maatschappij, Natuur & Gezondheid, en Natuur & Techniek, waarbij door het toevoegen van keuzevakken deze profielen uitgebreid kunnen worden, eventueel tot dubbele profielen als «Natuur, Gezondheid & Techniek» of «Cultuur, Economie & Maatschappij». Ook worden leerlingen geacht om op een meer zelfstandige manier te leren werken en studeren, door zelf kennis te vergaren in plaats van passief kennis te leren van een docent die voor de klas staat. In veel scholen is dit gebeurd in een «studiehuis»-setting. Hierin verandert de rol van de docent van overdrager van kennis naar coach/begeleider van het leerproces. Lesuren worden deels vervangen door begeleidingsuren en uren waarin leerlingen zelfstandig werken. De invoering van de tweede fase is van meet af aan nauwlettend gevolgd door het Tweede Fase Adviespunt (TFA) dat zowel een begeleidende rol vervulde voor de scholen, maar ook tot taak had om het proces van invoering te evalueren. Hiertoe heeft het TFA enkele jaren enquêtes uitgezet onder scholen voor VO die vooral tot doel hadden om het proces van invoering te monitoren. Daarnaast heeft het TFA in 2005 een evaluatie uitgevoerd waarbij de eerste ervaringen met de tweede fase werden geanalyseerd (TFA, 2005). Hierbij is gebruik gemaakt van drie soorten databronnen: gegevens van CFI over de leerlingenstromen (gebaseerd op de onderwijsmatrix0, gegevens van een door TFA verricht onderzoek onder docenten in het hoger onderwijs over de ervaringen met leerlingen afkomstig uit de tweede fase en onderzoek van het ROA onder schoolverlaters van HAVO/VWO. De tweede fase heeft als belangrijkste doelen (TFA, 2005): • De aansluiting tussen het HAVO en VWO op het hoger onderwijs verbeteren; • Het onderwijsprogramma in de hogere leerjaren moderniseren en leerlingen in beter herkenbare en meer samenhangende programma’s gerichter voorbereiden op bepaalde opleidingen in het hoger onderwijs; • Scholen meer ruimte geven in de keuze van werkvormen in het onderwijsprogramma voor de hogere leerjaren. Uit de analyse van het TFA (2005) bleek dat de invoering van de tweede fase niet vlekkeloos verliep. De scholen slaagden er niet in om de gewenste samenhang tussen vakken te realiseren, men vond de regelgeving gecompliceerd, er werden vraagtekens gezet bij de herkenbaarheid van de profielen en de implementatie van het studiehuis verliep niet moeiteloos. In deze studie zullen we niet op deze meer procesmatige aspecten ingaan, maar zullen we een beeld geven van de effecten van de invoering van de tweede fase op de leerlingenstromen van het HAVO en het VWO. Wel zullen we rekening houden met het feit dat in tegenstelling tot de invoering van profielen, het studiehuis in zeer onderscheiden mate bij scholen is gerealiseerd. Dat maakt dat een vergelijking in de tijd niet direct zicht geeft op het effect hiervan op bijvoorbeeld verworven competenties. We zullen daarom bij analyses die meer studiehuis gerelateerd zijn niet alleen kijken naar de ontwikkelingen in de tijd, maar ook naar verschillen tussen scholen in de mate waarin het studiehuis als concept gerealiseerd was. De cijfers uit dit hoofdstuk zijn voornamelijk ontleend aan de onderwijsmatrix. Daarnaast wordt gebruik gemaakt van de schoolverlatersonderzoeken van het ROA, gegevens uit de genoemde enquête onder scholen van het TFA en elders verrichte evaluaties. Eerst wordt er inzicht gegeven in de totale leerling-omvang van het HAVO en het VWO en de ontwikkeling hierin. Vervolgens wordt ingegaan op de profielkeuze en met name de keuze voor techniek. Daarna behandelen we het zittenblijven, de ongediplomeerde uitstroom en de op- en afstroom. Vervolgens wordt er inzicht gegeven in de ontwikkeling van het aantal gediplomeerden van het HAVO en het VWO. Daarna komen de doorstroompatronen aan bod, en wel de doorstroom van HAVO-gediplomeerden naar respectievelijk VWO, MBO en HBO, en de doorstroom van VWO-gediplomeerden naar respectievelijk HBO en WO. Daarna wordt ingegaan op de aansluiting tussen HAVO/VWO en vervolgonderwijs. Ten slotte gaan we in op de competentieontwikkeling van leerlingen tijdens de opleiding in HAVO of VWO en de relatie met de invoering van het studiehuis. 5.2 Leerlingenstromen binnen HAVO en VWO In tabel 5.1 wordt weergegeven wanneer de invoering van de tweede fase plaats vond en op welke groepen leerlingen deze betrekking had. Tabel 5.1 Tijdstip van invoering van de tweede fase per niveau en leerjaar Jaar van invoering leerjaar 4 leerjaar 5 leerjaar 6 HAVO 1998–1999 1998–1999 1999–2000 n.v.t. 1999–2000 1999–2000 2000–2001 n.v.t. VWO 1998–1999 1998–1999 1999–2000 2000–2001 1999–2000 1999–2000 2000–2001 2001–2002 Naast de bovenbouw, waarin de tweede fase feitelijk plaatsvindt voor leerlingen, is het ook van belang om het laatste jaar van de onderbouw in beschouwing te nemen. Figuur 5.1 Ontwikkeling aantal leerlingen in HAVO leerjaar 3, 4 en 5, 1998–2005 Bron: Onderwijsmatrix (OCW) In figuur 5.1 wordt de ontwikkeling van het aantal leerlingen in HAVO voor de leerjaren 3, 4 en 5 weergegeven tussen 1998 en 2005. Het totaal aantal leerlingen in HAVO leerjaar 3 is gestaag toegenomen tussen 1998 en 2005. Vooral tussen 1998 en 2001 steeg het absolute aantal leerlingen in het laatste jaar van de onderbouw vrij fors: van ruim 31 000 tot bijna 37 000. Daarna bleef dit aandeel redelijk constant tussen 2001 en 2003, om in de laatste twee jaren verder te stijgen tot ongeveer 38 500. In leerjaar 4 is het aantal leerlingen in het HAVO hoger. Deze toename ten opzichte van het derde leerjaar heeft te maken met (1) de instroom van gediplomeerden uit de theoretische leerweg van het VMBO (en voorheen het MAVO), (2) de instroom van leerlingen afkomstig van VWO leerjaar 3 en 4, en (3) instroom vanuit een gemengde klas in leerjaar 3. Tussen 1998 en 2000 daalt het aantal leerlingen in 4 HAVO van ongeveer 53 000 naar ongeveer 43 500, om vervolgens weer gestaag te stijgen tot 51 500 in 2005. De forse daling tussen 1998 en 2000 treedt gelijktijdig op met de invoering van de tweede fase in 1998–1999 (1/3 van de scholen) en 1999–2000 (2/3 van de scholen) en hangt samen met de daling van de doorstroom van MAVO-gediplomeerden naar HAVO in diezelfde periode. Tussen 1998 en 2000 daalde de doorstroom van gediplomeerden van MAVO naar 4 HAVO van 18% naar 10% (zie hoofdstuk 4). Ook daalde de tussentijdse afstroom van VWO-leerlingen naar HAVO in deze jaren enigszins. Dit wordt later in dit hoofdstuk in beeld gebracht. Bij leerlingen van 5 HAVO is een vergelijkbare trend te zien als bij de leerlingen van 4 HAVO, maar dan 1 jaar vertraagd. Dit is min of meer logisch, aangezien er relatief weinig verandert in de leerlingenpopulatie tussen 4 HAVO en 5 HAVO, met uitzondering van tussentijdse afstroom van 4 HAVO-leerlingen naar MAVO of VMBO-TL. Dit verklaart gedeeltelijk de lagere leerlingaantallen in 5 HAVO, want tussentijdse opstroom naar VWO komt maar zeer sporadisch voor. Tussen 2000 en 2001 daalt het aantal leerlingen in 5 HAVO sterk van ongeveer 44 500 tot 35 500 leerlingen. Tussen 2001 en 2005 stijgt dit aantal weer tot zo’n 42 500, maar het herstelt niet tot het oude niveau van vóór de invoering van de tweede fase. Figuur 5.2 Ontwikkeling aantal leerlingen in VWO leerjaar 3, 4, 5 en 6, 1998–2005 Bron: Onderwijsmatrix (OCW) In figuur 5.2 wordt ook de ontwikkeling van het aantal leerlingen in de laatste vier leerjaren van het VWO weergegeven. Net als bij HAVO stijgt het aantal leerlingen in 3 VWO tussen 1998 en 2005 en ook hier lijkt deze toename in twee fases plaats te vinden: eerst steeg het aantal tussen 1998 en 2001 van 31 750 tot ongeveer 35 500. Vervolgens steeg het aantal tussen 2002 en 2005 verder tot 39 500. Vooral in 2005 steeg dit aantal behoorlijk, met bijna 2000. De ontwikkeling van de leerlingaantallen in 4 VWO kent een vergelijkbaar patroon, al is de groei hier wat constanter en geringer. Toch groeide het aantal leerlingen in 4 VWO van 31 500 in 1998 tot 37 250 in 2005. Een daling rond de invoering van de tweede fase, zoals bij de leerlingen van 4 HAVO is niet te zien. De ontwikkeling van het aantal leerlingen in 5 VWO kent een afwijkend verloop: Tussen 1998 en 2001 daalde het aantal leerlingen van 35 000 tot een kleine 29 000. Dit lijkt een effect te zijn van de invoering van de tweede fase, die geleid heeft tot een daling van de zij-instroom vanuit het HAVO. Vanaf 2001 zette er echter herstel in, en steeg dit aantal weer tot 34 500 in 2005. Voor leerlingen in 6 VWO is er een vergelijkbare trend zichtbaar, die wel een jaar later inzet. Hier daalt de populatie eerst van 32 000 in 1998 tot 27 000 in 2002 om weer te stijgen tot 31 500 in 2005. Hiermee is de totale omvang van het VWO – in tegenstelling tot de situatie bij het HAVO – weer hersteld tot het oude niveau van vóór de invoering van de tweede fase. Profielen en de keuze voor techniek Na de invoering van de profielen is een discussie ontstaan over de mogelijke effecten ervan op de keuze van natuurprofielen. In 1999 publiceerden Van der Velden en Wolbers een artikel waarin ze voorspelden dat de invoering van de profielen zou leiden tot een afname van de keuze voor de natuurprofielen. Hun redenering was als volgt. De keuze van vakkenpakketten in de oude situatie was – naast belangstelling voor en prestaties in de verschillende vakken – vooral ingegeven door de wens nog zoveel mogelijk opties open te houden. Dat leidde ertoe dat veel leerlingen Wiskunde en Natuurkunde in hun pakket opnamen, omdat daarmee vrijwel alle studieopties nog open lagen. Alleen leerlingen van wie de prestaties in die vakken te laag waren of leerlingen die al zeker wisten dat ze niet voor een bètarichting zouden kiezen, kozen voor een ander pakket. Na de invoering van de profielen zou dat naar hun verwachting veranderen. Vervolgopleidingen gingen immers meer eisen stellen aan het instroomprofiel en leerlingen zouden zich bij de keuze van het profiel meer laten leiden door de verwachte studiekeuze. Iemand die bijvoorbeeld economie wilde gaan studeren zou in die situatie eerder naar een Economie en Maatschappij profiel geloodst worden. Voor toelating tot de studie Economie moest men immers hetzij dit profiel hebben, hetzij economievakken in het vrije deel hebben opgenomen. In de oude situatie was van een dergelijke verplichting geen sprake en kozen deze leerlingen nog vaak voor een bètapakket, waardoor ze wellicht alsnog een belangstelling voor een bètastudie zouden ontwikkelen. Is die voorspelling uitgekomen? Daarover kunnen we niet met zekerheid een uitspraak doen. Een probleem is immers dat de situatie vóór en ná invoering van de profielen zich niet eenvoudig laat vergelijken. Er zijn immers meer en deels nieuwe vakken gekomen. Het is daardoor niet eenvoudig om een met de profielen vergelijkbare indeling te maken van de oude vakkenpakketten. Hiervoor zijn verschillende mogelijkheden en daardoor zijn er ook verschillende uitkomsten. Uit een eerdere analyse van het ROA (2005) blijkt dat de keuze voor een vakkenpakket met een Natuur en Techniek-profiel ná invoering van de tweede fase duidelijk is afgenomen bij het VWO (ten gunste van Natuur en Gezondheid en Economie en Maatschappij), maar werd bij het HAVO weinig verschil aangetroffen. De afname bij het VWO bleek zich vooral bij meisjes te hebben voorgedaan. De totale omvang van beide Natuur-profielen neemt in de analyse van ROA (2005) zowel bij HAVO als VWO enigszins af. Korpershoek, Kuyper en Van der Werf (2007) komen op basis van een andere indeling tot de conclusie dat de belangstelling voor het zuivere Natuur en Techniek-profiel is afgenomen in zowel HAVO als VWO en dat de omvang van beide profielen in het HAVO is afgenomen, maar in het VWO gelijk is gebleven. Van Langen (2005) komt op basis van weer een andere indeling tot een vergelijkbare conclusie, namelijk dat de invoering van de profielen heeft geleid tot een vermindering van de keuze voor exacte vakken, met name voor meisjes. In de studie van het ROA (2005) is ook gekeken naar de gevolgen hiervan voor de keuze van een technische vervolgstudie. Hieruit komt naar voren dat de keuze van een technische studie in het hoger onderwijs sterker dan voorheen bepaald wordt door het profiel: leerlingen met een N&T-profiel kiezen vaker dan voorheen een technische vervolgstudie, leerlingen met een N&G profiel juist minder. Door de daling van de belangstelling voor het N&T profiel leidt dit tot een minder groot potentieel voor technische studies onder met name VWO-leerlingen. Figuur 5.3 Aandeel zittenblijvers in HAVO en VWO, leerjaar 3 en 4, 1998–2005 Bron: Onderwijsmatrix (OCW) Zittenblijven In figuur 5.3 wordt het aandeel zittenblijvers in het derde leerjaar van HAVO en VWO weergegeven. Het aandeel leerlingen dat in 3 HAVO blijft zitten is tussen 1998 en 2005, met uitzondering van 2003, steeds groter geworden. In 1998 bleef nog ongeveer 7% van de leerlingen uit 3 HAVO zitten, in 2005 is dit toegenomen tot 9,5% (en in 2002 was dit zelfs 10%). Voor 3 VWO bleef het aandeel zittenblijvers redelijk constant op ongeveer 3% van alle leerlingen. Er lijkt van een trend geen sprake te zijn. Leerlingen van 4 HAVO blijven veel vaker zitten dan leerlingen van 3 HAVO. Onder invloed van de invoering van de tweede fase daalt het aandeel in 1999 eenmalig sterk van 19% tot 12%. Van de leerlingen uit de «bezemklassen» blijft dus een veel kleiner deel zitten. In de eerste twee jaren na invoering van de tweede fase is het aandeel zittenblijvers weer onverminderd hoog: 19%. Daarna is dit hoge aandeel flink teruggelopen tot ongeveer 14%. Een vergelijkbare ontwikkeling maar minder geprononceerd zien we bij de leerlingen van 4 VWO. Na invoering van de tweede fase is het aandeel zittenblijvers gedaald van 8% in 2000 naar 5% in 2005. Figuur 5.4 Aandeel zittenblijvers in HAVO en VWO, leerjaar 5 en 6 (alleen VWO), 1998–2005 Bron: Onderwijsmatrix (OCW) In figuur 5.4 wordt ook voor leerlingen van HAVO leerjaar 5 en voor leerlingen van VWO leerjaar 5 en 6 het aandeel zittenblijvers weergegeven. Tussen 1998 en 2000 daalde het aandeel zittenblijvers van 5 HAVO sterk, van 11% tot 6%. Dit is duidelijk een «bezemklaseffect». Na de invoering van de tweede fase steeg het aandeel eenmalig, tot bijna 8%, om daarna weer te dalen tot 6 à 7%. Bij de leerlingen van 5 VWO is er een vergelijkbare trend zichtbaar, al ligt het gemiddelde percentage zittenblijvers wel ongeveer 3% lager. In 2001 is er nauwelijks nog verschil in het aandeel zittenblijvers tussen de beide niveaus, waarna het verschil weer oploopt tot 2% in 2005. Het aandeel zittenblijvers in 6 VWO daalde tussen 1999 en 2004 van 7% tot 3% om vervolgens in 2005 voor het eerst weer licht te stijgen. We concluderen dat het zittenblijven in het derde leerjaar is toegenomen (HAVO) of constant gebleven (VWO), terwijl het zittenblijven in de latere leerjaren afneemt. Het gaat hierbij om een trendmatige ontwikkeling. Afgezien van de effecten bij bezemklassen, zien we geen duidelijk verband met de invoering van de tweede fase. Voortijdig schoolverlaten Mogelijk heeft de invoering van de tweede fase een invloed gehad op het aandeel leerlingen dat hun HAVO- dan wel VWO-opleiding zonder diploma verlaat. Figuur 5.5 brengt de ontwikkeling van dit fenomeen in beeld. Figuur 5.5 Aandeel voortijdig schoolverlaters in HAVO en VWO, leerjaar 3 en 4, 1998–2005 Bron: Onderwijsmatrix (OCW) In leerjaar 3 komt voortijdig schoolverlaten zowel in HAVO als in VWO maar zeer sporadisch voor. Tussen 1998 en 2005 stroomde ongeveer 0,5% van de leerlingen ongediplomeerd uit. In leerjaar 4 zijn er meer voortijdig schoolverlaters: van 1998 tot 2001 stroomde in 4 HAVO een kleine 4% van de leerlingen voortijdig uit, waarna dit aandeel in 2002 steeg tot ruim 6,5%. In de volgende jaren daalde het aandeel voortijdig schoolverlaters weer tot 4%. Voor leerlingen van 4 VWO is er in de eerste jaren een min of meer vergelijkbare trend te zien. Van 1998 tot en met 2001 bleef het aandeel voortijdig schoolverlaters constant op 2%. Daarna steeg dit percentage tot en met 2005 tot 3%. Figuur 5.6 Aandeel voortijdig schoolverlaters in HAVO en VWO, leerjaar 5 en 6 (alleen VWO), 1998–2005 Bron: Onderwijsmatrix (OCW) In figuur 5.6 wordt ook voor de leerjaren 5 en 6 de ontwikkeling van het aandeel voortijdig schoolverlaters in HAVO en VWO weergegeven. Ongeveer 4% van de leerlingen van 5 HAVO stroomde tussen 1998 en 2001 voortijdig uit hun opleiding. In de eerste jaren na de invoering van de tweede fase halveerde dit percentage tot 2%, om in de laatste twee jaar weer te stijgen tot bijna 4%. Bij de leerlingen van 5 VWO bleef het aandeel voortijdig schoolverlaters aanvankelijk constant op 4%, waarna er zich een lichte daling inzette vanaf 2001 en het aandeel in 2005 uitkwam op 3,5%. Leerlingen van 6 VWO stromen iets vaker ongediplomeerd uit: tussen 1998 en 2000, maar ook vanaf 2004 ligt dit aandeel rond de 5% van de leerlingen. Tussen 2000 en 2003 daalde dit aandeel tot 4%, maar een forse stijging in 2004 maakt deze daling ongedaan. Al met al zien we geen direct verband tussen de invoering van de tweede fase en het percentage dat leerlingen dat de opleiding voortijdig verlaat. Een deel van de voortijdig schoolverlaters vervolgt de opleiding overigens aan een particuliere instelling. De omvang hiervan is de laatste jaren fors toegenomen. Deze doorstroom wordt in de onderwijsmatrix echter niet waargenomen. Tussentijdse opstroom en afstroom In dit gedeelte gaan we in op leerlingen die tussentijds opstromen of afstromen. Met tussentijds opstromen bedoelen we hier: havisten die zonder dat ze hun diploma halen opstromen naar het VWO. Het kan gaan om opstroom naar hetzelfde of het volgende leerjaar van VWO. Tussentijds afstromen houdt in zonder diploma afstromen van VWO naar HAVO of van HAVO naar MAVO of VMBO-TL. Figuur 5.7 Aandeel leerlingen dat tussentijds opstroomt van HAVO naar VWO, 1998–2005 Bron: Onderwijsmatrix (OCW) In figuur 5.7 wordt voor leerlingen van de bovenste drie leerjaren van HAVO het aandeel dat tussentijds opstroomt naar VWO weergegeven. Tussentijdse opstroom van HAVO naar VWO komt vrijwel niet voor. De invoering van de tweede fase heeft hier geen verandering in gebracht. In 3 HAVO stromen leerlingen nog het vaakst tussentijds op naar VWO. Gemiddeld deed 0,8% van de havisten uit leerjaar 3 dit. Sinds 2004 is dit aandeel iets gestegen tot 1,1%, maar tussentijdse opstroom van HAVO naar VWO blijft slechts sporadisch voorkomen. In leerjaar 4 gebeurt het al helemaal nauwelijks. Slechts 0,3% van de leerlingen van 4 HAVO stroomt op naar VWO. Ook in leerjaar 5 stroomde maar weinig leerlingen op naar VWO. Tussen 2000 en 2002 leek de tussentijdse opstroom even op gang te komen, maar in de laatste drie jaren daalde het aandeel tussentijdse opstromers weer tot beneden de 1%. Figuur 5.8 Aandeel leerlingen dat tussentijds afstroomt naar MAVO, VMBO-TL of VMBO-GL, HAVO, 1998–2005 Bron: Onderwijsmatrix (OCW) In figuur 5.8 wordt de tussentijdse afstroom van HAVO naar MAVO, VMBO-TL of VMBO-GL weergegeven. In 3 HAVO vindt er nog behoorlijk wat afstroom naar VMBO plaats. Tussen 1999 en 2001 stijgt het aandeel leerlingen van 3 HAVO dat tussentijds afstroomt naar de theoretische of gemengde leerweg van het VMBO, van 8% tot 9,2%. Dit zou een tijdelijk effect van de invoering van de tweede fase kunnen zijn. In 2002 daalt dit aandeel fors tot 6,5%, waarna het tot en met 2005 redelijk constant blijft. De invoering van de tweede fase lijkt er daarmee voor gezorgd te hebben dat de kloof tussen VMBO enerzijds, en HAVO en VWO anderzijds, groter geworden is (Borghans & Coenen, 2007). Daarom zullen leerlingen eerder blijven zitten in HAVO, dan tussentijds afstromen naar VMBO. Vanaf leerjaar 4 is de tussentijdse afstroom van havisten nihil te noemen. Figuur 5.9 Aandeel leerlingen dat tussentijds afstroomt naar HAVO, VWO, 1998–2005 Bron: Onderwijsmatrix (OCW) In figuur 5.9 wordt voor VWO-leerlingen de tussentijdse afstroom naar HAVO weergegeven. In leerjaar 3 is er relatief veel tussentijdse afstroom van VWO naar HAVO. Tussen 1998 en 2001 is dit ongeveer 11%. In 1999 daalde de afstroom al eenmalig, mogelijk samenvallend met de invoering van de tweede fase. Vanaf 2001 bleef het aandeel leerlingen dat tussentijds afstroomt naar HAVO geleidelijk dalen van 11% tot 8%. De tussentijdse afstroom in leerjaar 4 daalt gedurende de hele periode, met uitzondering van een stijging tussen 2000 en 2001. Al met al daalde het aandeel van een kleine 8% in 1998 tot 5% in 2005. In 5 VWO vindt er nauwelijks nog tussentijdse afstroom naar HAVO plaats. In 1998 en 1999 stroomde nog ongeveer 3% tussentijds af naar HAVO. Vanaf 2000 is dit aandeel 2% of minder. Al met al zien we dat de tussentijdse afstroom afneemt maar afgezien van de daling van de afstroom van 4 HAVO naar MAVO is er geen duidelijk effect van de invoering van de tweede fase. 5.3 Doorstroompatronen van gediplomeerden van HAVO en VWO In deze paragraaf bekijken we of sinds de invoering van de tweede fase de doorstroompatronen na HAVO en VWO zijn veranderd. Ontwikkeling aantal leerlingen In figuur 5.10 wordt eerst de ontwikkeling van het aantal gediplomeerden van HAVO en VWO weergegeven tussen 1998 en 2005. Van 1998 tot 2000 steeg het aantal HAVO-gediplomeerden van 34 750 tot 38 500. Als gevolg van de invoering van de tweede fase is dit aantal in 2001 met maar liefst 9 000 gedaald tot 29 500. Dit komt vooral door de daling van de instroom van MAVO-gediplomeerden in HAVO 4 en een verhoging van de tussentijdse afstroom vanuit 3 HAVO naar MAVO. In de jaren daaropvolgend steeg het aantal HAVO-gediplomeerden weer gestaag tot 37 250, maar het bereikt niet meer het oude niveau van vóór de invoering van de tweede fase. Figuur 5.10 Ontwikkeling aantal gediplomeerden van HAVO en VWO, 1998–2005 Bron: Onderwijsmatrix (OCW) Het aantal gediplomeerden van VWO is constanter. Tussen 1998 en 2001 bevonden deze aantallen zich tussen 27 700 en 26 500. In 2002 daalde dit aandeel vervolgens enigszins vergelijkbaar met de daling van het aantal HAVO-gediplomeerden een jaar eerder, maar minder sterk, van 26 600 tot 24 100. Ook deze daling houdt verband met de invoering van de tweede fase en de daarmee samenhangende daling van de doorstroom van gediplomeerde havisten naar VWO enerzijds (zie hierna) en een tijdelijke stijging in de tussentijdse afstroom van VWO naar HAVO tussen 1999 en 2001 anderzijds. Sinds 2002 stijgt het aantal VWO-gediplomeerden gestaag, in 2005 inmiddels tot 28 700, dus boven het oude niveau van vóór de invoering van de tweede fase. Discrepanties tussen schoolexamen en centraal eindexamen Het eindexamen in het voortgezet onderwijs wordt bepaald door twee soorten cijfers: de uitslag op de periodieke examens die door de school zelf worden afgenomen (SE) en de uitslag op het onder verantwoordelijkheid van het CEVO opgestelde Centrale Examen (CE). Door De Lange en Dronkers (2005 en 2007) is onderzoek verricht naar de verschillen in gemiddelde cijfers voor schoolexamens en centrale examens. Tabel 5.2 geeft hiervan een overzicht. Tabel 5.2 Verschil SE-CE per jaar per onderwijstype Jaar Verschil SE-CE VWO Verschil SE-CE HAVO Verschil SE-CE MAVO 1997 0,15 0,04 0,04 1998 0,24 0,22 0,22 1999 0,29 0,08 0,25 2000 0,33 – 0,02 0,26 2001 0,25 0,14 0,15 2002 0,38 0,13 0,12 2003 0,41 0,15 0,25 2004 0,31 0,16 0,27 2005 0,40 0,18 0,30 Noot: SE = Schoolexamen CE = Centraal Examen (Landelijk) Bron: De Lange en Dronkers (2007) Uit de tabel komt naar voren dat in 1997 het gemiddelde verschil 0,15 in het voordeel van het SE-cijfer bedroeg voor het VWO, 0,04 voor het HAVO en eveneens 0,04 voor het MAVO. In 2005 bedroeg de discrepantie tussen SE en CE 0,40 bij het VWO, 0,18 bij het HAVO en 0,30 bij het MAVO. Uit de analyses van De Lange en Dronkers blijkt bovendien dat de verschillen niet toevallig zijn. Scholen die het ene jaar relatief te hoge cijfers geven voor het SE, blijken dat in andere jaren ook te doen. En er zijn grote verschillen tussen scholen onderling. Er zijn scholen waarvan de SE-cijfers systematisch een volpunt of nog hoger boven het CE-cijfer liggen en andere scholen waarvan het SE-cijfer zelfs onder het CE-gemiddelde voor die school ligt. Zoals aangegeven is de discrepantie tussen SE en CE het hoogst bij VWO scholen, maar ook bij vrije scholen, bij scholen met relatief veel allochtonen en bij particuliere onderwijsinstellingen is de discrepantie groot. Met name bij particuliere instellingen is de gemiddelde discrepantie ruim twee keer zo hoog als bij het niet-particuliere onderwijs. Bij het VWO scheelt dat bijna een vol punt. Uit nader onderzoek van de onderwijsinspectie blijkt dat scholen waar een grote discrepantie is tussen CE en SE ook vaak scholen zijn waar andere problemen zijn (Inspectie, 2007). Bovendien is de variantie in scores bij het CE groter dan bij het SE. Dat betekent dat het CE een belangrijker rol speelt bij het onderscheiden van goede en zwakke leerlingen. Het lijkt erop dat de invoering van de tweede fase de discrepantie tussen SE en CE heeft versterkt. Bij het VWO zien we dat de discrepantie in de periode 2002–2005 hoger ligt dan in de periode daarvoor en bij het HAVO zien we iets vergelijkbaars in de periode 2001–2005. Dit lag ook wel in de lijn van de verwachting. Met de invoering van de tweede fase is meer nadruk komen te liggen op vaardigheidsaspecten, zoals werkstukken, die zich minder goed lenen voor centrale examinering. Scholen hebben bovendien in het streven naar meer autonomie meer ruimte gekregen om zelf invulling te geven aan de schoolexamens. Bovendien wordt niet in alle vakken en deelvakken centraal examen gedaan, waardoor ook het relatieve gewicht van het SE groter is geworden. Ontwikkeling in de doorstroom In figuur 5.11 wordt het aandeel HAVO-gediplomeerden weergegeven dat doorstroomt naar VWO of MBO. Vanaf de invoering van de tweede fase is de doorstroom van HAVO-gediplomeerden naar VWO zeer sterk gedaald. Ging in 1998 nog ruim 10% van de gediplomeerden VWO volgen, vanaf 2000 volgt nog maar 3 à 4% VWO, na het behalen van zijn/haar HAVO-diploma. Overigens blijkt uit Bronnemans (2007) dat de daling van de doorstroom van HAVO naar VWO al eerder inzette: in 1990 ging nog 19% van de Havisten naar het VWO. Niettemin heeft de invoering van de tweede fase deze dalende trend versterkt. Dit heeft te maken met het feit dat enerzijds de profielen van het HAVO minder goed aansluiten op de profielen van het VWO en anderzijds de mogelijkheid voor HAVO-gediplomeerden om via een 1-jarige HBO-propedeuse alsnog door te stromen naar het WO. Deze route kan aantrekkelijker zijn omdat ze een jaar korter is dan de route via het VWO. De cijfers lijken dit te bevestigen. Bronnemans (2007) geeft aan dat 5% van de totale eerstejaarsinstroom in het WO in 2005 afkomstig was van een HBO-propedeuse. Figuur 5.11 Ontwikkeling aandeel HAVO-gediplomeerden dat doorstroomt naar VWO of MBO, 1998–2005 Bron: Onderwijsmatrix (OCW) Steeds minder HAVO-gediplomeerden stromen na het behalen van hun diploma door naar MBO. Sinds 1998 is de doorstroom van HAVO-gediplomeerden naar MBO-opleidingen bijna constant gedaald. Waren het in 1998 nog zo’n 15% van de gediplomeerden die voor een vervolgopleiding in het MBO kozen, in 2005 is hier niet meer van over dan zo’n 3%. Deze daling zette zich overigens al in vóór de invoering van de tweede fase. Figuur 5.12 Ontwikkeling aandeel HAVO-gediplomeerden dat doorstroomt naar HBO, 1998–2005 Bron: Onderwijsmatrix (OCW) Figuur 5.12 geeft de doorstroom van HAVO-gediplomeerden naar HBO weer tussen 1998 en 2005. Tegenover de dalende doorstroom naar VWO en MBO staat een fors groeiende doorstroom naar het HBO. Steeds meer HAVO-gediplomeerden volgen de zogenaamde «koninklijke route» van HAVO naar HBO. Vooral tussen 1998 en 2001 steeg het aandeel gediplomeerden dat doorstroomde naar HBO sterk: van 66% in 1998 tot 80% in 2001. In de laatste jaren steeg dit aandeel nog verder tot 84%. Een van de mogelijke redenen van de groeiende belangstelling van HAVO-gediplomeerden voor HBO zou kunnen zijn dat leerlingen die naar de universiteit willen, dit nu eerder via de propedeuse van HBO proberen, dan via de reguliere VWO-route (zie ook hiervoor). Figuur 5.13 Ontwikkeling aandeel VWO-gediplomeerden dat doorstroomt naar HBO, 1998–2005 Bron: Onderwijsmatrix (OCW) In figuur 5.13 wordt voor VWO-gediplomeerden het aandeel dat doorstroomt naar een HBO-opleiding weergegeven voor de jaren 1998–2005. Zoals HAVO-gediplomeerden steeds minder voor MBO-opleidingen kiezen, geldt dat VWO-gediplomeerden steeds minder een HBO-opleiding gaan doen na het behalen van hun diploma. Tussen 1998 en 2005 daalde de doorstroom van VWO-gediplomeerden naar het HBO van 26% tot 15%. Figuur 5.14 Ontwikkeling aandeel VWO-gediplomeerden dat doorstroomt naar WO, 1998–2005 Bron: Onderwijsmatrix (OCW) In figuur 5.14 wordt de ontwikkeling van het aandeel VWO-gediplomeerden dat doorstroomt naar een WO-opleiding weergegeven. Ook VWO-gediplomeerden zijn steeds vaker de «koninklijke route» gaan volgen. Koos tot 2000 nog ongeveer 64% voor een vervolgopleiding in het WO, in 2005 is dit opgelopen tot driekwart van alle VWO-gediplomeerden. Hier lijkt overigens wel sprake te zijn van een effect van de invoering van de tweede fase: de doorstroom neemt beduidend toe vanaf 2001, het eerste jaar dat leerlingen van het VWO nieuwe stijl kwamen. Uitstroom uit het onderwijs Er zijn ook gediplomeerden die na het behalen van hun HAVO- of VWO-diploma besluiten (al dan niet tijdelijk) het onderwijs te verlaten. In figuur 5.15 wordt voor gediplomeerden van HAVO en VWO het aandeel weergegeven dat uitstroomt uit het onderwijs. Hierbij moet worden aangetekend dat er ook gediplomeerden zijn die een pauze van een jaar inlassen voor zij hun studie vervolgen, om bijvoorbeeld naar het buitenland te gaan. Ook is het mogelijk dat deze gediplomeerden particulier onderwijs zijn gaan volgen. Het gaat dus zeker niet voor iedereen om definitieve uitstroom uit het onderwijs. Figuur 5.15 Ontwikkeling aandeel gediplomeerden dat uitstroomt uit het onderwijs, HAVO en VWO, 1998–2005 Bron: Onderwijsmatrix (OCW) Uit figuur 5.15 blijkt dat het verloop van het aandeel HAVO-gediplomeerden dat uit het onderwijs stroomt nogal wisselvallig is. Tussen 1998 en 2000 steeg het aandeel gediplomeerde uitstromers van 8,5% tot 13%, mogelijk onder invloed van de krappe arbeidsmarkt destijds. De goede conjuncturele situatie zou sommige gediplomeerden hebben kunnen overgehaald om reeds te gaan werken in plaats van verder te leren. In 2001 daalde het aandeel uitstromers tot 8% om vervolgens te blijven fluctueren tussen de 8 en 10%. Bij de gediplomeerden van het VWO kent de ontwikkeling van het aandeel een wat geleidelijker verloop. Aanvankelijk steeg het aandeel dat uitstroomde tussen 1998 en 2000 van 10% tot 14%, om tot en met 2002 te dalen tot 11% en daarna redelijk constant te blijven. 5.4 Aansluiting met vervolgonderwijs Rendement in het vervolgonderwijs Uit de analyse van het TFA blijkt dat het percentage studenten dat de norm voor de prestatiebeurs haalt tussen 1998 en 2005 is gedaald (TFA, 2005), Dit geldt zowel voor de havisten die doorstromen naar het HBO als voor de VWO-gediplomeerden die doorstromen naar het HBO of WO. De dalende trend is echter al voor invoering van de tweede fase ingezet. Het TFA constateert daarnaast een lichte teruggang is het percentage definitieve studiestakers na afloop van het eerste jaar. Ook die trend was al eerder ingezet. Aansluiting tussen HAVO- of VWO-opleiding en vervolgopleiding Nadat we hebben gekeken naar de doorstroompatronen van gediplomeerden van HAVO en VWO, biedt de mening van gediplomeerden over de kwaliteit van de aansluiting tussen hun HAVO- of VWO-opleiding en hun vervolgopleiding ook interessante informatie om te achterhalen of het HAVO en het VWO hun leerlingen nu beter voorbereidt op het HBO en het WO. Een verbetering van deze aansluiting was immers één van de doelstellingen van de tweede fase. In figuur 1.16 wordt voor zowel HAVO- als VWO-gediplomeerden het aandeel weergegeven dat de aansluiting tussen HAVO of VWO en de gekozen vervolgopleiding redelijk of goed vindt. In tegenstelling tot de voorgaande figuren in dit hoofdstuk zijn deze gegevens niet afkomstig uit de onderwijsmatrix van OCW, maar uit het schoolverlatersonderzoek van het ROA. Dit is een landelijk onderzoek onder gediplomeerden van alle onderwijstypen, ongeveer 1,5 jaar na het behalen van het diploma. Figuur 5.16 Aandeel gediplomeerden van HAVO en VWO dat de aansluiting met hun vervolgopleiding redelijk of goed vindt (antwoord 4 of 5 op een vijfpuntsschaal), 1995–2005 (1 jaar later gemeten) Tussen 1995 en 1997 was ongeveer 76% van de HAVO-gediplomeerden tevreden over de aansluiting tussen de HAVO-opleiding en de vervolgopleiding. Van 1997 tot 1999 daalde dit tot 68%. Daarna steeg dit aandeel sterk tot 83%, om in de laatste twee jaren weer sterk te dalen tot 71% van de HAVO-gediplomeerden. Hoewel de stijging in 2001 samenviel met de eerste volledige lichting HAVO nieuwe stijl, moeten we gelet op het grillige verloop – zowel daarvoor als daarna – toch concluderen dat van een effect van de invoering van de tweede fase geen sprake is. De gediplomeerden van VWO zijn over het algemeen vaker tevreden met de aansluiting tussen hun VWO-opleiding en hun opleiding dan gediplomeerden van HAVO. Ook blijkt de tevredenheid veel minder variatie te vertonen: met uitzondering van 1998 schommelt de tevredenheid steeds rond de 85%. VWO-gediplomeerden zijn zelf dus over het algemeen tevreden over de aansluiting tussen het VWO en hun vervolgopleiding. Van enig effect van de invoering van de tweede fase blijkt weinig. Uit een eerder analyse van De Vries en Van der Velden (2005) blijkt dat het percentage studenten dat zegt spijt te hebben van de keuze van de vervolgopleiding wel is afgenomen na invoering van de tweede fase, althans voor degenen die naar het HBO zijn gegaan. Van de havisten oude stijl had 20% spijt, voor havisten uit de tweede fase was dat 17%. Bij de VWO-ers die naar het HBO zijn gegaan is dit resp. 14% en 11%. Bij de VWO-ers die naar het WO zijn gegaan is het percentage met spijt over de studiekeuze gelijk gebleven, namelijk 14%. 5.5 Veranderingen in vaardigheden Naast de introductie van studieprofielen heeft bij de invoering van de tweede fase ook een vernieuwing plaatsgevonden van de werkvormen die in de bovenbouw van HAVO en VWO worden gehanteerd. Onder de noemer «studiehuis» heeft een groot aantal scholen nieuwe werkvormen geïntroduceerd waarbij er minder klassikaal les werd gegeven en leerlingen zelfstandiger zijn gaan studeren. Deze veranderingen zijn niet door alle scholen op een gelijke manier ingevoerd. Scholen hebben vrijheid in het bepalen van de wijze van lesgeven. Sommige scholen hebben hun aanpak sterk aangepast terwijl andere scholen vrijwel op dezelfde wijze les zijn blijven geven. Argumenten voor de introductie van het studiehuis hebben zowel betrekking op een gewenste verschuiving van de vaardigheden van leerlingen als op de verwachting dat activerende, meer zelfstandige leermethoden tot een hoger leerrendement zullen leiden. Het is daarom van belang om te bekijken in hoeverre deze veranderingen hebben geleidt tot hogere leerprestaties, maar ook tot een accentverschuiving in het soort vaardigheden waarover leerlingen beschikken. Tabel 5.3 geeft voor een twaalftal vaardigheden aan in hoeverre er een toename of afname is geweest in het percentage schoolverlaters dat aangeeft deze vaardigheden redelijk of goed te beheersen. Bedacht moet worden dat hier gaat om de eigen inschatting van de leerling, en niet om objectieve testscores. Het is denkbaar dat leerlingen uit de tweede fase op school vaak te horen hebben gekregen dat de tweede fase bedoeld is om bv. studieplanningsvaardigheden te ontwikkelen, en dat men daarom later ook positiever over deze aspecten oordeelt dan leerlingen uit de oude situatie, zonder dat er in de daadwerkelijke vaardigheden iets veranderd is. Bij het VWO is met name de beheersing van zelfstandig werken en computervaardigheden sterk gestegen. Rekenvaardigheden zijn daarentegen gedaald. Figuur 5.17 geeft voor deze drie vaardigheden een beeld van de ontwikkeling per jaar. De voornaamste veranderingen in de inschatting van de schoolverlaters vinden plaats tussen 2000 en 2001. We kunnen daarom niet zonder meer concluderen dat deze veranderingen samenhangen met de introductie van de tweede fase, omdat de verandering voor het VWO feitelijk een jaar te vroeg komt. Tabel 5.3 Verandering in het percentage schoolverlaters dat aangeeft bepaalde vaardigheden goed of redelijk te beheersen tussen 1998 en 2003 (1 jaar later gemeten) HAVO VWO Zelfstandig werken 6,8 4,2 Creativiteit 2,0 – 2,0 Initiatief 4,2 3,3 Communicatieve vaardigheden 3,1 2,1 Samenwerken 0,9 1,5 Studieplanning – 0,5 – 1,2 Informatie verzamelen en verwerken 1,6 3,0 Taalvaardigheid – 0,1 3,0 Rekenvaardigheden – 3,0 – 6,3 Computervaardigheden 8,7 9,2 Nauwkeurig werken 2,3 0,9 Analytische vaardigheden 2,7 1,9 Figuur 5.17 Ontwikkeling van het percentage schoolverlaters van het VWO dat aangeeft rekenvaardigheden, zelfstandig werken en computervaardigheden goed of redelijk te beheersen tussen 1998 en 2003 (1 jaar later gemeten) De ontwikkelingen bij het HAVO volgen grosso modo die van het VWO. De toename bij zelfstandig werken is groter en ook initiatief kent een grotere toename hier. De afname van rekenvaardigheden op het HAVO is lager dan op het VWO. Figuur 5.18 brengt deze veranderingen in beeld. Opnieuw blijkt de grootste verandering te hebben plaatsgevonden tussen 2000 en 2001. Omdat de uitstroom van de tweede fase voor het HAVO een jaar eerder plaats vindt dan voor het VWO, lijkt hier wel sprake van een samenhang met de introductie van de tweede fase. Figuur 5.18 Ontwikkeling van het percentage schoolverlaters van het HAVO dat aangeeft rekenvaardigheden, zelfstandig werken, en computervaardigheden goed of redelijk te beheersen tussen 1998 en 2003 (1 jaar later gemeten) Het TFA heeft ook een onderzoek laten uitvoeren onder opleiders in het HO. Hierbij is gepeild wat men vindt van de beheersing van kennis, inzicht en vaardigheden (TFA, 2005). Daarbij is een onderscheid gemaakt tussen algemene en vakspecifieke kennis en vaardigheden. Omdat het onderzoek is uitgevoerd ná invoering van de tweede fase is een vergelijking met de oude situatie niet mogelijk. Bovendien gaat het ook hier om subjectieve oordelen en niet om harde testgegevens. De opleiders in het HO blijken overwegend positief over de algemene vaardigheden (met name samenwerken en computervaardigheden) en neutraal over de algemene kennis, waarbij de opleiders uit het WO positiever zijn dan de opleiders uit het HBO over de algemene vaardigheden. Dit resultaat sluit in ieder geval aan bij de doelstelling van de tweede fase om het algemene vaardighedenonderwijs te versterken. Men is echter kritisch ten aanzien van de vakspecifieke kennis en vaardigheden (met name reken- en taalvaardigheden) van de afgestudeerden uit de tweede fase. Deze bevindingen zijn enigszins in lijn met de oordelen van de afgestudeerden zelf waar men positief oordeelt over zelfstandig werken en computervaardigheden, maar negatief over rekenvaardigheden. Onderzoek van het IOWO onder eerste jaarsstudenten wijst in dezelfde richting (TFA, 2005, p. 106). Interessant in dit verband is dat Korpershoek, Kuyper en Van der Werf (2006) constateren dat de scores op een aantal schalen voor metacognitieve vaardigheden zijn afgenomen tussen VOCL93 en VOCL99. Het betreft hier 3 schalen voor studievaardigheden: «integratieve strategie», «concrete strategie» en «meerwerk strategie». Blijkbaar heeft de invoering van het studiehuis de scores op deze studievaardigheden niet verbeterd. De studieprofielen van de tweede fase zijn over een periode van twee jaar bij alle HAVO- en VWO-scholen ingevoerd. De scholen hadden echter vrijheid in hoeverre ze ook invulling wilden geven aan het «studiehuis». Het TFA heeft via een enquête bij een groot aantal scholen in 2000/2001 gemeten in hoeverre op HAVO en VWO gebruik werd gemaakt van begeleidings- en zelfstudie-uren naast de gebruikelijke lesuren. Scholen gaven aan voor hoeveel procent van de lestijd deze nieuwe lesvormen werden gehanteerd. Voor een aantal scholen was het mogelijk deze gegevens van het TFA te relateren aan gegevens van de schoolverlaterenquête van het ROA. Tabel 5.4 geeft voor deze scholen aan hoe groot de percentages begeleidings- en zelfstudie-uren waren in 2000/2001. Op het VWO wordt gemiddeld 7.9% van de lestijd gebruikt voor begeleidingsuren en 7.1 % voor zelfstudie-uren. Bij het HAVO liggen deze percentages iets hoger. De meeste scholen die relatief veel zelfstudie-uren hebben, hebben ook begeleidingsuren. In de tabel wordt daarom een onderscheid gemaakt tussen scholen met vrijwel alleen traditionele lesuren, scholen met een hoog percentage begeleidingsuren en scholen met een hoog percentage zelfstudie-uren (en dus meestal ook een hoog percentage begeleidingsuren). Uit de tabel kan worden opgemaakt dat op het VWO scholen met een redelijk aantal begeleidingsuren gemiddeld 17% van de lestijd deze studievorm hanteren. Bij scholen die ook zelfstudie-uren hebben wordt ongeveer 10% van de lestijd aan begeleiding besteed en wordt gemiddeld 15% van de lestijd besteed aan zelfstudietijd. Bij het HAVO liggen deze percentage opnieuw iets hoger en daalt het percentage begeleidingsuren ook iets meer als scholen met en zonder zelfstudie-uren worden vergeleken. Tabel 5.4 Percentage begeleidingsuren en zelfstudie-uren in 2000/2001 Begeleidingsuren (%) Zelfstudie-uren (%) VWO Alle scholen 7,9 7,1 Met name lesuren 0,6 0,0 Begeleidingsuren 17,3 1,0 Begeleidingsuren en zelfstudie-uren 9,5 15,4 HAVO Alle scholen 9,3 7,9 Met name lesuren 0,8 0,0 Begeleidingsuren 18,1 1,1 Begeleidingsuren en zelfstudie- uren 6,8 17,1 Door een vergelijking te maken tussen scholen die begeleidings- of zelfstudie-uren hebben ingevoerd met scholen die op een traditionele manier zijn blijven lesgeven, kan bekeken worden of de lesmethode invloed heeft op de vaardigheden en studieresultaten van leerlingen. Probleem bij een dergelijke vergelijking is dat scholen die besluiten om deze onderwijskundige veranderingen in te voeren waarschijnlijk verschillen van scholen die dit niet doen. Wellicht scoorden hun leerlingen daarom ook zonder deze verandering al anders. Om hiervoor te corrigeren is gekeken naar de verandering binnen scholen in deze scores sinds de invoering van de tweede fase. Hiermee worden effecten van andere kenmerken van de scholen buiten beschouwing gehouden. Het effect van het studiehuis kan zo worden onderscheiden van verschillen tussen scholen die al bestonden voor het studiehuis werd geïntroduceerd. Wel blijft het mogelijk dat het effect van de invoering van het studiehuis voor bepaalde scholen groter zou zijn dan voor anderen. Als juist voor scholen die wel besloten hebben tot introductie het effect van het studiehuis gunstiger zou zijn dan voor scholen die besloten hebben dit niet te doen, geeft deze vergelijking weliswaar een goed beeld voor de veranderingen die daadwerkelijk hebben plaatsgevonden, maar zouden de effecten voor andere scholen minder gunstig kunnen zijn. Om statistisch gezien tot een goede inschatting van het gemiddelde effect van het studiehuis te komen had de beslissing om het studiehuis per school al dan niet te introduceren deels gerandomiseerd moeten zijn. Tabel 5.5 geeft de resultaten van de vergelijkende analyse. Hierbij zijn per school de prestaties van leerlingen van vóór de introductie van de tweede fase (schoolverlaters in 1999 en 2000) vergeleken met de prestaties ná de introductie (schoolverlaters in 2003 en 2004). Daarbij is gekeken naar het eindexamencijfer en naar het door de leerling ingeschatte niveau van de competenties. De schattingen geven aan wat de verandering is in de scores van leerlingen op scholen die begeleidingsuren of zelfstudie-uren zijn gaan gebruiken in vergelijking met de verandering in scores bij scholen die dit niet zijn gaan doen. Tussen haakjes staat de t-waarde aangegeven op grond waarvan de significantie wordt bepaald. Ter toelichting op de tabel het volgende voorbeeld. De verandering (d.w.z. het verschil voor en na invoering van het studiehuis) in het eindexamencijfer voor Nederlands van leerlingen op het VWO bij scholen met een substantieel aantal zelfstudie-uren blijft gemiddeld 0,43 punt achter, vergeleken met dezelfde verandering bij leerlingen op scholen met hoofdzakelijk klassikaal onderwijs. Bij scholen met begeleidingsuren is er een extra toename van 0,07, maar dit verschil is te klein om significant te zijn. Bij het HAVO blijft het examencijfer van leerlingen op scholen met veel zelfstudie-uren gemiddeld 0,40 achter. Tabel 5.5 Resultaten van vergelijkende analyse: extra toename of afname bij scholen met veel begeleiding (minstens 5% van de tijd) of zelfstudie (idem) in vergelijking met de verandering bij scholen met voornamelijk lesuren VWO HAVO Begeleidingsuren (minstens 5%) Zelfstudie-uren (minstens 5%) Begeleidingsuren (minstens 5%) Zelfstudie-uren (minstens 5%) Cijfers voor Nederlands + 0,07 (0,46) – 0,43 (– 2,37)* + 0,01 (0,05) – 0,40 (– 2,51)* Engels + 0,17 (0,73) – 0,18 (– 0,67) – 0,18 (-0,93) + 0,23 (1,01) Frans + 0,16 (0,45) + 0,11 (0,25) – 0,34 (– 1,09) + 0,57 (1,59) Duits + 0,37 (1,28) – 0,01 (– 0,04) – 0,03 (– 0,15) + 0,10 (0,34) Wiskunde A + 1,07 (3,27)* – 0,36 (– 1,04) + 0,24 (1,17) – 0,24 (– 0,98) Wiskunde B + 0,64 (1,73) – 1,09 (– 2,39)* + 0,26 (0,58) – 0,09 (– 0,20) Natuurkunde + 1,28 (4,26)* – 1,24 (– 3,27)* + 0,79 (2,36)* + 0,14 (0,42) Scheikunde + 0,85 (2,57)* – 0,75 (– 1,83) – 0,32 (– 0,87) – 0,30 (– 0,78) Biologie – 0,01 (– 0,02) – 0,50 (– 1,79) + 0,39 (1,60) – 0,15 (– 0,55) Geschiedenis – 0,40 (– 1,63) + 0,43 (1,28) – 0,05 (– 0,21) + 0,02 (0,05) Aardrijkskunde + 0,76 (2,64)* – 0,04 (– 0,13) + 0,42 (1,78) + 0,18 (0,61) Vaardigheden Zelfstandig werken + 0,19 (1,36) – 0,55 (– 3,41)* – 0,07 (– 0,58) + 0,01 (0,09) Creativiteit + 0,21 (1,38) + 0,09 (0,49) – 0,04 (– 0,38) + 0,14 (1,00) Initiatief + 0,24 (1,65) – 0,12 (– 0,76) – 0,12 (– 1,04) – 0,02 (– 0,17) Communicatieve vaardigheden – 0,18 (– 1,26) – 0,08 (– 0,48) – 0,12 (– 1,09) + 0,05 (0,40) Samenwerken – 0,13 (– 0,99) + 0,06 (0,42) + 0,14 (1,27) – 0,19 (– 1,49) Studieplanning + 0,22 (1,17) – 0,61 (– 2,89)* + 0,13 (0,88) – 0,20 (– 1,17) Informatie verzamelen en verwerken + 0,06 (0,47) – 0,27 (– 1,81) + 0,11 (0,99) – 0,13 (– 1,03) Taalvaardigheid + 0,20 (1,40) – 0,20 (– 1,23) – 0,04 (– 0,30) + 0,00 (– 0,00) Rekenvaardigheden + 0,49 (2,69)* – 0,45 (– 2,15)* + 0,09 (0,60) + 0,13 (0,75) Computervaardigheden + 0,50 (3,06)* – 0,45 (– 2,42)* + 0,03 (0,23) – 0,04 (– 0,24) Nauwkeurig werken + 0,40 (2,57)* – 0,45 (– 2,54)* + 0,28 (2,37)* + 0,00 (0,01) Analytische vaardigheden + 0,16 (1,17) – 0,17 (– 1,10) + 0,16 (1,52) + 0,08 (0,62) Van de resultaten kan worden vastgesteld. Schattingen die significant zijn (95% zekerheid) zijn aangegeven met een *. De introductie van begeleidingsuren heeft op het VWO geleid tot relatief hogere cijfers voor wiskunde A, natuurkunde, scheikunde en aardrijkskunde. De verschillen zijn aanzienlijk. Leerlingen met begeleidingsuren scoren bij deze vakken relatief rond een vol punt hoger. Voor kleinere verschillen zijn de resultaten niet significant omdat de dataset te klein is om dergelijke effecten met grote precisie te kunnen vaststellen. Zelfstudie-uren blijken juist een negatief effect te hebben op de prestaties van leerlingen. Leerlingen scoren relatief lagere cijfers voor Nederlands, wiskunde A en natuurkunde bij scholen die voor minstens 5% van de lestijd zelfstudie-uren hebben geïntroduceerd. Ook voor een aantal vaardigheden vinden we een positief effect van begeleidingsuren (rekenvaardigheden, computervaardigheden en nauwkeurig werken) en een negatief effect van zelfstudie-uren (studieplanning en opnieuw rekenvaardigheden, computervaardigheden en nauwkeurig werken). Op het HAVO zijn de effecten van begeleidingsuren en zelfstudie-uren op de prestaties van leerlingen kleiner. Hier vinden we alleen voor natuurkunde een significant positief effect van begeleidingsuren en voor Nederlands een significant negatief effect van zelfstudie-uren. Bij de vaardigheden is er alleen een significant positief effect van begeleidingsuren op nauwkeurig werken. De negatieve effecten van zelfstudie-uren zouden te maken kunnen hebben met het feit dat op die scholen wellicht de totale studietijd omlaag gaat. Uit een vergelijking van VOCL99 en VOCL93 blijkt namelijk dat leerlingen steeds minder vaak huiswerk thuis maken. In VOCL93 maakte 87% van de HAVO/VWO leerlingen het huiswerk thuis, in VOCL99 was dit gedaald tot 68% (Korpershoek, Kuyper en Van der Werf, 2006). Wanneer zelfstudie-uren vooral gebruikt worden voor het maken van huiswerk, dan gaat de totale «time on task» omlaag en dalen dus de prestaties. 5.6 Conclusies In dit hoofdstuk is een analyse gemaakt van de effecten van de invoering van de tweede fase. De tweede fase had tot doel om de aansluiting naar het hoger onderwijs te verbeteren, het onderwijsprogramma te moderniseren en scholen meer ruimte te geven in de keuze van werkvormen. De analyses in dit hoofdstuk zijn met name gericht op de effecten van de tweede fase op de leerling-stromen in het onderwijs, op de aansluiting tussen HAVO/VWO en HO en op het effect van de invoering van het studiehuis op de verwerving van competenties. We komen tot de volgende conclusies: • Na de invoering van de tweede fase is het aantal gediplomeerden van HAVO en VWO gedaald, door de afgenomen instroom uit respectievelijk MAVO en HAVO. In het VWO herstelt het aantal leerlingen zich weer als gevolg van de toename van de populariteit van dit schooltype in de onderbouw, maar in het HAVO blijft het aantal leerlingen achter vergeleken met de situatie vóór invoering van de tweede fase. • De keuze voor exacte vakken (Natuur & Techniek) lijkt door invoering van de profielen te zijn afgenomen, met name bij het VWO (en dan vooral onder meisjes). Dit verkleint het potentiële reservoir voor technische studies in het WO. • Het zittenblijven in het derde leerjaar is toegenomen (HAVO) of constant gebleven (VWO), terwijl het zittenblijven in de latere leerjaren afneemt. Het gaat hierbij echter om een trendmatige ontwikkeling zonder relatie met de invoering van de tweede fase. • Er is geen verband tussen de invoering van de tweede fase en het percentage leerlingen dat de opleiding voortijdig verlaat. • Er is geen tussentijdse opstroom van havo naar vwo. De tussentijdse afstroom in HAVO/VWO neemt af, maar afgezien van de daling van de afstroom van 4 HAVO naar MAVO is er geen duidelijk effect van de invoering van de tweede fase. • De invoering van de tweede fase lijkt de discrepantie tussen schoolexamen en centraal examen versterkt te hebben. Het gemiddelde cijfer voor de schoolexamens ligt systematisch hoger dan het gemiddelde cijfer voor het centraal examen. Het problematische daarvan is dat sommige scholen systematisch hogere beoordelingen geven dan andere scholen waardoor de gelijkwaardigheid en geloofwaardigheid van diploma’s afneemt. • Door de invoering van de tweede fase is de doorstroom van HAVO-gediplomeerden naar VWO zeer sterk gedaald. Hierdoor werd de dalende trend die al eerder werd ingezet versterkt. Daarnaast is ook de doorstroom naar MBO afgenomen, maar die trend zette al eerder in. Het gevolg is dat de doorstroom naar HBO is toegenomen, maar ook hier is eerder sprake van een trendmatige ontwikkeling dan van een effect van de invoering van de tweede fase. • Bij het VWO zien we een sterkere doorstroming naar het WO die wel met de invoering van de tweede fase lijkt samen te hangen. • Als we kijken naar het rendement in het vervolgonderwijs, dan blijkt het percentage studenten dat de prestatienorm haalt te zijn gedaald, maar hier is geen relatie met de invoering van de tweede fase. • We zien geen effect van de invoering van de tweede fase op het oordeel van de schoolverlaters over de aansluiting tussen de HAVO/VWO-opleiding en de vervolgopleiding. Wel blijken na invoering van de tweede fase minder schoolverlaters spijt te hebben van de keuze van een vervolgopleiding, althans onder degenen die naar het HBO zijn gegaan. • Schoolverlaters van HAVO en VWO zijn positiever gaan oordelen over hun eigen niveau van zelfstandig werken en computervaardigheden en minder positief over hun rekenvaardigheden. Deze veranderingen lijken voor het HAVO samen te hangen met de invoering van de tweede fase, maar bij het VWO komt de verandering eigenlijk één jaar te vroeg. De geconstateerde veranderingen komen grosso modo overeen met de opinies van opleiders in het HO die positief zijn over een aantal algemene vaardigheden, maar negatief over het niveau van specifieke kennis en vaardigheden. • De introductie van het studiehuis heeft een duidelijk effect op de prestaties en competenties van leerlingen, maar er blijkt een duidelijk verschil in de wijze van invulling. In het VWO heeft een grotere nadruk op begeleidingsuren een positief effect, zowel op de examenresultaten (wiskunde A, natuurkunde, scheikunde en aardrijkskunde), als voor een aantal vaardigheden (rekenvaardigheden, computervaardigheden en nauwkeurig werken). Zelfstudie-uren daarentegen blijken juist een negatief effect te hebben. Voor het HAVO zijn de effecten veel kleiner, maar wijzen ze wel in dezelfde richting. Het negatieve effect van zelfstudie-uren komt waarschijnlijk voort uit het feit dat deze uren vooral gebruikt worden voor het maken van huiswerk, waardoor de totale «time on task» omlaag gaat en derhalve de prestaties dalen. 6 INTERNATIONAAL VERGELIJKENDE TESTEN 6.1 Inleiding In de discussie over de kwaliteit van het Nederlandse onderwijs spelen internationaal vergelijkende testen een belangrijke rol. In dit hoofdstuk gaan we in op de mogelijkheden en beperkingen van internationaal vergelijkend onderzoek om de kwaliteit van het Nederlandse onderwijs te beoordelen en geven we een overzicht van de vergelijkende onderzoeken die de afgelopen jaren hebben plaatsgevonden en de positie die Nederland daarin innam. 6.2 Mogelijkheden en beperkingen van internationale vergelijkingen Een interessante ontwikkeling bij de beoordeling van de kwaliteit van het onderwijs zijn ook de internationaal vergelijkende toetsen zoals PIRLS, TIMSS en PISA. Hierbij worden bij leerlingen in een groot aantal landen dezelfde toetsen voor bijvoorbeeld lezen, rekenen en wiskunde en kennis over natuurwetenschappen (science) afgenomen. Borghans (2007) gaat in op de bruikbaarheid van dergelijke internationaal vergelijkende toetsen voor het onderwijsbeleid. Problemen die zich hierbij voordoen zijn voor een deel al besproken in hoofdstuk 2. Een probleem is dat de verschillende internationaal vergelijkende onderzoeken andere toetsen gebruiken waardoor de vergelijking in de tijd lastig is. De OECD heeft inmiddels met PISA drie maal achter elkaar (2000, 2003, 2006) een onderzoek gedaan dat wel vergelijkbaar is qua opzet in de verschillende jaren. Deze onderzoeken ontlenen hun waarde vooral aan de relatieve positie van een land ten opzichte van anderen. Maar als een land hoger scoort dan een ander land op een vergelijkende toets geeft dit nog geen inzicht in de oorzaken van dit verschil. Onderwijssystemen verschillen vaak zeer sterk tussen landen. Verschillen in de prestaties kunnen daardoor samenhangen met een veelheid aan aspecten van de inrichting van het onderwijssysteem. Hoewel de internationaal vergelijkende toetsen zijn opgezet om landen van elkaar te laten leren, zijn er te weinig deelnemende landen om via een landenvergelijking greep te krijgen op deze grote diversiteit aan mogelijk relevante factoren. Een gevolg is dan ook dat terwijl beleidsmakers vooral interesse hebben in de internationale ranking van hun land, onderzoekers de gegevens vooral benutten om binnen een land vergelijkingen tussen verschillende leerlingen te maken. Hoewel deze internationale toetsen met grote zorgvuldigheid worden opgezet blijken de resultaten toch zeer gevoelig te zijn voor de precieze uitvoering. Zo zorgen de resultaten van PISA 2000 tot een grote schrikreactie in Duitsland. Het is echter onwaarschijnlijk dat problemen met het Duitse onderwijs in enkele jaren zijn ontstaan. Eerdere vergelijkende toetsen zoals TIMSS brachten kennelijk deze problemen niet aan het licht, althans ze kwamen niet op deze manier in de publieke discussie. Ook Nederland heeft ervaren hoe gevoelig resultaten van internationaal vergelijkende toetsen kunnen zijn. Bij PISA 2000 oordeelde de OECD dat er te veel non-respons was bij de Nederlandse scholen. Uit een rapport van CITO (Wijnstra, 2001) blijkt inderdaad dat slechts zo’n 25% van de scholen uit de aanvankelijk steekproef mee heeft gedaan aan het onderzoek. Om de representativiteit te kunnen waarborgen zijn scholen die niet mee wilden doen aan PISA steeds vervangen door scholen met vergelijkbare kenmerken. De score die de leerlingen zullen behalen bij de PISA-toetsen zijn hierbij uiteraard nog niet bekend. De selectie moet daarom plaatsvinden op basis van enkele kenmerken waarover wel al informatie beschikbaar is. Als binnen iedere groep scholen die op het eerste gezicht vergelijkbaar lijken, scholen met leerlingen die iets minder goed zullen scoren op de toets een grotere kans hebben om deelname te weigeren, ontstaat er een selectie van scholen die beter is dan een werkelijk representatieve groep. Hoewel destijds werd betoogd dat deze selectieproblemen meevielen (Wijnstra, 2001), maakt de vergelijking met PISA 2003 (Gille et al., 2004) duidelijk dat de scores van Nederland in 2000 veel te hoog zijn geweest. Figuur 6.1 laat dit voor wiskunde zien. Voor 2000 en 2003 zijn de scores van de leerlingen verdeeld in percentielen. Hierbij zijn de leerlingen op basis van hun score in 100 groepen van gelijke grootte verdeeld. Het onderste percentiel omvat dus 1% van de leerlingen die het slechtste scoorden op de PISA-test. Het hoogste percentiel 1% van de leerlingen die het beste scoorden. De figuur laat zien dat de score bij PISA in 2003 voor wiskunde voor leerlingen op vrijwel alle niveau’s lager is dan in 2000. Het verschil is het grootst tussen het 10-de en het 60-ste percentiel. Ook voor taal wordt een groot verschil tussen 2000 en 2003 waargenomen (zie figuur 6.2). Dit verschil is echter redelijk vergelijkbaar voor de meeste percentielgroepen. Figuur 6.1 De score van Nederlandse leerlingen voor wiskunde per percentiel bij PISA 2003 in vergelijking met PISA 2000 Figuur 6.2 De score van Nederlandse leerlingen voor lezen per percentiel bij PISA 2003 in vergelijking met PISA 2000 Als een vergelijking van PISA 2000 en PISA 2003 gebruikt zou worden om de ontwikkeling in de kwaliteit van het onderwijs over die drie jaren te meten, dan zou de conclusie een dramatische achteruitgang moeten zijn. Het grote verschil in de toetsscores tussen 2000 en 2003 maakt echter duidelijk dat er in 2000 een selectiviteitsprobleem moet zijn geweest. Er is echter geen garantie te geven dat de resultaten in 2003 of de resultaten van andere toetsen niet ook vertekend zijn door (kleinere) selectiviteit. Voor de vergelijkbaarheid van dergelijke cijfers is een heel stikt design dan ook onontbeerlijk. De verplichting voor scholen om deel te nemen lijkt een basisvoorwaarde te zijn. Maar zelfs als Nederland dergelijk stikte richtlijnen zou implementeren is het de vraag of andere landen dezelfde strikte condities hanteren. Er is veel gediscussieerd over de vergelijkbaarheid van deze internationale scores. Naast de gevoeligheid voor selectiviteit speelt hierbij ook dat het soort vragen dat wordt gebruikt beter kan aansluiten bij het onderwijs in het ene land in vergelijking met andere landen. Ook zullen de onderwerpen die net aan bod zijn geweest in het onderwijs invloed hebben op de scores van leerlingen. Omdat de opbouw van het curriculum sterk kan verschillen tussen landen kan dit ook verschillen in de scores verklaren die wellicht niet relevant zijn voor een echte vergelijking tussen landen. Er wordt al ongeveer 50 jaar gewerkt aan internationaal vergelijkende testen. In 1958 werd de International Association for the Evaluation of Educational Achievement opgericht die als doel heeft deze vergelijkende studies op te zetten. Het idee hierbij was dat onderwijssystemen tussen landen sterk verschillen. Door de kwaliteit per land te gaan meten zou een wereldwijd laboratorium ontstaan waarmee de oorzaken van kwaliteitsverschillen zou kunnen worden achterhaald. Tabel 6.1 geeft een overzicht van de vergelijkende wiskundestudies waaraan Nederland heeft deelgenomen. Ook de resultaten van Finland en Duitsland zijn in de tabel opgenomen. Finland wordt de laatste jaren als grote voorbeeld op het terrein van onderwijs in Europa gezien. Duitsland is het meest voor-de-hand-liggende vergelijkingsland voor Nederland. De tabel laat zien dat de voorsprong van Finland niet in alle studies werd gevonden. Bij de First International Mathematics Study (FIMS) deed Finland het beter dan Nederland, maar sindsdien waren de scores van Nederland systematisch hoger dan Finland. Dit was ook nog het geval bij TIMSS in 1999. Ook bij PISA 2000 scoort Nederland hoger, maar dit kan veroorzaakt zijn door het eerder genoemde selectiviteitsprobleem. Bij PISA 2003 en 2006 zijn de scores voor Nederland echter lager dan die van Finland. Een belangrijke vraag is daarom hoe dit verschil vrij plotseling is ontstaan. Het Finse onderwijs heeft belangrijke hervormingen gekend, maar er zijn geen redenen waarom de situatie in 1999 heel anders zou zijn dan die in 2003 of 2006. De vraag is dus in hoeverre verschillen in de opzet tussen TIMSS en PISA dit verschil in score kunnen verklaren. Tabel 6.1 Gemiddelde scores van Nederland, Finland en Duitsland op de internationaal vergelijkende wiskundetesten waar Nederland aan deel heeft genomen. Studie jaar leeftijd onderdeel Nederland Finland Duitsland FIMS 1 964 13 21,4 26,4 25,4 FIMS 1 964 lj math students 31,9 25,3 28,8 FIMS 1 964 lj non math students 24,7 22,5 27,7 SIMS 1 980 13 arithmetic 59,3 45,5 SIMS 1 980 13 algebra 51,3 43,6 SIMS 1 980 13 geometry 52,0 43,2 SIMS 1 980 13 measurement 61,9 51,3 SIMS 1 980 13 descriptives 65,9 57,6 TIMSS 1995 14 541 509 TIMSS 1999 14 540 520 TIMSS 1999 14 fractions and number sense 545 531 TIMSS 1999 14 measurement 538 521 TIMSS 1999 14 data representation 538 525 TIMSS 1999 14 geometry 515 494 TIMSS 1999 14 algebra 522 498 PISA 2000 15 563 537 490 PISA 2003 15 538 544 503 PISA 2006 15 531 548 504 lj = laatste jaar voortgezet onderwijs Zoals we in de volgende paragraaf laten zien scoort Nederland over het algemeen vrij hoog bij deze internationale vergelijkingen. Per studie nemen steeds weer andere landen deel waardoor de ranking moeilijk over de tijd te volgen is. Zo laat de tabel zien dat Duitsland slechts in een aantal van de genoemde studies heeft deelgenomen. Een redelijke vergelijking in de tijd is alleen mogelijk voor PISA 2003 en PISA 2006. Figuur 6.3 en 6.4 laat zien hoe voor Nederland de scores van percentielgroepen zijn veranderd. We zien dat voor wiskunde met name de bovenste helft van de leerlingen in 2006 lager scoorde dan in 2003. Voor lezen daarentegen zien we dat de scores redelijk vergelijkbaar zijn, behalve bij de onderste 20 percentielen. Figuur 6.3 De score van Nederlandse leerlingen voor wiskunde per percentiel bij PISA 2006 in vergelijking met PISA 2003 Figuur 6.4 De score van Nederlandse leerlingen voor lezen per percentiel bij PISA 2006 in vergelijking met PISA 2003 Figuur 6.5 en 6.6 brengen de verschillen bij wiskunde tussen Nederland en Finland en Nederland en Duitsland voor de jaren 2003 en 2006 in beeld. Nederland scoort in de bovenste percentielen redelijk vergelijkbaar met Finland, maar Finland haalt beduidend hogere scores bij de minder goede leerlingen. Bij de vergelijking met Duitsland is dit omgekeerd. In de top halen Nederland en Duitsland vergelijkbare resultaten, maar Nederland doet het veel beter bij de minder goede leerlingen. In vergelijking met Finland en in iets mindere mate met Duitsland lijken de scores van Nederlandse leerlingen tussen 2003 en 2006 wel te zijn gedaald. Deze verschuiving is net niet groot genoeg om als significant te worden gekenmerkt. De daling heeft met name bij meisjes plaatsgevonden. Figuur 6.5 De score van Nederlandse leerlingen voor wiskunde per percentiel bij PISA 2003 en 2006 in vergelijking met Finland Figuur 6.6 De score van Nederlandse leerlingen voor wiskunde per percentiel bij PISA 2003 en 2006 in vergelijking met Duitsland Als internationaal vergelijkende testen in de publiciteit komen draait het meestal om de gemiddelde score per land. Een groot probleem bij het gebruik van deze gemiddelde scores is dat niet bekend is of het verschil tussen 300 en 350 als testscore even belangrijk is als het verschil tussen 450 en 500. Het aantal juiste vragen bij een test hangt af van de verdeling van de moeilijkheidsgraad van de vragen. Als er maar weinig zeer moeilijke vragen zijn opgenomen kan een groot niveauverschil tussen leerlingen slechts leiden tot een klein verschil in de testscore. Ook is niet bekend hoe belangrijk een hogere score is voor leerlingen van verschillende niveau’s. Wellicht is het maatschappelijk gezien veel belangrijker om een leerling die 300 scoort 310 te laten scoren dan het is om de score van een leerling die 450 haalt nog verder te vergroten. Het CPB wijst er echter op dat juist ook weer de topscores van extra belang zijn gezien hun latere rol van toptalent voor de innovatie van een land. Het voorbeeld van de vergelijking tussen Nederland en Finland in 2003 laat zien dat hierdoor in bepaalde gevallen geen duidelijke conclusie over niveauverschillen kan worden getrokken. 6.3 Internationaal vergelijkende testen sinds 1990 Nederland heeft sinds 1990 aan een groot aantal internationale vergelijkende testen meegedaan. In deze paragraaf geven we een overzicht van de resultaten bij de onderzoeken. De IEA organiseerde TIMSS en PIRLS. TIMSS is uitgevoerd in 1995, 1999 en 2003 waarbij prestaties bij wiskunde en science (natuurwetenschappen) zijn gemeten. In 1995 en 2003 had dit betrekking op zowel 10- als 14-jarigen. In 1999 had de meting alleen op 14-jarigen betrekking. In 1995 werd ook nog een meting onder leerlingen in het laatste jaar van het voortgezet onderwijs gehouden. PIRLS meet leesvaardigheden bij 10-jarigen en werd in 2001 en 2006 uitgevoerd. De OECD organiseerde in de jaren ’90 de International Adult Literacy Survey (IALS). Dit betrof een test voor geletterdheid (literacy) bij volwassenen. Er werd onderscheid gemaakt tussen drie vormen van geletterdheid: Proza, documenten en kwantitatief. Daarnaast is de OECD sinds 2000 driejaarlijks het PISA-onderzoek uit gaan voeren. Het gaat hier om testen van lezen, wiskunde en science voor 15-jarigen. Nederland is niet opgenomen in de publicatie van PISA uit 2000, omdat de steekproef niet aan de standaard voldeed. Nederland kan wel met andere landen vergeleken worden in 2003 en 2006. Tabel 6.2 geeft een overzicht van de positie van Nederland in het complete onderzoek (de wereld) en in Europa. Daarnaast is de gemiddelde score voor Nederland weergegeven en wordt deze vergeleken met Finland, Zweden, Duitsland, België, Frankrijk en Engeland. Tabel 6.2 Positie van Nederland en gemiddelde scores van Nederland, Finland, Zweden, Duitland Belgie, Frankrijk en Engeland op de internationaal vergelijkende testen waar Nederland sinds 1990 aan deel heeft genomen Positie NL Jaar Onderzoek Onderwerp Leeftijd Wereld Europa Score NL pms Finland Zweden Duitsland België Frankrijk Engeland 1995 TIMSS wiskunde 10 5/26 1/14 577 ja 513 1995 TIMSS science 10 7/26 3/14 557 ja 551 1995 TIMSS wiskunde 14 7/41 3/27 541 ja 519 509 565 538 506 1995 TIMSS science 14 7/41 4/27 560 ja 535 531 550 498 552 1995 TIMSS wisk. & sc. ljvo 1/21 1/16 559 ja 555 496 505 90s IALS proza volw. 4/22 4/17 283 289 301 276 272 267 90s IALS document volw. 5/22 5/17 287 289 306 285 278 268 90s IALS kwantitatief volw. 6/22 6/17 288 286 306 293 282 267 1999 TIMMS wiskunde 14 7/39 2/17 540 ja 520 496 1999 TIMMS science 14 6/39 1/17 545 ja 535 538 2001 PIRLS lezen 10 2/35 2/22 554 ja 539 525 553 2003 TIMMS wiskunde 10 6/25 2/13 540 ja 551 531 2003 TIMMS science 10 10/25 5/13 525 ja 518 540 2003 TIMMS wiskunde 14 7/46 2/19 536 ja 499 537 498 2003 TIMMS science 14 9/46 4/19 536 ja 524 516 544 2003 PISA lezen 15 9/39 5/25 513 543 514 491 507 496 2003 PISA wiskunde 15 4/39 2/25 538 544 509 503 529 511 2003 PISA science 15 8/39 3/25 524 548 506 502 509 511 2006 PIRLS lezen 10 10/41 7/25 547 ja 549 548 547 522 539 2006 PISA lezen 15 11/56 6/33 507 547 507 495 501 488 495 2006 PISA wiskunde 15 5/56 2/33 531 548 502 504 520 496 495 2006 PISA science 15 9/56 3/33 525 563 503 516 510 495 515 Noten: ljvo = laatste jaar van voortgezet onderwijs volw. = volwassenen pms = problemen met sample Indien het onderscheid wordt gemaakt hebben de gegevens over België betrekking op Vlaanderen. In een aantal gevallen hebben de gegevens van Engeland betrekking op het VK. In een groot aantal gevallen blijken er problemen te zijn geweest met de Nederlandse steekproef. Deze gevallen staan aangegeven in de kolom pms. In Nederland lukt het kennelijk niet goed om scholen deel te laten nemen aan het onderzoek. Uit de totale lijst komt naar voren dat Nederland het vrij goed doet in internationale vergelijkingen. Met name in vergelijking met Europese landen scoort Nederland meestal zeer hoog. Doordat een aantal Aziatische landen zeer hoog scoort is de rangorde van Nederland in vergelijking met alle landen van de wereld iets lager. 6.4 Conclusie De positie van het Nederlandse onderwijs in internationaal vergelijkende testen is over het algemeen vrij goed. Er zijn echter argumenten die het belang van deze vergelijkingen als indicator voor de kwaliteit van het onderwijs relativeren. Uitkomsten kunnen sterk verschillen tussen in principe vergelijkbare studies en de resultaten zijn erg gevoelig voor problemen bij het samenstellen van de steekproef. Juist Nederland is er door de internationale organisaties die de internationaal vergelijkende testen organiseren vaak opgewezen dat de steekproef een te lage kwaliteit heeft. Een hogere bereidheid van scholen om deel te nemen aan het onderzoek of een verplichting daartoe zou de kwaliteit van deze maatstaven daarom zeker ten goede komen. Door internationale tests met een onveranderde opzet regelmatig te herhalen ontstaat een beeld over de ontwikkelingen in de tijd. De periodieke herhaling van PISA is daarom een waardevolle aanvulling op de beschikbare gegevens over het onderwijs. Een vergelijking tussen 2006 en 2003 lijkt op een daling van het niveau van het Nederlandse onderwijs te wijzen, maar het verschil is nog te klein om als significant te worden aangemerkt. Een probleem van internationaal vergelijkende testen is dat ze weinig aanknopingspunten bieden om de oorzaken van dergelijke verschuivingen te achterhalen. 7 CONCLUSIES In dit rapport is besproken welk soort informatie nodig is om de kwaliteit van het onderwijs te kunnen monitoren en om vernieuwingen in het onderwijs te kunnen evalueren. Daarnaast hebben we op basis van de beschikbare gegevens de effecten geanalyseerd die recente onderwijshervormingen in het voortgezet onderwijs hebben gehad voor de kwaliteit van het onderwijs. In dit hoofdstuk zetten we de belangrijkste conclusies op een rij. 7.1 De data Er zijn in beginsel goede gegevens over loopbanen, maar ... In Nederland is op basis van de onderwijscohorten en onderwijsmatrices al veel informatie beschikbaar over de schoolloopbanen van leerlingen. Met de komst van het onderwijsnummer worden die loopbanen nu zo goed als volledig in kaart gebracht. Om ook de uitval uit het onderwijs nog goed te kunnen registreren zou het wel nog aanbeveling verdienen wanneer de uitstroom naar particulier onderwijs en scholen in de grensstreek ook in kaart zou worden gebracht. ... periodieke gegevens over competentieniveau ontbreken en ... De huidige VOCL cohorten bevatten testen over tekstbegrip, wiskunde en algemene vaardigheden voor leerlingen in het derde leerjaar, maar de inhoud van deze testen is veranderd, waardoor ze over de tijd niet helemaal vergelijkbaar zijn. Bovendien worden de testen alleen afgenomen bij de leerlingen die onvertraagd het derde leerjaar bereiken, zodat geen omvattend beeld bestaat over het niveau van het kennispeil op een bepaalde leeftijd of aan het eind van het voortgezet onderwijs. De frequentie van de cohorten is bovendien te laag om een goede monitoring te krijgen. Het is van belang dat – analoog aan de periodieke peiling in het basisonderwijs (PPON) – er een periodieke peiling komt waarmee de ontwikkeling van het competentieniveau in het voortgezet onderwijs gevolgd kan worden. ... er zijn teveel missende waarden op cruciale variabelen en ... De informatie van de VOCL-cohorten vormt de belangrijkste bron voor analyses van de effecten van sociale herkomst op de schoolloopbanen van leerlingen. Toch wordt een goede analyse van de ontwikkelingen in de tijd bemoeilijkt, omdat soms cruciale informatie ontbreekt. In het recente VOCL99 ontbreken gegevens over het beroep van de kostwinner (essentieel om het sociaal milieu te kunnen vaststellen), ontbreekt voor een omvangrijke groep leerlingen het advies van de basisschool, en zijn er veel«gaten» in de jaarlijkse onderwijspositie. Hierdoor moeten er nogal wat aannames gemaakt worden over de tussenliggende carrière. Vergelijkingen over de tijd worden hierdoor ernstig belemmerd. Ter illustratie. Voor ons onderzoek hebben we een simpele analyse uitgevoerd waarbij we keken naar het effect van opleidingsniveau van de ouders, basisschooladvies en de score op de CITO-entreetoets op de keuze van type voortgezet onderwijs na de brugperiode. Doordat voor grote groepen leerlingen informatie op één of meerdere variabelen ontbreken, blijven er in de analyse van het oorspronkelijke aantal van ongeveer 20 000 leerlingen in VOCL89 zo’n 16 500 over, in VOCL93 zo’n 15 000 en in VOCL99 zo’n 13 000. Dat is ontoelaatbaar en ook een veel slechter resultaat dan het geval is bij cohortonderzoek in het buitenland. Het is belangrijk dat in Nederland ernst wordt gemaakt met het aanpakken van non-respons. Dit geldt zowel voor de respons van scholen als voor individuen. Scholen zouden verplicht moeten worden om aan cruciale metingen, zoals VOCL en PISA medewerking te verlenen. Daarnaast moet veel meer tijd en aandacht besteed worden aan het reduceren van de non-respons van individuen. ... er is weinig zicht op de langetermijneffecten van het onderwijs Zoals in hoofdstuk 2 is aangeven moet de investering in onderwijs gezien worden in het licht van de langetermijnopbrengsten. In de monitoring van de kwaliteit van onderwijs richten we ons echter vooral op de kortetermijneffecten. Ook de data beperken zich vaak tot één fase binnen de onderwijsloopbaan. De koppeling van onderwijsgegevens aan het zogeheten Sociaal Statistisch Bestand van het CBS maakt het echter mogelijk om ook meer systematisch naar de langetermijnuitkomsten van het onderwijs te kijken. Nederland ontwikkelt dankzij de registers een goede data infrastructuur ... De data-infrastructuur in Nederland die op dit moment in Nederland wordt ontwikkeld, is bijzonder goed. Vooral de koppeling van cohortgegevens aan registerdata (onderwijsnummer) en het Sociaal Statistisch Bestand van het CBS biedt zeer goede mogelijkheden om kwalitatief hoogwaardige data te leveren. Terwijl het voor een goede vergelijking van cohorten cruciaal is dat iedere leerling wordt gevolgd, verdwijnen bij de bestaande cohorten leerlingen met een niet-reguliere onderwijsloopbaan vaak uit het panel en worden testen alleen afgenomen bij de leerlingen die niet zijn blijven zitten en niet van school zijn veranderd. Het gebruik van administratieve gegevens zou hierbij tot een verbetering kunnen leiden. De komst van het CohortOnderzoek OnderwijsLoopbanen, het zogenaamde COOL-cohort waarbij data over de loopbaan in het primair onderwijs wordt geïntegreerd met die van de loopbanen in het voortgezet onderwijs is in dit opzicht ook een stap in de goede richting. ... maar aanvullende data blijven noodzakelijk De ontwikkeling van het onderwijsregister betekent een belangrijke sprong voorwaarts in de data-infrastructuur. Maar men zal altijd aanvullende data nodig hebben (toetsgegevens; survey’s; inspectierapporten etc.) om een goed beeld te kunnen schetsen van de kwaliteit van het onderwijs. In het volgende hoofdstuk zullen we een voorbeeld geven van het type data dat idealiter verzameld zou moeten worden. Hiervoor is de medewerking van scholen onontbeerlijk. Het voorbeeld van de meting van PISA2000 maakt duidelijk hoe de kwaliteit van de gegevens staat of valt met de representativiteit van de data. Zoals aangegeven is het wenselijk dat de overheid medewerking aan bepaalde onderzoeken (bv. COOL en PISA) verplicht zou stellen. De frequentie van bepaalde gegevens is te laag Om duidelijk de effecten van beleidsveranderingen te kunnen onderscheiden van trendmatige ontwikkelingen en incidentele fluctuaties zouden metingen over de kwaliteit van het onderwijs een hogere frequentie moeten hebben. Overwogen zou kunnen worden om jaarlijks een onderwijscohort (geboortecohort) te volgen. Met de komst van het onderwijsnummer en de mogelijkheid om ook andere databronnen te gebruiken, zijn er interessante mogelijkheden ontstaan om een efficiënte manier te ontwikkelen om het onderwijs doorlopend te monitoren. Een uitgewerkte visie over het soort informatie dat verzameld moet worden is hierbij van groot belang. Omdat we in beginsel leerlingen over een zeer lange termijn kunnen volgen, bepaalt de informatie die we nu over leerlingen verzamelen de onderzoek- en analysemogelijkheden over 10 tot 20 jaar. Internationale studies zijn interessant maar niet voldoende Internationaal vergelijkende studies zijn op zichzelf interessant, maar kunnen slechts ten dele voorzien in de gegevens die nodig zijn om het Nederlandse onderwijs adequaat te monitoren. Opvallend is overigens dat de PISA-data van Nederland relatief weinig gebruikt zijn voor secundaire analyse. Het is belangrijk om analoog aan het programma dat is opgezet voor VOCL meer systematisch analyses te verrichten op deze data. Daarbij zou een vergelijking met buurlanden met vergelijkbare onderwijssystemen (Vlaanderen, deelstaten in Duitsland) wel eens interessanter kunnen zijn dan een vergelijking met onderwijssystemen die sterk afwijkend zijn. Experimentele variatie is nodig om effecten van onderwijs te kunnen vaststellen Zelfs gedetailleerde cohortdata kan in principe alleen gebruikt worden om ontwikkelingen in het onderwijs te volgen, maar niet om vast te stellen wat de cruciale factoren zijn die bepalend zijn voor de resultaten. Om vast te kunnen stellen wat het effect van bepaalde kenmerken van het onderwijssysteem is voor de ontwikkeling van leerlingen op de langere termijn is het nodig dat er exogene variatie bestaat binnen het onderwijs. Onderzoekers gebruiken hiervoor nu nog toevallige fluctuaties die zijn opgetreden in het onderwijs. Die toevallige fluctuaties hebben niet per definitie betrekking op de meest belangrijke factoren, waardoor de waarde ervan beperkt is. Om beter zicht te krijgen op de effecten die veranderingen in de opzet van het onderwijs zullen hebben voor de uitkomsten van het onderwijsproces is het nodig dat er gerandomiseerd verschillen worden aangebracht in het onderwijs dat leerlingen krijgen en de doorstroommogelijkheden die ze hebben. Deze manier van werken is in Nederland nog niet gebruikelijk, maar het besef van de waarde van goede kennis over het onderwijsproces neemt toe. Bovendien heeft Nederland ook een infrastructuur heeft waarmee een dergelijke aanpak mogelijk is. Voorzichtige stappen om mogelijkheden voor een dergelijke vernieuwende aanpak uit te proberen zouden een enorme stimulans kunnen betekenen voor het zicht op de kwaliteit van het onderwijs op de langere termijn en zouden Nederland ook een internationale voorsprong op dit terrein kunnen geven. Naar een simulatiemodel voor het onderwijs Van belang is hierbij wel dat duidelijk is waar potentieel grote winst in het onderwijs te behalen valt. Om na te gaan welke veranderingen in het onderwijs mogelijk tot grote verbeteringen kunnen leiden en zo ook vast te stellen voor welke aspecten experimentele randomisering van belang is, zou de beschikbare kennis – zowel psychologisch, onderwijskundig als economisch/sociologisch – bijeen moeten worden gebracht in een model dat de kennisontwikkeling van leerlingen en hun doorstroom door het onderwijs simuleert. Een dergelijk model zou ook gebruikt kunnen worden om voorgestelde veranderingen in het onderwijs door te rekenen op mogelijke effecten, vergelijkbaar met de CPB-modellen voor de economie. 7.2 De effecten van de onderwijsvernieuwingen Wat zijn de algemene conclusies die we kunnen trekken uit de analyses van de loopbanen in het voortgezet onderwijs en wat zijn de meer specifieke conclusies over de effecten van basisvorming, VMBO en de tweede fase? Geen zicht op afzonderlijke onderdelen van een verandering Voor alle drie de besproken onderwijsveranderingen geldt dat het hier ging om een cluster van maatregelen waarvan de analyses alleen het totaalresultaat in beeld hebben gebracht. Van belang hierbij is dat er doorgaans sprake is van een mix van pedagogische vernieuwingen en basale verschuivingen in de inputs in het onderwijsproces en de regels voor verblijfsduur of bekostiging. Als we al kunnen vaststellen dat er een effect is, weten we niet welk aspect van de verandering dit veroorzaakt heeft. Onderwijsvernieuwingen zijn vaak minder belangrijk dan trendmatige ontwikkelingen In het algemeen zijn de effecten die gerelateerd zijn aan de invoering van bepaalde onderwijsvernieuwingen niet erg sterk. Meestal zijn de trendmatige ontwikkelingen belangrijker en wordt die ontwikkeling door de invoering van een onderwijsvernieuwing ook niet doorbroken. Onderwijsvernieuwingen hebben vaak niet-bedoelde effecten die wellicht groter zijn dan de bedoelde effecten Elke maatregel – dat is voor een onderwijsmaatregel niet anders – heeft bedoelde en niet-bedoelde effecten. Terwijl in het beleid en in de evaluatie daarvan de bedoelde effecten meestal voorop staan, zijn soms de niet-bedoelde effecten veel belangrijker. In ons onderzoek hebben we daarvan verschillende voorbeelden gezien. Zo was de invoering van de tweede fase gericht op de verbetering van de aansluiting naar het hoger onderwijs, maar had als onbedoeld effect dat de doorstroom binnen het voortgezet onderwijs (van MAVO naar HAVO en van HAVO naar VWO) zeer sterk daalde. Dit versterkte de tweedeling tussen HAVO/VWO enerzijds en VBO/MAVO anderzijds. Deze tweedeling werd onverwacht met de komst van het VMBO weer enigszins doorbroken. Dit was onverwacht omdat juist de invoering van het VMBO met haar sterke gerichtheid op de leerwegen binnen het VMBO en de aansluiting naar het MBO deze tweedeling nog verder had kunnen versterken. Er is meer bekend over de effecten van onderwijsvernieuwingen dan over de effecten van andere bestuurlijke maatregelen, alhoewel de laatste wellicht belangrijker zijn Er is al betrekkelijk veel onderzoek verricht naar de effecten van onderwijsvernieuwingen. Zowel de basisvorming als de invoering van de tweede fase zijn onderwerp geweest van uitgebreide evaluatiestudies en ook over de invoering van het VMBO was al veel bekend. Daar steekt de kennis over de effecten van andere bestuurlijke maatregelen mager bij af. Toch kunnen deze wel eens veel verstrekkender zijn dan de inhoudelijke vernieuwingen. Zo weten we eigenlijk niet wat het effect is geweest van de beperking van de maximale verblijfsduur in het voortgezet onderwijs op het aantal leerlingen dat gedwongen de school moet verlaten, terwijl we wel evaluaties uitvoeren naar de effectiviteit van maatregelen om deze drop-outs vervolgens weer aan een startkwalificatie te helpen. Evenmin hebben we zicht op het effect van de verandering in het aantal teldata (van drie naar één per jaar) voor de bekostiging van leerlingen op het toelatingsbeleid van scholen voor voortgezet onderwijs, terwijl we wel evaluatiestudies uitvoeren naar de effecten van heterogeen groeperen. De deelname aan het HAVO blijft achter bij wat op grond van de verdeling van adviezen verwacht zou mogen worden Een algemene bevinding uit het onderzoek is dat de deelname aan het HAVO sterk achter blijft. Uitgaande van een normaalverdeling van cognitieve prestaties zou men verwachten dat de twee schooltypen in het midden (HAVO en TL/GL) de meeste leerlingen zouden trekken. Ook als we kijken naar de verdeling van diploma’s in het vervolgonderwijs en de relatieve omvang daarbij van het HBO in ogenschouw nemen, lijkt de omvang van het HAVO onvoldoende te zijn. Wil Nederland de Lissabon-doelstelling halen van 50% hoger opgeleiden, dan moet daarvoor voldoende basis gegenereerd worden in het voortgezet onderwijs. Daarvoor zou de doorstroom naar HAVO aanzienlijk verhoogd moeten worden. Geen eenduidige conclusies over de effecten van de basisvorming op het peil van het jeugdonderwijs Een van de doelstellingen van de basisvorming was om het peil van het jeugdonderwijs te verhogen. Het beeld hierover is wisselend. Aan de ene kant is het gemiddelde opleidingsniveau gestegen en het rendement in de onderbouw verbeterd: er stromen meer leerlingen door naar HAVO en VWO en het zittenblijven is verminderd, maar beide ontwikkelingen zijn eerder trendmatig dan een effect van de basisvorming. Aan de andere kant kunnen we geen harde conclusie trekken of het kennispeil met betrekking tot tekstbegrip en wiskunde veranderd is. Wel kunnen we constateren dat de basisvorming er niet in is geslaagd om het niveau in de algemene vakken aan de onderkant op te krikken, want het verschil in kennisniveau tussen de HAVO/VWO leerlingen enerzijds en de VBO/MAVO/VMBO leerlingen anderzijds is niet kleiner geworden. Basisvorming heeft niet geleid tot een latere determinatie Een belangrijke doelstelling van de basisvorming was om de keuze voor een opleidingsniveau binnen het voortgezet onderwijs uit te stellen en daarmee minder afhankelijk te maken van kenmerken waarover de leerling beschikt aan het eind van de basisschool. We kunnen constateren dat het percentage leerlingen dat in een categorale brugklas terechtkomt sterk is afgenomen, waardoor schijnbaar de selectie op een later moment plaatsvindt. Maar tegelijkertijd is de feitelijke schoolloopbaan in het voortgezet onderwijs nog net zo afhankelijk van de prestaties aan het eind van de basisschool, waarbij de CITO-score relatief in gewicht toeneemt. Er is ook geen sprake van een afname van het effect van het opleidingsniveau van de ouders. De selectie die bij de aanvang van het voortgezet onderwijs plaatsvindt, is in hoge mate bepalend voor de verdere loopbaan en er zijn weinig mogelijkheden voor herstel van foutieve selectie (door doorstroom, op- en afstroom) en evenmin weinig mogelijkheden voor zogenoemde «laatbloeiers». De modernisering die beoogd werd door de basisvorming is niet van de grond gekomen Ten aanzien van de modernisering van het onderwijs baseren we ons volledig op de conclusies van de onderwijsinspectie naar aanleiding van de evaluatie van de basisvorming in 1999 (Inspectie van het Onderwijs, 1999). Deze concludeerde dat de basisvorming weliswaar in technische zin is ingevoerd, maar dat dit niet heeft geleid tot modernisering van het onderwijsprogramma. Er zijn bovendien grote verschillen in kwaliteit tussen scholen en er is sprake van een versnipperd aanbod. Ten aanzien van de kerndoelen concludeert de Inspectie dat veel kerndoelen wel aan bod komen, maar veelal oppervlakkig en dat de voorgestelde vaardigheidsdoelen nauwelijks worden gehaald. Invoering van VMBO redelijk succesvol ... De introductie van het VMBO is op een aantal punten redelijk succesvol. Er blijven minder leerlingen zitten, er lijken minder leerlingen zonder diploma uit te stromen en er stromen meer leerlingen door naar vervolgonderwijs. Binnen het MBO kiezen de VMBO-ers ook voor hogere richtingen. Onverwacht is de verbeterde doorstroom naar het HAVO, waardoor de invoering van het VMBO de kloof met het HAVO die ontstond door de invoering van de tweede fase weer enigszins dichtte. Er is geen effect op het oordeel van de schoolverlaters op de aansluiting tussen de gevolgde opleiding en de vervolgopleiding. ... maar leidde wel tot een lichte verschuiving van de TL/GL naar BL/KL De invoering van het VMBO heeft er aanvankelijk toe geleid dat meer leerlingen in de BL en de KL terecht zijn gekomen en minder in de TL en de GL. In oude termen heeft er dus een lichte verschuiving van MAVO naar VBO plaatsgevonden. Dit zou het gevolg kunnen zijn van het gezamenlijk onderwijsprogramma in de eerste twee jaar van het VMBO, waardoor leerlingen die qua niveau tussen beide typen inzitten net te weinig worden uitgedaagd om het hogere niveau te kiezen. Door de trendmatige groei van MAVO-VMBO-TL/GL is deze verschuiving na een aantal jaren weer hersteld. Invoering van tweede fase leidt tot verschuiving in leerlingstromen bij aantal gediplomeerden bij HAVO en VWO ... Na de invoering van de tweede fase is het aantal gediplomeerden van HAVO en VWO gedaald, door de afgenomen instroom uit respectievelijk MAVO en HAVO. Bij het VWO herstelt het aantal leerlingen zich weer als gevolg van de toename van de populariteit van dit schooltype in de onderbouw, maar bij het HAVO blijft het aantal leerlingen achter vergeleken met de situatie vóór invoering van de tweede fase. ... bij de keuze van exacte vakken ... De keuze voor exacte vakken (Natuur & Techniek) lijkt door invoering van de profielen te zijn afgenomen, met name bij het VWO (en dan vooral onder meisjes). Dit verkleint het potentiële reservoir voor technische studies in het WO. Het is echter moeilijk om een strikte vergelijking te maken tussen de situatie vóór en ná invoering van de profielstructuur. ... en bij de doorstroom na diplomering Door de invoering van de tweede fase is de doorstroom van HAVO-gediplomeerden naar VWO en van MAVO naar HAVO zeer sterk gedaald. Daarnaast neemt de doorstroom volgens de «Koninklijke route» toe. Havisten gaan meer naar het HBO en Vwo-ers meer naar het WO. Bij het HAVO is dit een gevolg van een trendmatige ontwikkeling, bij het VWO lijkt sprake van een samenhang met de invoering van de tweede fase. Geen direct effect van invoering tweede fase op het interne rendement van HAVO/VWO of het externe rendement in het hoger onderwijs Het zittenblijven in het derde leerjaar is toegenomen (HAVO) of constant gebleven (VWO), terwijl het zittenblijven in de latere leerjaren afneemt, maar in alle gevallen gaat het om een trendmatige ontwikkeling zonder relatie met de invoering van de tweede fase. Het percentage studenten dat de norm haalt voor de prestatiebeurs in het hoger onderwijs blijkt te zijn gedaald, maar ook hier is geen relatie met de invoering van de tweede fase. Wel effecten op de discrepantie tussen schoolexamen en centraal examen De invoering van de tweede fase lijkt de discrepantie tussen schoolexamen en centraal examen versterkt te hebben. Het gemiddelde cijfer voor de schoolexamens ligt systematisch hoger dan het gemiddelde cijfer voor het centrale examen. Het problematische daarvan is dat sommige scholen systematisch hogere beoordelingen geven dan andere scholen waardoor de gelijkwaardigheid en geloofwaardigheid van diploma’s afneemt. Met name particuliere instellingen laten grote discrepanties zien. Aangezien de gemiddelde cijfers een belangrijke rol spelen bij de toelating tot studies via loting is dit een ontoelaatbare ontwikkeling die de legitimiteit van de huidige toelatingsprocedures aantast. Het is belangrijk dat dit op korte termijn wordt aangepast. Geen effect tweede fase op de oordelen over de aansluiting We zien geen effect van de invoering van de tweede fase op het oordeel van de schoolverlaters over de aansluiting tussen de HAVO/VWO-opleiding en de vervolgopleiding. Wel blijken na invoering van de tweede fase minder schoolverlaters spijt te hebben van de keuze van een vervolgopleiding, althans onder degenen die naar het HBO zijn gegaan. Wel effecten op de oordelen over competenties ... Schoolverlaters van HAVO en VWO zijn positiever gaan oordelen over hun eigen niveau van zelfstandig werken en computervaardigheden en minder positief over hun rekenvaardigheden. Deze veranderingen lijken voor het HAVO samen te hangen met de invoering van de tweede fase, maar bij het VWO komt de verandering eigenlijk één jaar te vroeg. De geconstateerde veranderingen komen wel grosso modo overeen met de opinies van opleiders in het HO die positief zijn over een aantal algemene vaardigheden, maar negatief over het niveau van specifieke kennis en vaardigheden. ... en op de prestaties, maar het maakt uit hoe het studiehuis wordt ingevuld De introductie van het studiehuis heeft een effect op de feitelijke prestaties en ook op de oordelen over de verworven competenties van leerlingen, maar het maakt uit hoe men het studiehuis heeft ingevuld. Door de introductie van het studiehuis heeft veelal een verschuiving plaatsgevonden van instructie-uren naar begeleidingsuren en zelfstudie-uren, maar scholen verschillen aanzienlijk in de verdeling hiervan. In het VWO heeft een grotere nadruk op begeleidingsuren een positief effect, zowel op een aantal examenresultaten als op het oordeel over een aantal vaardigheden. Zelfstudie-uren daarentegen blijken juist een negatief effect te hebben. Voor het HAVO zijn de effecten veel kleiner, maar wijzen ze wel in dezelfde richting. Het negatieve effect van zelfstudie-uren wordt waarschijnlijk veroorzaakt omdat men tijdens zelfstudie-uren het huiswerk wordt gemaakt dat men anders thuis zou maken. Er zijn duidelijke aanwijzingen dat de totale hoeveelheid tijd dat men thuis aan het huiswerk besteed is afgenomen. Het gevolg daarvan is dat de totale studietijd afneemt en dus ook de prestaties. Het is daarom van belang om de feitelijke invulling van uren goed te laten monitoren door de onderwijsinspectie, vooral wanneer dit zelfstudie-uren betreft. Nederlandse leerlingen scoren goed in internationaal vergelijkend onderzoek, maar er zijn ook kanttekeningen De positie van het Nederlandse onderwijs in internationaal vergelijkende testen is over het algemeen vrij goed. Een vergelijking tussen 2006 en 2003 lijkt op een daling van het niveau van het Nederlandse onderwijs te wijzen, maar het verschil is nog te klein om als significant te worden aangemerkt. Er zijn echter argumenten die het belang van deze vergelijkingen als indicator voor de kwaliteit van het onderwijs relativeren. Uitkomsten kunnen sterk verschillen tussen in principe vergelijkbare studies en de resultaten zijn erg gevoelig voor problemen bij het samenstellen van de steekproef. Juist Nederland is er door de internationale organisaties die de internationaal vergelijkende testen organiseren vaak op gewezen dat de steekproef een te lage kwaliteit heeft. Een hogere bereidheid van scholen om deel te nemen aan het onderzoek of een verplichting daartoe zou de kwaliteit van deze maatstaven daarom zeker ten goede komen. Door internationale tests met een onveranderde opzet regelmatig te herhalen ontstaat een beeld over de ontwikkelingen in de tijd. De periodieke herhaling van PISA is daarom een waardevolle aanvulling voor de beschikbare gegevens over het onderwijs. 8 EEN VOORSTEL VOOR EEN AANPAK VOOR HET METEN VAN KWALITEIT 8.1 Inleiding In hoofdstuk 2 is een heuristisch kader geschetst over de kwaliteit van het onderwijs. Daarbij kwam naar voren dat het van belang is om zowel naar de doeltreffendheid van het onderwijs te kijken (vervult het onderwijs de functies die haar toegeschreven worden?) als naar de doelmatigheid (de efficiëntie waarmee die functies worden vervuld). Voor elk aspect van doeltreffendheid kan gekeken worden naar de doelmatigheid. Om verschillende redenen is het niet erg zinvol om te proberen de kwaliteit van het onderwijs in één overkoepelend cijfer te vangen: 1. Misschien wel het belangrijkste probleem is dat het niet erg duidelijk is wat er met een dergelijk cijfer wordt bedoeld. Zoals aangegeven is het zinvol om naar verschillende aspecten van doeltreffendheid en doelmatigheid te kijken. Tegengestelde ontwikkelingen in deze onderliggende aspecten gaan verloren wanneer deze geaggregeerd worden tot één cijfer. 2. De interpretatie van één cijfer is lastig omdat de verschillende deelaspecten niet onafhankelijk van elkaar zijn. Dit is het duidelijkst wanneer we kijken naar de relatie tussen de doeltreffendheid van een functie en de doelmatigheid ervan. In de regel zal er sprake zijn van afnemende meeropbrengsten, waardoor een hogere doeltreffendheid gepaard gaat met steeds geringere doelmatigheid. Zo kunnen de competenties van leerlingen wel steeds verder worden verhoogd, maar dat zal steeds meer instructiekosten met zich mee brengen. Op een gegeven moment zullen de marginale kosten van deze instructiekosten hoger zijn dan de marginale opbrengsten in termen van verhoogde competenties en zal de doelmatigheid omlaag gaan. Ook de betrouwbaarheid van de selectie kan niet eindeloos worden verhoogd zonder dat dit gevolgen heeft voor bijvoorbeeld het interne rendement. Het gaat er dus vaak om een goede balans te vinden tussen de verschillende aspecten. Evenwichtigheid is daarbij vaak te prefereren boven extreem hoge scores op het ene aspect en extreem lage scores op het andere aspect. 3. Sommige aspecten zijn belangrijker dan andere. Zo kan de kwalificatiefunctie van het onderwijs beschouwd worden als de conditio sine qua non. Het heeft weinig zin om naar de selectieof allocatiefunctie van het onderwijs te kijken als de competenties waarop selectie of allocatie plaatsvindt niet zijn bijgebracht. Ook heeft het weinig zin om naar de doelmatigheid van een functie te kijken als deze niet doeltreffend is (de wet van de verminderde meeropbrengsten leert dat in het onderwijs met een geringe investering de competenties van een zeer laag tot een iets minder laag niveau kunnen worden gebracht, maar dit hoge leerrendement compenseert de lage kwaliteit niet). 4. Op sommige aspecten heeft het onderwijs meer invloed dan op andere. Vooral voor de allocatie en het externe rendement geldt dat factoren in het vervolgonderwijs of op de arbeidsmarkt medebepalend zijn voor succes. Deze externe factoren zijn zelfs misschien wel belangrijker dan de kwaliteit van het aanleverende onderwijs. Het heeft dan ook weinig zin om het onderwijs op deze factoren af te rekenen, hoewel het wel belangrijk blijft om deze aspecten te meten. Er is nog een ander probleem. Voor veel uitkomsten van het onderwijs geldt dat deze in belangrijke mate bepaald worden door de input in het onderwijs. Zoals in hoofdstuk 2 al is aangegeven, leren leerlingen niet alleen op school, maar wordt hun ontwikkeling ook in hoge mate beïnvloed door de thuissituatie en invloeden uit hun omgeving. Deze invloed houdt niet op wanneer de leerlingen naar school gaan. Daarnaast is de tijdsbesteding op school een belangrijke factor om de eindresultaten van het onderwijs te kunnen duiden. Bij de monitoring van de kwaliteit van het onderwijs zou men daarom niet alleen zicht willen hebben op de eindopbrengsten van het onderwijs, maar zou men ook zicht willen hebben op de toegevoegde waarde van het onderwijs. Hiervoor is het nodig om gegevens te verzamelen over de inputkarakteristieken van de leerlingen en over de kenmerken van het onderwijsproces. Dergelijke gegevens bieden de mogelijkheid om de toegevoegde waarde van het onderwijs vast te stellen en zijn ook een belangrijke bron voor analyses van oorzaken van veranderingen in het eindniveau en verschillen in prestaties tussen leerlingen. Zowel de ongecontroleerde als de gecontroleerde cijfers zijn beleidsmatig interessant. Het eerste geeft aan wat de feitelijke staat van de opbrengsten van het formele en het informele (verzorgd door thuissituatie, buitenschoolse activiteiten etc.) onderwijs is en zegt iets over de prestaties van leerlingen. Het tweede geeft aan hoe goed het onderwijs erin geslaagd is om een groep van een bepaalde samenstelling verder te brengen en zegt wellicht meer over de prestaties van de docenten. Idealiter zou over elk van de onderscheiden functies en aspecten indicatoren verzameld moeten worden. De te ontwikkelen indicatoren moeten aan een aantal voorwaarden voldoen: 1. Het stelsel van indicatoren moet dekkend zijn voor de verschillende aspecten waarop de kwaliteitsbeoordeling plaatsvindt. 2. De indicatoren dienen valide en betrouwbaar te kunnen worden vastgesteld. 3. De indicatoren dienen jaarlijks verzameld te kunnen worden, zodat de ontwikkeling van verschillende kwaliteitsaspecten goed gevolgd kan worden. 4. Voor elk aspect dienen bij voorkeur meerdere indicatoren beschikbaar te zijn om de robuustheid te bevorderen. 5. De indicatoren dienen waar mogelijk ontleend te worden aan de huidige registers of tegen relatief lage kosten verzameld te kunnen worden om de administratieve last voor de instellingen niet onnodig hoog te maken. Overigens geldt ook hier dat de kosten van dataverzameling hoger mogen zijn wanneer de marginale opbrengsten in termen van verbeterde onderwijskwaliteit ook hoger zijn. In de volgende paragraaf geven we een overzicht van de indicatoren die voor een dergelijk indicatorenstelsel voor de monitoring van de kwaliteit van het voortgezet onderwijs van belang zijn. Naast adequate indicatoren die nodig zijn om de ontwikkelingen in de kwaliteit van het onderwijs te kunnen monitoren is het ook van belang om vast te kunnen stellen wat de oorzaak van bepaalde ontwikkelingen is en om een beeld te krijgen welke aanpassingen in het onderwijs tot een verbetering van het resultaat zouden kunnen leiden. De beoogde effecten van onderwijs spelen zich af op een zeer lange termijn. Om een beter beeld te kunnen krijgen over de samenhang tussen investeringen in een bepaalde fase van het onderwijs en de effecten die dit heeft gedurende de verdere onderwijsloopbaan en nadat mensen de school hebben verlaten zijn longitudinale gegevens van groot belang. Het CBS heeft met het Sociaal Statistische Bestand in Nederland een faciliteit gecreëerd waarmee gegevens uit verschillende bronnen over een lange termijn aan elkaar gerelateerd kunnen worden. Hiermee kan het probleem van paneluitval voor een groot deel worden vermeden. Deze faciliteit is van groot belang voor de monitoring van het onderwijs. Cruciaal is wel dat tijdig wordt nagedacht welke gegevens over het onderwijs verzameld en bewaard zouden moeten worden om later gerelateerd te kunnen worden aan uitkomsten van het onderwijsproces. Als nu de juiste gegevens worden bewaard, dan beschikt Nederland over 10 tot 20 jaar over unieke gegevens om ook de langetermijneffecten van onderwijs te kunnen analyseren. Er is de laatste tijd steeds meer aandacht voor «evidence based education». Het idee hierbij is dat op basis van experimenteel onderzoek een beter beeld kan ontstaan over de mogelijkheden om het onderwijs te verbeteren. Er bestaan grote verschillen in de inrichting van het onderwijs tussen landen, maar doordat er geen informatie is over de causale verbanden in het onderwijs beschikken we niet over de mogelijkheid systematisch te werken aan een verbetering van het onderwijssysteem. Het idee van «evidence based education» dat dit alleen goed kan door experimentele variatie in het onderwijs te bestuderen is in beginsel juist, maar een volledige implementatie ervan is niet mogelijk omdat aan de voorwaarden van dubbelblind onderzoek niet voldaan kan worden. Wel is het mogelijk om door verdere ontwikkeling van experimentele methodes meer inzicht te verwerven in de werking van het onderwijs. Onderzoekers hebben causale effecten van het onderwijs geanalyseerd door op zoek te gaan naar toevalligheden in het onderwijsproces die beschouwd kunnen worden als een gerandomiseerd experiment. Dit heeft tot interessante en robuuste bevindingen geleid over het onderwijs, maar het probleem is dat de aspecten van het onderwijs waarvoor deze toevalligheden gevonden worden, vaak niet de aspecten zijn waarvoor vanuit het onderwijsbeleid de grootste prioriteit ligt om betere informatie te krijgen. Andere onderzoekers zijn in het onderwijs relatief kleinschalige experimenten op gaan zetten. Deze hebben doorgaans betrekking op veranderingen in de didactische aanpak van een leraar. Hoewel deze experimenten hun waarde kunnen hebben, blijven hiermee nog steeds de hoofdkenmerken van de inrichting van het onderwijs, waarbij juist de effecten op langere termijn centraal staan, buiten beeld. Sommige betrokkenen zijn van oordeel dat onderwijshervormingen zoals die in dit rapport beschreven zijn, altijd gestart dienen te worden met een experiment. Zoals we al eerder hebben opgemerkt is het nadeel hiervan dat onderwijshervormingen doorgaans betrekking hebben op een aantal simultane wijzingen in het onderwijs. Een klassiek experiment waarbij een groep leerlingen de nieuwe aanpak wel krijgt en een andere groep leerlingen deze aanpak niet krijgt, leidt alleen tot informatie over de veranderingen die dit geheel aan maatregelen met zich meebrengt. Na afloop van een experiment alles bij het oude laten is vaak geen optie. Een interessantere aanpak zou zijn om met betrekking tot een aantal fundamentele vragen over de inrichting van het onderwijs, op basis van randomisatie, variatie aan te gaan brengen in de aangeboden onderwijsvorm. Voorbeelden hiervan zijn het variëren van het aantal begeleidingsuren of zelfstudie-uren in het studiehuis, het in een gezamenlijke brugklas plaatsen van VMBO-leerlingen die een goede kans hebben om alsnog naar het HAVO door te stromen, of het vergroten van het aantal contacturen in het wiskundeonderwijs om daarmee de performance van leerlingen verder te verbeteren. De effecten van maatregelen in het onderwijs kunnen onderling samenhangen. Als leerlingen in de onderbouw worden voorbereid op zelfstudie, zou meer zelfstudie in de bovenbouw een gunstiger effect kunnen hebben. Opzichzelfstaande experimenten brengen daarom alleen aan het licht wat het effect is van een bepaalde vernieuwing gegeven de ontwikkeling van kennis en persoonlijkheid die kinderen hebben doorgemaakt in het bestaande onderwijs. Alleen als verschillen in het onderwijs aan leerlingen (deels) worden gerandomiseerd, kan ook eenduidig worden vastgesteld wat het effect van de maatregelen op het studiesucces van leerlingen is. De statistische technieken die hierbij gehanteerd worden maken het niet nodig dat de opzet van het onderwijs volledig door het experiment wordt vastgelegd. Een vergroting van de stimulans aan sommige scholen om een dergelijke verandering door te voeren kan al genoeg zijn om de effecten vast te kunnen stellen. Door een aanpak te ontwikkelingen waarmee zinvolle variaties in het onderwijs worden aangebracht, kan de kennis over wat er toe doet in het onderwijs in Nederland aanzienlijk worden uitgebreid en kan systematisch naar verbeteringen in het Nederlandse onderwijs worden gezocht. Voor een grondige analyse van ontwikkelingen in de het onderwijs is ook de academische discussie van groot belang. Voorkomen dient daarom te worden dat instanties die data over het onderwijs verzamelen, als enige toegang tot deze informatie hebben voor onderzoek. 8.2 Wat voor informatie zou systematisch verzameld moeten worden? In deze paragraaf willen we aangeven wat voor type informatie verzameld zou kunnen worden om de kwaliteit van het onderwijs te monitoren. Tabel 8.1 geeft hiervan een samenvattend overzicht. Nadrukkelijk willen we dit als voorbeelden presenteren. De lijst zou moeiteloos uitgebreid kunnen worden met andere indicatoren. Het overzicht is bedoeld voor indicatoren die de kwaliteit van het onderwijs op geaggregeerd niveau in beeld brengen. Als een vergelijkbaar systeem gebruikt zou worden om afzonderlijke scholen te beoordelen, moet er voor gewaakt worden dat indicatoren geen strategisch gedrag van scholen uitlokken. Een manier om dergelijke risico’s te verkleinen is om altijd meerdere indicatoren te gebruiken, een subjectieve overall-beoordeling van scholen te blijven maken en met enige regelmaat ook andere indicatoren te nemen. Het schema volgt het heuristische kader, maar voegt daar nog twee elementen aan toe. Naast indicatoren die de kwaliteit van de output (prestaties) en outcomes (opbrengsten) van het onderwijs meten (zoals die centraal staan in het heuristisch kader) zou men ook meer zicht willen hebben op de input- en de proceskarakteristieken. Hiervoor worden ook indicatoren opgenomen. Tabel 8.1 Indicatorenstelsel Aspect Indicator Bron Kwalificatie 1. Gemiddelde score op de subtesten van de NOT 2. Gemiddelde score op subtesten PISA 3. Examenresultaten 4. Bereikte opleidingsniveau 5. Oordeel schoolverlaters of opleiding voldoende basis bood om te starten met vervolgopleiding, om te starten op de arbeidsmarkt en om kennis en vaardigheden verder te ontwikkelen 1. NOT 2. PISA 3. Inspectie 4. Onderwijsregister 5. ROA Leerrendement 6. Ontwikkeling in testscores tussen eind basisonderwijs en eind VO 7. Toegevoegde waarde van scholen in leerrendement 8. Gerealiseerde cumulatieve instructietijd 9. Totale kosten per uitgereikt diploma en per studie-uitvaller 10. Gerealiseerd onderwijsniveau gegeven het basisschooladvies 6. NOT en PPON 7. VOCL/COOL 8. Inspectie 9. CFI 10. Onderwijsregister Selectie 11. Afwijking CE-SE 12. Voorspellende waarde CE/SE voor rendement vervolgonderwijs 13. Oordeel schoolverlaters over moeilijkheidsgraad en selectiviteit van de opleiding. 14. hoogst behaald onderwijsniveau in het VO, voortijdig schoolverlaten, zittenblijven of afstroom naar risicogroep. 11. Inspectie 12. Onderwijsregister/inspectie of ROA 13. ROA  14. VOCL/COOL of onderwijsregister Intern rendement 15. Percentage instroomgeneratie dat diploma behaalt. 16. Gemiddelde verblijfsduur gediplomeerden 17. Gemiddelde verblijfsduur ongediplomeerden 18. Diplomaefficiëntie 19. Percentage ongediplomeerde uitstroom uit onderwijs 15. Onderwijsregister 16. idem 17. idem 18. idem 19. idem Allocatie 20. Aansluiting vervolgopleiding naar niveau en richting (indien van toepassing). 21. Percentage studiewisselaars vervolgopleiding. 22. Oordeel schoolverlaters over aansluiting opleiding-vervolgonderwijs 23. Aansluiting baan naar niveau en richting. 24. Percentage schoolverlaters op zoek naar andere baan 25. Oordeel schoolverlaters over aansluiting opleiding-werk 26. Oordeel schoolverlaters over studie- en beroepskeuzevoorlichting en -begeleiding. 20. Onderwijsregister  21. idem 22. ROA 23. idem 24. idem 25. idem 26. idem Extern rendement 27. Percentage studiestakers 28. Percentage bevorderd naar tweede leerjaar 29. Aantal studiepunten/gehaalde vakken in eerste jaar 30. Percentage werkloos. 31. Bruto uurloon 27. Onderwijsregister 28. Onderwijsregister/ROA 29. ROA 30. CBS/ROA 31. idem Input 32. Achtergrond kenmerken leerlingen en ouders 33. Klassegrootte 34. Tijdsbesteding op school 32. Onderwijsregister of VOCL/COOL 33. CFI 34. Inspectie Proces 35. Percentage scholen dat een onvoldoende scoort op de kwaliteitskenmerken 35. Inspectie Kwalificatiefunctie Ad 1. De harde kern zou moeten worden gevormd door een test op bepaalde leeftijden en aan het einde van het voortgezet onderwijs: de Nationale Onderwijstest (NOT). Net als de Periodieke Peiling van het Onderwijsniveau (PPON) die het CITO uitvoert in het basisonderwijs gaat het erom vast te stellen wat het feitelijke niveau is van kennis of vaardigheden van leerlingen in specifieke domeinen: bijvoorbeeld Nederlands, Engels, Wiskunde, Natuur (Natuurkunde, Scheikunde, Biologie) en Maatschappij (Geschiedenis, Aardrijkskunde, Economie, Maatschappijleer). Daarbij is wel van belang dat de testitems door de jaren vergelijkbaar zijn. Zoals eerder aangegeven zijn de centrale examens hiervoor minder geschikt. Hoewel ze sinds 2000 op basis van een referentie-examen geëquivaleerd worden, is de vergelijkbaarheid tussen de jaren en tussen de schooltypen gering door het gebruik van verschillende toetsen. Idealiter zou men een met PISA vergelijkbare test willen hebben waarvan de scores ook tussen onderwijstypen vergeleken kunnen worden. Voor elk domein zou een testbank met een groot aantal items ontwikkeld moeten worden die in principe elk jaar wordt afgenomen. Daarnaast kan men ervoor kiezen om jaarlijks ook nieuwe items toe te voegen om recht te doen aan nieuwe ontwikkelingen in het curriculum. Door met een groot aantal items te werken kan elk domein goed afgedekt worden en kan er ook niet voor de test geoefend worden, waardoor fraude geminimaliseerd wordt. Om de leerlingen zo min mogelijk te hoeven belasten, krijgt elke leerling slechts een deel van de toets (met random toewijzing van vragen). Door veel leerlingen ieder een deel van de toets te laten invullen, kan niettemin een groot bereik worden gerealiseerd. Om de scholen zo min mogelijk te belasten zou de toetsing via internet kunnen plaatsvinden. Scholen krijgen bijvoorbeeld een lijst met geselecteerde leerlingen die in een bepaalde week aan de test moeten meedoen. De geselecteerde leerlingen kunnen met een wachtwoord naar de internet site van de testorganisatie. De test zou zowel kennis- als vaardigheidsaspecten moeten meten. Naast de test dienen de leerlingen een aantal aanvullende vragen te beantwoorden zoals de samenstelling van het vakkenpakket, zodat bij de interpretatie van de uitslagen eventueel ook gedifferentieerd kan worden tussen leerlingen die een bepaald vak wel en degenen die een vak niet hebben gevolgd. Door zowel leerlingen op leeftijd te selecteren als leerlingen aan het einde van het voortgezet onderwijs op te nemen, ontstaat zowel een beeld van de jaarlijkse voortgang van leerlingen als van het bereikte eindresultaat. De totale testtijd per leerling zou niet langer dan een half uur hoeven te bedragen. Hoewel een kortere testtijd in principe ook kan volstaan, lijkt een testtijd van rond de 25–30 minuten beter omdat het dan ook zinvoller wordt om leerlingen feedback te geven over hun eigen testresultaten. Dit bevordert de bereidheid om aan het onderzoek mee te werken. Ook aan de scholen kan feedback worden gegeven over de resultaten van hun leerlingen, waardoor ze inzicht krijgen in de relatieve positie van de school ten opzichte van andere scholen. Ad 2. Naast de nationale testen, blijft het van belang om te participeren in internationaal vergelijkend onderzoek. De PISA studies bieden in beginsel een belangrijke mogelijkheid tot internationale benchmarking. Zoals eerder opgemerkt is het wel van belang om de deelname van scholen dwingender voor te schrijven om op die manier representativiteit te garanderen. Ad 3 en 4. Naast het gerealiseerde competentieniveau zijn de resultaten van eindexamens en behaalde diploma’s van belang om vast te kunnen stellen wat het gerealiseerde onderwijsniveau is en hoe zich dit ontwikkelt. Ad 5. Ook de schoolverlatersonderzoeken van het ROA leveren belangrijke informatie over de voorbereiding van leerlingen op de doorstroom naar vervolgonderwijs of arbeidsmarkt. Deze hebben weliswaar een subjectiever karakter, maar geven wel inzicht in hoeverre de schoolverlaters zelf van mening zijn dat hun opleiding een voldoende basis vormt om te starten met een vervolgopleiding, te starten op de arbeidsmarkt, of kennis en vaardigheden verder te ontwikkelen. Leerrendement Ad 6. Om het leerrendement te bepalen is het nodig om de competenties waarover de leerlingen beschikken aan het eind van het voortgezet onderwijs af te zetten tegen het beginniveau. Het leerrendement wordt immers bepaald als de groei in kennis afgezet tegen de totale instructietijd. Het is daarom zinvol om de toetsen die gebruikt worden om het onderwijspeil te meten aan het eind van het basisonderwijs (PPON) en het voortgezet onderwijs (NOT) goed op elkaar af te stemmen, zodat in ieder geval een deel van de testen onderlinge vergelijkbaarheid toelaat. Ad 7. Meer specifieke informatie over de toegevoegde waarde van het onderwijs is mogelijk op basis van de onderwijscohorten (VOCL, tegenwoordig COOL). Het ministerie van OCW is in overleg om stelselindicatoren te ontwikkelen op basis van COOL voor de leerwinst over de hele periode van 4–18 jaar (Peschar, 2007). Om ontwikkelingen goed te kunnen volgen en om trends te kunnen onderscheiden van breuken als gevolg van onderwijsveranderingen, zou het wenselijk zijn als jaarlijks een cohortstudie zou worden gestart. Op basis van deze indicatoren kan de leerwinst worden geschat zodat de toegevoegde waarde van het onderwijs kan worden vastgesteld. Ook bieden de cohorten de mogelijkheid om gegevens te verzamelen over de inputs in het onderwijsproces, zowel op school als in de thuissituatie. Om de kwaliteit van een cohortstudie te garanderen is het van belang dat uitval vermeden wordt. Juist ook leerlingen die van school veranderen of blijven zitten moeten worden gevolgd en moeten deelnemen aan alle testen om vertekeningen te voorkomen. Ad 8. Om de opbrengsten in kennis te kunnen plaatsen is het nodig dit af te zetten tegen de totale cumulatieve instructietijd gedurende de opleiding. Deze gegevens worden sinds 2006 door de Inspectie verzameld. Idealiter gaat het daarbij om de gerealiseerde instructietijd per vak. Overwogen zou kunnen worden om leraren systematisch bij te laten houden hoe ze hun lestijd hebben besteed. Een dergelijke tijdsregistratie is in veel beroepen heel gebruikelijk en zou kunnen bijdragen aan een verdere professionalisering van het leraarberoep. Ad 9. Om de efficiëntie van het onderwijs te bepalen ten aanzien van het gerealiseerde onderwijsniveau, kunnen de totale kosten per uitgereikt diploma en per niet-afgeronde opleiding worden bepaald. Deze zijn te ontlenen aan de cijfers van CFI. Naast de reguliere berekening van jaarlijkse kosten per leerling, zou het inzichtelijk zijn om ook de totale kosten per uitgereikt diploma en niet afgeronde opleiding te geven: jaarlijkse kosten maal gemiddelde verblijfsduur van de gediplomeerden of uitvallers. Ad 10. Om na te gaan in hoeverre het gerealiseerde onderwijsniveau een gevolg is van veranderingen in de instroom is het zinvol om het bereikte niveau in het voortgezet onderwijs af te zetten tegen het basisschooladvies en de scores bij PPON en de CITO-toets. Dit zegt iets over de mate waarin het potentieel aan het eind van het basisonderwijs volledig benut wordt in het voortgezet onderwijs of dat er «weglek» plaats vindt van talent. Selectiefunctie Ad 11. Verreweg de beste indicator die bestaat over de betrouwbaarheid van de selectie in het voortgezet onderwijs betreft de discrepantie tussen de gemiddelde cijfers voor de centrale examens (CE) en de gemiddelde cijfers voor de schoolexamens (SE). Uiteraard kan dit alleen als er waarborgen zijn dat de centrale examens van jaar op jaar dezelfde moeilijkheidgraad hebben, zoals nu door het CEVO sinds 2000 wordt nagestreefd. In het onderzoek van De Lange en Dronkers (2005; 2007), blijkt dat het gemiddelde cijfer voor de SE ongeveer een ½ punt hoger ligt dan het gemiddelde cijfer voor de CE. Het verschil is het hoogst bij VWO-scholen, bij vrije scholen, bij particuliere onderwijsinstellingen en zwarte scholen. Uit nader onderzoek van de onderwijsinspectie blijkt dat scholen waar een grote discrepantie is tussen CE en SE ook vaak scholen zijn waar andere problemen zijn (Inspectie, 2007). Dit bevestigt dat het hier om een valide indicator gaat. Bovendien is de variantie in scores bij het CE groter dan bij het SE. Dit lijkt er op te wijzen dat het CE een belangrijker rol speelt bij het onderscheiden van goede en zwakke leerlingen. Ad 12. Naast de discrepantie, gaat het ook om de voorspellende waarde van de CE- en SE-cijfers voor succes in het vervolgonderwijs. Wanneer de examens een valide test vormen voor wat leerlingen op het eind van het voortgezet onderwijs aan bagage hebben, zou de uitslag ook een sterk voorspellende waarde moeten hebben voor het succes in het vervolgonderwijs. De voorspelkracht (uitgedrukt in bv. een correlatie) van respectievelijk CE- en SE-cijfers voor het rendement in het eerste jaar van het vervolgonderwijs is dan een goede indicator van de validiteit van dit selectieproces. Ad 13. Naast deze twee harde indicatoren kunnen ook «zachtere» indicatoren ontwikkeld worden op basis van de schoolverlatersonderzoeken van het ROA. Deze leveren informatie of de schoolverlaters van mening zijn dat de opleiding een voldoende moeilijkheidsgraad had, voldoende uitdagend was qua niveau, of docenten voldoende streng waren in de beoordeling, of examens pittig genoeg waren en of er voldoende getoetst werd op inzicht. Ook hier geldt weer dat deze cijfers een subjectiever karakter hebben, maar voor de vergelijking in de tijd en tussen onderwijstypen kunnen ze niettemin waardevolle inzichten leveren. Ad 14. Naast de indicatoren over de betrouwbaarheid van de selectie gaat het bij deze functie ook om de toegankelijkheid van het onderwijs. Gedetailleerde gegevens hierover kunnen ontleend worden aan de cohortonderzoeken. Deze laten nauwkeurige uitspraken toe over de onderwijskansen van leerlingen uit verschillende risicogroepen (allochtonen, kinderen van laag opgeleide ouders, kinderen uit 1-ouder gezinnen etc). Met de invoering van het onderwijsnummer is ook de mogelijkheid ontstaan om op basis van dit register indicatoren te ontwikkelen over de verdeling van onderwijskansen naar belangrijke risicogroepen. Daarbij gaat het bijvoorbeeld om het hoogst behaald onderwijsniveau in het VO, voortijdig schoolverlaten, zittenblijven of afstroom naar risicogroep. Intern rendement Ad 15–18. Met de komst van het onderwijsnummer is het mogelijk geworden om het interne rendement op een exacte wijze vast te stellen. Daarbij zijn de volgende indicatoren nodig: Hoeveel procent van een instroomgeneratie in een opleiding behaalt uiteindelijk een diploma? Wat is de gemiddelde verblijfsduur van gediplomeerden? En wat is de gemiddelde verblijfsduur van degenen die de opleiding ongediplomeerd verlaten? De combinatie van diplomakans, verblijfsduren van gediplomeerden en ongediplomeerden en de nominale verblijfsduur kan vervolgens in één getal worden uitgedrukt: de efficiëntie per uitgereikt diploma (Geerligs, Lokman en Van der Veen, 2001). Dit wordt berekend door de totale verblijfsduur van gediplomeerden en ongediplomeerden te delen door het aantal leerjaren dat normatief beschikbaar is (aantal gediplomeerden maal de nominale opleidingsduur). Als dit precies 1 is vindt er geen verlies plaats, en haalt iedere instromer een diploma binnen de gestelde opleidingsduur. Ad 19. Naast de diploma-efficiëntie als indicator voor het totale rendement is het ook zinvol om een aparte indicator te berekenen voor één deelaspect daarvan: de ongediplomeerde uitstroom uit het onderwijs. Allocatie naar vervolgonderwijs Ad 20. Op basis van het onderwijsregister is ook een goede monitoring mogelijk van de doorstroom van gediplomeerden uit het VO naar vervolgonderwijs en het niveau en de sector van het vervolgonderwijs. In vergelijking met de oude situatie van de onderwijsmatrices, biedt het register niet alleen de mogelijkheid om de directe doorstroom waar te nemen (van de positie in jaar T naar de positie in jaar T+1), maar ook de doorstroom die daarna plaatsvindt. Hierdoor ontstaat een beter beeld van de allocatie naar vervolgonderwijs. Ad 21. Naast de aansluiting naar niveau en richting geeft het percentage studiewisselaars een beeld van de (mis-)allocatie. Ad 22. Op basis van de ROA-schoolverlatersonderzoeken kan daarnaast informatie worden gegeneerd over het oordeel van de schoolverlaters over de aansluiting tussen de afgesloten opleiding in het voortgezet onderwijs en de vervolgopleiding. Allocatie op de arbeidsmarkt Ad 23–25. Hoewel het VO niet bedoeld is als eindonderwijs stroomt een deel van de schoolverlaters door naar de arbeidsmarkt (veelal in combinatie met een verdere studie in het BBL). Het is zinvol om ook voor deze groep in kaart te brengen hoe de allocatiefunctie van het onderwijs verloopt. Op basis van de ROA-schoolverlatersonderzoeken kan informatie worden gegeneerd over het percentage schoolverlaters dat een baan heeft gevonden dat aansluit bij het niveau en de richting van de gevolgde opleiding, het percentage schoolverlaters dat op zoek is naar een andere baan en het oordeel over de aansluiting tussen de afgesloten opleiding in het voortgezet onderwijs en de huidige baan. Ad 26. Naast de feitelijke aansluiting naar vervolgopleiding of werk, is de ondersteuning van de opleiding bij de allocatie een belangrijk kwaliteitsaspect. Hiervoor kan gekeken worden naar het oordeel van de schoolverlaters over de studie- en beroepskeuzevoorlichting en -begeleiding. Extern rendement vervolgonderwijs Ad 27–29. Het externe rendement in het vervolgonderwijs kan op basis van de onderwijsregisters eenvoudig worden vastgesteld. Daarbij kan gekeken worden naar het percentage leerlingen dat de vervolgopleiding voortijdig verlaat (te onderscheiden in studiewisselaars en studiestakers). Daarnaast zou het zinvol zijn om te kijken naar het resultaat in het eerste jaar. Voor het HO kan vastgesteld worden welk percentage de propedeuse heeft behaald. Voor het MBO ontbreken vergelijkbare gegevens vooralsnog. Dat is de reden waarom het Ministerie van OCW aan ROA gevraagd heeft om enkele additionele vragen op te nemen in het schoolverlatersonderzoek. Het betreft hier vragen of men bevorderd is naar het tweede leerjaar van de vervolgopleiding en hoeveel studiepunten men verkregen heeft respectievelijk welk percentage van de vakken men met een voldoende heeft afgesloten. Extern rendement arbeidsmarkt Ad 30–31. Indicatoren voor het externe rendement op de arbeidsmarkt betreft het werkloosheidspercentage ongeveer 1 jaar na het verlaten van de opleiding en het bruto uurloon. Deze indicatoren worden op dit moment ontleend aan de schoolverlatersonderzoeken van het ROA, maar kunnen op termijn ontleend worden aan het Sociaal Statistisch Bestand van het CBS. Op den duur kan hiermee ook het arbeidsmarktsucces op langere termijn in beeld worden gebracht. Input Ad 32–34. Naast een monitoring van de output en outcomes van het onderwijs, zoals beschreven in de bovengenoemde indicatoren, is het ook van belang om verandering in de inputkarakteristieken te meten. Daarbij denken we enerzijds aan kenmerken van de leerlingen en de ouders, maar ook aan de input die door de school geleverd wordt, zoals leerling/leraar ratio en de tijdsbesteding op school. Proces Ad 35. De onderwijsinspectie beoordeelt regelmatig verschillende kwaliteitskenmerken van de scholen, zoals de begeleiding en het onderwijsleerproces. Een belangrijke indicator voor de kwaliteit van het onderwijsproces in Nederland is het percentage scholen dat een onvoldoende krijgt van de onderwijsinspectie op de onderscheiden kwaliteitsaspecten Literatuur Allen, J., J. Coenen & R. van der Velden (2007), Afgestudeerden van het hoger onderwijs in Nederland in vergelijking met andere landen: Resultaten van het REFLEX project. Beleidsgerichte studies Hoger onderwijs en Wetenschappelijk onderzoek 128. Den Haag: Ministerie van OCW Borghans, L. (2006), «Zonder van de tijd» Leren in Nederland vanuit een economisch perspectief. Oratie op 1 december 2006. Borghans, L. (2007), «De betekenis van internationale indicatoren voor de verbetering van het onderwijs,» Ministerie van Onderwijs, Cultuur en Wetenschap, 2007. Borghans. L., Coenen, J., (2007) Breed of smal opleiden? Een vergelijking tussen het oude VBO en MAVO en het nieuwe VMBO, In: Onderwijsraad: Doorstroom in het onderwijs, Den Haag, Onderwijsraad. Bronnemans, R. (te verschijnen), Vijftien jaar onderwijsvernieuwingen in Nederland (1991–2006). CEVO (2006), Het niveau van de centrale examens in VWO en HAVO, Utrecht: CEVO Centrale Examencommissie Vaststelling Opgaven. Cornet, M., F. Huizinga, B. Minne & D. Webbink (2006), «Kansrijk kennisbeleid.» Den Haag: CPB. Dijkstra, A. B., S. Karsten, R. Veenstra & A. Visscher (red.) (2001), Het oog der natie: scholen op rapport. Standaarden voor de publicatie van schoolprestaties, pp. 65–78, Assen: Van Gorcum. Esch, W. van en J. Neuvel (2007), Stroomlijnen: Onderzoek naar de doorstroom van vmbo naar havo, Den Bosch: CINOP Expertisecentrum. Geerligs, J., I. Lokman & F. van der Veen (2001), Intern rendement, In: R. van der Velden (red.) (2001), Toegankelijkheid, intern rendement en doorstroom, Zoetermeer: Stuurgroep Evaluatie WEB, pp. 133–174. Gille, E, K. Lagerwaard, G. Limpens, A. de Knecht-van Eekelen, G. Maris, C. van Rhijn (2004), Resultaten PISA-2003: Praktische kennis en vaardigheden van 15-jarigen Nederlandse uitkomsten van het OESO Programme for International Student Assessment (PISA) op het gebied van wiskunde, leesvaardigheid, natuurwetenschappen en probleem oplossen in het jaar 2003, Arnhem: CITO Cunha, F., en J. Heckman (2007), «The Technology of Skill Formation.» American Economic Review 97(2), pp. 31–47. Inspectie van het Onderwijs (1999), Werk aan de basis: Evaluatie van de basisvorming na vijf jaar, Utrecht: Inspectie van het Onderwijs Inspectie van het Onderwijs, (2007) Discrepanties tussen de cijfers op het schoolexamen en het centraal examen, Utrecht: Inspectie van het Onderwijs Jacob, B. en S. Levitt (2003), «Rotten Apples: An Investigation of the Prevalence and Predictors of Teacher Cheating» Quarterly Journal of Economics, 118(3), pp. 843–877. Korpershoek, H., H. Kuyper en M. P. C. van der Werf (2007), HAVO-5 en VWO-5 en de tweede fase: de bovenbouwstudie van VOCL’99, Groningen: GION Korpershoek, H., H. Kuyper en M. P. C. van der Werf (2007), Breed of smal opleiden in het voortgezet onderwijs, In: Onderwijsraad: Doorstroom in het onderwijs, Den Haag, Onderwijsraad. Kuyper, H. en M. P. C. van der Werf (2007), De resultaten van VOCL’89 VOCL’93 en VOCL’99: Vergelijkende analyses van prestaties en rendement, Groningen: GION Langen, A. van (2005), Unequal Participation in Mathematics and Science Education, Antwerpen/Apeldoorn: Garant-Uitgevers Lange, M. de en J. Dronkers (2005) Hoe Gelijkwaardig Blijft Het Eindexamen Tussen Scholen In Nederland? Discrepanties Tussen De Cijfers Voor Het Schoolonderzoek En Het Centraal Examen In Het Voortgezet Onderwijs Tussen 1998 En 2005 (ook verschenen als EUI working paper 2007/03) Lange, M. de en J. Dronkers (2007) Groeide de ongelijkwaardigheid van het eindexamen tussen scholen verder in 2005? Discrepanties tussen de cijfers voor het schoolonderzoek en het centraal examen in het voortgezet onderwijs: 2005 versus 1997–2004,Paper voor de Onderwijsresearchdagen 2007 in Groningen, 6–8 Juni 2007 Murnane, Richard & Richard Nelson (2005), «Improving the Performance of the Education Sector: The Valuable, Challenging, and Limited Role of Random Assignment Evaluations.» NBER working paper 11846. Murray, T.S. (2003), Reflections on International Competence Assessments, In: D. S. Rychen & L. H. Salganic (eds.) Key Competencies for a Successful Life and a Well-functioning Society, Göttingen: Hogrefe & Huber, pp. 135–159. OECD (2006), Education at a Glance 2006, Paris: OECD Peschar, J.L. (2007), Over leerwinst als stelselindicator. Een verkennend onderzoek naar de ontwikkeling van een stelselindicator voor leerwinst of toegevoegde waarde van het onderwijs in Nederland, Groningen. Rekers-Mombarg, L., H. Kuyper, M. P. C. van der Werf en D. H. Zijsling (2005), De resultaten in het VMBO: Vergelijking van de schoolloopbanen en prestaties van VOCL’93 en VOCL’99 leerlingen, Groningen: GION Rekers-Mombarg, L. T. M., H. Kuyper en M. P. C. van der Werf (2006), Het interne rendement van het voortgezet onderwijs voor en na invoering van de basisvorming, Groningen: GION Researchcentrum voor Onderwijs en Arbeidsmarkt (2005). Schoolverlaters tussen Onderwijs en Arbeidsmarkt 2004. ROA-R-2005/6. Maastricht: ROA Scheerens, J., and R. J. Bosker (1997). The foundations of educational effectiveness. Oxford: Pergamon Spence M. (1973), Job Market Signalling, Quarterly Journal of Economics, 87, 1, 355–374 Steeg, M. en Webbink, D. (2006) Voortijdig schoolverlaten in Nederland: omvang, beleid en resultaten, CPB document no 107, Den Haag: CPB. Traag, T., J. van der Valk, R. van der Velden, R. de Vries, M. Wolbers (2004), Leren Loont! De overgang van school naar werk voor leerlingen van het VOCL ’89, ROA-R-2004/6, Maastricht: ROA + CBS. Traag, T., J. van der Valk, R. van der Velden & R. de Vries (2006), Dertigers op de arbeidsmarkt, ROA-R-2006/2, Maastricht: ROA + CBS. Tweede Fase Adviespunt (2005), Zeven jaar Tweede fase: een balans, Den Haag: Tweede Fase Adviespunt Turner, R.H. (1960), Sponsored and contest mobility and the school system, American Sociological Review, 25, 855–867. Werf, M. P. C. van der, M. J. Lubbers en H. Kuyper (1999), Onderwijsresultaten van VOCL’89 VOCL’93 leerlingen, Groningen: GION Velden, R. K. W. van der en M. H. J. Wolbers (1999), (1999), Vakkenpakketkeuze en de aansluiting tussen het voortgezet en hoger onderwijs, in: Tijdschrift voor Onderwijsresearch, jaargang 23, no.4, pp. 299–315. Van der Velden, R. K. W. (2006), Generiek of specifiek opleiden? Inaugurale rede, Universiteit Maastricht. Vries, R. de, M. Wolbers & R. van der Velden (2005), Brug of Kloof? De ervaringen van HAVO- en VWO-schoolverlaters over de aansluiting tussen VO en HO vóór en ná de invoering tweede fase VO, ROA-R-2005/8. Maastricht: ROA Wijnstra, Johan (2001), Bruikbare kennis en vaardigheden voor jonge mensen. CITO-groep. Appendix 1 Tabel a1 VOCL 1989 Test scores tekstbegrip derde leerjaar Gestandaardiseerde Bèta coëfficiënten (OLS) (1) (2) (3) (4) Onderwijstype derde leerjaar: HAVO/VWO Referentiegroep: VBO/MAVO ,539** ,328** ,491** ,309** Cito entreescore Nederlands ,407** ,387** Migranten status: Suriname, Antillen, Noord-Afrika, Turkije. –,055** –,025** Andere migranten Referentiegroep: Nederlands –,030** –,021* Familie status: één-ouder Referentiegroep: twee-ouder gezin ,002 –,003 Opleiding ouders ,140** ,089** Aantal waarnemingen 8 319 8 319 8 319 8 319 Adjusted R square ,290 ,411 ,314 ,420 Bron: CBS; VOCL eigen berekeningen. ** significant p< 0.01 * significant p< 0.05 Tabel a2 VOCL 1993 Test scores tekstbegrip derde leerjaar Gestandaardiseerde Bèta coëfficiënten (OLS) (1) (2) (3) (4) Onderwijstype derde leerjaar: HAVO/VWO Referentiegroep: VBO/MAVO ,518** ,305** ,479** ,286** Cito entreescore Nederlands ,381** ,369** Migranten status: Suriname, Antillen, Noord-Afrika, Turkije. –,026* –,017 Andere migranten Referentiegroep: Nederlands ,002 ,005 Familie status: één-ouder Referentiegroep: twee-ouder gezin –,005 –,003 Opleiding ouders ,110** ,071** Aantal waarnemingen 6 854 6 854 6 854 6 854 Adjusted R square ,268 ,367 ,280 ,372 Bron: CBS; VOCL eigen berekeningen. ** significant p< 0.01 * significant p< 0.05 Tabel a3 VOCL 1999 Test scores tekstbegrip derde leerjaar Gestandaardiseerde Bèta coëfficiënten (OLS) (1) (2) (3) (4) Onderwijstype derde leerjaar: HAVO/VWO Referentiegroep: VBO/MAVO ,518** ,336** ,503** ,326** Cito entreescore Nederlands ,322** ,318** Migranten status: Suriname, Antillen, Noord-Afrika, Turkije –,064** –,059** Andere migranten Referentiegroep: Nederlands –,026* -,019* Familie status: één-ouder Referentiegroep: twee-ouder gezin ,054** ,043** Opleiding ouders 8 208 8 208 8 208 8 208 Aantal waarnemingen ,268 ,339 ,276 ,344 Adjusted R square Bron: CBS; VOCL eigen berekeningen. ** significant p< 0.01 * significant p< 0.05 Tabel a4 VOCL 1989 Test scores Wiskunde derde leerjaar Gestandaardiseerde Bèta coëfficiënten (OLS) (1) (2) (3) (4) Onderwijstype derde leerjaar: HAVO/VWO Referentiegroep: VBO/MAVO ,555** ,229** ,496** ,211** Cito entreescore Wiskunde ,595** ,570** Migranten status: Suriname, Antillen, Noord-Afrika, Turkije –,087** –,049** Andere migranten Referentiegroep: Nederlands –,040** –,019* Familie status: één-ouder Referentiegroep: twee-ouder gezin –,003 ,005 Opleiding ouders ,168** ,090** Aantal waarnemingen 8 553 8 553 8 553 8 553 Adjusted R square ,308 ,556 ,348 ,567 Bron: CBS; VOCL eigen berekeningen. ** significant p< 0.01 * significant p< 0.05 Tabel a5 VOCL 1993 Test scores Wiskunde derde leerjaar Gestandaardiseerde Bèta coëfficiënten (OLS) (1) (2) (3) (4) Onderwijstype derde leerjaar: HAVO/VWO Referentiegroep: VBO/MAVO ,562** ,226** ,504** ,200** Cito entreescore Wiskunde ,595** ,576** Migranten status: Suriname, Antillen, Noord-Afrika, Turkije –,066** –,046** Andere migranten Referentiegroep: Nederlands –,023* –,014+ Familie status: één-ouder Referentiegroep: twee-ouder gezin –,023* –,026** Opleiding ouders ,159** ,097** Aantal waarnemingen 6 201 6 201 6 201 6 201 Adjusted R square ,316 ,557 ,348 ,570 Bron: CBS; VOCL eigen berekeningen. ** significant p< 0.01 * significant p< 0.05 Tabel a6 VOCL 1999 Test scores Wiskunde derde leerjaar Gestandaardiseerde Bèta coëfficiënten (OLS) (1) (2) (3) (4) Onderwijstype derde leerjaar: HAVO/VWO Referentiegroep: VBO/MAVO ,607** ,366** ,586** ,356** Cito entreescore Wiskunde ,413** ,406** Migranten status: Suriname, Antillen, Noord-Afrika, Turkije. –,048** –,038** Andere migranten Referentiegroep: Nederlands –,018* –,008* Familie status: één-ouder Referentiegroep: twee-ouder gezin ,076** ,050** Opleiding ouders 8 062 8 062 8 062 8 062 Aantal waarnemingen ,368 ,481 ,376 ,485 Adjusted R square Bron: CBS; VOCL eigen berekeningen. ** significant p< 0.01 * significant p< 0.05 Deelonderzoek uitgevoerd door Prof. dr. Paul A. Kirschner/Dr. Frans J. Prins Onderzoekscentrum Leren in Interactie Langeveld Instituut voor Pedagogisch en Onderwijskundig Onderzoek Universiteit Utrecht De Beleving van de Vernieuwingen in het Voortgezet Onderwijs De Stem van Schoolleiders, Docenten, Ouders/Verzorgers en Scholieren Een rapportage aan de Commissie Parlementair Onderzoek Onderwijsvernieuwingen Inhoudsopgave blz. Managementsamenvatting 119 Van Vraag naar Onderzoek 122  Nadere Specificering 122  Onderzoeksaanpak 124   Procedure en respondenten 124   Inhoud en opzet van de webenquête 125   Analyse en rapportage 126 Resultaten 126  Focus 1: Aanleidingen/doelen van de vernieuwing 127   Basisvorming 127   Tweede fase 127   VMBO 128  Focus 2: Behalen van de doelen 129   Basisvorming 129   Tweede fase 130   VMBO 130  Focus 3: Invoering van de vernieuwing 131   Basisvorming 131   Tweede fase 133   VMBO 135  Focus 4: Invloed van vernieuwing(en) op de kwaliteit van het onderwijs. 137   Basisvorming 138   Tweede fase 139   VMBO 141  Focus 5: Kwaliteit van het huidige onderwijs 142   Basisvorming 142   Tweede fase 143   VMBO 144  Focus 6: De toekomst 144   Schoolleiders 145   Docenten 145   Ouders/Verzorgers 146   Leerlingen 146  Positieve punten van de vernieuwingen 147   Schoolleiders en Docenten 147   Ouders/verzorgers 148   Leerlingen 149  Negatieve punten van de vernieuwing 150   Schoolleiders en Docenten 150   Ouders/verzorgers 151   Leerlingen 152 Conclusies 153 MANAGEMENTSAMENVATTING In dit onderzoek is de beleving van een drietal recente vernieuwingen in het voortgezet onderwijs in Nederland (i.c., invoering van de basisvorming, de tweede fase en het VMBO) door de schoolleiding, docenten, ouders/verzorgers en leerlingen, in kaart gebracht. De doelen van dit onderzoek waren: (1) Het betrekken van een viertal belangrijke groepen (i.e., schoolleiders, docenten, ouders/verzorgers, en leerlingen; voortaan de «stakeholders») bij het parlementaire onderzoek door hen een stem te geven wat betreft hun meningen over en ervaringen met de invoering, uitvoering en resultaten van de genoemde onderwijsvernieuwingen. (2) Een beeld te krijgen van de beleving en waardering door de stakeholders betreffende de wijze van invoering van de onderwijsvernieuwingen, de impact van de invoering van de onderwijsvernieuwing op de school, het lesgeven en het onderwijs, de kwaliteitsbeleving van het huidige onderwijs, en de lessen die geleerd kunnen worden over de wijze van invoeringen van de onderwijsvernieuwingen. De respondenten hebben de mogelijkheid gehad om via een webenquête hun stem te laten horen door het beantwoorden van een combinatie van gesloten vragen met wegingen en open vragen. Hierdoor konden zij hun mening ventileren over vele zaken die met de onderwijsvernieuwingen te maken hadden. De groep respondenten die de webenquête hebben ingevuld bestond uit 666 schoolleiders, 1908 docenten, 896 ouders/verzorgers en 1490 leerlingen. De resultaten van dit onderzoek laten een eenduidig beeld zien van de beleving van de onderwijsvernieuwingen door deze groepen. Antwoorden op de gesloten en open vragen convergeerden sterk. De algemene conclusie van het onderzoek is dat, in de beleving van groepen die de onderwijsvernieuwingen en de gevolgen ervan ervaren hebben, de onderwijsvernieuwingen een zeer beperkte onderwijsopbrengst hebben gehad en veel grote negatieve effecten hebben gehad. Tussen de onderwijsvernieuwingen is wel enig nuanceverschil, waarbij de invoering van de tweede fase als meest problematisch naar voren komt. Daarnaast is er verschil in beleving tussen schoolleiders en docenten, waarbij de schoolleiders een positiever beeld van de vernieuwingen laten zien dan de docenten, zeker als het om hun eigen rol als schoolleider gaat. De eerste focus van dit onderzoek betrof de aanleiding en de doelen van de vernieuwingen. Waar de schoolleiders bij elk van de drie vernieuwingen aangeven dat er, volgens hen, goede redenen waren voor de invoering, geven docenten aan dat dat niet het geval was. Dit is een essentieel verschil dat wellicht doorwerkt in de rest van de foci en een kloof veroorzaakt tussen de belevingen van de schoolleiders en die van de docenten. Het is misschien goed te typeren als een gevoel van: Waarom meewerken aan en enthousiast worden over een onderwijsvernieuwing waar de noodzaak niet van wordt ingezien? Leerlingen lieten een iets positiever beeld zien ten aanzien van de doelen dan de neutrale ouders. Geen grote brede steun voor de noodzaak van de vernieuwingen dus, is de conclusie. Ook bij de tweede focus, het behalen van de doelen van de vernieuwingen, is een kloof te constateren tussen schoolleiders en docenten. Docenten zijn van mening dat de doelen van de drie vernieuwingen niet zijn gehaald, terwijl de schoolleiders daar licht positief over zijn. Wederom is dit een teken van een kloof tussen deze twee groepen professionals. Ook de ouders/verzorgers zijn over de gehele linie negatief over de behaalde opbrengsten, waar leerlingen neutraal zijn. Alleen het VMBO heeft volgens de leerlingen iets positiefs gebracht. Kortom, bij het behalen van de doelen van de vernieuwingen vinden wij ook een wat negatief beeld. Bij de derde focus, over de invoering van de vernieuwingen, wordt forse kritiek geleverd op de inflexibiliteit en gebrek aan ondersteuning vanuit Den Haag. Er ging volgens schoolleiders en docenten weinig goed, en veel mis, door gebrek aan visie, tijd, middelen en expertise. Die «pijnpunten» worden nogmaals belicht bij de vierde focus, namelijk over de invloed van de vernieuwingen op de kwaliteit van het onderwijs. In het algemeen, zijn de opbrengsten van de vernieuwing voor het onderwijs te kenschetsen als secundair. Voorbeelden hiervan zijn dat er door de invoering van de onderwijsvernieuwingen meer wordt nagedacht over het onderwijs en dat er een ontwikkeling van een teamgeest in de docentengroep teweeg is gebracht; samen te vatten als een verandering in de mindset (i.e., manier van denken) in de school. De kwaliteit van het onderwijs, van waar het primair om gaat, is er niet noemenswaardig door toegenomen volgens de stakeholders. Uitzondering hierbij is het VMBO, waar wel verbetering is ervaren. Bij deze vierde focus – invloed van de vernieuwingen op de kwaliteit van het onderwijs – kwamen zeer regelmatig negatieve punten van de onderwijsvernieuwingen naar voren, zoals een zeer grote werkdruk en demotivatie bij docenten. Conclusie is dat de opbrengsten niet echt blijken op te wegen tegen de kosten. In een tijd waarin er een groot te kort is aan professionele docenten, is het niet de bedoeling dat de zittende leerkrachten gedemotiveerd worden. Uit de vijfde focus blijkt dat, ondanks al het bovenstaande, de kwaliteit van het huidige onderwijs door ouders/verzorgers en leerlingen niet als slecht wordt gezien. Deze groepen zijn redelijk tevreden over het aangeboden onderwijs in het VMBO. Over de basisvorming is men al iets minder positief en de tweede fase loopt achter bij de andere twee vernieuwingen. Wat betekent dit alles voor de toekomst? Duidelijk is dat de verschillende stakeholders van mening zijn dat er te weinig naar hen geluisterd is bij de invoering van de vernieuwingen en dat er weinig rekening met hen gehouden werd bij de beslissing tot invoering. Onderwijsvernieuwingen moeten van het werkveld komen, niet uit Den Haag, zo wordt gezegd. De veelvuldigheid waarmee dit punt naar voren komt doet ernstig vermoeden dat de overheid niet goed met de betrokkenen rondom de onderwijsvernieuwingen heeft gesproken. De overheid moet volgens de respondenten alleen zorgen voor kaders en kwaliteitscontrole, en de inhoud en vorm van het onderwijs aan de scholen overlaten. Goedgeschoolde docenten worden gezien als essentieel voor het welslagen van onderwijsverbeteringen. Verder moeten veranderingen in het vervolg kleinschaliger worden uitgevoerd, volgens een groep stakeholders, na eerst beproefd te zijn via wetenschappelijk empirisch onderzoek op pilotscholen. Ten slotte moet de noodzaak van onderwijsvernieuwingen vooraf worden ingezien. Het onderzoek is gebaseerd op een voldoende grote steekproef, waarbij alle geledingen redelijk evenredig zijn vertegenwoordigd. Alle disciplines van de docenten, schooltypen, leeftijden van docenten en leerlingen, zaten in de steekproef. Wel moet gezegd worden dat er door de manier van benaderen van ouders en leerlingen (via de schoolleiders) alleen ouders en verzorgers van schoolgaande leerlingen en schoolgaande leerlingen zelf zijn bereikt. Hierdoor misten de onderzoekers het deel van de ouders/verzorgers dat ervaring heeft met de onderwijsvernieuwingen maar op dit moment geen schoolgaande kinderen heeft en het deel van de leerlingen dat nu niet meer op school zit. Organisatorisch was het ondoenlijk om dit deel van de bevolking in de korte tijd die voor het onderzoek stond te benaderen. Echter, op grond van de spreiding van de leeftijden van de leerlingen en de steekproefgrootte is de groep respondenten voldoende representatief om bovenstaande conclusies te trekken. Samengevat kan gezegd worden dat (1) het negatieve beeld over de drie onderwijsvernieuwingen overheerst, al is dit enerzijds minder dan wat er in de media vermeld wordt en anderzijds is het beeld vooral negatief over de invoering en niet over de uiteindelijke kwaliteit van het huidige onderwijs, en (2) er een kloof is tussen schoolleiders en docenten, met name over de doelen en het behalen van de doelen van de onderwijsvernieuwingen. Laat dit rapport een bijdrage leveren aan de discussie over de manier waarop veranderingen en kwaliteitsverbeteringen in het onderwijs op een succesvolle manier gestalte kunnen krijgen. Van Vraag naar Onderzoek De Tweede Kamer der Staten-Generaal heeft op 17 april 2007 besloten om een parlementair onderzoek in te stellen naar onderwijsvernieuwingen in het voortgezet onderwijs. Het onderzoek heeft tot doel inzicht te verwerven in de invoering van onderwijsvernieuwingen, zoals de basisvorming, de profielen tweede fase en de leerwegen in het VMBO om daaruit lessen te trekken voor de toekomst. Ook de ontwikkelingen rondom «het nieuwe leren» hebben de aandacht van de Commissie. De onderzoeksvragen richten zich op de totstandkoming, implementatie, en resultaten van onderwijsvernieuwingen. In het Onderzoeksvoorstel Parlementair onderzoek Onderwijsvernieuwingen van 5 april 2007 (Tweede Kamer, vergaderjaar 2006–2007, 31 007, nr. 1) schrijft de vaste commissie voor Onderwijs, Cultuur en Wetenschap het volgende: Er is (toenemende) maatschappelijke onrust waarneembaar over de onderwijsvernieuwingen van de afgelopen jaren. Het gaat daarbij met name over de vraag of de onderwijsvernieuwingen op een verantwoorde manier zijn onderbouwd en zijn geïmplementeerd. Daarbij lijkt een patroon zichtbaar dat de overheid/beleidsmakers de verwachting hebben dat de onderwijsvernieuwingen met voldoende draagvlak worden ingevoerd, terwijl na invoering de kritiek blijkt van de mensen in het onderwijsveld (docenten, ouders en scholieren). Dit geldt ook met betrekking tot wat nu de resultaten zijn van de recente onderwijsvernieuwingen. Er bestaat derhalve behoefte aan inzicht in de verschillende opvattingen over de wijze en het proces van totstandkoming, implementatie en resultaten van de onderwijsvernieuwingen. Dit inzicht is nodig om de succes en faalfactoren van de recente en lopende onderwijsvernieuwingen te kunnen vaststellen en lessen te trekken voor toekomstige aanpassingen in het onderwijs. Om een deel van het antwoord te verschaffen heeft het Onderzoekscentrum Leren in Interactie van het Langeveld Instituut voor Pedagogisch en Onderwijskundig Onderzoek aan de Universiteit Utrecht een opdracht aanvaard voor het uitvoeren van een onderzoek naar de beleving van een drietal recente vernieuwingen in het voortgezet onderwijs in Nederland (i.c., invoering van de basisvorming, de tweede fase en het VMBO) door de schoolleiding, docenten, ouders/verzorgers en leerlingen. Het doel hiervan is de Commissie Parlementair Onderzoek Onderwijsvernieuwingen (CPOO) te voorzien van informatie over: • hoe schoolleiders, docenten, ouders/verzorgers en leerlingen de ontwikkelingen in het voortgezet onderwijs (i.e., de onderwijsvernieuwingen) ervaren; • wat schoolleiders, docenten, ouders/verzorgers en leerlingen vinden van de kwaliteit van het huidige voortgezet onderwijs in het algemeen en van de eigen school in het bijzonder; • welke lessen schoolleiders, docenten, ouders/verzorgers en leerlingen hebben geleerd van de invoering van de vernieuwingen in het voortgezet onderwijs; en • wat er wel of juist niet (meer) moet gebeuren als men in de toekomst vernieuwingen in het onderwijs wil invoeren om zodoende deze geledingen de gelegenheid te geven hun stem te laten horen in het parlementaire onderzoek. Nadere Specificering Een nadere specificering van het bovenstaande leidde tot het kiezen van een zestal foci voor het onderzoek. De keuze van deze foci kwam tot stand in overleg met de CPOO. De foci zijn: 1. Aanleidingen/doelen van de vernieuwing(en): Wat zijn de meningen van de schoolleiders, docenten, ouders/verzorgers en leerlingen over: • de aanleidingen voor het invoeren van de genoemde vernieuwingen in het voortgezet onderwijs; • het doel/de doelen voor het invoeren van de genoemde vernieuwingen in het voortgezet onderwijs; • wat de verschillende vernieuwingen in het voortgezet onderwijs inhielden; • welke randvoorwaarden gesteld werden bij het invoeren van de genoemde vernieuwingen in het voortgezet onderwijs? 2. Behalen van de doelen: Wat zijn de meningen van de schoolleiders, docenten, ouders/verzorgers en leerlingen over: • het resultaat van de vernieuwingen in termen van het behalen van de doelen van die vernieuwingen. 3. Invoering van de vernieuwing(en): Meningen van de schoolleiders, docenten, en ouders/verzorgers over: • wat de invoerings-/sturingsprincipes waren die door de overheid werden gehanteerd bij het invoeren van de verschillende onderwijsvernieuwingen in het voortgezet onderwijs; en • hoe de invoering van de onderwijsvernieuwingen werden voorbereid (in termen van tijd, middelen, expertise); • wat goed ging bij het invoeren van de verschillende vernieuwingen in het voortgezet onderwijs; en • wat fout ging bij het invoeren van de verschillende vernieuwingen in het voortgezet onderwijs. 4. Invloed van vernieuwing(en) op de kwaliteit van het onderwijs: Beleving van de schoolleiders, docenten, en ouders van de invloed van de vernieuwingen op • nieuwe leerstof, kerndoelen, algemene vaardigheden, vaardigheden gericht op oriëntatie op studie en beroep • actief leren, vakdidactiek en verschillen tussen leerlingen • hoe er geleerd wordt • de motivatie van docenten en leerlingen • de kwaliteit en het management van de lessen • de organisatie van de school • opvattingen over hoe druk, moeilijk, leuk en uitdagend het (school)werk is. 5. Kwaliteit van het huidige onderwijs na de invoering van de vernieuwing(en): Meningen van de ouders en leerlingen over de kwaliteit van: • het onderwijs met betrekking tot (de inhoud van) de basisvorming, de tweede fase of het VMBO in het algemeen; • het onderwijs met betrekking tot (de inhoud van) de basisvorming, de tweede fase of het VMBO op de eigen school/school van de leerlingen; en • de didactische vormgeving van het onderwijs. 6. De toekomst: Meningen van de schoolleiders, docenten, ouders en leerlingen over: • hoe – in de toekomst – het invoeren van vernieuwingen in het voortgezet onderwijs plaats zou moeten vinden (sturingsprincipes, randvoorwaarden e.d.)? Onderzoeksaanpak Om de vragen van de CPOO te beantwoorden is gekozen voor het uitvoeren van een webenquête; een online via het Internet afgenomen enquête. Een webenquête komt grotendeels overeen met een reguliere vragenlijst op papier met het belangrijke verschil dat een webenquête de respons direct in een database zet. Deze aanpak maakt het mogelijk om in een zeer beperkte tijd (hier het geval) veel informatie te verkrijgen en te verwerken. Procedure en respondenten Na ontwikkeling werd de webenquête beschikbaar gesteld op het Internet voor een periode van twee weken (van 17 september t/m 1 oktober 2007). Conform de afspraken die gemaakt zijn met de onderzoekscoördinator van de CPOO werd een brief gestuurd aan de schoolleiders van 1332 middelbare scholen in Nederland vooraf aan de beschikbaarstelling van de enquête op het internet. In deze brief werden de schoolleiders op de hoogte gesteld van de enquête en de bedoelingen daarvan en werden zij verzocht naar de website van de webenquête te gaan en deze in te vullen. De schoolleiders werd ook gevraagd hun docentpersoneel, de ouders/verzorgers en de leerlingen op de hoogte te stellen over het bestaan van de webenquête en hen uit te nodigen om ook de webenquête in te vullen. Na een week kregen de locatiemanagers van al deze scholen een email ter herinnering van dit verzoek. Deze procedure heeft geresulteerd in een respons van 666 schoolleiders (13% van een categorale onderwijsinstelling, 87% van een scholengemeenschap). Ongeveer een kwart van de schoolleiders was vrouw, drie kwart was man. Het merendeel van de schoolleiders, 54%, had een leeftijd tussen de 46 en 55 jaar, 19% was jonger dan 46 jaar, 27% was ouder dan 55. Een kwart van de schoolleiders had minder dan 5 jaar ervaring, ongeveer 32% tussen de 6 en 10 jaar, en 43% had meer dan 10 jaar ervaring als schoolleider. Van de schoolleiders gaven 464 personen aan ervaring te hebben met de invoering van de basisvorming, 329 met de invoering van de tweede fase, en 395 met de invoering van het VMBO. In totaal vulden 200 schoolleiders de vragenlijst in voor de basisvorming, 225 voor de tweede fase, en 241 voor het VMBO. De drie vragenlijsten zijn door gemiddeld 68% van deze groepen volledig ingevuld. In totaal hebben 1908 docenten (13% van een categorale onderwijsinstelling, 87% van een scholengemeenschap) de vragenlijst ingevuld. Ongeveer een 40% van de docenten was vrouw, 60% was man. Van de docenten was 24% jonger dan 35 jaar, 21% had een leeftijd tussen de 36 en 45, 36% tussen de 46 en 55, en 20% was ouder dan 55 jaar. Ongeveer een derde had een aanstelling van 24 uur per week of minder, een derde tussen de 24 en 32 uur per week en een derde meer dan 32 uur per week. Rond de 15% van de docenten had minder dan 5 jaar ervaring, ongeveer 22% tussen de 6 en 10 jaar, ongeveer 12% tussen de 10 en 15 jaar, en 51% had meer dan 15 jaar ervaring als docent. Van de docenten gaven 1395 personen aan ervaring te hebben met de invoering van de basisvorming, 1096 met de invoering van de tweede fase, en 1175 met de invoering van het VMBO. In totaal vulden 423 docenten de vragenlijst in voor de basisvorming, 775 voor de tweede fase, en 710 voor het VMBO. De drie vragenlijsten zijn door gemiddeld 54% van deze groepen volledig ingevuld. De vragenlijst is ingevuld door 896 ouders/verzorgers (9% had één of meer kinderen op een categorale onderwijsinstelling, 91% op een scholengemeenschap). De leeftijden van de kinderen waarvoor de vragenlijst is ingevuld waren evenredig verdeeld: de categorie 16 jaar had het laagste aantal, te weten 330, en de categorie van 15 jaar het hoogste aantal, te weten 415. De andere categorieën zaten daar tussenin. Een deel van de ouders/verzorgers had persoonlijke ervaring met het invoeren van een onderwijsvernieuwing doordat het één of meer kinderen op de middelbare school had voor de invoering van de vernieuwing en één of meer kinderen op de middelbare school na de vernieuwing (391 voor de basisvorming, 371 voor de tweede fase, en 275 voor het VMBO). In totaal vulden 258 ouders/verzorgers de vragenlijst in voor de basisvorming, 402 voor de tweede fase, en 236 voor het VMBO. De vragenlijst is door gemiddeld 65% van deze groepen volledig ingevuld. Door 1490 leerlingen is de vragenlijst ingevuld (16% kwam van een categorale onderwijsinstelling, 84% van een scholengemeenschap; 57% meisje, 43% jongen). De leerlingen van 13 jaar en jonger zijn enigszins ondervertegenwoordigd (11%) in vergelijking met de andere leeftijdscategorieën. Het percentage van de andere leeftijden (14, 15, 16, en 17 jaar en ouder) lag tussen de 19 en 25%. Logischerwijs zijn ook de lagere klassen ondervertegenwoordigd, met vergelijkbare percentages als bij leeftijd (12% klas 1 en 2, 16% klas 6, en tussen de 23 en 26% voor klas 3, 4 en 5). De aantallen leerlingen die ervaring hadden met de verschillende onderwijsvernieuwingen was niet helemaal evenredig verdeeld (1185 voor de basisvorming, 1313 voor de tweede fase, en 477 voor het VMBO). Het merendeel van de leerlingen, ongeveer 59% (877), koos er voor om de vragenlijst in te vullen voor de tweede fase, tegenover 19% (279) voor de basisvorming en 22% (334) voor het VMBO. Inhoud en opzet van de webenquête Een achttal versies van een gestructureerde vragenlijst is in overleg met de CPOO en haar onderzoekscoördinator ontwikkeld. Deze vragenlijst bevatte verschillende soorten vragen betreffende de meningen en opvattingen van de stakeholders over de ten uitvoer gebrachte onderwijsveranderingen en de resultaten daarvan. In de verschillende versies is rekening gehouden met de verschillen tussen de verschillende groepen stakeholders met betrekking tot hun rol en/of functie bij de onderwijsveranderingen. De webenquête werd anoniem ingevuld. Omdat de invullers (i.e., schoolleiders, docenten en leerlingen) de webenquête zouden moeten kunnen invullen vanaf hetzelfde internetadres werd multipele invulling per Internetadres toegestaan. De webenquête bestond uit een aantal onderdelen, te weten: • een instructie • een sectie met achtergrondinformatie over de invuller zoals leeftijd, geslacht, aantal jaren in het vak (i.e., voor docenten en schoolleiders), en voor welke onderwijsvernieuwing de webenquête zou worden ingevuld. Deze informatie werd gebruikt om de verkregen antwoorden op de vragen beter te kunnen verwerken en interpreteren. • maximaal een zestal secties – afhankelijk van de stakeholder – over de in het vorige hoofdstuk genoemde aspecten van de invoering en resultaten van de onderwijsvernieuwingen. Een deel van de vragen waren gesloten vragen waarbij de invuller de vraag zowel met ja/nee kon beantwoorden als een gewicht aan het antwoord kon toekennen (van – 50 t/m + 50) óf uit stellingen waar de invuller kon aangeven in hoeverre zij/hij het met een stelling eens/oneens was (van – 50 t/m + 50). Een ander deel van de vragen bestond uit open vragen waar de invuller haar/zijn mening kon geven over een bepaald aspect van de onderwijsvernieuwing. • een open slotvraag om tegemoet te komen aan een mogelijke wens van de invuller om een mening te ventileren of zaken die niet in de webenquête stonden aan de orde te stellen. Voor de schoolleiders en docenten waren er drie versies van de webenquête, voor elke onderwijsvernieuwing één. Deze versies leken sterk op elkaar en verschilden alleen bij vragen die specifiek waren voor de vernieuwingen, zoals de vraag naar de doelen van de vernieuwing. De schoolleiders en docenten konden meer dan één versie van de webenquête invullen als zij ervaring hadden met meer dan één onderwijsvernieuwing, bijvoorbeeld een docent die met de invoering van zowel de basisvorming als de tweede fase ervaring had. Voor de ouders/verzorgers en leerlingen was er voor ieder één versie, die betrekking kon hebben op elk van de drie onderwijsvernieuwingen. De ouders/verzorgers en leerlingen konden één keer de webenquête invullen en ze moesten dan ook aan het begin van de webenquête aangeven voor welke onderwijsvernieuwing zij de webenquête invulden. Analyse en rapportage De verschillende typen vragen zijn op verschillende manieren geanalyseerd. Bij de gesloten vragen zijn de scores van de respondenten, die lagen tussen de – 50 en + 50, gemiddeld en de gemiddelde scores zijn gecategoriseerd. Rekening houdend met de spreiding van de antwoorden (standaarddeviatie) zijn de gemiddelde scores ingedeeld in vijf categorieën: Een gemiddelde score werd als sterk negatief gezien wanneer deze relatief ver beneden het midden lag, als licht negatief wanneer de gemiddelde score enigszins beneden het midden lag, als neutraal wanneer de gemiddelde score rond midden lag, als licht positief wanneer de gemiddelde score enigszins boven het midden lag, en als sterk positief wanneer de gemiddelde score relatief ver boven het midden lag. Bij gesloten vragen waarbij «ja» of «nee», of «voldoende» of «te weinig» kon worden geantwoord, zijn de werkelijke percentages – voor het leesbaar houden van dit rapport – afgerond op ronde getallen (hele en halve tientallen). Er zijn ook open vragen gesteld, zodat iedere respondent kon laten horen wat hij of zij wilde laten horen. De webenquête legde daar geen enkele beperking op. Voor elke respondent zijn de antwoorden op de open vragen gecategoriseerd. De categorieën werden gemaakt op grond van frequenties van specifieke antwoorden die de respondenten gegeven hebben. Als een antwoord door veel respondenten werd gegeven, vormde dat antwoord een categorie. Bij elke open vraag zijn de categorieën gerapporteerd die betrekking hadden op antwoorden die het meest gegeven werden. Resultaten Hieronder worden de resultaten per focus beschreven. Bij elke focus worden voor elk van de drie onderwijsvernieuwingen afzonderlijk de meningen van de verschillende stakeholders weergegeven en vergeleken. Daarbij worden vooral de meningen die sterk afwijken van het neutrale standpunt belicht. Vervolgens zal bij elke focus voor elk van de drie onderwijsvernieuwingen een conclusie worden getrokken. Focus 1: Aanleidingen/doelen van de vernieuwing Over de aanleidingen en de doelen van de verschillende onderwijsvernieuwingen zijn alle groepen stakeholders bevraagd. Aan de orde kwam of er goede redenen waren voor de vernieuwingen, en of er voldoende middelen en expertise beschikbaar was. Aan de ouders/verzorgers en leerlingen is gevraagd of ze voldoende geïnformeerd waren en of de verwachtingen duidelijk waren. Basisvorming De schoolleiders zijn het licht eens met de stelling dat er dat er goede redenen waren voor de invoering van de basisvorming. Daarentegen zijn de schoolleiders zeer negatief over de randvoorwaarden die daarvoor geschapen werden. Er was volgens hen te weinig tijd, middelen en expertise in de school, en voor hen was het onduidelijk hoe de vernieuwing vertaald moest worden naar de onderwijspraktijk. De docenten zijn licht oneens met de stelling dat er goede redenen waren voor de invoering van de basisvorming. Zij hebben geen uitgesproken mening over hoe concreet de doelen waren en wat van zowel hen als van de leerlingen verwacht werd. Echter, zij hebben een zeer negatieve mening over hoe de doelen vertaald konden worden naar de onderwijspraktijk, ze zijn zeer negatief over de beschikbaar gestelde tijd en middelen voor het invoeren van de vernieuwingen en ze zijn sterk negatief over de haalbaarheid van de doelen van de basisvorming. Ook hebben de docenten lichte twijfel over de aanwezigheid op school van de nodige expertise om de doelen van de basisvorming te bereiken. De ouders/verzorgers die de vragenlijst voor de basisvorming hebben ingevuld zijn neutraal over de stelling dat er goede redenen waren voor de invoering van de basisvorming evenals over de stelling dat zij voldoende geïnformeerd waren door de school over de invoering van de basisvorming. Ze zijn licht negatief over de mate van duidelijkheid over wat van hun kind en van henzelf verwacht werd. De ouders/verzorgers menen dat zij slecht geïnformeerd werden door de overheid over wat de basisvorming inhield. De leerlingen zijn licht positief ten aanzien van redenen om de basisvorming in te voeren, alsmede over de duidelijkheid van de verwachtingen naar leerlingen en docenten. Bij de aanleiding en doelen van de basisvorming kan geconcludeerd worden dat er enige consensus is bij de professionals. Wat betreft de redenen loopt men een beetje uit de pas maar men is het roerend eens over het gebrek aan middelen (zowel tijd als geld) en expertise aanwezig in de school om de basisvorming goed in te kunnen voeren. Ouders/verzorgers zijn iets negatiever dan de leerlingen. Tweede fase De schoolleiders zijn sterk van mening dat er goede redenen waren voor de invoering van de tweed fase en ze stonden dus achter deze onderwijsvernieuwingen. Doelstellingen van de tweede fase worden concreet genoeg gevonden maar de verwachtingen ten aanzien van zowel schoolleiders als leerlingen werden als niet echt duidelijk beoordeeld. Er was volgens de schoolleiders veel te weinig tijd en financiële middelen beschikbaar, en het realiseren van de doelen wordt door de schoolleiders als niet echt haalbaar geacht. De docenten hebben geen uitgesproken mening over de noodzaak van de invoering van de tweede fase; hierin verschillen zij van de schoolleiders. Verder zijn de docenten helemaal niet overtuigd door de redenen die Den Haag gaf voor de invoering van de tweede fase. De docenten zijn licht negatief over de duidelijkheid van wat er verwacht werd, zowel voor de leerlingen als voor hen zelf. Ook zijn zij bijzonder zeer negatief over de beschikbaar gestelde tijd en middelen voor het invoeren van de vernieuwingen en hebben ze een sterk negatieve mening over de aanwezige kennis op school om de doelen te bereiken, hoe zij zelf de doelen zouden moeten proberen te bereiken alsmede de haalbaarheid van de doelen in het algemeen. Bij de docenten overheerst dus een (zeer) negatieve mening met betrekking tot de doelen van de invoering van de tweede fase. De ouders/verzorgers die de vragenlijst voor de tweede fase hebben ingevuld laten een zelfde beeld zien als de ouders/verzorgers die de vragenlijst voor de basisvorming hebben ingevuld. Ze zijn neutraal over de stelling dat er goede redenen waren voor de invoering van de tweede fase alsmede over de stelling dat zij voldoende geïnformeerd waren door de school over de invoering van de tweede fase. Ze zijn licht negatief over de mate van duidelijkheid over wat van hun kind en van henzelf verwacht werd. De ouders/verzorgers menen dat zij slecht geïnformeerd werden door de overheid over wat de tweede fase inhield. Ook hier zijn de leerlingen neutraal over de redenen om de tweede fase in te voeren, alsmede over de duidelijkheid van de verwachtingen naar leerlingen en docenten betreffende de tweede fase. Voor de aanleiding en de doelen van de tweede fase kan men concluderen dat de schoolleiders een positiever beeld laten zien dan de docenten. Men kan bij deze onderwijsvernieuwing spreken van een zekere kloof tussen deze twee groepen professionals. Ouders/verzorgers zijn iets negatiever dan de leerlingen. VMBO Hier is te zien dat de schoolleiders van mening zijn dat er goede redenen voor de invoering van het VMBO waren, al worden de redenen gegeven door de overheid niet echt overtuigend gevonden. De schoolleiders vinden de doelstellingen van de invoering concreet genoeg evenals de verwachtingen ten aanzien van hun rol als schoolleider. Negatiever zijn de schoolleiders over de beschikbaarheid van tijd en financiële middelen. Verder was het hen niet goed duidelijk hoe de vernieuwing vertaald moest worden naar de onderwijspraktijk. De docenten laten ook hier een iets negatiever beeld zien. Zij zijn licht oneens met de stelling dat er goede redenen waren voor de invoering van het VMBO en ze zijn helemaal niet overtuigd door de redenen die Den Haag gaf voor deze vernieuwing. Ook geven de docenten aan niet helemaal achter de doelen voor de invoering van het VMBO te staan en is men licht negatief over de geboden duidelijkheid, zowel voor de leerlingen als voor hen zelf. Ook hier zijn de docenten zeer negatief over de beschikbaar gestelde tijd en middelen voor het invoeren van de vernieuwingen en hebben ze een sterk negatieve mening over de aanwezige kennis op school om de doelen te bereiken alsmede de haalbaarheid van de doelen van de invoering van het VMBO. Bij de ouders/verzorgers die de vragenlijst voor het VMBO hebben ingevuld is wederom een zelfde beeld te zien als bij de twee bovenstaande onderwijsvernieuwingen. Ze zijn neutraal over de stelling dat er goede redenen waren voor de invoering van het VMBO alsmede over de stelling dat zij voldoende geïnformeerd waren door de school over de invoering van het VMBO. Ze zijn licht negatief over de mate van duidelijkheid over wat van hun kind en van henzelf verwacht werd. Ten slotte menen de ouders/verzorgers dat zij slecht geïnformeerd werden door de overheid over wat het VMBO inhield. De leerlingen laten een iets positiever beeld zien. Ze waren het licht eens met de stelling dat er voldoende redenen waren om het VMBO in te voeren. Neutraal scoorden ze op hoe duidelijk de verwachtingen naar leerlingen en docenten zijn bij het VMBO. Ook hier kan de conclusie getrokken worden dat de groepen professionals enigszins een andere mening hebben ten aanzien van de aanleiding en de doelen voor de invoering van het VMBO. Schoolleiders zijn positiever dan docenten. Opmerkelijk is ook dat leerlingen positiever zijn dan hun ouders. Focus 2: Behalen van de doelen Bij de tweede focus is aan de schoolleiders en docenten gevraagd in hoeverre de doelen zoals geformuleerd in de wet zijn behaald. Bij de ouders/verzorgers en leerlingen is niet expliciet gevraagd naar de realisatie van de doelen van de basisvorming zoals geformuleerd in de wet. De opbrengsten van de vernieuwingen zijn bevraagd in termen als verhoging van de waarde van het diploma volgend uit de onderwijsvernieuwing, verbetering van de positie van de leerlingen op de arbeidsmarkt, betere aansluiting met het vervolgonderwijs en meer tijd voor het kiezen van een beroep of vervolgstudie. Basisvorming De schoolleiders zijn neutraal ten aanzien van het behalen van de doelen, met uitzondering van het doel van de basisvorming om het onderwijsprogramma te moderniseren. Daar is men licht positief over. De docenten daarentegen zijn neutraal ten opzichte van het doel van de basisvorming om het onderwijsprogramma te moderniseren, maar negatief ten aanzien van de andere drie doelen, te weten de verhoging van het algehele peil van het jeugdonderwijs, harmonisering van het onderwijs, en uitstel van definitieve studie- en beroepskeuze. De ouders zijn over al de mogelijke gevolgen van de basisvorming licht negatief, en denken dus dat de basisvorming opbrengsten zoals verhoging van de waarde van het diploma, verbetering van de positie van de leerlingen op de arbeidsmarkt, betere aansluiting met het vervolgonderwijs en meer tijd voor het kiezen van een beroep of vervolgstudie, niet teweeg heeft gebracht. De leerlingen daarentegen zijn neutraal over de arbeidsmarktpositie en tijd voor beroeps- en studiekeuze tot licht positief over de aansluiting bij vervolgonderwijs en de waarde van het diploma. De conclusie bij het behalen van de doelen van de basisvorming is dat twee van de stakeholders, te weten de docenten en de ouders/verzorgers, negatief zijn over het behalen van de doelen. Tweede fase Over het behalen van twee van de vier doelen van de tweede fase zijn de schoolleiders positief, te weten de modernisering van het onderwijsprogramma in de hogere leerjaren van VWO en HAVO (sterk positief) en meer ruimte aan scholen voor eigen keuze (licht positief). Over de andere twee doelen, namelijk verbetering van de aansluiting van VWO en HAVO op hoger onderwijs en een grotere samenhang in het programma, zijn de schoolleiders neutraal. De docenten zijn echter een stuk negatiever. De doelen waar de schoolleiders positief over zijn, zijn de docenten neutraal over, en waar de schoolleiders neutraal over zijn, zijn de docenten sterk negatief. Docenten vinden dus dat de doelen verbetering van de aansluiting van VWO en HAVO op hoger onderwijs en een grotere samenhang in het programma, niet zijn behaald. De ouders/verzorgers vinden dat de tweede fase niet het diploma van hun kind meer waard heeft gemaakt (sterk negatief), dat de positie van hun kind op de arbeidsmarkt niet is verbeterd (sterk negatief), dat de aansluiting voor vervolgonderwijs niet is verbeterd (licht negatief) en dat er niet meer tijd is om een definitieve studie- en beroepskeuze te maken (sterk negatief). De leerlingen zijn alleen neutraal over de aansluiting op het vervolgonderwijs, en licht negatief over de andere drie mogelijke opbrengsten. Bij de tweede fase, kan men concluderen, overheerst een negatieve stemming als het gaat over het behalen van de doelen. VMBO Bij het VMBO is hetzelfde beeld te zien als bij de andere twee onderwijsvernieuwingen wat betreft het behalen van de doelen. De mening van de schoolleiders is namelijk een stuk positiever dan die van de docenten. De schoolleiders zijn neutraal ten aanzien van het te behalen doel «herkenbaar en samenhangend programma-aanbod voor het gehele MAVO en VBO» en van het doel «een ononderbroken leerweg van basisvorming via bovenbouwprogramma MAVO EN VBO naar het vervolgonderwijs». Over het behalen van het doel dat er door de vernieuwing een verbeterde oriëntatie en aansluiting van het MAVO en VBO op het vervolgonderwijs zou plaatsvinden zijn de schoolleiders licht positief. De docenten geven aan bij al de drie doelen voor de invoering van het VBMO licht negatief te zijn. De VMBO-leerlingen zijn opvallend positief over de opbrengsten van de invoering van het VMBO. Zij vinden dat hun diploma meer waard is geworden (sterk positief), dat hun positie op de arbeidsmarkt is verbeterd (licht positief), dat de aansluiting met het vervolgonderwijs is verbeterd (sterk positief) en dat ze meer tijd hebben voor het maken van een definitieve studie- en beroepskeuze (licht positief). De ouders/verzorgers geven aan over deze mogelijke opbrengsten respectievelijk sterk negatief, licht negatief, neutraal en licht negatief te zijn. De conclusie bij het behalen van de doelen van het VMBO is dat de contrasten tussen de schoolleiders en docenten, en tussen de ouders/verzorgers en leerlingen, nog groter zijn dan bij de andere twee onderwijsvernieuwingen. De positieve mening van de leerlingen springt er bij het VMBO uit. Focus 3: Invoering van de vernieuwing Over de invoering van de vernieuwingen zijn vooral de schoolleiders en de docenten bevraagd. Aan de orde kwamen randvoorwaarden, de didactische vormgeving van het onderwijs binnen de school en hoe ingrijpend de daadwerkelijke invoering was voor de school en de schoolleiding en de docenten. Ook zijn er twee open vragen gesteld. Een eerste open vraag ging nadrukkelijk over wat er goed ging bij de invoering van de onderwijsvernieuwingen en de tweede over wat er naar hun mening mis ging. Daarnaast zijn alle stakeholders gevraagd in eigen bewoordingen de grootste problemen en de grootste deugden van de invoering van de onderwijsvernieuwing te beschrijven. De antwoorden op deze laatste vraag worden in een apart hoofdstuk beschreven. Basisvorming Volgens de schoolleiders is Den Haag te inflexibel geweest bij de invoering van de basisvorming. Daarnaast was er volgens hen te weinig voorbereidingstijd en waren er te weinig financiële middelen beschikbaar gesteld. De helft vindt dat er voldoende kennis binnen de instelling aanwezig was. De ondersteuning door Den Haag werd door drie kwart als te weinig beschouwd, terwijl twee derde van de schoolleiders de ondersteuning vanuit verzorgingsinstanties zoals LPC/SBD’s voldoende vindt. De school had wel de nodige visie (met andere woorden de schoolleiders vinden dat zij zelf de nodige visie hadden). Bij de docenten is een vergelijkbaar maar iets negatiever beeld te zien. Tweederde van de docenten vindt dat er voldoende ruimte is geboden om het onderwijs vorm te geven. Blijkbaar was dat nodig omdat zij menen dat de overheid te kort schoot als het ging om richting te geven (55%). Den Haag wordt door een meerderheid van de docenten als weinig flexibel (75%) en te weinig ondersteunend (85%) gezien. Verder was er volgens de docenten te weinig voorbereidingstijd (driekwart) en waren er te weinig middelen (85%). Een krappe meerderheid van de docenten is van mening dat er voldoende kennis en visie aanwezig was in de instelling (allebei 55%; zie schoolleiders) en dat er te weinig ondersteuning was van de verzorgingsinstanties (60%). Met andere woorden, ten aanzien van een aantal wezenlijke punten over de invoering van de basisvorming verschillen de meningen van de docenten van de meningen van de schoolleiders. Bijna tweederde van de schoolleiders en circa 55% van de docenten vindt dat de invoering van de basisvorming tot een andere didactische vormgeving van het onderwijs heeft geleid. Het al dan niet veranderen van de didactische vormgeving van het onderwijs was volgens 85% van de schoolleiders en 75% van de docenten een keuze van de school. Terwijl de invoering van de basisvorming door schoolleiders niet als echt ingrijpend werd ervaren heeft het de schoolleiders meer tijd gekost dan dat zij eigenlijk hadden. De docenten vinden de invoering van de basisvorming zowel ingrijpend voor de school als meer tijd kostend dan dat zij hadden. Op de open vraag over wat er goed ging in de school bij de invoering van de basisvorming lopen de antwoorden van de schoolleiders behoorlijk uiteen, hoewel er enige lijnen te trekken zijn. Het meest genoemd positieve punt is de invoering van «de nieuwe vakken». Men ziet deze vakken enerzijds als een verrijking. Anderzijds merkten schoolleiders dat de invoering van nieuwe vakken goed ging omdat deze vakken geen verleden hadden. De schoolleiders vinden ook dat de invoering van de basisvorming heeft geleid tot een nieuwe «elan» op hun scholen en dat het geleid heeft tot meer en betere samenwerking in de school. Uitspraken zoals: «Personeel is gemotiveerd om het beste voor de leerlingen te zoeken. Vooral samenwerken van het team geeft onderling een betere sfeer en dat straalt uit binnen de school» komen betrekkelijk vaak terug in de antwoorden van deze open vraag. Een derde – en misschien onverwachte – punt van positieve overeenstemming is dat men vindt dat de invoering van de basisvorming geleid heeft tot meer samenhangende lessen, eenbetere lessentabel en tot vakkenintegratie: «Er is meer afstemming, vakintegratie/vakgebieden». Bij de antwoorden van de docenten op de vraag wat er goed ging komen de eerste twee positieve punten van de schoolleiders ook bij de docenten terug, al wordt het aspect van samenwerking/elan heel vaak een bijklank van enerzijds «wat wij bereikt hebben hebben wij bereikt ondanks in plaats van dankzij» en anderzijds «wij moesten elkaar zoeken en vinden omdat wij allemaal in hetzelfde onprettige schuitje zaten». Op de vraag wat er mis ging bij de invoering van de basisvorming antwoorden de schoolleiders dat er te weinig kennis en hulp van deskundigen voorhanden was. Gevolg was een «onvoldoende kennis in de organisatie, onvoldoende beleidsmatige aanpak». Ook de scholing van personeel is beoordeeld als onvoldoende, omdat «de overheid te weinig geld en tijd investeerde» . Daarnaast is men van mening dat zaken rondom toetsing niet in orde waren, zowel het aantal toetsen als de afsluitende toets. Zoals een schoolleider verwoordt: «Docenten hadden wel het gevoel dat er zinloze dingen werden opgelegd (zoals de verplichte afsluitingstoetsen) en dat is niet motiverend. Hetzelfde gold voor de leerlingen.» En ook: «Verplichte eindtoets om de basisvorming af te sluiten heeft de overheid enorm veel geld gekost, ons veel tijd en energie gekost en was een enorme flop en is een zachte dood gestorven.» Verder verliep de aansluiting met de tweede fase moeizaam, omdat «de vertaling naar het examenprogramma moeilijk verliep». Al met al zijn de schoolleiders opvallend mild. Een goede samenvatting werd door een schoolleider als volgt gegeven: «Het ging nergens helemaal mis, maar een aantal zaken is niet goed genoeg uit de verf gekomen. Zoals eerder aangegeven is het omgaan met verschillen tussen leerlingen daarbij een groot probleem gebleken. Je mag leerlingen m.i. niet onder of boven hun niveau laten functioneren maar de vaardigheden van docenten om intern te differentiëren waren onvoldoende en zijn dat helaas nog steeds. De basisvorming als voorloper voor de traditionele afsluiting met de bekende diploma’s en daarbij behorende exameneisen sloten nooit echt aan. Belangrijke uitgangspunten en kerndoelen van de basisvorming kwamen onvoldoende terug in de afsluitende beoordeling. De status van die uitgangspunten en kerndoelen kwam daarmee in de beeldvorming tussen docenten basisvorming en docenten bovenbouw niet voldoende overeen.» De docenten vonden onder meer de toetsing mis gaan. Aan de afname van toetsen over kerndoelen is «een waanzinnige hoeveelheid tijd en papier verspild. Vakken hebben uren ingeleverd en dat levert nu nog steeds scheve gezichten» Er was geen draagvlak (gezocht en gevraagd) voor de toetsen en ook niet voor de opgelegde uitgangspunten. Dit had volgens de docenten een negatieve impact op het imago van het onderwijs en de docent. Daarnaast was er volgens de docenten veel onduidelijkheid. Dit had te maken met zowel de vernieuwing zelf als met de invoering daarvan. Volgens een aantal docenten ontbrak de regie: «De overheid faciliteert mogelijk wel maar het geld blijft steken bij verkeerde dingen. Bovendien bestaat de gedachte dat goed onderwijs te koop is, en dat is natuurlijk niet zo; geld katalyseert. De regie vanuit de schoolleiding was onduidelijk, zij kregen het duidelijk ook in te korte tijd voorgeschoteld, wisten ook niet wat er mee te doen want de kaders gesteld door overheid waren te ruim waar ze nauwer moesten zijn, en te nauw waar ze ruimer moesten zijn.» Een andere docent verwoordt het als volgt: «Bijvoorbeeld bij mijn eigen vak, de eindtoetsen basisvorming. Netjes aan meegedaan. Urenlang(!) vragenlijst over ingevuld, waar bij werd gezegd dat het ervoor zou zorgen dat de toets van het jaar erop zou veranderen. Jaar later: exact dezelfde toets!» Docenten noemen ook het ontbreken van veel randvoorwaarden. «Te weinig ontwikkeltijd, wel invoeren, weinig evaluatie en reflectie. Tegen de tijd dat de kinderziekten uit de onderwijsvernieuwing zijn komt de volgende vernieuwing al weer op de proppen. Te veel vernieuwingen tegelijkertijd ingevoerd en op te grote schaal; te weinig kleinschalige pilots», en «Te weinig tijd, te veel druk, te weinig echte expertise, slechte begeleiding door mensen die expertise zouden moeten hebben maar het niet hadden (door te veel slechte adviesbureaus), te veel richting opgeduwd, te weinig compensatie, teveel werken in eigen tijd, te weinig aanmoediging, te weinig waardering». De conclusie ten aanzien van de invoering van de basisvorming is dat er veel overeenstemming is tussen schoolleiders en docenten, al zijn de schoolleiders veel milder in hun kritiek dan de docenten. Pijnpunten zijn: toetsen, duidelijkheid en ontbreken van randvoorwaarden voor een goede invulling. De positieve punten hebben vooral met schoolklimaat en schoolorganisatie te maken en opvallend niet met een verbetering van het onderwijs. Tweede fase Ook bij de invoering van de tweede fase vindt een groot deel van de schoolleiders, ongeveer driekwart, dat Den Haag te weinig helder was over de richting waar het heen moest, te weinig flexibel en te weinig ondersteunend. Driekwart geeft aan dat er te weinig voorbereidingstijd beschikbaar was en 90% vindt dat de financiële middelen ontoereikend waren. Bij de docenten is een vergelijkbaar beeld te zien. Ook zij vinden dat er te weinig richting vanuit de overheid werd gegeven (55%), te weinig flexibiliteit van Den Haag (70%) en te weinig ondersteuning vanuit Den Haag (85%). Ongeveer 85% geeft aan dat er bij de invoering van de tweede fase te weinig tijd en te weinig middelen beschikbaar waren. Verder vindt 62% van de schoolleiders en 41% van de docenten de ondersteuning vanuit de verzorgingsinstanties zoals LPC/SBD’s voldoende. Voldoende kennis in de instelling was er volgens de helft van de schoolleiders en de helft van de docenten. Echter, evenals bij de basisvorming, was slechts de helft van de docenten van mening dat de school beschikte over de visie en het beleid die nodig was om de tweede fase goed in te voeren, en dat is beduidend minder dan het percentage schoolleiders (75%) dat meende dat er voldoende visie en beleid was. Ongeveer tweederde van de schoolleiders en docenten vindt dat de invoering van de tweede fase tot een andere didactische vormgeving van het onderwijs heeft geleid. De beslissing daartoe werd volgens circa 85% van de schoolleiders en circa 70% van de docenten door de school genomen. De invoering van de tweede fase werd door schoolleiders en docenten ervaren als echt ingrijpend voor de school en voor henzelf. Verder heeft de invoering van de tweede fase zowel schoolleiders als docenten meer tijd gekost dan dat zij eigenlijk hadden. Docenten zijn sterk van mening dat de invoering van de tweede fase hun werk moeilijker gemaakt heeft. Op de open vraag over wat er goed ging in de school bij de invoering van de tweede fase antwoorden de schoolleiders deorganisatorische invulling van de tweede fase. Er ging veel aandacht uit naar de organisatie van bijvoorbeeld het kiezen van profielen en vrije ruimtevakken, een nieuwe rooster, en het informeren van secties over de nieuwe exameneisen. Zoals een schoolleider verwoordt: «De organisatie van de profielen en vakinhouden was goed gecommuniceerd met personeel, en alle geledingen waren betrokken bij invoering. Na eerste plannen goed doorgesproken, pilots gehouden, hoorzittingen (ook met leerlingen) en plannen aangepast». De kritiek richtte zich volgens enkele schoolleiders vooral op het studiehuis en op de deelvakken. Er was ook veel contact met andere scholen (via een netwerk van scholen). Het organisatorische succes is misschien een gevolg geweest van een conservatieve invoering. «Wij hebben low-profile ingevoerd: de beste beslissing ooit achteraf gezien (geen studiehuis etc.)», en «Wij hebben geen al te grote stappen gezet bij de implementatie, realisme overheerste, waardoor teleurstelling en demotivatie bij betrokkenen achterwege bleef», en «We zijn zo dicht mogelijk gebleven bij de zaken die we als school belangrijk vonden en vinden: voor het merendeel klassikaal (wat zeker niet hetzelfde is als frontaal) onderwijs, leerlingen veel keuzemogelijkheden bieden (twee of drie vakken in de vrije ruimte).» De docenten spreken in de open vraag meer over waarom de invoering goed ging – als het goed ging – dan wat er goed ging. Men spreekt bijvoorbeeld over beleidsarme invoering: «Door de beleidsarme invoering van de tweede fase waren de veranderingen bij ons op school in eerste instantie niet zo groot. Nieuwe vakken werden redelijk traditioneel neergezet waardoor het in het eerste jaar niet gelijk spaak liep organisatorisch gezien» en «Er ging eigenlijk niets mis doordat het geheel geleidelijk ingevoerd werd en ook beleidsarm. Dus totaal was goed voorbereid en uitgevoerd.» De docenten hebben ook veel lof voor de schoolleiding met betrekking van de organisatie van de invoering. «De organisatie was op orde. Gaten die Zoetermeer en de instellingsgroep lieten vallen, moesten hier door de schoolleiding worden opgevangen. Resultaten bleven op een goed niveau». Volgens de schoolleiders gingen er verschillende zaken mis bij de invoering van de tweede fase. Er waren bijvoorbeeld te weinig middelen «om invoering goed uit te voeren; verbouwingen die noodzakelijk waren, konden niet doorgaan; de lesmethodes waren (veel) te laat en dat heeft tot uitstel geleid van het eerste jaar van invoering». Gevolg daarvan was overbelasting van docenten en schoolleiding. Ook zien de schoolleiders de zelfstandigheid van de leerling als te gering: «Te veel keuzes voor leerlingen, te weinig geleidelijkheid naar zelfstandigheid» zegt een schoolleider. En dat veroorzaakte weer problemen bij het zogenoemde studiehuis en de studie-uren. «Docenten en leerlingen waren niet klaar voor zelfstandig werkende leerlingen.»en «Invoering van het studiehuis ging langzaam, met name waarop in eerste instantie de KWT[keuzewerktijd] was ingevuld. Veel docenten geloofden niet in de nieuwe rol van coach». De invoering van de keuzewerktijd werd volgens een schoolleider om zeep geholpen door leerlingen en docenten. «Te starre opvatting over invoeren studiehuis door een aantal docenten. De pogingen om samenhang tussen de vakken te krijgen liep op weinig uit.» Verder was er sprake van de al eerder aan bod gekomen werkdruk bij docenten. Docenten waren volgens de schoolleiders niet goed voorbereid op de vernieuwing van de inhoud en de werkvormen. Ze moesten naast hun gewone werk de voorbereidingen treffen voor de tweede fase, zoals het maken van studiewijzers, het noodzakelijke sectieoverleg, het volgen van cursussen betreffende didactiek. Ten slotte kwamen er ook nog veel verschillende berichten van andere scholen en werd onduidelijk wat men nu precies moest doen. De docenten zagen dezelfde zaken misgaan en geven precies hetzelfde beeld als de schoolleiding, zij het misschien met een groter nadruk op het niet kunnen omgaan met zelfstandigheid. «Op weg naar zelfstandigheid werden leerlingen ineens verwacht de juiste keuzes en werkhouding te hebben. Ontwikkelingslijn naar steeds meer zelfstandigheid toe wordt niet goed genoeg opgebouwd en in de gaten gehouden». Dat kwam vooral tot uiting in het studiehuissysteem. «Te veel leerlingen werden zonder gerichte opdrachten samen in een mooie grote ruimte geplaatst, maar losgekoppeld van de docenten. Dus met urenvermindering per vak, werd ook daarvan nog eens contacttijd afgehaald voor het studiehuis», «Organisatie van zelfstandig werken, keuzewerktijd en de zogenaamde Open Leer Centra is al jaren chaotisch en zeer frustrerend voor de leerkrachten», «Stringente invoering van het zelfstandig leren, waarbij bijvoorbeeld leerlingen 8 weken lang niet getoetst mochten worden; deze vrijheid geeft bij studenten al grote problemen, laat staan bij leerlingen van 15 of 16 jaar.» Bij de invoering van de tweede fase kan geconcludeerd worden dat er veel onduidelijkheid was over verwachtingen en de tijd waarin de verwachtingen moesten worden waargemaakt. De belasting die gepaard ging met invoering van de tweede fase werd ervaren als extreem en was niet in overeenstemming met de middelen die beschikbaar waren. Tot slot merken veel docenten en schoolleiders op dat het kunnen omgaan met de vereiste zelfstandigheid van de tweede fase een groot probleem was. VMBO De schoolleiders geven aan dat er voldoende ruimte was om zelf vorm te geven aan het onderwijs (driekwart). Verder is de meerderheid van de schoolleiders van mening dat Den Haag bij de invoering van het VMBO voldoende richting gegeven heeft (ongeveer 65%). Wel vindt tweederde dat Den Haag te weinig flexibel was en dat er te weinig ondersteuning vanuit Den Haag kwam. Tweederde ziet de ondersteuning vanuit de verzorgingsinstanties als voldoende. Negatief is men over de voorbereidingstijd, ongeveer 60% vindt dat te weinig, en financiële middelen, meer dan driekwart vindt dat te weinig. Docenten laten ook hier een negatiever beeld zien. Tweederde beoordeelde de ruimte om onderwijs zelf vorm te geven als voldoende. Slechts 40% van de docenten vindt dat Den Haag voldoende richting heeft gegeven, meer dan 80% beoordeelde Den Haag als te weinig flexibel en bijna 85% als te weinig ondersteunend. Slechts een derde van de docenten ziet de ondersteuning vanuit de verzorgingsinstanties als voldoende. Driekwart vindt de voorbereidingstijd te weinig en meer dan 80% is van mening dat de financiële middelen onvoldoende waren. Voor de helft van de schoolleiders en de docenten was er voldoende kennis binnen de instelling. Over visie en beleid is men het minder eens. Waar meer dan 80% van de schoolleiders oordelen dat er voldoende visie en beleid aanwezig was op de school om het VMBO in te voeren oordeelt amper 55% van de docenten dat dat het geval was. Het overgrote deel van de schoolleiders (80%) als ook de docenten (meer dan 70%) is van mening dat door de invoering van het VMBO de didactische vormgeving veranderd is, en dat de school de keuze voor die verandering heeft gemaakt (90% en 70% respectievelijk). De schoolleiders en docenten zien de invoering van het VMBO als behoorlijk ingrijpend voor de school. Beide groepen zijn neutraal over hoe ingrijpend het voor henzelf was en neutraal over of de invoering hun werk moeilijker maakte. Beide groepen vinden daarnaast dat de invoering van het VMBO behoorlijk wat meer tijd kostte dan ze beschikbaar hadden. Bij de open vraag over wat er goed ging in de school bij de invoering van het VMBO geven de schoolleiders geen echt duidelijk uitspringende punten. Er is een lichte tendens naar zaken zoalsteambuilding: «Teambuilding; duidelijker uitgekristalliseerd korps van lesgevenden die affiniteit hebben met de VMBO-doelgroep», en «De samenhang: visie, organisatie, gebouw, personeel. Het onderwijsconcept wordt breed gedragen, docenten werken in echte teams, het gebouw is bijna volledig aangepast aan het gewenste concept.» Ook is men positief over de ruimte voor bijscholing en de duidelijke leerroutes en betere doorstroming. Voor docenten geldt min of meer ook dat men nauwelijks kan aangeven wat er goed ging bij het invoeren van het VMBO. Opmerkelijk is hoe vaak men kiest om antwoorden als «weinig» of «niets» in te vullen. Als er een punt is dat geregeld genoemd wordt, dan is het de saamhorigheid die ontstond binnen de school. «Met je collega’s zet je je schouders eronder en begin je aan de klus en zijn we nog steeds bezig met de onderwijsvernieuwingen. Maar het valt niet mee om je altijd maar weer extra in te zetten voor de volgende verandering/vernieuwing. Ik merk dat oudere collega’s het moe worden en het denken: het zal mijn tijd wel duren» en «Met een klein team dat een duidelijke visie had op waar het onderwijs naar toe moest, hebben we een goed programma neer kunnen zetten in korte tijd. Dit alles onder een schoolleiding die voldoende ruimte en faciliteiten gaf om de gestelde doelen te bereiken. De schoolleiding was ook erg inspirerend.» Een tweede punt is dat de invoering van de verschillende leerwegen betrekkelijk weinig problemen lijken te hebben opgeleverd. Op de open vraag wat er mis ging in de school bij de invoering van het VMBO laten de schoolleiders opvallend vaak weten dat weinig tot niets mis is gegaan bij de invoering. Men lijkt redelijk tevreden te zijn met zowel wat is gebeurd en hoe het is gebeurd. Een aspect dat genoemd wordt is de samenvoeging van VBO/MAVO: «Vooral de samenhang tussen de AVO-vakken in de TL is achterwege gebleven; de TL is MAVO gebleven» en «VMBO is veralgemeniseerd en heeft zich niet weten te verbinden aan het vervolgberoepsonderwijs en het bedrijfsleven. Uiteindelijk is de MAVO weer terug en heeft het VMBO een slecht imago (Ze kunnen niets en leren niets). De leerlijnen zijn wel tevreden maar de kwaliteit die je mag verwachten in de aansluiting op het vervolgonderwijs blijft uit» en«VMBO GT en VMBO beroepsgericht meer samen. De TL wil liever aanhaken bij imago van HAVO-VWO. Toch nog steeds uit angst (=onbekendheid) voor de leerlingen bij beroepsgericht. Deel van de docenten blijft verbaasd als mensen aangeven bewust voor beroepsgericht te kiezen i.v.m. de leuke eigenschappen van deze kinderen.» Verder noemen de schoolleiders dat het mis is gegaan met tijd en geld. Dat was er te weinig: «Met incidentele middelen zijn zowel materieel als personeel structurele verplichtingen gecreëerd. Dat is onvermijdelijk. Vernieuwing kost ook geld. We kunnen niet blijvend voor een dubbeltje op de eerste rang zitten. Scholen die voorop liepen in de onderwijsvernieuwing dreigen nu door de wet van de remmende voorsprong gestart te worden» en «Invoering moest met te weinig middelen en tijd. vb: leerlingen moesten al geadviseerd worden voor een leerweg, zonder dat het exacte niveau voor iedereen duidelijk was. Adviezen waren veelal in het voordeel van de leerling. Nu blijkt dat de niveaus moeilijker zijn. Gevolg is dat leerlingen minder scoren wat een negatieve kwaliteitskaart bij inspectie tot gevolg heeft.» Ook de docenten geven aan dat het mis is gegaan met derandvoorwaarden. Er was te weinig tijd, middelen, visie en kennis aanwezig in de school. Daarnaast was er volgens de docenten een ad hoc cultuur en te weinig beleid: «Slechte voorbereiding; hap snap beleid», «Het is te snel gegaan. Docenten waren er nog niet klaar voor en niet geschoold genoeg om op deze manier verder te gaan», en «Er was te weinig nagedacht wat betreft de invoering van nieuwe vakken. Welke collega’s over de nodige bevoegdheden beschikten was niet bekend. De vraag van leerlingen naar bepaalde vakken werd verkeerd ingeschat. Hierdoor is een vermogen aan boeken besteld die nooit gebruikt zijn omdat uitgeverijen ons op het verkeerde been hebben gezet. Bewust of onbewust, dat kan ik niet achthalen. Eigen initiatieven van docenten werden in eerste instantie in de kiem gesmoord. Na veel voorweken en argumenteren hebben we na vier jaar pas daadwerkelijk zelf dingen kunnen aanpassen». Ten slotte wordt de starheid van collega’s genoemd: «Docenten lieten hun vakgrenzen niet los, zodat samenhang en leerlijn niet werden ontwikkeld. In de uitvoering vielen docenten terug in hun gewoontegedrag en bleven de lessen en manieren van lesgeven hetzelfde. Dit is niet goed aangestuurd vanuit het management. Naar mijn mening wordt onderschat wat het docenten kost om andere manieren van werken op te pakken. Daar zijn ze niet in opgeleid.» Voor de invoering van het VMBO is de conclusie dat, in tegenstelling tot de invoering van de basisvorming en de tweede fase, men veel minder negatief is over de problemen die ervaren werden bij de invoering van het VMBO, al is men over het algemeen hier ook ontevreden over de randvoorwaarden die daarvoor geschapen werden. Misschien is het grootste probleem dat het VMBO vanaf het begin een slecht imago heeft gehad. Focus 4: Invloed van vernieuwing(en) op de kwaliteit van het onderwijs Over de kwaliteit van de vernieuwingen en de mate waarin de onderwijsvernieuwing de kwaliteit van het huidige onderwijs heeft beïnvloed zijn met name de schoolleiders en de docenten bevraagd. Aan de orde kwam of er voldoende aandacht besteed is aan nieuwe leerstof, kerndoelen, algemene vaardigheden, vaardigheden gericht op oriëntatie op studie en beroep, actief leren, vakdidactiek en verschillen tussen leerlingen. Ook is gevraagd in hoeverre de vernieuwing invloed had op wat en hoe er geleerd wordt, de motivatie van docenten en leerlingen, de kwaliteit en het management van de lessen, de organisatie van de school, en hoe druk, moeilijk, leuk en uitdagend het werk is. Daarnaast zijn aan de schoolleiders en docenten twee open vragen gesteld, over het positieve en het negatieve effect van de betreffende onderwijsvernieuwing. Het ging hier over de vraag in hoeverre de onderwijsvernieuwing naar hun mening in hun school een positief dan wel een negatief effect heeft gehad. Een aantal ouders dat ervaring had met het onderwijs voor èn na de vernieuwing heeft ook vragen kunnen beantwoorden over de invloed van de vernieuwing op de cijfers van leerlingen, wat en hoe er geleerd wordt, de motivatie van docenten en leerlingen, de kwaliteit van de lessen, de kwaliteit van de begeleiding door docenten, de verhouding tussen contacturen en uren voor zelfstudie, en hoe druk, moeilijk, leuk en uitdagend het schoolwerk is. Voor de basisvorming waren dat 48 ouders/verzorgers, voor de tweede fase 150, en voor het VMBO 85. Basisvorming Volgens de meerderheid van de schoolleiders is er bij de invoering van de basisvorming voldoende aandacht besteed aan nieuwe leerstof (ruim 80%), algemene vaardigheden (driekwart), en vaardigheden gericht op oriëntatie op studie en beroep (idem). In mindere mate vindt men dat er voldoende aandacht is geweest voor actief leren en vakdidactiek (beiden ruim 60%). Aandacht voor verschillen tussen leerlingen is voor iets meer dan de helft voldoende geweest. Van de docenten vindt meer dan driekwart dat er voldoende aandacht is geweest voor zowel nieuwe leerstof als voor algemene vaardigheden. Wat betreft vaardigheden gericht op oriëntatie op studie en beroep, actief leren (beiden ruim 60%), en vakdidactiek (krap 60%) zijn de docenten wat minder positief. Verschillen tussen leerlingen komt er het minst positief uit (circa 50%). De schoolleiders constateerden geen verandering in cijfers maar zagen wel positieve ontwikkeling ten aanzien van wat er geleerd wordt dat niet in cijfers uitgedrukt wordt en hoe er geleerd wordt. Motivatie van docenten en leerlingen, de schoolorganisatie, hoe leuk, moeilijker het werk is, is volgens de schoolleiders niet door de invoering van de basisvorming beïnvloed. Het werk is door deze vernieuwing wel iets drukker en uitdagender geworden. De docenten zijn neutraal over de meeste zojuist genoemde punten behalve over hun eigen motivatie en hun werkdruk. Hun motivatie is door de invoering van de basisvorming sterk afgenomen en hun werkdruk is licht toegenomen. De ouders/verzorgers die ervaring hadden met onderwijs voor èn na de invoering van de basisvorming vinden dat deze onderwijsvernieuwing een positieve invloed heeft gehad op wat er geleerd wordt. Ook vinden zij dat de basisvorming het onderwijs meer tijdsintensief en moeilijker heeft gemaakt. Naar de mening van de schoolleiders, geformuleerd bij de eerste open vraag, heeft de basisvorming in de school een positief effect gehad op het nadenken over het onderwijs zelf. Docenten ontwikkelden nieuwe inzichten ten gunste van de individuele leerling, en er ontstonden zelfsturende kernteams die veel aandacht hebben voor de individuele leerling. Men ging nadenken over waar het in het onderwijs ten slotte om gaat en over verschillen tussen de leerlingen. Er kwam meer samenwerking in de school en de houding bij docenten veranderde: men ging meer over de leerling en minder over de leerstof te praten. Ook had de basisvorming volgens de schoolleiders een positief effect op devaardigheden van leerlingen. De docenten zijn opvallend weinig positief over de effecten van de basisvorming. Als meest positieve punt wordt de samenwerking en teamgeest genoemd, waarbij leerkrachten, secties en verschillende vakken samenwerkten. Echter, soms stond men door de teambuilding op den duur als één man op tegen de basisvorming. Schoolleiders en docenten zijn bij de tweede open vraag eensgezind over de negatieve effecten van de basisvorming. De werkdruk is omhoog gegaan, het kennisniveau van de leerlingen is verlaagd en de werklast voor de leerlingen is toegenomen. Docenten geven nog aan dat de kwaliteit van het onderwijs is afgenomen. Men kan concluderen dat de invloed van de basisvorming op de kwaliteit van het onderwijs niet erg groot is geweest. De invloed heeft zich vooral gericht op het schoolklimaat dat ook een verandering in de wijze van denken over het onderwijs, het lesgeven en de didactiek teweeg heeft gebracht. Toegenomen werkdruk en afgenomen motivatie van docenten blijven pijnpunten. Tweede fase Bij de tweede fase is een gelijk beeld te zien voor schoolleiders en docenten. Een grote meerderheid vindt dat er voldoende aandacht is geweest voor nieuwe leerstof (krap 85% en 75%, respectievelijk), algemene vaardigheden (65% en 70%) en vaardigheden gericht op oriëntatie op studie en beroep (ruim 80% en 70%). In mindere mate vinden schoolleiders en docenten dat er voldoende aandacht is geweest voor actief leren (beide 60%). Slechts een minderheid van schoolleiders en docenten is van mening dat er voldoende aandacht is geweest voor vakdidactiek (beide 45%) en verschillen tussen leerlingen (40% en 45%). Ook bij de invoering van de tweede fase constateren de schoolleiders geen verandering in cijfers. Ze zien wel een sterk positieve ontwikkeling ten aanzien van wat er geleerd wordt dat niet in cijfers uitgedrukt wordt en een licht positieve ontwikkeling in de manier waarop er geleerd wordt. Met andere woorden, naar hun mening leren de kinderen andere dingen die niet in cijfers uit te drukken zijn maar dit gaat niet ten koste van het traditionele leren. Volgens de schoolleiders is de motivatie van de docenten licht verminderd door de vernieuwing. Ook is hun werk veel drukker en uitdagender geworden, en een beetje moeilijker en leuker. De docenten vinden dat de invoering van de tweede fase de cijfers en de manier waarop er geleerd wordt negatief heeft beïnvloed. Ze zijn zeer uitgesproken over de negatieve invloed van de tweede fase op de motivatie van de leerlingen, hun eigen motivatie, de kwaliteit van de lessen, de organisatie van de school. Door de invoering van de tweede fase is, naar de mening van de docenten, hun werk veel drukker geworden, een beetje moeilijker, en een beetje minder leuk. De ouders/verzorgers die ervaring hadden met onderwijs voor èn na de invoering van de tweede fase vinden dat de tweede fase een positieve invloed heeft gehad op wat er geleerd wordt. Ook vinden zij dat het onderwijs meer tijdsintensief en moeilijker is geworden. Bij de eerste open vraag geven de schoolleiders aan dat de tweede fase in de school een positief effect gehad op het nadenken over het onderwijs. Er wordt meer gedacht over wat de leerlingen nodig hebben om optimaal te leren, over contact tussen docenten over de vakken heen, en over de zelfstandigheid van leerlingen. Ook is er volgens de schoolleiders een positief effect op de samenwerking en overleg in de school, te zien aan de onderwijskundige betrokkenheid van individuele docenten, de bereidheid om samen te werken aan onderwijsvernieuwing, de samenwerking tussen docenten (die wel met elkaar overeenstemming moesten bereiken op tal van punten) en de ontwikkeling van het docentschap. Docenten werken samen en beginnen te overleggen en te delen. Als laatste punt noemen de schoolleiders het positieve effect op de didactische aanpakken. Dat uit zich in een pedagogisch didactisch klimaat, met meer aandacht voor vaardigheden, meer aandacht voor zelfstandig werken, uitbreiding van de onderwijskundig en didactisch repertoire van docenten, en meedenken door leerlingen. Opmerkelijk is dat circa 15% van de docenten «Niets», «Zou ik niet weten», «Geen» of «Geen idee» antwoordt op de open vraag wat het positieve effect van de tweede fase is. Verder wordt de zelfstandigheid van de leerlingen genoemd, en de didactische aanpakken en het nadenken over didactiek en lesgeven. Dat uit zich in een grotere variatie in werkvormen en vernieuwing. Op de open vraag naar de negatieve effecten van de tweede fase noemen de schoolleiders de werkdruk en het verlaagde kennisniveau van de leerlingen. «De verbreding van kennis werd niet gehaald, wel de ontwikkeling van vaardigheden. De verdieping per vak is er ook niet.» Daarnaast noemen de schoolleiders als negatief effect het afnemen van de motivatie van docenten, «veroorzaakt door het plegen van roofbouw op hun uithoudingsvermogen waarbij ze moeten veranderen, bijleren, experimenteren, nieuwe stof rangschikken, andere pedagogische houding aannemen en dat alles voor het merendeel in eigen tijd. De generatie enthousiaste docenten tijdens de invoering van de tweede fase zijn volgens enkele schoolleiders moe, gefrustreerd en cynisch over welke vernieuwing dan ook geworden!» De docenten noemen als negatief effect van de tweede fase dewerkdruk voor docenten, afname van werkplezier, een minderewerkhouding en een mindere motivatie van docenten (circa 15% van alle antwoorden), «omdat vernieuwingen niet goed doordacht zijn en vervolgens weer teruggedraaid moeten worden en docenten te weinig gefaciliteerd worden om deze vernieuwing ook goed in te voeren». Daarnaast wordt de werkhouding van leerlingen genoemd (zesjesmentaliteit) en de mindere betrokkenheid van docenten (gevoel dat er een vervlakking van kennis plaatsvindt). Ten slotte heeft volgens enkele docenten de tweede fase het kennisniveau van de leerlingen verlaagd alsmede de kwaliteit van het onderwijs. De algemene conclusie die hier getrokken kan worden is dat zowel de schoolleiders als de docenten zeer negatief zijn over de effecten van de invoering van de tweede fase op het onderwijs én op hen zelf. Zij menen dat hun eigen inzet en motivatie aangetast werden door de invoering en deze aantasting heeft een negatieve invloed op het onderwijs dat zij verzorgen. Ook menen zij dat de kwaliteit van het onderwijs – gemeten via het kennisniveau van de leerlingen – niet vooruit is gegaan. De schoolleiders en de ouders/verzorgers vinden dat de tweede fase een positieve invloed heeft gehad op wat er geleerd wordt. VMBO Een grote meerderheid van de schoolleiders vindt dat er bij de invoering van het VMBO voldoende aandacht is besteed aan nieuwe leerstof (bijna 90%), algemene vaardigheden (bijna 80%), en vaardigheden gericht op studie en beroep (ruim 80%). Een iets kleinere meerderheid is van mening dat er voldoende aandacht is besteed aan actief leren (70%), vakdidactiek (ruim 60%) en verschillen tussen leerlingen (ruim 70%). Bij de docenten is ook hier een vergelijkbaar beeld te zien, al liggen de percentages iets lager. Er is volgens een meerderheid van de docenten bij de invoering van het VMBO voldoende aandacht geweest voor nieuwe leerstof (driekwart), algemene vaardigheden (ruim 70%), vaardigheden gericht op oriëntatie op studie en beroep (idem) en actief leren (60%). Minder dan de helft van de docenten vindt dat er voldoende aandacht is geweest voor vakdidactiek (45%) en verschillen tussen leerlingen (45%). Bij de invloed van de invoering van het VMBO op de kwaliteit van het onderwijs overheerst bij de schoolleiders een positief beeld. Er is volgens hen weliswaar geen verandering in cijfers, maar er is een sterk positieve ontwikkeling ten aanzien van wat er geleerd wordt dat niet in cijfers uitgedrukt wordt en hoe er geleerd wordt. Met andere woorden, ook hier leren de kinderen in hun ogen even veel wat betreft «de leerstof» maar ook andere dingen die niet in cijfers uit te drukken zijn. Het ene gaat niet ten koste van het andere. Daarnaast is een licht positieve invloed te constateren op de motivatie van leerlingen, de inhoudelijke kwaliteit en het management van de lessen en de organisatie van de school. Verder vinden de schoolleiders dat hun werk door de invoering van het VMBO iets drukker is geworden maar ook iets leuker en veel uitdagender. De docenten vinden in zijn algemeenheid dat de invoering van het VMBO nauwelijks effect heeft gehad op de kwaliteit van het onderwijs. In vrijwel alle categorieën scoort men neutraal. Men ziet een licht negatieve invloed van de vernieuwing op de motivatie van docenten en de organisatie van de school. Hun werk is volgens hen door de invoering van het VMBO veel drukker en iets moeilijker geworden. De ouders/verzorgers die ervaring hadden met onderwijs voor èn na de invoering van het VMBO zien een zeer beperkte invloed van deze onderwijsvernieuwing op de kwaliteit van het onderwijs. De invoering van het VMBO heeft volgens hen een licht positieve invloed gehad op wat er geleerd wordt. Over de rest van de categorieën is men neutraal. In de eerste open vraag geven de schoolleiders aan dat het VMBO in de school een positief effect gehad op het pedagogisch/didactisch klimaat. Er is sprake van ontwikkeling van didactiek en zelfbeeld van leerlingen (binnen de school), van onderwijsontwikkelingen en verschillen in leerstijlen tussen leerlingen, en er wordt meer nagedacht over andere didactische werkvormen. Of deze altijd worden ingezet is een tweede. Ook zien de schoolleiders een positief effect van het VMBO op de ontplooiing van het kind. Dat uit zich in een bredere ontwikkeling van het kind, «het waarderen van leerlingen (en ouders) voor elkaar (MAVO-VBO) en de individuele mogelijkheden van de leerling, zoals een betere doorstroming». Docenten zien positieve effecten van het VMBO op de vernieuwing van didactiek en lesaanpak, deonderwijspraktijk/leerlingenbegeleiding, de vernieuwing binnen vakken (met name de plaats van creatieve vakken, maatschappijleer, vaardighedenonderwijs), de verandering van het onderwijsaanbod op lange termijn en de vakdidactiek bij de praktische vakken. Ook gaat door het VMBO de samenwerking tussen docenten beter en is er volgens de docenten meer aandacht voor de leerlingen. Dat laatste uit zich door «aandacht voor de persoonlijke ontwikkeling van leerlingen, individuele leertrajecten, enzovoorts. Het is niet meer alleen het aanbieden van kennis in vakken, er wordt meer gekeken naar het totaalplaatje van de mens achter de leerling! Wat heeft deze leerling nodig, niet meer alleen afreken op cijfers!» Naar de mening van de schoolleiders heeft het VMBO in de school een negatief effect gehad op de werkdruk en op de landelijke beeldvorming/imago van het VMBO. Het negatieve imago van het VBO/VMBO beïnvloedt mavo/theoretisch leerweg; «opwaartse spiraal VBO is er in praktijk niet, neerwaartse spiraal in imago T-leerweg als onderdeel van VMBO wel.» Ook de docenten noemen de verhoogde werkdruk als een negatief effect van het VMBO en het negatieve imago. Volgens de docenten is het imago van de MAVO «minder goed geworden alleen door de naamsverandering. Leerlingen willen nog meer dan vroeger massaal naar het HAVO. Het VMBO staat echter ten onrechte in een negatief daglicht.» Een tweede negatief effect van het VMBO, door de docenten genoemd, is de daling van het onderwijsniveau en hetkennisniveau. Veel docenten vinden het verontrustend dat «het niveau van de leerlingen schrikbarend lager is dan vroeger. De leerlingen zijn minder klaar voor de maatschappij.» Men kan concluderen dat de invoering van het VMBO veel positiefs teweeggebracht heeft binnen het onderwijs zelf. Er is pedagogisch/didactisch vooruitgang geboekt met deze onderwijsvernieuwing. Wel betreuren schoolleiders en docenten het negatieve imago dat het VMBO – vanaf het begin – heeft gekregen. Focus 5: Kwaliteit van het huidige onderwijs Omdat het merendeel van de ouders/verzorgers en de leerlingen geen ervaring hadden met de situatie voor èn na de invoering van de onderwijsvernieuwingen is er voor gekozen om deze groepen te vragen naar de kwaliteit van het huidige onderwijs. Aan de orde kwam of er voldoende aandacht wordt besteed in het huidige onderwijs aan nieuwe leerstof, kerndoelen, algemene vaardigheden, vaardigheden gericht op oriëntatie op studie en beroep, actief leren, vakdidactiek, verschillen tussen leerlingen, begeleiding van leerlingen, en de ondersteuning van leerlingen om goed om te gaan met de vernieuwing. Ook is gevraagd in hoeverre de vernieuwing invloed had op wat en hoe er geleerd wordt, de motivatie van docenten en leerlingen, de kwaliteit en het management van de lessen, de organisatie van de school, en hoe druk, moeilijk, leuk en uitdagend het werk is. Per onderwijsvernieuwing zal over de mening van de ouders/verzorgers en de leerlingen ten aanzien van de kwaliteit van het huidige onderwijs worden gerapporteerd. Basisvorming De ouders/verzorgers die de vragenlijst hebben ingevuld voor de basisvorming geven aan zeer positief te zijn over de kwaliteit van het onderwijs dat op de school van hun kinderen gegeven wordt. Een meerderheid vindt dat er voldoende aandacht besteed wordt aan kerndoelen (85%), algemene vaardigheden (80%), en de begeleiding van hun kinderen (75%). Een kleinere meerderheid – maar toch circa tweederde – is van mening dat er voldoende aandacht besteed is aan vaardigheden gericht op oriëntatie op studie en beroep en actief leren. Verdeeld is de groep ouders over de vraag of er voldoende aandacht besteed wordt in het huidige onderwijs aan verschillen tussen leerlingen en ondersteuning van de kinderen om goed om te kunnen gaan met de onderwijsvernieuwing. Verder zijn de ouders met kinderen in de basisvorming zeer positief over wat en hoe er geleerd wordt, de motivatie van leerlingen en docenten, en de kwaliteit van de lessen en ondersteuning van hun kinderen. Licht positief zijn ze over de verhouding contacturen en uren voor zelfstudie. Het onderwijs is volgens hen wel tijdsintensief. Bij de leerlingen die de vragenlijst hebben ingevuld voor de basisvorming is een vergelijkbaar beeld te zien. Circa 80% vindt dat er voldoende aandacht besteed wordt aan kerndoelen en vaardigheden en bijna driekwart vindt hetzelfde voor de begeleiding, terwijl ongeveer tweederde vindt dat er voldoende aandacht besteed is aan vaardigheden gericht op oriëntatie op studie en beroep, actief leren, en verschillen tussen leerlingen. Er is verdeeldheid over of er voldoende aandacht besteed is aan hoe om te gaan met te vernieuwing. Slechts 56% vindt dat er voldoende aandacht hiervoor is geweest. Zeer positief zijn de leerlingen over wat en hoe er geleerd wordt, de motivatie van leerlingen en docenten, en de kwaliteit van de lessen en de begeleiding. Licht negatief is men over hoe leuk hun huidige onderwijs is. Het schoolwerk wordt als zeer druk ervaren. Tweede fase Ouders/verzorgers van leerlingen in de tweede fase zijn ook positief over het huidige onderwijs, zij het iets minder dan de ouders/verzorgers van de leerlingen in de basisvorming. Over de vraag of er voldoende aandacht is voor kerndoelen en algemene vaardigheden blijkt bijna 80% bevestigend te antwoorden. Slechts een krappe 65% vindt dat er voldoende aandacht besteed wordt in het huidige onderwijs aan actief leren, hoewel het nadrukkelijk de bedoeling was dat de tweede fase leerlingen zouden aanzetten tot actief leren. Deze trend is ook te vinden bij de aandacht die besteed wordt aan de begeleiding van de kinderen (maar 60% vindt dat de begeleiding voldoende is geweest). De helft van de ouders/verzorgers van kinderen in de tweede fase zijn ontevreden over de aandacht die besteed wordt aan verschillen tussen leerlingen en over de ondersteuning voor de kinderen om goed om te kunnen gaan met de onderwijsvernieuwing waar zij te maken hebben. De ouders/verzorgers van kinderen in de tweede fase zijn zeer positief over wat er geleerd wordt (zoals kunnen samenwerken en kunnen plannen) en licht positief over de motivatie van leerlingen en docenten en de kwaliteit van de lessen en de begeleiding. Over de andere categorieën, bijvoorbeeld over hoe er geleerd wordt en hoe leuk en uitdagend het onderwijs is, is men neutraal. Ook bij de tweede fase laten de leerlingen een vergelijkbaar beeld zien als hun ouders, alleen zijn ze iets minder positief. Ongeveer driekwart vindt nog wel dat er voldoende aandacht besteed werd aan kerndoelen en nieuwe leerstof (80%) en algemene vaardigheden (75%), maar slechts de helft van de leerlingen is van mening dat er voldoende aandacht besteed wordt aan vaardigheden gericht op oriëntatie op studie en beroep (55%), actief leren (60%), verschillen tussen leerlingen (45%), en begeleiding (60%). Slechts 35% vindt dat er voldoende ondersteuning was om te leren goed om te gaan met de vernieuwing. Verder zijn de leerlingen licht positief over wat er geleerd wordt, de motivatie van leerlingen en docenten en de kwaliteit van de lessen en begeleiding. Ten slotte beoordelen de leerlingen uit de tweede fase het schoolwerk als zeer tijdsintensief en helemaal niet leuk. VMBO De ouders/verzorgers geven aan licht positief te zijn over het onderwijs dat op de school van hun kinderen aangeboden wordt. Een ruime meerderheid vindt dat er voldoende aandacht besteed wordt aan kerndoelen (bijna 80%), algemene vaardigheden (driekwart), vaardigheden gericht op oriëntatie op studie en beroep (70%), verschillen tussen leerlingen (krap 65%) en de begeleiding van hun kinderen (70%). Verdeeld zijn de ouders over de vraag of er voldoende aandacht in het huidige onderwijs is voor actief leren (55%) en ondersteuning van de kinderen om goed om te kunnen gaan met de vernieuwing (50%). Verder zijn de ouders zeer positief over wat er geleerd wordt, en de motivatie van docenten en leerlingen. Licht positief is men over de kwaliteit van de lessen en de begeleiding. Over de andere categorieën is men neutraal. Bij het VMBO laten de leerlingen een zeer positief beeld van hun huidige onderwijs zien. Meer dan driekwart van de leerlingen vindt dat er voldoende aandacht besteed werd aan kerndoelen en nieuwe leerstof (ruim 80%), algemene vaardigheden (75%), en vaardigheden gericht op oriëntatie op studie en beroep (75%). Een iets kleinere meerderheid van de VMBO-leerlingen is van mening dat er voldoende aandacht besteed wordt aan actief leren (65%), verschillen tussen leerlingen (65%), begeleiding (61%) en ondersteuning om te leren goed om te gaan met de vernieuwing (60%). Verder zijn de leerlingen zeer positief over wat er geleerd wordt en hun eigen motivatie. Licht positief is men over hoe er geleerd wordt, de motivatie van docenten, en de kwaliteit van de lessen en de begeleiding. Het schoolwerk wordt door de VMBO-leerlingen als enigszins tijdsintensief beoordeeld. Over de rest zijn ze neutraal. Dit alles bij elkaar schetst, al concluderend, een beeld van ouders/verzorgers die tevreden zijn met de gevolgen van de onderwijsvernieuwingen, namelijk het huidige onderwijs, maar minder tevreden c.q. ontevreden zijn met de manier waarop de vernieuwingen zijn aangepakt. In tegenstelling tot wat men in de berichtgeving vaak tegenkomt, vindt over alle drie de onderwijsvernieuwingen gezien een grote meerderheid van de ouders/verzorgers dat er voldoende aandacht is voor de leerstof/kerndoelen. Met andere woorden er lijkt wel een «silent majority» die tevreden is of misschien beter gezegd een zeer «vocal minority» die de aandacht trekt over de huidige kwaliteit van het voortgezet onderwijs in Nederland. Dit zelfde beeld is te vinden ten aanzien van de aandacht die geschonken wordt aan algemene vaardigheden (driekwart of meer vindt dat er voldoende aandacht hiervoor is). Noemenswaardig is dat alle drie groepen ouders/verzorgers zeer positief zijn over de kwaliteit van het onderwijs op de school van hun kind(eren), wat er – naast de zaken waarvoor zij een cijfer krijgen – geleerd wordt, de samenwerking op school, de motivatie van de docenten, de inhoudelijke kwaliteit van de lessen, en de kwaliteit van de begeleiding die zij krijgen van de docenten. Bij de leerlingen valt het op dat de tweede fase leerlingen het minst positief c.q. negatief zijn over hun huidige onderwijs. Ook is het opmerkelijk dat – in tegenstelling tot wat men in de berichtgeving vaak tegenkomt – over alle drie de groepen gemiddeld 80% van de leerlingen vindt dat er voldoende aandacht is voor de leerstof/kerndoelen. Met andere woorden, het beeld dat in het onderwijs de aandacht voor proces (leren leren, samenwerken, enzovoorts) ten koste van de aandacht voor de inhoud wordt hier niet bevestigd. Focus 6: De toekomst Alle stakeholders zijn gevraagd via twee open vragen aan te geven hoe een toekomstige onderwijsvernieuwing van vergelijkbare omvang zou moeten worden uitgevoerd en aan welke randvoorwaarden een dergelijke onderwijsvernieuwing zou moeten voldoen. Aangezien deze vragen geen betrekking hebben op een specifieke onderwijsvernieuwing rapporteren wij over deze vraag alleen per groep stakeholders. Schoolleiders De schoolleiders geven behoorlijk eensgezind aan hoe een eventueel toekomstige onderwijsvernieuwing zou moeten worden uitgevoerd. Erg belangrijk voor het slagen van een onderwijsvernieuwing van dergelijke omvang is dat naar het werkveld wordt geluisterd en dat daar draagvlak gecreëerd wordt. Soms wordt dat in sterkere bewoordingen omschreven, zoals de eis van «verankering [van de vernieuwing] op de werkvloer». De politiek, waar meer schoolleiders zich negatief over uitlaten («Haagse bureautafel», «leg ons niet iets op waar jezelf geen kaas van hebt gegeven», «geen politieke compromissen»), moet volgens de schoolleiders alleen de kaders stellen. De scholen moeten de ruimte krijgen om de inhoud en de vorm te bepalen. Vervolgens kan de politiek/de overheid bepalen of het resultaat aan de vooraf vastgestelde kwaliteitseisen voldoet. De politiek moet verder «lef tonen» door voldoende middelen voor de vernieuwing beschikbaar te stellen. Daarmee worden financiële middelen bedoeld voor de ontwikkeling en uitvoering van de vernieuwing, maar ook middelen voor scholing van onderwijspersoneel, aantrekken van relevante expertise, voorbereidingstijd, en tijd om de vernieuwing in te voeren. Docenten moeten bijvoorbeeld worden vrijgeroosterd om mee te werken aan de vernieuwing. Met 25 uur les per week is het niet goed mogelijk om mee te werken aan een onderwijsvernieuwing. Of zoals een schoolleider omschreef: «Tijdens de verbouwing moest de verkoop gewoon doorgaan». Verder geven verschillende schoolleiders aan dat aan een eventuele volgende onderwijsvernieuwing een herkenbaar probleem ten grondslag moet liggen en dat de zin van de verandering aantoonbaar gemaakt moet worden. Kirschner et al. (2005) maakten dit meer dan duidelijk in een studie over succes- en faallfactoren van onderwijsvernieuwingen (uitgevoerd in opdracht van SURF ). Daarin stelde zij dat regel 1 is dat de toegevoegde waarde zichtbaar moet zijn voor de mensen die de innovatie (moeten) uitvoeren. Het voordeel van een innovatie/verandering moet duidelijk zijn. Als men het nut van een vernieuwing moet uitleggen, dan is er bij voorbaat een groot probleem. Met andere woorden, geen onderwijskundige vernieuwingen die hun nut nog nooit hebben bewezen. Daarom wordt door enkelen gepleit voor pilotscholen waar de onderwijsvernieuwing op kleine schaal wordt geïmplementeerd en de effecten van de onderwijsvernieuwing via wetenschappelijk empirisch onderzoek kunnen worden bepaald; soms aangeduid met de term «evidence based». Een deel van de schoolleiders laat ook weten dat er nu even niet een onderwijsvernieuwing plaats moet vinden. «Laat ons de komende tien jaar met rust», is de boodschap, al zeggen andere schoolleiders dat verandering moet blijven plaatsvinden omdat de maatschappij verandert. Als de verandering maar geleidelijk gaat, in kleine stappen. Docenten Bij docenten is een zelfde beeld te zien als bij de schoolleiders. Als belangrijkste punten worden genoemd het draagvlak voor de onderwijsvernieuwing onder het onderwijspersoneel en de noodzaak om docenten inbreng te laten hebben bij een eventuele onderwijsvernieuwing. De politiek en de overheid mogen slechts faciliteren en moeten scholen de ruimte geven om hun onderwijs te verbeteren. Zoals een docent verwoordt: «Naar mijn idee zou de overheid veel meer bij de scholen moeten laten. Laat de scholen zelf voorstellen en uitvoeren hoe ze hun onderwijs willen verbeteren. Er komt dan heel veel kennis en vaardigheden bovendrijven. De overheid moet niet zo bang zijn voor verschillen in aanpak. Mensen (ouders) willen kunnen kiezen uit een breed scala van scholen en de goede scholen komen vanzelf bovendrijven. Zolang men het eindexamen centraal organiseert, kan het niveau van het diploma wel gelijkwaardig blijven.» Voor het slagen van een onderwijsvernieuwing is het volgens docenten dus noodzakelijk dat het onderwijsveld medewerking verleent aan de vernieuwing. Voldoende voorbereidingstijd, het in kleine stapjes kunnen doen, en financiële middelen zijn andere frequent genoemde randvoorwaarden voor een succesvolle onderwijsvernieuwingen. Verder is er ook bij een aantal docenten de roep om rust: geen grootscheepse onderwijsvernieuwingen meer. «Eerst maar eens onderzoeken of het echt wel nodig is», aldus een docent. Ouders/Verzorgers Verreweg de meeste opmerkingen van de ouders/verzorgers handelen over de wens om de eerstkomende jaren geen onderwijsvernieuwing mee te maken. Rust willen ze. Als er dan toch een ondervernieuwing aan zit te komen, dan moet deze geleidelijk worden ingevoerd, en stap voor stap. Bovendien moet volgens een groot deel van de ouders de onderwijsvernieuwing van de werkvloer komen, in goed overleg met docenten of door de docenten en de school gedragen, en niet van bovenaf. Er dient naar docenten geluisterd te worden, de docenten moeten serieus worden genomen. Enkele ouders/verzorgers geven aan dat een onderwijsvernieuwing zal moeten worden beproefd. «Begin op kleine schaal, start een pilotopleiding, anders is er het risico dat iets massaal wordt doorgevoerd dat niet werkt.» Opvallend is ook dat veel ouders terug willen naar de situatie voor de onderwijsvernieuwing: «Weer lesgeven op de traditionele manier. Hierdoor wordt een basis gelegd en vanuit deze basis kun je je verder ontwikkelen», en «Weer degelijk lesgeven». Verder springt eruit dat de ouders/verzorgers goed geïnformeerd en geconsulteerd moeten worden. Logischerwijs geven ouders/verzorgers aan dat belangrijke randvoorwaarden voor een onderwijsvernieuwing liggen op het vlak van draagvlak in het onderwijsveld, beschikbare voorbereidings- en invoeringstijd, het uitvoeren van onderzoek, goede informatie en communicatie, helder geformuleerde doelen, en financiële middelen. Stel geld beschikbaar en verhoog de salarissen van de docenten, is het advies. Verder is genoemd geschikte gebouwen en infrastructuur als voorwaarde voor het welslagen van een vernieuwing. Echter, volgens de ouders/verzorgers is de belangrijkste voorwaarde goed geschoold, gemotiveerd onderwijspersoneel. Veel ouders/verzorgers zien de docenten als de spil van een succesvolle onderwijsvernieuwing. Leerlingen De antwoorden van de leerlingen op de open vraag wat er eerst goed geregeld moet worden om te zorgen dat een onderwijsvernieuwing goed zal gaan, lopen behoorlijk uiteen. De enige opmerking die veelvuldig terugkomt is dat er naar de leerlingen geluisterd moet worden. Enkele leerlingen voegen daar aan toe dat leerlingen inspraak moeten hebben bij onderwijsvernieuwingen. Verder wordt zo nu en dan genoemd dat de kwaliteit van de docenten belangrijk is voor onderwijsvernieuwingen. Het is niet verbazingwekkend dat de vele leerlingen aangeven dat het informeren naar wat leerlingen willen en nodig hebben in het onderwijs een belangrijke randvoorwaarde is voor een goede onderwjsvernieuwing. Daarnaast is het volgens de leerlingen van belang de leerlingen te informeren over een voorgenomen vernieuwing. Ten slotte geven verschillende leerlingen aan dat genoeg geld, goede leraren en onderzoek noodzakelijk zijn om een onderwijsvernieuwing te laten slagen. Positieve punten van de vernieuwingen In de webenquête werd aan de verschillende stakeholders gevraagd om aan te geven wat, volgens hen, de vijf grootste verdiensten c.q. meest positieve punten waren die zij hadden ervaren met de verschillende vernieuwingen. Kijkend naar de antwoorden is besloten om de antwoorden van de schoolleiders en docenten samen te behandelen en die van de ouders/ verzorgers en leerlingen samen te behandelen. Bij elk van de groepen en subgroepen wordt een «top vijf» van positieve punten gerapporteerd. Schoolleiders en Docenten Basisvorming Veruit het meest genoemde positieve punt dat ervaren werd door schoolleiders en docenten bij de invoering van de basisvorming was dat er een discussie op gang kwam over het onderwijs. Men noemde in dit opzicht vaak dat er voor het eerst in jaren overleg werd gepleegd over de essentiële aspecten van het onderwijs, dat men ging reflecteren/nadenken over het onderwijs en over hun rol en functie als docent of schoolleider, dat er over vakken en vaksecties bediscussieerd werd, enzovoorts. Zelfs werd gesteld dat men «meer open stond voor elkaar als collega’s». Sterk gerelateerd aan het eerste punt was een tweede vaakgenoemd positieve punt, namelijk dat meer samenhang tussen de vakken werd ervaren en dat er meer vakoverstijgend gewerkt werd in de school als geheel en in hun eigen onderwijs in het bijzonder. Een ander punt dat vaak genoemd werd en dat een relatie heeft met de eerste twee punten is dat er meer aandacht werd besteed aannieuwe didactische werkvormen, dat er meer variatie kwam in de gebruikte werkvormen, en dat er wezenlijke veranderingen waren gekomen in de leeromgeving. Ook waren er inhoudelijke punten die aan de orde kwamen. Het meest genoemde positieve punt in dit opzicht was de introductie van het vak «Techniek». Dit werd door een groot aantal respondenten als een aanwinst gezien voor het onderwijs. Ten slotte werd vaak opgemerkt dat sinds de invoering van de basisvorming er meer aandacht voor de leerling als individu was. Tweede fase Misschien is het meest opvallende resultaat uit de vraag naar de vijf grootste verdiensten dat «geen» een zeer vaak voorkomend antwoord is. Er zijn geen deugden, geen positieve punten, geen voordelen. Wat betreft de positieve punten die genoemd werden is zeer vaak het vak CKV genoemd. Blijkbaar vinden de docenten en schoolleiders CKV een waardevolle toevoeging aan het curriculum. Men vindt het een«verbreding van de beeldende vakken met behoud van de diepgang (...) dankzij de beschikbare lestijd en de integratie van theorie en praktijk». Ook vindt men de didactische vernieuwing en het gebruik van andere leer- en werkvormen positief, maar opmerkelijk is dat men hier minder uitgesproken over is dan in de basisvorming. Vaak wordt het profielwerkstuk genoemd als positief. Hierin menen de docenten en de schoolleiders dat leerlingen voor het eerst de mogelijkheid geboden krijgen om te (leren) onderzoeken. Leerlingen «ontdekken dat zij kennis kunnen vermeerderen». Zelfstandigheid van leerlingen samen met het aanleren van sociaal gedrag – nodig voor samenwerking – wordt opgemerkt als positief. Leerlingen nemen verantwoordelijkheid voor hun eigen leren en dit werkt vitaliserend en verfrissend. Maar dit wordt niet alleen uit «ideële» overwegingen als positief genoemd maar ook omdat het zelfstandig en/of in groepen werken het werk van de docent verlicht. Tot slot is men van mening dat door de profielen meer samenhang in de lesstof is bereikt. Opvallend weinig genoemd zijn zaken als een betere aansluiting VO-HO en meer ruimte voor eigen keuzes van de school. VMBO Het eerste positieve punt dat voor het VMBO wordt genoemd is de betere voorbereiding op vervolgonderwijs. Daarnaast zien schoolleiders en docenten de combinatie van theorie en praktijk als positief. Er is meer praktijk, kennis is toepasbaar gemaakt in een geheel, en de leerlingen krijgen een betere kijk op beroepskolom en beroep. Als derde positief punt wordt de betere meer persoonlijke leerlingenzorg genoemd, met kleinere klassen, en beter contact met de leerlingen. De didactisch vernieuwing is een vierde positief punt van het VMBO. Competentiegericht onderwijs en de doorlopende leerlijnen worden gewaardeerd. Als laatste noemen de schoolleiders de vergroting van desamenwerking tussen leerlingen en ook de zelfstandigheid van leerlingen. NB: Het lijkt alsof schoolleiders en docenten die vanuit het LBO komen vinden dat het invoeren van het VMBO een vooruitgang voor het onderwijs is geweest terwijl de schoolleiders en docenten die vanuit het MAVO komen vinden dat het VMBO een achteruitgang voor het onderwijs heeft betekent. Ouders/verzorgers Het meest genoemd positief punt door de ouders/verzorgers is de mening dat de onderwijsvernieuwingen hebben geleid tot (meer)zelfstandigheid bij de leerlingen. Wij komen veel uitspraken tegen als«Kinderen krijgen wel een grote mate van zelfstandigheid» en «Mijn kinderen hebben zich positief ontwikkeld m.b.t. zelfstandigheid, zelfredzaamheid, initiatieven nemen». Naast deze zelfstandigheid, waarderen ouders/verzorgers dat de onderwijsvernieuwingen zorgt dat de kinderen leren samenwerken. Zij verwerven «sociale vaardigheden en leren communiceren». Toch is er wel eens een kanttekening daarbij in de zin van «interactie en samenwerking tussen de leerlingen; echter nog te veel afhankelijk van de inzet van de toevallig bevlogen leerkracht». Een van de respondenten vatte dit allemaal samen met «van al die praktische opdrachten leren ze wel erg goed samenwerken, plannen en organiseren. En allemaal stukken minder saai dan voor de vernieuwing». Gerelateerd aan zowel de voorgaande aspecten van zelfstandigheid en samenwerking is waardering voor de extra nadruk die gelegd wordt op zaken als prioriteiten stellen, overleggen, presenteren en plannen. Er worden veel positieve meningen geventileerd over het feit dat de onderwijsvernieuwingen hebben geleid tot een noodzakelijkeverbreding in tweeërlei zin. Aan de ene kant wordt gesteld dat door het feit dat men verder probeert te komen dan alleen de feiten aan kinderen te leren, er een brede basis wordt gelegd voor wat de leerlingen in de toekomst (hun verdere studie en of baan) nodig hebben. Aan de andere kant ziet men een breder aanbod van vakken (vaak in de basisvorming genoemd), de profielen (tweede fase) en de zelfs ook de lessen vaak als vakoverschrijdend waardoor de leerlingen beter in staat zijn om «bredere verbanden» te zien. Ten slotte, blijkt een groep ouders de mening te zijn toegedaan dat deze vernieuwingen toe te juichen zijn als contextrijk leren dat beter aansluit bij de maatschappij. Een treffende uitspraak was: «Leerlingen moeten kennis en vaardigheden opdoen in hun opleidingen, zodat ze straks in de vervolgstudie en werkomgeving volwaardig kunnen functioneren. Competentiegericht onderwijs met als doel het beste uit een leerling te halen in een richting die bij hun past is het ultieme doel. Dat kan ik alleen maar onderstrepen». Leerlingen Het is moeilijk om algemene positieve punten specifiek gericht op de invoering van de drie onderwijsvernieuwing te onderscheiden van algemeen commentaar over het onderwijs. Er is wel een aantal «overheersende» onderwerpen te bespeuren bij de leerlingen. Een van de meest genoemde positieve punten (en opmerkelijk genoeg een punt dat regelmatig door docenten eerder als negatief wordt gezien) is de deelvakken en de keuzes die de leerlingen hebben om vakken te laten vallen. Wij zien opmerkingen als «te moeilijke vakken kunnen eerder afvallen.», «Je kunt vakken die je niet liggen, laten vallen in de tweede fase», en «je kunt je eigen lesrooster min of meer inrichten. Vakken waar je slecht in bent kun je laten vallen waardoor je meer tijd over hebt voor de vakken waar je wél goed in bent». Daarnaast wordt veel melding gemaakt van de zelfstandigheid die geboden wordt. Leerlingen merken bijvoorbeeld op dat door zelfstandigheid er minder druk op hen is, waardoor zij zelf «meer zin om het goed te doen», al merken andere leerlingen op dat «de zelfstandigheid minder is geworden. Er wordt nu meer gestuurd». Negatieve punten van de vernieuwing In de webenquête werd aan de verschillende stakeholders gevraagd om aan te geven wat, volgens hen, de vijf grootste problemen c.q. meest negatieve punten waren die zij hadden ervaren met de verschillende vernieuwingen. Ook hier is besloten om de antwoorden van de schoolleiders en docenten samen te behandelen en die van de ouders/verzorgers en leerlingen samen te behandelen. Bij elk van de groepen en subgroepen worden hier de meest voorkomende negatieve punten genoemd. Schoolleiders en Docenten Basisvorming Veruit het meest genoemd negatieve punt bij de invoering van de basisvorming door schoolleiders en docenten is dat het niveau is gedaald. Dit geldt zowel voor het niveau van het onderwijs dat gegeven wordt als het niveau dat de leerlingen (kunnen) bereiken. Vaak gebruikte uitspraken waren: achteruitgang in kennisniveau, de zwakkere leerlingen worden niet naar een hoger niveau gebracht en de sterkere leerlingen worden tekortgedaan, de kwaliteit van het onderwijs is achteruit gehold, de vakkennis bij de leerling c.q. die bijgebracht wordt bij de leerlingen is gedaald, het niveau van de stof is te laag, enzovoorts. Door een docent werd dit krachtig uitgedrukt: «Desastreus voor het niveau voor de HAVO/VWO leerlingen». Een tweede vaak gehoord probleem is dat er een schrijnend gebrek aan tijd is. Dit gebrek aan tijd wordt ervaren op verschillende gebieden, te weten: te weinig tijd om de onderwijsvernieuwing goed in te voeren, te weinig tijd om het onderwijs goed voor te bereiden, te weinig tijd om bij de leerlingen te bereiken wat men zou willen bereiken en te weinig tijd en middelen voor de voor docenten noodzakelijk geachte (bij)scholing. Ten derde bestond er bij de invoering veel onduidelijkheid voor iedereen. De schoolleiding en de docenten ervoeren onduidelijkheid over wat zij moesten doen en hoe zij het moesten doen, de leerlingen wisten niet waar zij aan toe waren. Ook de toetsing wordt gezien als een negatief punt, misschien het best samengevat door de opmerking «zinloze toetscircus». Tweede fase Veruit het vaakst genoemd negatieve punt is niveauverlaging en een marginalisering van de vakkennis en vakinhoud en vervlakking van de kennis van de leerling, leren van vaardigheden ten koste van de noodzakelijke inhouden, enzovoorts. Zeer verwant aan dit eerste punt is een verschraling van de inhoud van het vak, uitholling van het vak, het degraderen van de leerkracht tot oppasser, en zo verder. Inhoudelijk worden de meeste negatieve opmerkingen gemaakt over de deelvakken en de versnippering van vakken. Facilitering van deze onderwijsvernieuwing wordt als zeer groot probleem ervaren. Dit geldt zeker voor de tijd die, even als bij de basisvorming, ervaren wordt als een groot probleem. Hier wordt ook ervaren dat er te weinig tijd was om de onderwijsvernieuwing goed in te voeren, te weinig tijd is om het onderwijs goed voor te bereiden, te weinig tijd is om bij de leerlingen te bereiken wat men zou willen bereiken en te weinig tijd en middelen voor de voor docenten noodzakelijk geachte (bij)scholing. Maar bij de tweede fase gaat het verder zoals onvoldoende uitrusting van ICT-faciliteiten om de doelen van de tweede fase te bereiken en onvoldoende goed lesmateriaal. Verder wordt het tekort aan contacturen als negatief punt genoemd, evenals de veelheid aan administratie en bureaucratie. VMBO Veruit het meest door schoolleiders en docenten genoemde negatieve punt bij de invoering van het VMBO is dat het niveau is gedaald. De leerlingen leren minder, weten minder, het kennisniveau wordt «verarmd», het curriculum is verschraald. Een tweede probleem dat vaak wordt genoemd is het ontbreken van de noodzakelijke randvoorwaarden voor een effectieve invoering. Men vindt dat er geen goede leermiddelen aanwezig waren, dat de ruimtes die noodzakelijk zijn ontbreken, dat de tijd voor het voorbereiden van de vernieuwing en van de lessen ontbreekt en dat men didactisch anders moest gaan werken maar dat er geen tijd of middelen waren voor scholing. Misschien is de beste samenvatting van dit probleem dat men een grootscheepse onderwijsvernieuwing wilde invoeren op budgettair neutrale wijze. Daarnaast wordt vaak genoemd dat er veel te veel bureaucratie is, dat er te veel managers bij zijn gekomen en dat dit – gezien het tekort aan middelen – extra zuur is voor de docenten. Daarnaast uiten de docenten en schoolleiders hun ongenoegen over de onduidelijke situatie waarin zij terecht kwamen. Dit betreft de doelen, de regelgeving, examenniveau van de leerwegen, enzovoorts. Ten slotte geven schoolleiders en docenten aan dat het landelijke imago van het VMBO slecht is, ook in de pers. Het VMBO wordt wel de «afvalbak», of het «afvoerputje» van het onderwijs genoemd. Ouders/verzorgers Het lijkt – gezien het aantal keer dat bepaalde onderwerpen genoemd zijn, alsmede de zwaarte die daaraan is toegekend – dat de nivellering van het onderwijs als gevolg van de invoering van de onderwijsvernieuwingen de grootse zorg is van de ouders/verzorgers. Zij menen dat er geen echte basis gelegd wordt voor hun kinderen, dat er te weinig «echt geleerd wordt» en dat de kinderen over te weinig parate kennis beschikken; «De leerlingen worden voorbereid op een leersysteem dat op het MBO en HBO niet blijkt te werken. Om zelfstandig te kunnen leren heb je eerst kennis en inzicht nodig in wat voor kennis en kunde voor een beroep noodzakelijk zijn». Soms wordt dit ook in verband gebracht met het leren zoeken in plaats van het leren: «Onderwijs is te oppervlakkig geworden. Kinderen geloven ook dat alle kennis en de waarheid op internet staat. De school stimuleert dit ook en heeft zelfs niet in de gaten als complete verslagen zo van Internet worden overgenomen. (Hoe maak ik in 30 minuten een werkstuk)! Simpel hoor, zo gepiept.» Een tweede, vaak gehoorde klacht is dat de docenten te weinig aan lesgeven toekomen. Er is te veel uitval, te veel vergaderingen, te veel werk in projecten en werkstukken, enzovoorts. In verband hiermee is het commentaar dat als er in projecten en dergelijke gewerkt wordt, dat docenten te vaak tekort schieten als het om de begeleiding gaat. Zelfstandigheid verwachten van de leerlingen vereist een goede begeleiding van de docent, anders «verprutsen de kinderen hun tijd». Er is «veel te weinig ondersteuning en begeleiding bij het zelfstandig werken. Zelfstandigheid staat hoog in het vaandel, maar leerlingen worden uiteindelijk afgerekend op het eindresultaat in de vorm van een cijfer en niet beoordeeld op de door hen gevolgde weg naar dat resultaat.» Een vierde punt is dat de ouders/verzorgers menen dat het onderwijs (voor hen) te ingewikkeld en onoverzichtelijk is geworden. Zij weten niet meer wat er precies moet en hoe het moet en dus kunnen zij hun kinderen niet ondersteunen waar en wanneer het nodig is. Dit geldt ook voor de normering. Een punt dat vooral genoemd wordt door de ouders/verzorgers van VMBO-leerlingen is een beperking in hun doorstroom van beroepsonderwijs naar algemeen voortgezet onderwijs. «Het is minder goed mogelijk om te «groeien» in het onderwijs en door te stromen via VMBO naar VWO en studie. Vroeger kon je als je een laatbloeier was dit wel doen. Nu vrijwel niet meer. Veel pubers, vooral jongens, zijn laatbloeiers en raken pas later gemotiveerd en zijn ouder als ze tot studeren komen. Je zorgt er zo voor dat ze met een lager dan noodzakelijk diploma uiteindelijk uitstromen. Dit is een verarming van de kenniseconomie.» Eén ouder/verzorger somde de onderwijsvernieuwing als volgt op: • Er wordt uitgegaan van theoretische concepten van beleidsmakers, niet van de realiteit van de onderwijssituatie; • Er ligt veel te veel verantwoordelijkheid bij het kind–kinderen willen uitleg en niet alles zelf moeten uitzoeken. • Omdat een kind zoveel zelf moet doen is er weinig ruimte om geïnspireerd te worden door een enthousiaste docent. • Het vak van leraar wordt uitgehold. • Al die veranderingen van de laatste jaren zorgen voor een enorme onrust. Leerlingen Hoewel het hier ook moeilijk was om algemene kritiek (en branie) te onderscheiden van commentaar specifiek gericht op de drie onderwijsvernieuwing is er een vijftal «overheersende» kritieken te bespeuren bij de leerlingen. Ten eerste is een grote groep leerlingen ontevreden over detoetsing/tentaminering die voortvloeit uit de vernieuwingen. De leerlingen menen dat er te vaak getoetst wordt, dat er steeds over nieuwe dingen getoetst wordt en dus dat er enerzijds te weinig aandacht is voor de herhalingen die zij menen nodig te hebben om goed te leren en anderzijds dat zij daardoor geen kans hebben om «slechte cijfers op te halen». Twee kenmerkende uitspraken waren: «Geen toetsweken meer, wat slecht is. Nu zijn toetsen doordeweeks. Zo heb je voor de volgende dag veel huiswerk, en ook nog eens een toets.» en «Dit betekent dat als ik na een lange dag om 4 uur thuis ben, ik straks ook nog 2 toetsen moet gaan leren voor de volgende dag, terwijl ik ook nog mijn standaard huiswerk heb! Met als gevolg, slechtere resultaten.» Een tweede, veel geuite kritiek is dat de leerlingen menen dat de docenten niet voldoende didactisch geschoold zijn om met de basiskenmerken van de onderwijsvernieuwingen goed om te gaan. Dit vindt men bij opmerkingen over het feit dat er «onnozele projecten bedacht worden» en «Als er nieuwe lesmethoden worden uitgeprobeerd moeten ze beter voorbereid worden. Vorig jaar deden we een zelfstandige week maar het werk was veel te veel voor een week en ze hadden er niet op gerekend dat we allemaal tegelijk voor veel opgaven de pc nodig hadden». Hieraan gekoppeld is de «klacht» dat de scholen niet goed omgaan met het studiehuis, KWT-uren, zelfstandig werken, enzovoorts. Veel leerlingen zien dit als een soort onbegeleid tijdverdrijf dat zij moeten ondergaan; dat het meer opvang is dan leren. Dit wordt niet alleen vanwege deze reden als problematisch ervaren, maar ook omdat het de leerling onmogelijk wordt gemaakt om die uren effectief te besteden: «Er wordt van de leerlingen net iets te veel zelfstandigheid verwacht dan je kan verwachten. De leerlingen worden op mijn school, in een zogenaamd «open leer centrum» gezet, in veel te grote groepen om rustig te werken (ong. 75) met maar een paar docenten (soms van vakken die de leerlingen niet eens hebben), en er zijn teveel leerlingen die gaan klieren en daardoor anderen van hun werk houden» en «Ik vind de studiehuisuren niet fijn, ik kan er niet werken!!». Weer in het vervolg hiervan zijn er veel opmerkingen gemaakt over het feit dat er, volgens de leerlingen, te weinig lessen worden gegeven/dat zij het allemaal zelf moeten doen. Leerlingen hebben soms het gevoel dat «normale lessen (= docent 40–50 minuten aan het woord, thuis huiswerk maken) steeds minder worden gegeven». Conclusies De resultaten van dit onderzoek laten een eenduidig beeld zien van de beleving van de onderwijsvernieuwingen door schoolleiders, docenten, ouders/verzorgers en leerlingen. Antwoorden op de gesloten en open vragen convergeerden sterk. De algemene conclusie van het onderzoek is dat, in de beleving van groepen die de onderwijsvernieuwingen en de gevolgen ervan ervaren hebben, de onderwijsvernieuwingen een zeer beperkte onderwijsopbrengst hebben gehad en veel grote negatieve effecten hebben gehad. Tussen de onderwijsvernieuwingen is wel enig nuanceverschil, waarbij de invoering van de tweede fase als meest problematisch naar voren komt. Daarnaast is er verschil in beleving tussen schoolleiders en docenten, waarbij de schoolleiders een positiever beeld van de vernieuwingen laten zien dan de docenten, zeker als het om hun eigen rol als schoolleider gaat. De eerste focus van dit onderzoek betrof de doelen en de aanleiding van de vernieuwingen. Waar de schoolleiders bij elk van de drie vernieuwingen aangeven dat er volgens hen goede redenen waren voor de invoering, geven docenten aan dat dat niet het geval was. Dit is een essentieel verschil dat wellicht doorwerkt in de rest van de foci en een kloof veroorzaakt tussen de belevingen van de schoolleiders en die van de docenten. Het is misschien goed te typeren als een gevoel van: Waarom meewerken aan en enthousiast worden over een onderwijsvernieuwing waar de noodzaak niet van wordt ingezien? Leerlingen lieten een iets positiever beeld zien ten aanzien van de doelen dan de neutrale ouders. Geen grote brede steun voor de noodzaak van de vernieuwingen dus, is de conclusie. Ook bij de tweede focus, het behalen van de doelen van de vernieuwingen, is een kloof te constateren tussen schoolleiders en docenten. Docenten zijn van mening dat de doelen van de drie vernieuwingen niet zijn gehaald, terwijl de schoolleiders daar licht positief over zijn. Wederom is dit een teken van een kloof tussen deze twee groepen professionals. Ook de ouders/verzorgers zijn over de gehele linie negatief over de behaalde opbrengsten, waar leerlingen neutraal zijn. Alleen het VMBO heeft volgens de leerlingen iets positiefs opgebracht. Kortom, bij het behalen van de doelen van de vernieuwingen vinden wij ook een wat negatief beeld. Bij de derde focus, over de invoering van de vernieuwingen, wordt forse kritiek geleverd op de inflexibiliteit en gebrek aan ondersteuning vanuit Den Haag. Er ging volgens schoolleiders en docenten weinig goed, en veel mis, door gebrek aan visie, tijd, middelen en expertise. Die «pijnpunten» worden nogmaals belicht bij de vierde focus, namelijk over de invloed van de vernieuwingen op de kwaliteit van het onderwijs. In het algemeen, zijn de opbrengsten van de vernieuwing voor het onderwijs te kenschetsen als secundair, zoals dat er door de invoering van de onderwijsvernieuwingen meer wordt nagedacht over het onderwijs en dat er een ontwikkeling van een teamgeest in de docentengroep teweeg is gebracht; samen te vatten als een verandering in de mindset (i.e., manier van denken) in de school. De kwaliteit van waar het primair om gaat, het onderwijs, is er niet noemenswaardig door toegenomen volgens de stakeholders. Uitzondering hierbij is het VMBO, waar wel verbetering is ervaren. Bij deze vierde focus – invloed van de vernieuwingen op de kwaliteit van het onderwijs – kwamen zeer regelmatig negatieve punten van de onderwijsvernieuwingen naar voren, zoals een zeer grote werkdruk en demotivatie bij docenten. Conclusie is dat de opbrengsten niet echt blijken op te wegen tegen de kosten. In een tijd waarin er een groot te kort is aan professionele docenten is het niet de bedoeling dat de zittende leerkrachten gedemotiveerd worden. Uit de vijfde focus blijkt dat, ondanks al het bovenstaande, de kwaliteit van het huidige onderwijs door ouders/verzorgers en leerlingen niet als slecht wordt gezien. Deze groepen zijn redelijk tevreden over het aangeboden onderwijs in het VMBO. Over de basisvorming is men al iets minder positief en de tweede fase loopt achter bij de andere twee vernieuwingen. Wat betekent dit alles voor de toekomst? Duidelijk is dat de verschillende stakeholders van mening zijn dat er te weinig naar hen geluisterd is bij de invoering van de vernieuwingen en dat er weinig rekening met hen gehouden werd bij de beslissing tot invoering. Onderwijsvernieuwingen moeten van het werkveld komen, niet uit Den Haag, zo wordt gezegd. De veelvuldigheid waarmee dit punt naar voren komt doet ernstig vermoeden dat de overheid niet goed met de betrokkenen rondom de onderwijsvernieuwingen heeft gesproken. De overheid moet volgens de respondenten alleen zorgen voor kaders en kwaliteitscontrole, en de inhoud en vorm van het onderwijs aan de scholen overlaten. Goedgeschoolde docenten worden gezien als essentieel voor het welslagen van onderwijsverbeteringen. Verder moeten veranderingen in het vervolg kleinschaliger worden uitgevoerd, volgens een groep stakeholders na eerst beproefd te zijn via wetenschappelijk empirisch onderzoek op pilotscholen. Ten slotte moet de noodzaak van onderwijsvernieuwingen vooraf worden ingezien. Het onderzoek is gebaseerd op een voldoende grote steekproef, waarbij alle geledingen redelijk evenredig zijn vertegenwoordigd. Alle disciplines van de docenten, schooltypen, leeftijden van docenten en leerlingen, zaten in de steekproef. Wel moet gezegd worden dat er door de manier van benaderen van ouders en leerlingen (via de schoolleiders) alleen ouders en verzorgers van schoolgaande leerlingen en schoolgaande leerlingen zelf zijn bereikt. Hierdoor misten de onderzoekers het deel van de ouders/verzorgers dat ervaring heeft met de onderwijsvernieuwingen maar op dit moment geen schoolgaande kinderen heeft en het deel van de leerlingen dat nu niet meer op school zit. Organisatorisch was het ondoenlijk om dit deel van de bevolking in de korte tijd die voor het onderzoek stond te benaderen. Echter, op grond van de spreiding van de leeftijden van de leerlingen en de steekproefgrootte is de groep respondenten voldoende representatief om bovenstaande conclusies te trekken. Samengevat kan gezegd worden dat (1) het negatieve beeld over de drie onderwijsvernieuwingen overheerst, al is dit enerzijds minder dan wat er in de media vermeld wordt en anderzijds is het beeld vooral negatief over de invoering en niet over de uiteindelijke kwaliteit van het huidige onderwijs, en (2) er een kloof is tussen schoolleiders en docenten, met name over de doelen en het behalen van de doelen van de onderwijsvernieuwingen. Laat dit rapport een bijdrage leveren aan de discussie over de manier waarop veranderingen en kwaliteitsverbeteringen in het onderwijs op een succesvolle manier gestalte kunnen krijgen. Essay opgesteld door Centraal Planbureau (CPB) Leren van beleid Essay voor de Commissie Parlementair Onderzoek Onderwijsvernieuwingen Dinand Webbink Marc van der Steeg Inhoudsopgave blz. Samenvatting 159 1. Inleiding 160 2. Waarom weten we zo weinig over de effecten van beleid? 162 3. Mogelijkheden voor het vaststellen van effecten van beleid 164 3.1 Beleidsexperimenten 164 3.2 Kansen voor effectmeting binnen de huidige beleidspraktijk 165 4. Conclusies 167 Referenties 168 SAMENVATTING Beleid dat bijdraagt aan de kwaliteit van het Nederlands onderwijs kan hoge maatschappelijke baten opleveren. De effecten van beleid zijn echter vaak niet bekend. In de huidige beleidspraktijk blijven kansen voor evaluatie van beleid onbenut. Zo worden regelmatig «pilots» gehouden of wordt beleid gefaseerd ingevoerd. Daardoor ontstaan automatisch groepen die wel en groepen die niet te maken krijgen met het nieuwe beleid. Door in dit soort situaties niet alleen de resultaten te volgen van de groepen die (als eerste) met beleid te maken krijgen, maar ook van soortgelijke groepen die er (nog) niet mee te maken hebben, wordt op eenvoudige wijze een wetenschappelijke experiment opgezet. Hiermee kan het effect van beleid worden vastgesteld. Het benutten van deze kansen voor beleidsevaluatie lijkt relatief weinig inspanningen te vergen, terwijl de baten aanzienlijk kunnen zijn. 1. INLEIDING Onderwijs is van cruciaal belang voor de Nederlandse samenleving en economie. Beleid dat het Nederlands onderwijs kan versterken kan daarom grote baten opleveren. Echter, de effecten van beleidsinterventies in het Nederlands onderwijs zijn meestal niet bekend. Zo concludeerde de Rekenkamer op basis van een overzicht van 35 evaluatiestudies dat er geen relatie kan worden gelegd tussen de ontwikkeling in prestaties van leerlingen met onderwijsachterstanden en het gevoerde beleid. Maar ook op veel andere beleidsterreinen waar veel beleid is gevoerd en middelen zijn ingezet, bijvoorbeeld de bestrijding van voortijdig schoolverlaten of het invoeren van ICT in het onderwijs, is de kennis over de effecten van beleid gering. Nieuw beleid is meestal gebaseerd op kwalitatieve praktijkervaringen, meningen, opvattingen, en idealen, en niet op een harde empirische toetsing. Daaraan zijn grote risico’s verbonden omdat de kosten van niet effectief of contraproductief beleid buitengewoon hoog kunnen zijn. Bezorgdheid over de effecten van recente grootschalige veranderingen in het onderwijs, zoals de invoering van de basisvorming en de Tweede Fase, ligt ook ten grondslag aan de beslissing van de Tweede Kamer om een parlementair onderzoek te starten naar deze recente onderwijshervormingen. De laatste jaren is in binnen- (WRR, 2002, Onderwijsraad, 2006, CPB, 2004) en buitenland, met name in de Verenigde Staten en door de OESO (2007) gepleit voor «evidence-based policy». Daarbij gaat het vooral om het vaker toepassen van experimenten ter onderbouwing van nieuw beleid. In dit essay, geschreven op verzoek van de Parlementaire Onderzoekscommissie Onderwijshervormingen’, staat de vraag centraal hoe de wetenschappelijk onderbouwing van het onderwijsbeleid kan worden versterkt en meer kennis kan worden verworven over de effecten van beleid. De ideale methode voor het vaststellen van de effecten van beleid is het klassieke gecontroleerde experiment. Het grote voordeel van gecontroleerde experimenten is dat hiermee overtuigende kennis kan worden verkregen over de effecten van beleid. Gezien het grote belang van «human capital» in de huidige en toekomstige samenleving is deze kennis van grote waarde. Dit geldt nog sterker als het gaat om ingrijpende veranderingen zoals de invoering van basisvorming of de tweede fase in het voortgezet onderwijs. Ondanks deze onomstreden voordelen stuiten beleidsexperimenten regelmatig op bezwaren. Experimenten zouden te lang duren, te duur zijn en ook ethische problemen opleveren vanwege de ongelijke behandeling van leerlingen. Echter, ook andere onderzoeksmethoden kennen vele problemen en leveren bovendien minder hard bewijs dan experimenten. Daarnaast vinden ook in de medische wetenschap regelmatig klassieke experimenten plaats. Daarbij worden zorgvuldige waarborgen gehanteerd voor deelname, voortzetting en stopzetting van het experiment. Overigens worden ook in de huidige beleidspraktijk leerlingen regelmatig ongelijk behandeld vanwege specifieke regelingen of «pilots». Deze ongelijke behandeling van leerlingen biedt mogelijkheden voor het vaststellen van de effecten van beleid. In feite doen zich in de huidige beleidspraktijk regelmatig situaties voor die vergelijkbaar zijn met experimenten, maar niet als zodanig worden herkend en daarom ook niet worden benut voor het verwerven van harde kennis. Bijvoorbeeld, in de huidige beleidspraktijk wordt veel gebruik gemaakt van «pilots» en wordt beleid ook soms gefaseerd ingevoerd. Deze situaties kunnen worden benut om de effecten van beleid vast te stellen. De opzet en inrichting van beleid kunnen een eerste stap vormen voor het vaststellen van de effecten van beleid. Om te komen tot «lerend beleid» is het derhalve belangrijk om bij de vormgeving van beleid aandacht te besteden aan de mogelijkheden om later de effecten te kunnen vaststellen. Dit essay bespreekt mogelijkheden voor het vaststellen van beleidseffecten. Allereerst wordt ingegaan op de problemen bij het vaststellen van de effecten van beleid (paragraaf 2). Deze problemen kunnen worden opgelost door te zoeken naar adequate controlegroepen. Binnen de huidige beleidspraktijk zijn hiervoor verschillende mogelijkheden. In paragraaf 3 worden deze mogelijkheden besproken. De meest directe methode voor het vaststellen van de effecten van beleid is het opzetten en uitvoeren van gecontroleerde experimenten (paragraaf 3.1). Een tweede mogelijkheid is om bij de vormgeving van nieuw beleid meer aandacht te besteden aan kansen voor evaluatie (paragraaf 3.2). Paragraaf 4 sluit af met conclusies. 2. WAAROM WETEN WE ZO WEINIG OVER DE EFFECTEN VAN BELEID? In de huidige beleidspraktijk worden vele evaluaties uitgevoerd. Desondanks weten we nog weinig over de effecten van beleid. Dit komt in de eerste plaats omdat veel evaluaties zich richten op het proces van het invoeren van het nieuwe beleid en niet op het vaststellen van de effecten van beleid. Daarnaast worden vaak andere methoden gebruikt, zoals het verzamelen van oordelen van experts over de effectiviteit van beleidsmaatregelen. Dit zijn echter zwakke methoden voor het vaststellen van de effecten van beleid. Voor een geloofwaardige evaluatie van de effecten van beleid zijn goede controlegroepen nodig die niet te maken hebben met het beleid. Het is echter vaak moeilijk om goede controlegroepen te vinden. Dit komt in de eerste plaats omdat beleid meestal over de hele linie wordt ingevoerd. In feite is dan alleen een vergelijking in de tijd mogelijk, voor en na invoering van de beleidsmaatregel. Het probleem is dan echter dat ook vele andere factoren kunnen veranderen waardoor niet duidelijk is of het gemeten effect veroorzaakt wordt door het nieuwe beleid of door andere factoren. Zo kunnen cohorten van leerlingen van elkaar verschillen en kunnen ook meerdere omgevingsfactoren veranderen. Een andere probleem is dat de invoering van nieuw beleid van invloed kan zijn op het gedrag van scholen en leerlingen. Bijvoorbeeld, bij de invoering van de Tweede Fase in Havo/Vwo daalde het aantal eindexamenkandidaten Havo van 21 000 in het laatste examenjaar Oude Stijl (2000) naar 14 000 in het eerste volledige examenjaar van de Tweede Fase (2001). Deze daling werd veroorzaakt door drie factoren: minder zittenblijven van leerlingen in Havo-4 bij het laatste cohort Oude Stijl, een hoger slagingspercentage voor het examen en minder doorstroom van Mavo gediplomeerden naar Havo na invoering van de Tweede Fase. Aannemelijk is dat de onzekerheid over de gevolgen van de invoering van de Tweede Fase scholen en leerlingen ertoe heeft aangezet om de laatste cohorten leerlingen zoveel mogelijk nog het oude examen te laten voltooien. Het gevolg hiervan is dat de samenstelling van het laatste cohort oude stijl Havo gediplomeerden waarschijnlijk sterk verschilt van het eerste cohort Tweede Fase Havo gediplomeerden. Een vergelijking van de latere resultaten van deze cohorten lijkt daarom dan ook weinig geschikt voor het vaststellen van het effect van de invoering van de Tweede Fase. De tweede reden waarom het moeilijk is om goede controlegroepen te vinden is dat leerlingen, ouders en scholen voortdurend keuzes maken. Deze keuzes leiden tot (zelf)selectie van leerlingen tussen en binnen scholen. Leerlingen die wel te maken hebben met een bepaalde interventie, bijvoorbeeld kleine klassen, zullen door deze (zelf)selectie op veel factoren kunnen verschillen van leerlingen die niet te maken hebben met de interventie. Onderzoekers zullen veelal slechts rekening kunnen houden met een beperkt aantal factoren. Het gevolg is dat factoren die niet worden waargenomen, de resultaten kunnen vertekenen. Stel dat een onderzoeker het effect van klassenverkleining op prestaties van leerlingen wil vaststellen. Zij kan hiervoor de leerprestaties vergelijken van leerlingen in kleine klassen met die van leerlingen in grotere klassen en daarbij rekening houden met waargenomen verschillen tussen leerlingen, zoals leeftijd, geslacht en sociaaleconomische achtergrond. Echter, het effect dat op deze wijze wordt bepaald is vertekend als factoren die zowel van invloed zijn op de prestaties van leerlingen als op de selectie van leerlingen in kleine klassen niet worden waargenomen. Het is bijvoorbeeld mogelijk dat sterk gemotiveerde ouders kiezen voor scholen met kleine klassen en dat deze ouders hun kinderen ook stimuleren om zich in te spannen op school. Als de onderzoeker de motivatie van de ouders niet waarneemt kan zij het verschil in prestaties tussen leerlingen in kleine en grote klassen in dit geval ten onrechte toeschrijven aan de klassengrootte. In de evaluatieliteratuur wordt dit probleem van selectie op grond van niet waargenomen kenmerken aangeduid als de endogeniteit van de interventie. Deelname van leerlingen aan een bepaalde interventie is niet aselect (random) maar komt tot stand door (zelf)selectie op grond van waargenomen en niet waargenomen kenmerken. Vele studies van de afgelopen 15 jaar laten zien dat het onvoldoende rekening houden met selectie op grond van niet waargenomen factoren tot een sterke vertekening van de geschatte effecten van beleidsinterventies kan leiden. Dit probleem kan worden tegengegaan door te zoeken naar goede controlegroepen. 3. MOGELIJKHEDEN VOOR HET VASTSTELLEN VAN EFFECTEN VAN BELEID Om de effecten van beleid vast te stellen zouden we idealiter willen beschikken over een door loting tot stand gekomen experimentele groep, waarop het nieuwe beleid wordt toegepast, en een controlegroep, die niet te maken heeft met het nieuwe beleid. Cruciaal is dat leerlingen door toeval worden verdeeld over de experimentele en de controlegroep. Dit maakt het namelijk onwaarschijnlijk dat niet waargenomen factoren, zoals motivatie, de resultaten zullen vertekenen. De kans is immers heel klein dat door de loting bijvoorbeeld alle sterk gemotiveerde personen in de experimentele groep terecht komen en de niet gemotiveerde personen in de controlegroep. Het effect van het beleid kan worden bepaald door de resultaten van de experimentele groep te vergelijken met die van de controlegroep. Deze, vanuit evaluatie oogpunt, ideale situatie is (nog) vrij zeldzaam in het Nederlands onderwijsbeleid. In paragraaf 3.1 bespreken we de toepassing van klassieke experimenten in het onderwijs. Belangrijk is ook dat zich binnen de huidige beleidspraktijk regelmatig situaties voor doen die niet ver verwijderd zijn van de ideale situatie van het klassieke experiment. Dit biedt kansen voor het overtuigend vaststellen van de effecten van beleid. Dit wordt besproken in paragraaf 3.2. 3.1 Beleidsexperimenten De meest directe manier om hard bewijs te verkrijgen is het uitvoeren van klassieke gecontroleerde experimenten. In de Verenigde Staten zijn de afgelopen 20 jaar diverse experimenten uitgevoerd, bijvoorbeeld met programma’s voor voor- en vroegschoolse educatie, het verkleinen van klassen, het toekennen van vouchers aan leerlingen met een lagere sociaaleconomisch achtergrond, en met de beloning van leraren. Behalve in het onderwijs zijn in de Verenigde Staten ook op andere terreinen die ook relevant zijn voor het onderwijs, sociale experimenten uitgevoerd, bijvoorbeeld experimenten met het aanbieden van woonvouchers (Kling, et al. 2007). Het grote voordeel van gecontroleerde experimenten is dat zij overtuigend empirisch bewijs bieden over wat werkt en niet werkt. Uiteindelijk vinden wetenschappers en beleidsmakers bewijs verkregen langs experimentele weg overtuigender dan bewijs dat op andere wijze is verkregen. Het is immers niet aannemelijk dat de resultaten beïnvloed worden door niet waargenomen factoren. Bijkomend voordeel is dat dit bewijs vaak helder gecommuniceerd kan worden. Een nadeel van experimenteren is dat het opzetten en evalueren van een goed experiment niet eenvoudig is en kosten met zich brengt. Bovendien zijn de resultaten soms pas na enkele jaren bekend. Experimenteren kan een kwestie van lange adem zijn, terwijl de tijdshorizon van veel politici vaak beperkt is tot een kabinetsperiode. Echter, niet alle experimenten zijn kostbaar en langdurig. Dit hangt af van het type interventie dat wordt onderzocht. Zo is recent aan de Universiteit van Amsterdam een experiment uitgevoerd met financiële prikkels voor eerste jaar studenten. Als deze studenten hun propedeuse zouden voltooien binnen een jaar zouden zij een financiële bonus ontvangen. Voor de controlegroep was er geen bonus. De resultaten van dit experiment waren na een jaar beschikbaar. Momenteel worden experimenten uitgevoerd met de groepssamenstelling van studenten. Deze experimenten vergen weinig middelen en de resultaten zijn snel beschikbaar. Een ander veelgenoemd nadeel van experimenteren betreft het ethische aspect. Een gecontroleerd experiment geeft per definitie ongelijke behandeling van mensen. Hier kan tegen worden ingebracht dat in de medische wetenschap experimenten met random toewijzing geheel geaccepteerd zijn. Waarom zou experimenteren in de sociale wetenschap dan ethisch niet verantwoord zijn? Ook is op voorhand niet zeker of de interventie de beoogde opbrengsten daadwerkelijk genereert. Verder staat tegenover het nadeel van ongelijke behandeling van een bepaalde groep leerlingen het voordeel dat toekomstige generaties kunnen profiteren van de nieuw verworven inzichten. Om te bepalen of een experiment moet worden uitgevoerd dient een afweging gemaakt te worden tussen de kosten en baten van een experiment vergeleken met alternatieven. Vaak zal dit neerkomen op het beoordelen van de vraag of de grotere betrouwbaarheid van experimentele resultaten opweegt tegen de extra kosten. Vooral bij ingrijpende en omvangrijke beleidswijzigingen lijkt de waarde van overtuigend bewijs uit een gecontroleerd experiment groot ten opzichte van de kosten van zo’n experiment. Daarbij speelt ook dat de kosten van het voeren en continueren van niet-effectief beleid zeer hoog kunnen zijn. 3.2 Kansen voor effectmeting binnen de huidige beleidspraktijk Binnen de huidige beleidspraktijk doen zich regelmatig kansen voor om effecten van beleid overtuigend vast te stellen. Voor het benutten van deze kansen is de vormgeving van het beleid cruciaal. Hieronder bespreken we enkele kansen die tot dusver nog niet worden benut. 3.2.1 Pilots benutten voor effectmeting Op veel beleidsterreinen wordt gebruik gemaakt van «pilots». Vaak wordt dan het nieuwe beleid toegepast bij een aantal scholen of instellingen die hiervoor belangstelling hebben. Het doel is vaak om de eerste kinderziekten van het nieuwe beleid op te sporen. «Pilots» worden evenwel niet benut om de effecten van het nieuwe beleid vast te stellen. Als echter «pilots» worden uitgebreid met controlegroepen is dit wel mogelijk. Allereerst zouden scholen kunnen worden gevraagd of zij belangstelling hebben om mee te doen aan de pilot. Vervolgens zou de pilot door loting kunnen worden toegewezen aan een aantal scholen. De resultaten kunnen worden gemeten op beide groepen scholen en gebruikt om het effect van het nieuwe beleid vast te stellen. Daarmee wordt een stap gezet van een pilot naar een gecontroleerd experiment. Door hier systematisch aandacht aan te besteden kan belangrijke winst worden geboekt in de richting van «evidence based policy». 3.2.2 Gefaseerde invoering van beleid Nieuw beleid wordt vaak in fasen ingevoerd. Sommige scholen starten eerder en de rest volgt na enkele jaren. Bijvoorbeeld, bij de invoering van de Tweede Fase werd in 1998 gestart met een eerste groep scholen en de rest volgde in 1999. Ander voorbeeld, eind jaren negentig werden omvangrijke middelen beschikbaar gesteld voor ICT in het onderwijs. Volgens het actieplan «Investeren in voorsprong» zou gestart worden met een aantal voorhoedescholen. Daarna kwamen andere scholen gefaseerd aan bod. Dergelijk gefaseerd beleid biedt mogelijkheden voor het vaststellen van de effecten omdat sommige scholen en leerlingen wel te maken hebben met het nieuwe beleid en andere scholen en leerlingen (nog) niet. Door een vergelijking van de resultaten op «vroege starters» met degenen die nog niet zijn begonnen wordt het mogelijk om effecten van beleid te bepalen. Om gefaseerd beleid echt te benutten is het belangrijk dat de vroege starters door heldere criteria worden bepaald. Anders gezegd, selectie in de groep «vroege starters» op grond van niet waargenomen factoren mag geen rol spelen. Het gebruik maken van gefaseerd beleid is in feite een grootschalig «pilot». Overwogen kan worden om bij omvangrijke beleidswijzigingen, waarvan de uitkomsten ongewis zijn, te starten in bepaalde regio’s. De resultaten en ervaringen in deze regio’s kunnen dan gebruikt worden voor de besluitvorming over het al of niet opschalen van dit beleid. 3.2.3 Aselect toekennen van schaarse middelen Bij veel subsidies zijn de middelen niet toereikend voor alle aanvragers. Daardoor zullen sommige aanvragers geen subsidie ontvangen. De toekenning van subsidies kan worden gebruikt om een controlegroep te maken. Een voorbeeld kan worden ontleend aan het Amerikaanse Head Start project. In dit project worden middelen voor voorschoolse educatie beschikbaar gesteld aan bepaalde doelgroepen, met name leerlingen uit arme gezinnen. Recent deed een adviescommissie voor de evaluatie van Head Start de aanbeveling om, in gevallen dat er te weinig middelen beschikbaar zijn voor alle deelnemers, de toewijzing van leerlingen door loting te laten plaatsvinden. Daarmee wordt voor de toekomst een overtuigende evaluatie van het effect van het programma mogelijk gemaakt. 3.2.4 Gebruik maken van discontinuïteiten in regelingen Het onderwijsbeleid kent diverse regelingen waarin sprake is van afkapgrenzen. Scholen boven een bepaald criterium ontvangen wel additionele middelen en scholen net onder het criterium komen daarvoor niet in aanmerking. Een vergelijking van de resultaten van scholen net boven de afkapgrens met die van scholen net onder de afkapgrens kan een overtuigende schatting van het effect van het beleid opleveren. Een recent voorbeeld betreft de evaluatie van een maatregel waarmee extra geld voor computers en personeel werd toegekend aan scholen met minstens 70% achterstandsleerlingen. Scholen net beneden deze grens kregen geen extra subsidie, scholen vanaf 70% kregen wel extra subsidie. Door scholen rond de grens van 70 procent te vergelijken (en daarbij rekening te houden met het percentage achterstandsleerlingen) wordt een gecontroleerd experiment nagebootst. Scholen met minstens 70 procent achterstandsleerlingen vormen de experimentele groep, scholen net beneden de grens van 70 procent vormen de controlegroep. Een ander voorbeeld betreft het verlenen van beurzen voor het volgen van een studie in het buitenland in het kader van het Talentenprogramma. Voor het toekennen van deze beurzen werd door een commissie een ranking gemaakt van de kwaliteit van de aanvragers. Aan de hand van deze ranking kon een controlegroep gemaakt worden waarmee het effect van studeren in het buitenland is gemeten (Oosterbeek en Webbink, 2005). Een mogelijkheid is om bewust verschillen (discontinuïteiten) in subsidieregelingen in te bouwen, analoog aan het hiervoor besproken voorbeeld van de extra subsidie voor scholen met minstens 70 procent achterstandsleerlingen. Door in de regelingen enige verschillen in het beschikbaar stellen van middelen in te bouwen ontstaan mogelijkheden om de effecten vast te stellen. 4. CONCLUSIES Kennis over de effecten van beleid kan hoge baten opleveren. Het is echter vaak niet eenvoudig om kennis te verwerven over de effecten van beleid. De belangrijkste reden is dat beleid meestal over de hele linie wordt ingevoerd waardoor er geen adequate controlegroepen beschikbaar zijn. De meest direct manier om de effectiviteit van beleid vast te stellen is het uitvoeren van gecontroleerde experimenten. Binnen de huidige beleidspraktijk blijven kansen voor evaluatie onbenut. Verschillende situaties kunnen worden uitgebouwd tot een gecontroleerd experiment of tot een vergelijkbare opzet voor evaluatie van beleid. Dit kan door: • Pilots uit te breiden met controlegroepen; • Beleid gefaseerd in te voeren, bijvoorbeeld starten in bepaalde regio’s; • Bij het toekennen van subsidies controlegroepen te maken van aanvragers die geen subsidie ontvingen; • Afkapgrenzen (discontinuïteiten) in regelingen vaker te benutten. Controlegroepen kunnen worden gevormd uit personen of scholen die net niet in aanmerking komen voor de subsidies. Meer kennis over de effecten van beleid heeft waarschijnlijk hoge maatschappelijke baten, vooral bij grootschalige ingrepen in het onderwijs. Het daadwerkelijk realiseren van «lerend beleid», dat wil zeggen beleid waarin systematisch aandacht bestaat voor het meten van de effecten van beleid, vereist «commitment» van beleidsmakers. Allereerst is geduld nodig, omdat kennis verwerven over de effecten van beleid tijd vergt. In de tweede plaats is «commitment» nodig om de vormgeving van beleid ook daadwerkelijk aan te passen, zodat toekomstige evaluaties van hoge kwaliteit mogelijk zijn. Afstemming tussen beleidsmakers en evaluatieonderzoekers bij de implementatie van beleid is hierbij belangrijk. Referenties Algemene Rekenkamer, 2001, Bestrijding van onderwijsachterstanden, Den Haag. CPB, 2002, De pijlers onder de kenniseconomie: opties voor institutionele vernieuwing, Centraal Planbureau, Den Haag. Cornet, M. F. en H. D. Webbink, 2004, Lerend beleid: het versterken van beleid door experimenteren en evalueren, CPB Document no. 48. Kling, Jeffrey R., Jeffrey B. Liebman, and Lawrence F. Katz, Experimental Analysis of Neighborhood Effects, Econometrica 75:1 (January 2007), 83–119. Leuven, E., M. Lindahl, H. Oosterbeek and H. D. Webbink, 2007, The effect of extra funding for disadvantaged students on achievement. Review of Economics and Statistics, 89 , (4), 721–736. Leuven, E., H. Oosterbeek and B. van der Klaauw, 2003, The effect of financial rewards on students achievement: Evidence from a randomized experiment, University of Amsterdam. OECD, 2007, Evidence in education: Linking research and policy, Paris. Onderwijsraad, 2006, Naar meer evidence based onderwijs, Den Haag. WRR, 2002, Van oude kennis en nieuwe kennis, De gevolgen van ICT voor het kennisbeleid, Den Haag. PISA = Programme for International Student Assessment. TIMMS= Trends in International Mathematics and Science Study. Een vierde functie die vaak onderscheiden wordt betreft de socialisatiefunctie van het onderwijs, dat wil zeggen de voorbereiding van leerlingen op het latere maatschappelijk functioneren. Ook hier gaat het echter primair om het bijbrengen van kennis, vaardigheden en houdingen die ook onder de kwalificatiefunctie vallen. Bij het selectieproces in het onderwijs kunnen twee soorten fouten gemaakt worden. De eerste fout bestaat eruit dat een leerling door de selectie komt die niet over de vereiste vaardigheden beschikt (de zogenaamde «vals positieven»). De tweede fout betreft het omgekeerde geval: een leerling wordt ten onrechte niet toegelaten terwijl hij of zij wel over de vereiste vaardigheden beschikt (de zogenaamde «vals negatieven»). Het optreden van beide fouten is negatief gecorreleerd en opleidingen dienen hierin een balans te vinden om de kans op beide soorten fouten zo laag mogelijk te maken. In het internationale vergelijkend onderzoek van de OECD zoals PISA en ALL/IALS ligt daarom ook de nadruk op deze harde kennis en vaardigheden. Zie Murray (2003) voor een overzicht van de moeilijkheden om «soft skills» in het internationaal vergelijkend onderzoek te betrekken. In Duitsland wordt op dit moment een pilot ontwikkeld om een PISA-studie te ontwikkelen voor het beroepsonderwijs. Hierbij wordt geprobeerd om voor verschillende vakgebieden beroepsspecifieke testen te ontwikkelen. Het initiatief volgde na de heftige discussies in Duitsland op de teleurstellende resultaten van de reguliere PISA-studie. OECD = Organisation for Economic Co-operation and Development. Interessante voorbeelden hiervan zijn Leuven, Oosterbeek en Van der Klaauw (2003) en Oosterbeek en Webbink (2007). Het aantal missende waarden was oorspronkelijk 25%, maar het GION heeft hiervoor een hersteloperatie uitgevoerd. De herstelde variabele is overigens door het CBS nog niet in het publieke bestand beschikbaar gesteld. De analyses zijn daarnaast uitgevoerd met een multinomiaal logit model. Daarbij veronderstellen we niet – zoals bij de gepresenteerde analyse – dat de afhankelijke variabele een intervalkarakter heeft. Dit verandert echter niets aan de conclusie hetgeen erop wijst dat de hier gepresenteerde bevindingen robuust zijn. Deze conclusie staat lijnrecht tegenover een discussiepunt dat door Van der Werf, Lubbers en Kuyper (1999) naar voren is gebracht op basis van een vergelijking van VOCL89 en VOCL93. Zij opperen dat in het voortgezet onderwijs prestaties wellicht een minder zware rol zijn gaan spelen bij overgangsbeslissing en keuze van onderwijstypen. Hun bewijsvoering is echter voornamelijk indirect. Een directe toets, zoals hierboven heeft plaatsgevonden wijst het tegenovergestelde uit. Het is buitengewoon vreemd dat een dergelijke cruciale variabele niet verzameld is. We kennen geen enkel voorbeeld van Nederlands of buitenlands cohortonderzoek waarbij dit gegeven ontbreekt. Dit zal in het komende COOL-cohort weer hersteld moeten worden. Met deze aanbeveling is in eerste instantie niets gebeurd. Inmiddels is met ingang van 1 augustus 2006 de wettelijke minimumeis teruggebracht van 1067 klokuren (=1280 lesuren van 50 minuten) naar 1040 klokuren (=1248 lesuren). Overigens vindt er ook tussentijds opstroom van het vierde leerjaar van het MAVO (VMBO-TL/GL) naar het HAVO plaats. Deze opstroom is significant hoger en lag zowel in 1998 als in 2005 op 1,9% Dit beeld wordt bevestigd door de analyse van Korpershoek, Kuyper en Van der Werf (2007). Overigens laat Bronnemans (2007) zien dat de doorstroom van MAVO naar HAVO in 1980 nog 33% bedroeg. Voor GL is het aantal leerlingen te klein om er iets over te zeggen. Korpershoek, Kuyper en Van der Werf (2007) komen weliswaar op basis van VOCL data tot een andere conclusie (volgens hen zou 80% al na 1 jaar niet meer op het HAVO zitten), maar we denken dat de data van het CINOP op dit punt betrouwbaarder zijn. De doorstroom in de beroepskolom zou verder versterkt kunnen worden door programma’s te ontwikkelen die leerlingen via een versneld traject van 2–3 jaar van VMBO naar HBO brengen. Enkele ROC’s bieden dit ook al aan. Inmiddels is in het WO deze eis (terecht) komen te vervallen en kunnen afgestudeerden ook met een van de beide Natuurprofielen instromen, zonder aanvullende eisen. Bij het HBO houdt men echter vast aan aanvullende vakeisen. Het TFA (2005) komt tot de conclusie dat de belangstelling voor bètastudies niet is afgenomen. Een belangrijk verschil is echter dat het TFA geen onderscheid heeft gemaakt tussen de N&T en N&G profielen. Dat is echter wel van belang voor de keuze van technische opleidingen in het hoger onderwijs. Ook de analyse van het TFA zelf laat zien dat de belangstelling voor techniek in het WO in de periode 2001–2004 lager ligt dan in de periode 1998–2000 (TFA, 2005, p. 76). In een eerdere analyse van het ROA ten behoeve van de TFA werd nog geconcludeerd dat de aansluiting met name voor havisten verbeterd was (De Vries & Van der Velden, 2005).In die analyse missen echter de meetjaren 2005 en 2006 die zoals hier aangegeven tot een heel andere conclusie leiden. PIRLS = Progress in International Reading Literacy Study. TIMSS = Trends in International Mathematics and Science Study. PISA = Programme for International Student Assessment. IEA = International Association for the Evaluation of Educational Achievemenent. In eerste instantie ontbrak dit voor een kwart van de leerlingen. Later is dat door een hersteloperatie van het GION teruggebracht tot 11%, maar deze informatie is door het CBS nog niet in het publieke bestand beschikbaar gesteld. Het ROA voert een samenwerkingproject uit met het CBS om deze langetermijneffecten in kaart te brengen. De eerste resultaten zijn gepubliceerd in Traag et al. (2004) en Traag et al. (2006). Ook hier moet men natuurlijk bedacht blijven op het Hawthorne-effect: het feit dat mensen weten dat ze aan een experiment meedoen heeft op zich zelf al een effect op de uitkomsten. Dubbelblind onderzoek in het onderwijs is echter praktisch onmogelijk. Er zijn aanwijzingen dat scholen een strikter aannamebeleid zijn gaan voeren om te voorkomen dat andere scholen die leerlingen na de teldatum van 1 december aannemen geen bekostiging ontvangen. Het is verwonderlijk dat leerlingen van «strenge scholen» die uitgeloot zijn nog niet naar de rechter zijn gestapt om alsnog plaatsing af te dwingen. Het zou aanbeveling verdienen om dit ook publicitair goed aan te pakken om voldoende draagvlak te creëren. Gelet op het succes van programma’s als de Nationale Intelligentietest of het Groot Dictee, zouden de uitslagen van de Nationale Onderwijstest op televisie kunnen worden uitgezonden. Testontwikkelaars zijn ver gevorderd in het maken van testen die niet alleen kennis meten maar ook de wijze van probleem oplossen. Zo wordt in het kader van PIAAC, het internationale onderzoek naar het competentieniveau van de bevolking, gewerkt aan testen op het terrein van «dynamic problem solving» waarbij respondenten via computersimulaties gegenereerde problemen moeten oplossen. Om ook een vergelijking met het buitenland mogelijk te maken zouden vragen uit PISA voor een dergelijk NOT gebruikt kunnen worden. Een voorbeeld hiervan is de recente rapportage over het onderzoek onder afgestudeerden van het hoger onderwijs in een groot aantal Europese landen, het zogeheten REFLEX onderzoek (Allen, Coenen en Van der Velden, 2007). Hieruit blijkt dat Nederlandse afgestudeerden veel vaker dan de afgestudeerden van andere landen aangeven dat de opleiding weinig uitdagend was qua niveau. Eenzelfde beeld komt naar voren wanneer we kijken naar het studiegedrag: Nederlandse afgestudeerden studeren minder uren per week en geven vaker aan «niet meer te doen dan strikt noodzakelijk is om het examen te halen» dan de afgestudeerden van de andere landen. Determinants for Failure and Success of Innovation Projects: The Road to Sustainable Educational Innovations (2005). Onderwijstechnologisch Expertisecentrum, Open Universiteit Nederland. Algemene Rekenkamer (2001). Voor een overzicht, zie Onderwijsraad (2006), bijlage 4. Het ministerie van OCW beschikt sinds kort over een experimenteerbudget waarmee de komende jaren enkele klassieke experimenten zullen worden ondersteund. Zie voor een overzicht Cornet en Webbink (2004). Leuven et al., 2003. De financiële prikkel bleek de studieprestaties te verbeteren van de studenten met de hoogste eindexamencijfers. Zie Leuven e.a. (2007).