Call for proposals, TIMSS en Peil.Rekenen-Wiskunde 2023, Nederlandse Organisatie voor Wetenschappelijk Onderzoek

Nationaal Regieorgaan Onderwijsonderzoek (NRO)

2021

Inhoud

1

Inleiding

1
 

1.1

Achtergrond

1
 

1.2

Beschikbaar budget

1
 

1.3

Geldigheidsduur call for proposals

2

2

Doel

2
 

2.1

TIMSS

2
 

2.2

Peil.onderwijs

2
 

2.3

Algemene uitgangspunten voor Peil.Rekenen-Wiskunde

3

3

Richtlijnen voor aanvragers

9
 

3.1

Wie kan aanvragen

9
 

3.2

Wat kan aangevraagd worden

10
 

3.3

Wanneer kan aangevraagd worden

10
 

3.4

Het opstellen van de aanvraag

10
 

3.5

Subsidievoorwaarden

11
 

3.6

Het indienen van een aanvraag

15

4

Beoordelingsprocedure

15
 

4.1

Procedure

15
 

4.2

Criteria

18

5

Contact en overige informatie

19
 

5.1

Contact

19
 

5.2

Overige informatie

20

6

Bijlage(n)

20
 

6.1

Toelichting op budgetmodules

20

1 Inleiding

1.1 Achtergrond

Het Nationaal Regieorgaan Onderwijsonderzoek (NRO) coördineert en financiert onderwijsonderzoek en bevordert de verbinding tussen wetenschappelijk onderzoek en de praktijk van het onderwijs. Zo werkt het NRO aan vernieuwing en verbetering van het onderwijs.

Het NRO is onderdeel van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO).

In deze call for proposals leest u hoe de aanvraagprocedure is ingericht voor TIMSS 2023 en Peil.Rekenen-Wiskunde einde basisonderwijs (bo), speciaal basisonderwijs (sbo) en speciaal onderwijs (so) van de programmacommissie van het Nationaal Cohortonderzoek Onderwijs (verder: programmacommissie NCO). U vindt hierin achtereenvolgens informatie over het doel van dit programma (hoofdstuk 2), de richtlijnen voor de aanvraag (hoofdstuk 3) en hoe uw aanvraag wordt beoordeeld (hoofdstuk 4). Deze informatie hebt u nodig om een aanvraag voor subsidie te kunnen indienen.

Bijzonder aandachtspunt voor dit onderzoek is dat de data-afname voor TIMSS 2023 en de data- afname voor Peil.Rekenen-Wiskunde in het basisonderwijs gecombineerd zullen worden, om het basisonderwijs minder vaak te belasten met onderzoek en om de opbrengsten van beide onderzoeken te vergroten. Dit betekent dat scholen voor regulier basisonderwijs deelnemen aan zowel TIMSS 2023 (groep 6) als het peilingsonderzoek (groep 8). Meer informatie over de combinatie van werkzaamheden is te vinden in paragraaf 2.3.

1.2 Beschikbaar budget

Het Nationaal Regieorgaan Onderwijsonderzoek (NRO) en het Ministerie van Onderwijs, Cultuur en Wetenschap (OCW) stellen budget beschikbaar voor de subsidiëring van dit onderzoek.

Het beschikbare budget voor de ronde TIMSS en Peil.Rekenen-Wiskunde 2023 bedraagt in totaal maximaal € 1.355.000. Hiervan is € 525.000 beschikbaar voor het peilingsonderzoek en € 830.000 voor TIMSS. Van het beschikbare bedrag voor TIMSS dienen de aanvragers € 300.000 te reserveren voor International Association for the Evaluation of Educational Achievement (IEA) deelnamekosten.

1.3 Geldigheidsduur call for proposals

De deadline voor het indienen van intentieverklaringen is 25 februari 2021, om 14:00:00 CE(S)T.

De deadline voor het indienen van aanvragen is 1 april 2021, om 14:00:00 CE(S)T.

2 Doel

Voor deze ronde kunt u een aanvraag indienen voor het uitvoeren van het Nederlandse deel van het programma Trends in International Mathematics and Science Study (TIMSS) 2023 en het peilingsonderzoek naar de kennis, het inzicht en de vaardigheden (verder: leerlingprestaties) op het gebied van rekenen-wiskunde van leerlingen in groep 8 van het basisonderwijs en leerlingen in het laatste leerjaar van het speciaal basisonderwijs en speciaal onderwijs (verder: schoolverlaters)1.

2.1 TIMSS

TIMSS is geïnitieerd door de International Association for the Evaluation of Educational Achievement (IEA).

TIMSS is een grootschalig internationaal vergelijkend onderzoek onder bijna 60 landen. Elke vier jaar toetst TIMSS de kennis van leerlingen in de exacte vakken toetst met een internationale TIMSS-toets voor het basisonderwijs (10-jarigen), voortgezet onderwijs (14-jarigen) of voor beide groepen.

Nederland neemt deel aan de toets voor 10-jarigen (groep 6).

TIMSS bestaat sinds 1995 en geeft landen de mogelijkheid in kaart te brengen hoe goed hun leerlingen op bepaalde onderdelen in de exacte vakken presteren in vergelijking tot andere landen. Daarnaast verzamelt TIMSS informatie die gebruikt kan worden om te zoeken naar verklaringen voor prestatieverschillen tussen leerlingen in verschillende landen. Gehoopt wordt dat met deze kennis de ongelijkheid tussen en binnen landen in de onderwijskansen van leerlingen teruggedrongen kan worden. Via schriftelijke vragenlijsten voor leerlingen, leraren en schoolleiders wordt informatie verzameld over de onderwijscontext. Doordat TIMSS elke vier jaar herhaald wordt, geeft het ook een beeld van ontwikkelingen in leerprestaties en in het onderwijs over de jaren heen.

TIMSS zal worden afgenomen in een digitaal formaat via e-assessment, eTIMSS.

TIMSS wordt gecoördineerd door het TIMSS & PIRLS International Study Center te Boston onder leiding van het International Association for the Evaluation of Educational Achievement (IEA). Het Nederlandse deel wordt gesubsidieerd door het NRO.

De data die met de toegekende aanvraag in deze ronde worden verzameld dienen ook het databestand van het Nationaal Cohortonderzoek Onderwijs (NCO) te verrijken. Het doel van het NCO is om een toonaangevend databestand op te bouwen dat gebruikt kan worden voor zowel fundamenteel als beleidsgericht onderwijsonderzoek. Zie voor meer informatie www.nationaalcohortonderzoek.nl.

2.2 Peil.onderwijs

Peil.onderwijs is onderdeel van de stelselmonitoring door de Inspectie van het Onderwijs (verder: inspectie). De peilingsonderzoeken die deel uitmaken van dit programma richten zich op de leergebieden die onderscheiden worden in de kerndoelen en vinden plaats in groep 8 van het basisonderwijs en/of bij schoolverlaters in het speciaal (basis)onderwijs. Peilingen in het primair onderwijs bieden in de volle breedte zicht op leerlingresultaten, ontwikkelingen in resultaten en resultaten in relatie tot het onderwijs. Peil.onderwijs heeft betrekking op hetgeen leerlingen kennen en kunnen; het gaat om kennis, vaardigheden en houding en kan zowel het leerproces als het leerresultaat betreffen.

De resultaten van peilingsonderzoek vormen de basis voor een (maatschappelijke) dialoog over de inhoud, kwaliteit en het niveau van het onderwijs en bieden bruikbare inzichten aan scholen, schoolbesturen, beleidsmakers en methode- en toetsontwikkelaars. De inspectie wil in het peilingsonderzoek niet alleen volstaan met constateringen over prestaties van leerlingen. Er dient ook te worden gezocht naar verbanden tussen de prestaties en kenmerken van leerlingen, scholen en het onderwijsleerproces. De vraag of de prestaties van de leerlingen voldoende zijn, vormt onderwerp van het maatschappelijk debat.

Peil.onderwijs is onderdeel van de stelselmonitoring door de inspectie. Aan de hand van de peilingen worden uitspraken gedaan over de resultaten op het niveau van het onderwijssysteem, niet op het niveau van individuele leerlingen of scholen. De anonimiteit van de deelnemende scholen en leerlingen in de publicaties over de onderzoeken is volledig gewaarborgd. Voor deelnemende scholen wil de inspectie meerwaarde creëren in de vorm van een terugkoppeling die handvatten biedt voor schoolverbetering. Deze terugkoppeling wordt verzorgd door de partijen die de peilingsonderzoeken uitvoeren.

2.3 Algemene uitgangspunten voor Peil.Rekenen-Wiskunde

Het peilingsonderzoek vindt plaats op een representatieve steekproef van Nederlandse basisscholen (bo), scholen voor speciaal basisonderwijs (sbo) en scholen voor speciaal onderwijs (so, voormalig cluster 4). Doel van het peilingsonderzoek is om op stelselniveau een betrouwbaar en valide beeld te geven van de leerlingprestaties op het gebied van rekenen-wiskunde, mede in relatie tot de resultaten van het vorige peilingsonderzoek (2018–2019) op het gebied van rekenen-wiskunde. Daarnaast dient het peilingsonderzoek zicht te geven op het reken-wiskundeonderwijs op basisscholen, sbo-scholen en so-scholen (voormalig cluster 4) en de relatie van het reken-wiskundeonderwijs met de prestaties.

Zoals vermeld zal de afname van Peil.Rekenen-Wiskunde in het basisonderwijs worden gecombineerd met TIMSS. Concreet betekent dit dat voor de steekproeftrekking en werving van de basisscholen wordt aangesloten bij TIMSS. Het peilingsonderzoek Rekenen-Wiskunde einde basisonderwijs vindt dus plaats in alle groepen 8 van dezelfde basisscholen die met hun groepen 6 aan TIMSS deelnemen. Ten aanzien van de afname geldt dat deze in principe op dezelfde dag plaatsvindt als de afname van TIMSS in groep 6. De totale afnameduur voor groep 8-leerlingen is niet langer dan een dagdeel. Voor het instrumentarium geldt dat dit specifiek voor het peilingsonderzoek wordt ontwikkeld door aanvragers (conform de specificaties in paragraaf 2.3.1). De schoolleiders van de deelnemende basisscholen worden enkel bevraagd met de schoolleidersvragenlijst van TIMSS om dubbele bevraging te voorkomen. Het beschikbare budget voor Peil.Rekenen-Wiskunde dient te worden aangewend voor de eventuele extra inspanningen die bij de werving nodig zijn om naast groep 6 ook groep 8 te laten participeren. Daarnaast is het budget bedoeld voor alle werkzaamheden met betrekking tot het ontwikkelen van het meetinstrumentarium, het verrichten van het veldwerk in groep 8 en het rapporteren over het reken-wiskundeonderwijs en de leerlingprestaties rekenen-wiskunde van groep 8-leerlingen. Onder deze rapportage valt zowel een terugrapportage aan de deelnemende scholen als het opleveren van een eindrapport (zie paragraaf 2.3.4).

Voor het speciaal basisonderwijs en speciaal onderwijs geldt dat er vanuit TIMSS geen onderzoek plaatsvindt in deze schooltypen. Dit betekent dat alle werkzaamheden voor het werven van de scholen, het ontwikkelen van het meetinstrumentarium, het verrichten van het veldwerk (voor leerlingen eveneens niet langer dan een dagdeel), het uitvoeren van analyses en het rapporteren over het reken-wiskundeonderwijs en de leerlingprestaties rekenen-wiskunde van de schoolverlaters speciaal (basis)onderwijs, onderdeel vormen van de aanvraag en uit het beschikbare budget voor Peil.Rekenen-Wiskunde dienen te worden gefinancierd. De inspectie trekt de steekproef voor sbo en so (zie ook paragraaf 2.3.2).

In een tabel ziet bovenstaande er globaal als volgt uit:

Tabel 1. Verdeling van werkzaamheden

BO

  

SBO

  

SO

  

Steekproef

TIMSS

Steekproef

Inspectie

Steekproef

Inspectie

Werving

TIMSS

Werving

Peil

Werving

Peil

Instrumentarium

Peil

Instrumentarium

Peil

Instrumentarium

Peil

Training

toetsleiders

Peil

Training

toetsleiders

Peil

Training

toetsleiders

Peil

Afname

Peil

Afname

Peil

Afname

Peil

Verwerking

Peil

Verwerking

Peil

Verwerking

Peil

Analyses

Peil

Analyses

Peil

Analyses

Peil

Rapport

Peil

Rapport

Peil

Rapport

Peil
2.3.1 Leerlingprestaties en kenmerken van de deelnemende leerlingen, leerkrachten en scholen

Ten aanzien van het meetinstrumentarium voor Peil.Rekenen-Wiskunde dient rekening gehouden te worden met de onderstaande kaders.

Leerlingprestaties Rekenen-wiskunde

Peil.Rekenen-Wiskunde richt zich op het verzamelen van informatie over de kennis, het inzicht en de vaardigheden op het gebied van rekenen-wiskunde van leerlingen einde basisonderwijs (bo), speciaal basisonderwijs (sbo) en speciaal onderwijs (so). Het betreft leerlingen in het laatste leerjaar die na dit schooljaar uitstromen naar (een vorm van) het regulier voortgezet onderwijs (vo) of voortgezet speciaal onderwijs (vso). Voor het speciaal onderwijs gaat het om leerlingen van voormalig cluster 4- scholen.

Uitgangspunt voor het in kaart brengen van de leerlingprestaties in dit peilingsonderzoek, vormen de domeinen, subdomeinen, rekenonderwerpen en onderdelen zoals opgenomen in tabel 2 op de volgende pagina van deze call. Voor de algemene rekenvaardigheid dient in het peilingsonderzoek, door het overbrengen van de standaarden op de referentiesets rekenen-wiskunde2, per schooltype te worden vastgesteld op welk referentieniveau (<1F, 1F en 1S) leerlingen presteren en dienen de prestaties van verschillende type leerlingen te worden getypeerd (zie de onderzoeksvragen in paragraaf 2.3.3). Daarnaast wordt op basis van de opgaven afzonderlijk gerapporteerd over de beheersing van de in de tabel vetgedrukte domeinen, subdomeinen en onderwerpen en over de onderdelen (a) 'kale of contextloze opgaven' enerzijds en 'contextopgaven' anderzijds, (b) rekenen met verschillende getalsoorten (hele getallen, opgaven met decimale getallen en opgaven met breuken), en (c) schattend rekenen en redeneren versus exact rekenen (verder: de ‘onderdelen’).

Voor de verdere uitwerking van de domeinen, subdomeinen, rekenonderwerpen en onderdelen worden aanvragers verwezen naar de domeinbeschrijving ‘Rekenen-wiskunde in het primair onderwijs 2020. Domeinbeschrijving ten behoeve van peilingsonderzoek’ (Van Zanten & Oldengarm, 2020; zie bijlage op de financieringspagina bij deze call)3. Tot slot wordt in de peiling bij een representatief deel van de leerlingen het beheersingsniveau gemeten van probleemoplossen en rekenen met de rekenmachine. Ook voor deze onderdelen is een nadere uitwerking opgenomen in de domeinbeschrijving.

Tabel 2: Matrix domeinen, subdomeinen, rekenonderwerpen en onderdelen

Domein

Subdomein

Rekenonderwerp

Kaal/context

Rekenen met hele getallen, decimale getallen en breuken

Schattend/exact rekenen

1. Getallen

1.1 Getalbegrip en getalrelaties

  

○

○

○

1.2 Bewerkingen

1.2.1 Optellen en aftrekken

○

○

○

1.2.2 Vermenigvuldigen en delen

○

○

○

1.2.3 Combinaties van bewerkingen

○

○

○

2. Verhoudingen

2.1 Verhoudingen (incl. breuken)

  

○

  

○

2.2 Procenten (incl. breuken)

  

○

  

○

3. Meten en meetkunde

3.1 Meten

3.1.1 Lengte en omtrek

    

○

3.1.2 Oppervlakte

    

○

3.1.3 Inhoud

    

○

3.1.4 Gewicht

    

○

3.1.5 Tijd en snelheid

    

○

3.2 Meetkunde

        

4. Verbanden

        

○

Aanvullend op het rapporteren over de leerlingprestaties rekenen-wiskunde van leerlingen einde bo, sbo en so in schooljaar 2022/2023, dienen aanvragers voor het basis- en speciaal basisonderwijs de ontwikkeling in leerlingprestaties in kaart te brengen door deze te vergelijken met de leerlingprestaties in het vorige peilingsonderzoek4. Dit betreft Peil.Rekenen-Wiskunde einde basis- en speciaal basisonderwijs dat in schooljaar 2018/2019 onder regie van de Inspectie van het Onderwijs is uitgevoerd en waarover in het voorjaar van 2021 wordt gerapporteerd.

Voor het ontwikkelen van het instrumentarium kan indien mogelijk gebruik worden gemaakt van (delen van) bestaande papieren en digitale instrumenten. De geschiktheid van het voor dit peilingsonderzoek ontwikkelde instrumentarium voor de populatie van dit peilingsonderzoek dient te worden onderzocht door middel van een pretest van voldoende omvang, ook indien gebruik wordt gemaakt van (delen van) bestaande instrumenten5. Het instrumentarium dient voldoende dekkend te zijn voor de in deze paragraaf gespecificeerde inhouden en deze inhouden valide en betrouwbaar te meten met gebruikmaking van actuele contexten. De instrumenten dienen daarnaast aan te sluiten bij de diversiteit en variabiliteit van de leerlingpopulatie door toetsen te ontwikkelen op verschillende niveaus die aansluiten bij de uitstroomprofielen van de leerlingen6. Bovendien dient bij (het ontwikkelen van) het instrumentarium de context van het speciaal (basis)onderwijs in ogenschouw te worden genomen. Dat geldt eveneens voor de afnamecondities waarbij rekening moet worden gehouden met specifieke kenmerken van deze leerlingen. Aanvragers wordt tot slot verzocht om voor items die in de verschillende schooltypes worden afgenomen, onderzoek te doen naar Differential Item Functioning (DIF) met betrekking tot schooltype (bo, sbo en so). Ook onderzoek met betrekking tot DIF naar tijd (2019 versus 2023) vormt onderdeel van de werkzaamheden in verband met het verzoek aan aanvragers om te rapporteren over de verschillen in leerlingprestaties met het vorige peilingsonderzoek rekenen-wiskunde dat in schooljaar 2018/2019 onder regie van de Inspectie van het Onderwijs is uitgevoerd. Indien toegestaan door de IEA wordt aanvragers bovendien verzocht trenditems van TIMSS7 in het peilingsonderzoek mee te nemen zodat de leerlingprestaties in beide groepen aan elkaar gerelateerd kunnen worden.

Kenmerken van de deelnemende leerlingen, leerkrachten en scholen en het reken-wiskundeonderwijs

Als onderdeel van dit onderzoek wordt tevens door middel van vragenlijsten relevante informatie verzameld over kenmerken van het onderwijs op het gebied van rekenen-wiskunde en van de deelnemende leerlingen, leerkrachten en scholen. Wat betreft de leerling-, leerkracht- en schoolkenmerken en kenmerken van het reken-wiskundeonderwijs bieden de in paragraaf 2.3.3 geformuleerde onderzoeksvragen een kader voor de informatie die minimaal moet worden verzameld8. In aanvulling daarop wordt de aanvragers verzocht om een conceptueel model op te stellen en in de aanvraag uit te werken. Hierbij kunnen aanvragers gebruik maken van de informatie uit de reviewstudie (Hickendorff et al., 2017, zie bijlage op de financieringspagina bij deze call). Het conceptueel model dient de basis te vormen voor het onderzoeken van de samenhang van de algemene en relevante domeinspecifieke kenmerken van leerlingen, leerkrachten, scholen en het reken-wiskundeonderwijs met de kennis, het inzicht en de vaardigheden van de leerlingen einde bo, sbo en so.

Met domeinspecifieke kenmerken worden die kenmerken van leerlingen, leerkrachten en scholen bedoeld die betrekking hebben op het te peilen leergebied, in dit geval rekenen-wiskunde. Bij deze domeinspecifieke kenmerken gaat het bijvoorbeeld om:

  • 1. Domeinspecifieke leerlingkenmerken: zelfvertrouwen in eigen rekenvaardigheid;

  • 2. Domeinspecifieke leerkrachtkenmerken: zelfvertrouwen in vakdidactische vaardigheden;

  • 3. Domeinspecifieke schoolkenmerken: de aanwezigheid van een coördinator voor rekenen- wiskunde.

Daarnaast is in het onderzoek een centrale rol weggelegd voor het in kaart brengen van het reken- wiskundeonderwijs.

Indien conceptueel aansluitend kunnen voor de vragenlijsten items c.q. schalen uit de TIMSS- vragenlijsten worden benut. Voor de schoolleidersvragenlijst in het basisonderwijs geldt dat gebruik gemaakt dient te worden van de TIMSS-schoolleidersvragenlijst. Voor het sbo en so dient deze schoolleidersvragenlijst te worden aangepast en indien wenselijk ook aangevuld door aanvragers.

2.3.2 Steekproefkader en uitsluitingscriteria

Het peilingsonderzoek vindt plaats op een representatieve steekproef van Nederlandse basisscholen, scholen voor speciaal basisonderwijs en scholen voor speciaal onderwijs (voormalig cluster 4).

Steekproefkader basisonderwijs

Het peilingsonderzoek vindt in het basisonderwijs plaats op de aan TIMSS deelnemende scholen. Dit betreft minimaal 115 scholen9. Indien op deze scholen sprake is van meerdere groepen 8, nemen al deze groepen aan het peilingsonderzoek deel. Zij krijgen het door de aanvragers ontwikkelde instrumentarium voorgelegd om de leerlingprestaties in kaart te brengen. Ook vullen de leerlingen een door de aanvragers ontwikkelde vragenlijst in. De totale afname van deze instrumenten mag maximaal een dagdeel (op dezelfde afnamedag) in beslag nemen. Daarnaast vult de leerkracht van groep 8 een door de aanvragers ontwikkelde vragenlijst in en krijgt de schoolleider als onderdeel van TIMSS een schoolvragenlijst voorgelegd die ook voor het peilingsonderzoek kan worden benut.

Steekproefkader speciaal basisonderwijs

De steekproefomvang voor het peilingsonderzoek in het speciaal basisonderwijs is 65 scholen. Het streven is dat aanvragers hiervan 85% realiseren, dat betreft dus ongeveer 55 scholen. Indien op deze scholen sprake is van meerdere groepen met schoolverlaters, nemen bij voorkeur alle schoolverlaters uit deze groepen aan het peilingsonderzoek deel. De steekproef voor het speciaal basisonderwijs wordt getrokken door de inspectie10 met regio (noord, oost, midden en zuid) als expliciet stratificatiecriterium en uitstroomprofiel als impliciet stratificatiecriterium. De werving van de scholen vindt plaats door de aanvragers. Zij beschikken daartoe naast de steekproef van 65 scholen over twee reservetranches van 65 scholen. Uit de eerste tranche van steekproefscholen dient minimaal 50% van de scholen aan het peilingsonderzoek deel te nemen.

Speciaal onderwijs

De omvang van de totale populatie so-scholen (voormalig cluster 4) is beperkt tot zo’n 90 scholen. Aanvragers wordt verzocht de totale populatie uit te nodigen voor deelname aan het peilingsonderzoek. Het streven is dat aanvragers deelname van een representatieve groep van minimaal 35 scholen realiseren. Indien op deze scholen sprake is van meerdere groepen met schoolverlaters, nemen bij voorkeur alle schoolverlaters uit deze groepen aan het peilingsonderzoek deel. Omdat peilingsonderzoek in het speciaal onderwijs relatief nieuw is, is de werving van de scholen een specifiek aandachtspunt. Als onderdeel van het plan voor werving van scholen, dienen aanvragers daarom uit te werken hoe hierop zodanig kan worden ingespeeld dat deelname van een representatieve groep van minimaal 35 so-scholen (voormalig cluster 4) kan worden gerealiseerd.

Uitsluitingscriteria

Aanvragers wordt gevraagd uitsluitingscriteria op het niveau van de leerlingen te formuleren en te verantwoorden. Uitgangspunt daarbij is dat alle exclusies samen niet meer dan 5% van de totale populatie mogen beslaan.

2.3.3 Onderzoeksvragen

In het onderzoek dienen ten minste de volgende onderzoeksvragen te worden beantwoord. Wat betreft de leerlingprestaties wordt gevraagd de leerlingen uit het basisonderwijs, speciaal basisonderwijs en speciaal onderwijs met elkaar te vergelijken. Waar van toepassing dienen verschillen tussen leerlingen ook geduid te worden. Voor het onderzoeken van de samenhang tussen de leerlingprestaties en de relevante kenmerken op het niveau van de leerling, leerkracht, het reken- wiskundeonderwijs en de school (onderzoeksvragen 8 t/m 14), vormt het in paragraaf 2.3.1 gevraagde conceptueel model de basis. Aanvragers dienen de samenhangen per schooltype te onderzoeken en een beredeneerd voorstel te doen voor de leerlingprestaties uit tabel 1 die hierbij als uitgangspunt worden genomen.

Leerlingprestaties

  • 1. Hoeveel procent van de leerlingen einde basisonderwijs en schoolverlaters speciaal basisonderwijs en speciaal onderwijs beheerst de referentieniveaus (1F en 1S) voor rekenen- wiskunde en wat is de vaardigheidsverdeling op de onderliggende schaal?

  • 2. Hoe kan de prestatie van leerlingen op de referentieniveaus worden getypeerd naar domeinen, subdomeinen, rekenonderwerpen en onderdelen (described scale)? Beschrijf de prestatie van de referentieniveaugroepen <1F, 1F en 1S en per schooltype de prestatie van de groep laagvaardige (de 10% laagst scorende leerlingen) leerlingen, de gemiddelde leerling en de groep hoogvaardige (de 10% hoogst scorende leerlingen) leerlingen: wat kennen en kunnen deze leerlingen op de verschillende domeinen, subdomeinen, rekenonderwerpen en onderdelen (zie specificaties in paragraaf 2.3.1)?

  • 3. Hoe kan de prestatie van leerlingen voor rekenen met de rekenmachine worden getypeerd? Beschrijf per schooltype de prestaties van de laagvaardige (de 10% laagst scorende leerlingen), de gemiddelde en de hoogvaardige (de 10% hoogst scorende leerlingen) leerlingen: wat kennen en kunnen deze leerlingen?

  • 4. Hoe kunnen per schooltype de prestaties en het oplossingsproces van leerlingen voor probleemoplossen worden getypeerd?

  • 5. Wat is de onderlinge samenhang in prestaties op domeinen, subdomeinen, rekenonderwerpen en onderdelen (inclusief rekenen met de rekenmachine en probleemoplossen)?

Trends over tijd in leerlingprestaties

  • 6. Welke verschillen zijn er tussen de leerlingprestaties einde basisonderwijs en einde speciaal basisonderwijs anno 2023 en de leerlingprestaties in Peil.Rekenen-Wiskunde einde bo en sbo 2019/2019, ook gecorrigeerd voor eventuele verschillen in geslacht, leeftijd en thuistaal van de leerlingpopulaties?

Reken-wiskunde onderwijs

  • 7. Hoe kunnen de deelnemende scholen worden getypeerd als het gaat om kenmerken van het onderwijs op het gebied van rekenen-wiskunde? Beschrijf het reken-wiskunde onderwijs per schooltype.

Samenhang prestaties met leerling-, leerkracht-,en schoolkenmerken en kenmerken van het reken- wiskundeonderwijs per schooltype

  • 8. Hoeveel variabiliteit in de leerlingprestaties is toe te schrijven aan scholen/klassen en leerlingen?

  • 9. Welke verschillen in leerlingprestaties zijn er tussen leerlingen naar algemene leerlingkenmerken (in ieder geval geslacht, leeftijd, opleidingsniveau ouders, thuistaalen vaardigheid begrijpend lezen11)?

  • 10. Welke verschillen in leerlingprestaties zijn er tussen leerlingen naar domeinspecifieke leerlingkenmerken (in ieder geval plezier in rekenen, zelfvertrouwen in rekenen en attributies van positieve resultaten aan de eigen inzet)?

  • 11. Welke verschillen in leerlingprestaties zijn er naar algemene leerkrachtkenmerken (in ieder geval geslacht, leeftijd, opleiding en leservaring)?

  • 12. Welke verschillen in prestaties zijn er naar domeinspecifieke leerkrachtkenmerken (in ieder geval zelfvertrouwen in vakdidactische vaardigheden, fixed mindset en aansluiting methode)?

  • 13. Welke verschillen in leerlingprestaties zijn er naar algemene schoolkenmerken (in ieder geval schoolweging12, schoolconcept, urbanisatiegraad,schoolgrootte en prestatiegerichtheid van de school)?

  • 14. Welke verschillen in leerlingprestaties zijn er naar kenmerken van het onderwijs op het gebied van rekenen-wiskunde (in ieder geval facilitering en sturing door het schoolbestuur, aanwezigheid van een rekencoördinator, gebruikte methode, formatieve toetsing, differentiatie en zelfstandig werken)?

2.3.4 Producten, tussenproducten en looptijd onderzoek

Het onderzoek leidt tot de volgende tussenproducten:

  • • Set instrumenten voor het peilingsonderzoek, samengesteld uit bestaande en/of nieuw ontwikkelde instrumenten. Onderdeel van het peilingsonderzoek vormt een pretest van het instrumentarium op niet aan het hoofdonderzoek deelnemende scholen. Voor de pretest werven de aanvragers scholen, nemen ze de pretest af en verantwoorden deze.

  • • Afnamedesign: toedeling van de instrumenten aan scholen en leerlingen voor de pretest en de daadwerkelijke afname.

  • • Instructie, handleiding en materialen voor de afname.

  • • Analyseplan. In het analyseplan wordt gespecificeerd welke analyses worden uitgevoerd om de kwaliteit van het instrumentarium te bepalen. Daarnaast wordt aangegeven welke analysetechnieken worden ingezet ter beantwoording van de onderzoeksvragen. Specifiek aandachtspunt daarbij is de wijze waarop wordt omgegaan met ontbrekende waarden.

Het onderzoek leidt tot de volgende eindproducten:

  • • Rapportage over de leerlingprestaties en het onderwijs in rekenen-wiskunde voor de deelnemende scholen.

  • • Eindrapport en een databestand van het peilingsonderzoek13 dat in een voorgeschreven (nader overeen te komen) format wordt opgeleverd aan de inspectie. Voor secundaire analyses dienen ook de leerlingproducten geanonimiseerd opgeslagen en bewaard te worden (bijv. via scans). Na publicatie van het eindrapport worden de data, met uitzondering van de items en in overleg met de inspectie, ontsloten in Data Archiving and Networked Services (DANS) ten behoeve van nader onderzoek en publicaties.

Het eindrapport bevat ten minste:

  • • Een beschrijving van de opzet van het onderzoek, de werving en de respons (incl. verantwoording respons/representativiteit en non-respons analyse).

  • • De opzet en uitvoering van het veldwerk, de dataverzameling en dataverwerking (incl. een beschrijving en verantwoording van de kwaliteit van het databestand).

  • • Een beschrijving en verantwoording van het gebruikte instrumentarium (incl. gegevens als schaling, betrouwbaarheid en validiteit van de gehanteerde instrumenten) en het overbrengen van standaarden.

  • • De resultaten van de analyses ter beantwoording van de onderzoeksvragen.

De inspectie zal aan de hand van het eindrapport van de aanvragers zelf publiceren over de resultaten van het peilingsonderzoek. Nadat het rapport van de inspectie is verschenen (maximaal een jaar na oplevering van het eindrapport door de aanvragers), kunnen de aanvragers zelf over het door hen uitgevoerde onderzoek publiceren.

Looptijd onderzoek

De werving voor de peiling dient voor de zomervakantie van 2022 aan te vangen. De dataverzameling vindt vervolgens plaats in de periode maart 2023 tot en met juni 2023. In afstemming met de terugkoppeling van de TIMSS-resultaten, dient de feedback aan de deelnemende scholen uiterlijk oktober 2023 te worden toegestuurd maar bij voorkeur nog voor de zomervakantie van 2023. Tot slot dienen de eindrapportage en het databestand in twee fases te worden aangeleverd. Uiterlijk december 2023 wordt een rapport over de leerlingprestaties en de via de leerlingvragenlijst en leerkrachtvragenlijst verzamelde data aangeleverd, samen met het bijbehorende databestand. In dit tussentijdse rapport worden onderzoeksvragen 1 t/m 6 beantwoord. Het eindrapport en databestand worden uiterlijk eind september 2024 aangevuld met de informatie uit de schoolvragenlijst en de beantwoording van de onderzoeksvragen 7 t/m 14. Na publicatie van TIMSS in december 2024 maken aanvragers in samenspraak met de inspectie een vergelijking met de leerlingprestaties groep 6 op de TIMSS-trenditems indien de IEA toestemming geeft voor afname van deze items als onderdeel van het peilingsonderzoek.

3 Richtlijnen voor aanvragers

In dit hoofdstuk is voor u op een rij gezet welke richtlijnen gelden voor uw aanvraag. Eerst staat hierin wie subsidie kan aanvragen (paragraaf 3.1), wat voor subsidie u kunt aanvragen (paragraaf 3.2) en wanneer u uw aanvraag uiterlijk moet indienen (paragraaf 3.3). Vervolgens vindt u de richtlijnen voor het opstellen van de aanvraag (paragraaf 3.4) en specifieke subsidievoorwaarden (paragraaf 3.5). In paragraaf 3.6 leest u ten slotte hoe u uw aanvraag indient.

3.1 Wie kan aanvragen

U kunt een aanvraag indienen als consortium. Daarmee bedoelen wij een samenwerkingsverband tussen onderzoekers verbonden aan (onderzoeksinstellingen die gelieerd zijn aan) universiteiten in het Koninkrijk der Nederlanden, instellingen voor hoger beroepsonderwijs, of andere onderzoeksinstellingen in Nederland die onafhankelijk onderwijsonderzoek doen.

Uw consortium mag bestaan uit maximaal 4 instellingen. Zowel hoofd- als medeaanvragers mogen in deze ronde bij maximaal één aanvraag betrokken zijn. Aan uw consortium moeten, naast onderzoekers met inhoudelijke expertise op het gebied van rekenen-wiskunde, in ieder geval minimaal onderzoekers met expertise op het gebied van instrumentontwikkeling, dataverzameling en data- analyse deelnemen. Daarnaast is kennis van het Nederlandse onderwijsveld (bij voorkeur van het basisonderwijs, het speciaal basisonderwijs en het speciaal onderwijs) vereist, evenals het hebben van een netwerk daarbinnen. Ook commerciële bedrijven (denk aan toetsontwikkelaars) kunnen deel uitmaken van een consortium.

Binnen een consortium moet u één persoon aanwijzen die als hoofdaanvrager en projectleider van het onderzoek optreedt. De projectleider is dus dezelfde persoon als de hoofdaanvrager. Deze persoon dient het voorstel in via ISAAC, het elektronische indiensysteem van NWO. Ook ontvangt deze persoon tijdens de beoordelingsprocedure alle berichten van het NRO die voor het consortium bedoeld zijn.

Bovendien is deze persoon na eventuele toekenning aanspreekpunt en verantwoordelijk voor het onderzoeksproject dat het NRO financiert. Let op: indien de hoofdaanvrager indient vanuit een instelling die niet valt onder het Onderwijsaccountantsprotocol, gelden er bij de financiële verantwoordingen extra controlerichtlijnen. Dit betekent dat een accountantsverklaring moet worden ingediend. Meer informatie kunt u vinden in de NWO subsidieregeling artikel 3.5.3.

Een hoofdaanvrager heeft een dienstverband (aanstellingsduur) voor ten minste de looptijd van het onderzoek waarvoor de subsidie wordt aangevraagd. Een mede-aanvrager heeft ten minste een dienstverband (aanstellingsduur) voor de looptijd van zijn/haar inzet binnen het onderzoek. Een hoofd- dan wel mede-aanvrager met een 0-uren aanstelling is uitgesloten van indiening.

Op alle personen, inclusief de medewerkers van NWO, die betrokken zijn bij de beoordeling van en besluitvorming over aanvragen die in het kader van deze call for proposals worden ingediend is de NWO Code Persoonlijke Belangen van toepassing. De Code Persoonlijke Belangen noemt persoonlijke belangen die deelname aan het beoordelingsproces zonder meer uitsluiten en persoonlijke belangen waarbij een afweging moet worden gemaakt of en onder welke voorwaarden deelgenomen kan worden aan het beoordelingsproces. Op grond van artikel 2:4 van de Algemene wet bestuursrecht dient tevens de schijn van vooringenomenheid te worden uitgesloten. Voor wat betreft het kunnen indienen van een aanvraag betekent dit concreet dat leden van de beoordelingscommissie niet tevens aanvrager kunnen zijn in deze subsidieronde. Dit geldt ook voor leden van de programmaraden, programmacommissies en de Stuurgroep van het NRO, indien zij betrokken zijn bij de beoordeling en/of besluitvorming van deze ronde.

Meer informatie over de Code Persoonlijke Belangen kunt u vinden op www.nwo.nl/code.

3.2 Wat kan aangevraagd worden

Voor een onderzoeksvoorstel in deze ronde kan in totaal maximaal € 1.355.000 worden aangevraagd. Er wordt maximaal één aanvraag gehonoreerd. De budgetmodules (inclusief de maximum bedragen) die binnen deze call for proposals beschikbaar zijn staan vermeld in de tabel hieronder. Vraag alleen datgene dat essentieel is om het onderzoek uit te voeren.

Budgetmodule

Maximaal bedrag

Postdoc

volgens VSNU-tarieven of NFU-tarieven

Niet-wetenschappelijk personeel (NWP) bij universiteiten

€ 100.000, volgens VSNU-tarieven of NFU-tarieven, in combinatie met een postdoc(s)

Personeel aan onderwijs- en onderzoeksinstellingen en overige organisaties

tarieven op basis van Handleiding Overheidstarieven 2021

Materiële kosten

€ 15.000 per jaar per fte postdoc en/of per jaar per aangevraagde wetenschappelijk medewerker onder het HOT- tarief met een minimale aanstelling van 0,2 fte (exclusief IEA-deelnamekosten)

Investeringen

Maximaal € 150.000

Investeringen (€ 150.000 t/m € 500.000)

groter of gelijk aan € 150.000 (voor dataverzamelingen geldt een minimum van € 25.000) en kleiner of gelijk aan € 500.000

Kennisbenutting

€ 25.000

Internationalisering

€ 25.000

Het NRO kan eventueel het budget gedurende de looptijd van een gehonoreerd project verhogen via een aanvullende toekenning van subsidie, wanneer het aanvullende onderzoek inhoudelijk aansluit op het lopende onderzoeksproject.

U kunt subsidie aanvragen voor personele kosten én materiële kosten die direct aan het project verbonden zijn. Alle kosten moeten inhoudelijk gemotiveerd worden. U kunt alleen subsidie aanvragen voor de kosten van personen en instellingen die in Nederland gevestigd zijn.

De programmacommissie heeft het recht om vanwege budgettaire en inhoudelijke overwegingen minder dan het gehele aangevraagde budget toe te kennen.

Een nadere toelichting op de budgetmodules vindt u in de bijlage (hfdst 6) bij deze call.

3.3 Wanneer kan aangevraagd worden

De deadline voor het indienen van intentieverklaringen is 25 februari 2021, om 14:00:00 CE(S)T. De deadline voor het indienen van aanvragen is 1 april 2021, om 14:00:00 CE(S)T.

Bij het indienen van uw aanvraag in ISAAC dient u ook online nog gegevens in te voeren. Begin daarom ten minste één dag vóór de deadline van deze call for proposals met het indienen van uw aanvraag.

Aanvragen die na de deadline worden ingediend, worden niet in behandeling genomen.

Wanneer u uw aanvraag indient (uploadt) in ISAAC, moet u online ook nog gegevens invoeren. Begin daarom ten minste één dag vóór de deadline met het indienen. Aanvragen die na de deadline zijn ingediend, nemen wij niet in behandeling.

3.4 Het opstellen van de aanvraag

  • − Download het aanvraagformulier vanuit het online aanvraagsysteem ISAAC of vanaf de website van NWO (onderaan de webpagina van het betreffende financieringsinstrument);

  • − Download het begrotingsformat vanuit het online aanvraagsysteem ISAAC of vanaf de website van NWO (onderaan de webpagina van het betreffende financieringsinstrument);

  • − Vul het aanvraagformulier en het begrotingsformat in;

  • − Sla het aanvraagformulier op als een pdf;

  • − Upload het aanvraagformulier en begrotingsformat in ISAAC;

  • − Vul in ISAAC de gevraagde gegevens in.

Deze call for proposals is het uitgangspunt bij het opstellen van uw aanvraag. Aanvullend zijn de domeinbeschrijving van SLO (Van Zanten & Oldengarm, 2020), de reviewstudie (Hickendorff et al., 2017) en het bijbehorende addendum (Hickendorff, 2020) het uitgangspunt voor het peilingsonderzoek in groep 8 van het basisonderwijs en het laatste leerjaar van het speciaal (basis)onderwijs.

U moet uw aanvraag in het Nederlands opstellen.

3.5 Subsidievoorwaarden

Voor alle aanvragen gelden de NWO Subsidieregeling 2017 en het Akkoord bekostiging wetenschappelijk onderzoek.

Ethische aspecten

Een aanvrager is verantwoordelijk voor het nagaan of zijn/haar onderzoeksvoorstel ethische vragen op kan roepen en voor het tijdig verkrijgen van een goedkeurende verklaring van de juiste ethische commissie, indien nodig en aanwezig (bij één van de consortiumpartners, in principe bij de hoofdaanvrager). Dit kan de aanvrager doen na toekenning van de aanvraag.

Bij toekenning wordt de subsidie verleend onder de voorwaarde dat de verklaring van de juiste ethische commissie wordt verkregen, indien nodig en aanwezig (bij één van de consortiumpartners, in principe bij de hoofdaanvrager). Een onderzoeksproject kan pas starten als NRO (indien nodig) een kopie van de goedkeurende ethische verklaring ontvangen heeft. NRO verwacht dat onderzoekers rekening houden met het tijdpad van de beoordelingsprocedure en de tijd die nodig is voor de toetsing door een ethische commissie. Voor complexe vragen op het gebied van ethische vraagstukken, behoudt NRO zich het recht voor een externe adviseur te raadplegen.

Wetenschappelijke integriteit

Het onderzoek dat NRO financiert moet, conform de NWO Subsidieregeling 2017, uitgevoerd worden in overeenstemming met de nationaal en internationaal aanvaarde normen van wetenschappelijk handelen zoals neergelegd in de Nederlandse Gedragscode Wetenschappelijke Integriteit (2018). Met het indienen van de aanvraag committeert de aanvrager zich aan deze code. In geval van (mogelijke) schending van voornoemde normen bij een door NRO gefinancierd onderzoek, dient de aanvrager NRO hiervan onverwijld op de hoogte te stellen en dient deze alle ter zake relevante documenten aan NRO te overleggen. Meer informatie over de gedragscode en het beleid op het gebied van wetenschappelijke integriteit vindt u op de website: www.nwo.nl/integriteit.

Open Access

Ontvangt u subsidie in het kader van deze call for proposals? Dan moeten alle publicaties vanuit uw onderzoek onmiddellijk (op het moment van publicatie) wereldwijd vrij toegankelijk zijn (open access). NB: voor publicaties die volgen uit het peilingsonderzoek geldt dat deze onmiddellijk nadat de publicatie van de inspectie is verschenen, wereldwijd vrij toegankelijk moeten zijn. Er zijn verschillende manieren voor onderzoekers om open access te publiceren. Een uitgebreide toelichting hierop vindt u op www.nwo.nl/openscience. U kunt overigens subsidie aanvragen voor Open Access publicaties in tijdschriften.

Bij de peilingsonderzoeken zijn aanvragers verplicht om de Inspectie van het Onderwijs gebruiksrecht te verlenen over nieuw ontwikkelde onderzoeksinstrumenten. Ook dienen aanvragers aanvullende afspraken te maken met de Inspectie van het Onderwijs over items die bij een volgende peiling als ankeritems ingezet kunnen worden, en dienen zij deze items, de bijbehorende bronnen, illustraties etc. en de data van de afname beschikbaar te stellen aan de Inspectie van het Onderwijs.

U moet projectresultaten over het peilingsonderzoek zo snel mogelijk na het verschijnen van de publicatie van de inspectie publiceren, ook als sprake is van te verwachten exploitatierechten.

Beschikbaarheid data voor onderzoek

De Nederlandse TIMSS-data dienen, evenals de internationale databestanden, geanonimiseerd op de TIMSS en PIRLS-website beschikbaar te worden gesteld voor onderzoekers die nadere analyses op de data willen verrichten. De data dienen te worden voorzien van heldere documentatie.

Datamanagement

Resultaten van wetenschappelijk onderzoek moeten kunnen worden gerepliceerd, geverifieerd en gefalsifieerd. In het digitale tijdperk betekent dit dat behalve publicaties ook onderzoeksdata zo veel mogelijk vrij toegankelijk moeten zijn. NWO verwacht dat de onderzoeksdata die voortkomen uit projecten die door NWO zijn gefinancierd zo veel mogelijk vrij beschikbaar komen voor hergebruik door andere onderzoekers. NWO hanteert daarbij het principe: “zo open als mogelijk, beschermd indien nodig”. Van u wordt verwacht dat u ten minste die data en/of niet-numerieke resultaten die ten grondslag liggen aan de conclusies van binnen het project gepubliceerde werken openbaar maakt, gelijktijdig met de publicatie zelf. Eventuele kosten die u hiervoor maakt kunt u meenemen in de projectbegroting.

Het datamanagementprotocol bestaat uit twee stappen. In uw aanvraag neemt u een datamanagementparagraaf op (stap 1). Als u subsidie toegekend krijgt, werkt u deze paragraaf uit tot een datamanagementplan (stap 2).

  • 1. Datamanagementparagraaf

    In uw uitgewerkte onderzoeksaanvraag neemt u een datamanagementparagraaf op. Daarin beantwoordt u vier vragen over datamanagement binnen het beoogde onderzoeksproject. De onderzoekers moeten dus al voordat het onderzoek start, bedenken hoe zij de verzamelde data gaan ordenen en categoriseren. Het doel hiervan is dat deze data vrij beschikbaar kunnen worden gesteld. Dit betekent dat de onderzoekers al voor en bij het tot stand komen van de data en de analyse maatregelen moeten treffen om opslag en deling later mogelijk te maken. Onderzoekers kunnen zelf aangeven welke onderzoeksdata zij voor opslag en hergebruik relevant achten. Indien niet alle data voortkomende uit het project openbaar gemaakt kunnen worden, bijvoorbeeld om redenen van privacy, ethiek of valorisatie, dient u dit te beargumenteren in de datamanagementparagraaf.

  • 2. Datamanagementplan

    Na honorering van een aanvraag moet u de datamanagementparagraaf uitwerken tot een concreet datamanagementplan (dit is niet van toepassing indien uit de datamanagementparagraaf blijkt dat er geen data uit het project voortkomen). In dat plan staat of u gebruik maakt van bestaande data of dat het om een nieuwe dataverzameling gaat. Ook staat in het plan hoe de onderzoeker de dataverzameling FAIR maakt (dit staat voor: vindbaar, toegankelijk, interoperabel en herbruikbaar). Het datamanagementplan dient u voor indiening af te stemmen met een data steward of vergelijkbare functionaris van de kennisinstelling waar het onderzoek wordt uitgevoerd.

U moet het datamanagementplan uiterlijk een maand na honorering van de aanvraag via ISAAC indienen bij het NRO. Het NRO keurt het plan zo snel mogelijk goed. Deze goedkeuring is een voorwaarde voor de subsidieverlening. U kunt het plan tijdens het onderzoek wel bijstellen. Ook daarvoor moet u goedkeuring krijgen van het NRO.

Meer informatie over het datamanagementprotocol van NWO staat op www.nwo.nl/datamanagement. Daarnaast is informatie te vinden op de website van het Landelijk Coördinatiepunt Research Datamanagement: www.lcrdm.nl.

Narcis

De start van het onderzoek dient u te melden bij NARCIS (via www.narcis.nl). Dit is de Nederlandse onderzoekdatabank van Data Archiving and Networked Services (DANS) van de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW). Op die manier komt er een onderzoeksbeschrijving terecht in de databank van NARCIS. Het onderzoek staat binnen vijf werkdagen na aanmelding in NARCIS. Het krijgt daarbij een uniek onderzoeknummer (OND-nummer). Daarmee is het bekend voor andere onderzoekers.

DANS

Alle producten en tussenproducten die voortkomen uit het peilingsonderzoek moet u binnen een jaar na publicatie van de rapportage door de inspectie uploaden in EASY. Dit is het online archiveringssysteem van Data Archiving and Networked Services (DANS) van de Koninklijke Akademie van Wetenschappen (KNAW, i.c. www.easy.dans.knaw.nl). Het gaat hier met name om de databestanden met onderzoeksgegevens die zich lenen voor meervoudig gebruik. Uiteraard moet u ervoor zorgen dat de bestanden geen vertrouwelijke gegevens en gerubriceerde gegevens bevatten. Ook schrapt u de gegevens waarvan op grond van de wet- en regelgeving het openbaar maken achterwege moet blijven. U moet bij het aanbieden van de databestanden het unieke OND-nummer vermelden. Ook moeten de databestanden voldoen aan de richtlijnen van DANS. Na opname van de databestanden in EASY kent DANS een Persistent Identifier toe aan het databestand.

NCO

Omvangrijke landelijk representatieve databestanden moet u mogelijk ter beschikking stellen aan het CBS. Daarmee is een verbinding mogelijk met het Nationaal Cohortonderzoek Onderwijs (NCO), dat gefinancierd wordt door het NRO. De NCO-coördinatoren adviseren over de wenselijkheid hiervan bij de start van het project. Als het bestand integraal onderdeel wordt van het NCO dan ontvangt u instructies en handleidingen over de voorwaarden waaraan de dataverzameling moet voldoen en hoe u de respondenten informeert.

Specifieke subsidievoorwaarden

Aan TIMSS nemen meerdere landen deel. De internationale coördinatie valt onder de verantwoordelijkheid van de IEA. Deze stelt specifieke voorwaarden met betrekking tot respons, planning en oplevering van de resultaten. Indien landen niet aan de gestelde voorwaarden voldoen, zullen zij niet worden meegenomen in de internationale analyses. Om die reden dient het uitgevoerde project aan de volgende voorwaarden te voldoen:

  • − de fasering van het onderzoeksproject en oplevering van de resultaten dienen plaats te vinden conform de hiervoor door de IEA opgestelde richtlijnen;

  • − daarnaast dient te worden voldaan aan de door de IEA gestelde responseisen.

Overige specifieke subsidievoorwaarden voor het Nederlandse deel van TIMSS

  • − de onderzoekers stellen een eindrapport op waarin zij de resultaten van het onderzoek presenteren en analyseren. Deze resultaten worden ook beschikbaar gesteld in de vorm van een Nederlandstalig rapport. Onderdeel van het Nederlandse rapport is een uitgebreide en op een breed publiek gerichte samenvatting van de Nederlandse resultaten, ingebed in de internationale resultaten;

  • − in december 2024 vindt de presentatie van de internationale resultaten en de publicatie van het internationale onderzoeksrapport plaats. In overleg met het NRO en het Ministerie van OCW wordt de verschijningsdatum van het Nederlandstalige rapport bepaald. De periode hierna (tot de einddatum van 31 mei 2025) kan gebruikt worden voor de verdere inhoudelijke en formele afronding van het project.

Na toekenning

Uiterste startdatum

Een project moet direct na de toekenning beginnen. Als het project later start dan kan het NRO de subsidie lager of op nihil vaststellen.

Voor de start van het project dient u de volgende startdocumenten in via ISAAC:

  • − Een volledig ingevuld en ondertekend projectmeldingsformulier (PMF).

Daarnaast registreert u iedere aanstelling van een postdoc via ISAAC voor de aanstellingsduur op het project. U kunt alle documenten downloaden via www.nro.nl/projectbeheer.

Juridisch kader

Voor het peilingsonderzoek zullen persoonsgegevens verwerkt worden. Onderzoekers dienen na toewijzing met het NRO (NWO) en de Inspectie van het Onderwijs af te stemmen over de grondslag en voorwaarden voor de verwerking van persoonsgegevens in het kader van het peilingsonderzoek.

Startgesprek

Voor het peilingsonderzoek wordt een begeleidingscommissie ingesteld. Het project zal aanvangen met een startgesprek, waarin in overleg met een begeleidingscommissie de nadere invulling van de aanpak voor het peilingsonderzoek – binnen de door de aanvragers voorgestelde kaders – wordt vastgelegd. De begeleidingscommissie bestaat uit een vertegenwoordiging van de inspectie en inhoudsdeskundigen. Het startgesprek vindt plaats in de week van 14 juni 2021.

Tussentijdse wijzigingen melden

U bent als hoofdaanvrager verplicht om het onmiddellijk te melden als er wijzigingen zijn in de planning of uitvoering van het onderzoek. In die melding geeft u het NRO een beargumenteerde motivatie voor de wijzigingen.

Voor budgetverschuivingen geldt dat u een verschuiving tussen personele en materiële kosten en een verschuiving binnen personele kosten altijd moet voorleggen aan het NRO. Een verschuiving binnen het materieel budget hoeft u alleen voor te leggen als:

  • − de verschuiving gevolgen heeft voor de inhoud, planning en/of beoogde opbrengsten van het onderzoek;

  • − de verschuiving groter is dan 20% van het totale materieel budget.

Voortgang onderzoek

Het onderzoek dient de voor TIMSS 2023 voorgeschreven planning en fasering van de IEA te volgen. Verlenging van de subsidieperiode voor het Nederlandse deel van TIMSS is niet mogelijk vanwege de internationale planning van TIMSS 2023. Tijdens het traject zal er regelmatig overleg plaatsvinden met het Ministerie van OCW over de voortgang van het Nederlandse deel van TIMSS. Vanuit het NRO zal bovendien tussentijds contact gehouden worden met de hoofdaanvrager en ondersteuning geboden worden voor het verhogen van de bruikbaarheid en de verspreiding van de resultaten van het onderzoek. Daarnaast worden de uitvoerders gevraagd om één keer per jaar een inhoudelijke voortgangsrapportage voor TIMSS 2023 op te leveren en deze te komen presenteren in een vergadering van de NCO-programmacommissie. Tijdens het traject vindt er daarnaast regelmatig overleg plaats tussen de aanvragers en de begeleidingscommissie over het peilingsonderzoek.

Het NRO volgt en ondersteunt de voortgang en evalueert de resultaten van het onderzoek (bij het peilingsonderzoek in samenspraak met de begeleidingscommissie). Hierbij gaan we uit van de planning en beoogde opbrengsten zoals vermeld in uw aanvraag. Van de hoofdaanvrager wordt verwacht dat deze direct onvoorziene gebeurtenissen meldt die de voortgang van het project of de oplevering van de output in gevaar brengen. De hoofdaanvrager dient zelf met een oplossing te komen, maar het NRO zal indien nodig hierbij ondersteuning bieden. Een aanzienlijke afwijking op de aanvraag, zonder voorafgaande instemming van het NRO, kan ertoe leiden dat het NRO de betaling van tranches (tijdelijk) stop zet, en de subsidie lager of op nihil vaststelt, en waar nodig terugvordert.

Daarnaast vraagt het NRO dat u gedurende de looptijd, en tot twee jaar na de looptijd van het project, iedere publicatie of andere vorm van output registreert in ISAAC. U volgt hierbij het Standaard Evaluatie Protocol (SEP). Op www.isaac.nwo.nl vindt u een uitgebreide beschrijving van welke stappen u doorloopt om producten in ISAAC te registreren.

Kennisbenutting

Voor NRO is het van belang dat de gegenereerde kennis voortkomend uit door NRO gefinancierd onderzoek ook zijn weg vindt naar de maatschappij. Om de potentie voor maatschappelijke impact van het onderzoek te vergroten is aantoonbare betrokkenheid nodig van belangrijke gebruikers vanaf de vorming van het consortium tot en met afronding van het project.

Gedurende de uitvoering van het onderzoek vraagt het NRO consortia te reflecteren op de impact van het onderzoek en na te denken op welke manier informatie uit het onderzoek benut, verspreid en geborgd kan worden onder eindgebruikers en andere belanghebbenden. Dit komt terug in het monitoren van de voortgang van het onderzoek.

Beoordeling output

De werkzaamheden voor het peilingsonderzoek eindigen met het opleveren van het in paragraaf 2.2.4 gespecificeerde eindrapport en een databestand. Dit eindrapport en databestand worden beoordeeld op kwaliteit door de begeleidingscommissie. De begeleidingscommissie stelt een advies op dat ter bekrachtiging aan de NCO-programmacommissie wordt voorgelegd.

De (internationale) presentatie van de resultaten van TIMSS vindt plaats in december 2024. De einddatum van het project is 31 mei 2025. Op deze datum dienen alle activiteiten te zijn afgerond en alle geplande producten in het bezit van de NCO-programmacommissie te zijn.

Nadat uw project succesvol is afgerond publiceert het NRO de output plus de factsheet op de website.

Presentatie projecten

Het NRO belegt regelmatig bijeenkomsten waar onderzoeken die zijn gehonoreerd gepresenteerd worden. Daarmee beoogt het NRO, conform zijn missie, bij te dragen aan het verbeteren en vernieuwen van het onderwijs. Het NRO kan uitvoerders van dit project uitnodigen om aan de bijeenkomsten een bijdrage te leveren. Daarnaast wordt van de uitvoerders gevraagd om hun onderzoek te presenteren op andere bijeenkomsten in relatie tot rekenvaardigheid, en om dit mee te nemen in het kennisbenuttingsplan en de begroting.

Eindverslag, Factsheet en financiële verantwoording

Uiterlijk binnen drie maanden na afronding van het onderzoek dient de hoofdaanvrager een eindverslag, een factsheet en een financiële verantwoording in via ISAAC. Let op: indien de instelling van de hoofdaanvrager geen onderwijsinstelling is en het Onderwijsaccountantsprotocol OCW/EZ dus niet van toepassing is, moet tevens een accountantsverklaring worden ingediend.

Daarnaast registreert u afzonderlijk in ISAAC alle tot dan toe in het project gerealiseerde en in de aanvraag genoemde output. Als het eindverslag is goedgekeurd, sluit het NRO de subsidieperiode af en stelt de definitieve subsidie vast.

3.6 Het indienen van een aanvraag

U dient uw aanvraag bij NWO altijd in via ISAAC, ons elektronisch aanvraagsysteem. Aanvragen die niet via ISAAC zijn ingediend, nemen wij niet in behandeling.

U bent als hoofdaanvrager verplicht om uw aanvraag via uw eigen ISAAC-account in te dienen. Hebt u nog geen ISAAC-account? Maak deze dan minimaal een week voor het indienen aan. Dit is om eventuele aanmeldproblemen nog op tijd te kunnen verhelpen. Hebt u al een ISAAC-account? Dan hoeft u geen nieuw account aan te maken om een nieuwe aanvraag in te dienen.

Als u uw aanvraag indient in ISAAC, moet u ook online nog gegevens invoeren. Begin daarom ten minste één dag vóór de deadline van deze call for proposals met het indienen van uw aanvraag. Aanvragen die na de deadline worden ingediend, nemen wij niet in behandeling.

Werkt een hoofd- en/of medeaanvrager bij een organisatie die niet is opgenomen in de database van ISAAC? U kunt dit dan melden via relatiebeheer@nwo.nl. Wij voegen de organisatie dan toe. Hier zijn enige dagen voor nodig. Meld dit daarom uiterlijk een week voor de deadline.

Hebt u technische vragen over ISAAC? Neem dan contact op met een medewerker van de ISAAC- helpdesk, zie paragraaf 5.1.2.

4 Beoordelingsprocedure

In dit hoofdstuk staat eerst hoe de beoordelingsprocedure verloopt (paragraaf 4.1). Vervolgens ziet u in paragraaf 4.2 aan welke criteria de beoordelingscommissie uw aanvraag toetst.

Voor alle bij de beoordeling en/of besluitvorming betrokken personen en betrokken NWO- medewerkers is de Code persoonlijke belangen van toepassing.

4.1 Procedure

Als eerste stap in de beoordelingsprocedure toetst het NRO of de aanvraag ontvankelijk is. Alleen dan kan het NRO uw aanvraag in behandeling nemen. Daarbij controleren we of de aanvraag voldoet aan de voorwaarden die in hoofdstuk 3 van deze call for proposals staan (zie ook paragraaf 4.2 over de ontvankelijkheidscriteria).

Als uw aanvraag ontvankelijk is, beoordeelt een beoordelingscommissie uw aanvraag. De beoordelingscommissie adviseert de programmacommissie over het al dan niet honoreren van de aanvraag. Uw aanvraag ontvangt daarbij een kwalificatie, die u ontvangt bij het besluit over al dan niet toekennen van subsidie. Uw aanvraag krijgt een van de volgende kwalificaties:

  • • excellent;

  • • zeer goed;

  • • goed;

  • • ontoereikend;

  • • komt niet in aanmerking voor de volgende fase van de NWO-beoordelingsprocedure (geldt alleen voor financieringsinstrumenten met een voorselectie).

Meer informatie over de kwalificaties vindt u op: http://www.nwo.nl/kwalificaties.

Om voor subsidiëring in aanmerking te kunnen komen, dient een aanvraag ten minste de kwalificatie goed te krijgen.

De datamanagementparagraaf in de aanvraag wordt niet beoordeeld. Deze wordt daarom niet meegewogen in de beslissing om een aanvraag al dan niet te honoreren. De beoordelingscommissie kan wel advies geven over de datamanagementparagraaf. Als u subsidie toegekend krijgt, moet u de paragraaf uitwerken in een datamanagementplan. In dat plan kan u het advies van de commissie verwerken.

In deze ronde is gekozen voor een procedure met uitgewerkte aanvragen. De procedure bestaat uit de volgende stappen:

  • − Indiening van intentieverklaringen

  • − Indiening van aanvragen

  • − In behandeling nemen van aanvragen

  • − Voorselectie (optioneel)

  • − Preadvisering beoordelingscommissie

  • − Interviews door de beoordelingscommissie

  • − Beoordeling door de beoordelingscommissie

  • − Besluitvorming programmacommissie

Vanwege de in de beoordelingscommissie aanwezige expertise en het tijdpad voor het onderzoek maakt het NRO gebruik van de mogelijkheid bij artikel 2.2.4 van de NWO Subsidieregeling 2017 om de beoordelingsprocedure uit te voeren zonder referenten in te schakelen.

Op grond van het tijdpad en de gevraagde expertise van de aanvragers is besloten interviews te houden met de aanvragers. Deze mogelijkheid volgt uit artikel 2.2.6. van de NWO Subsidieregeling 2017.

Indiening van intentieverklaringen

Met een intentieverklaring geeft u aan dat u een aanvraag wilt indienen voor deze call for proposals. Het indienen van een intentieverklaring is verplicht om een aanvraag in te kunnen dienen.

De intentieverklaring is bedoeld om het NRO te informeren over het te verwachten aantal aanvragen. U moet uw intentieverklaring uiterlijk 25 februari 2021, 14.00 uur indienen via ISAAC.

Voeg bij de intentieverklaring ook een voorlopige opgave van de namen van hoofdaanvrager en medeaanvragers. U kunt hier nog van afwijken in het aanvraagformulier. U ontvangt als hoofdaanvrager een ontvangstbevestiging van de intentieverklaring.

U mag een intentieverklaring overigens intrekken. U wordt gevraagd om dit via e-mail aan het NRO door te geven. Als u de verklaring via ISAAC hebt ingediend, moet u deze ook in ISAAC terugtrekken.

Indiening van aanvragen

Voor indiening van de aanvraag is een standaardformulier beschikbaar op de financieringspagina van deze ronde. In uw aanvraag moet u zich houden aan de vragen die in dit formulier staan en aan de werkwijze die in de toelichting staat. Ook moet u zich houden aan de richtlijnen voor het maximale aantal woorden en pagina’s.

Uw volledig ingevulde aanvraagformulier moet voor donderdag 1 april 2021, 14.00 uur via ISAAC zijn ontvangen. Na dit tijdstip kunt u uw aanvraag niet meer indienen. Na ontvangst van de aanvraag ontvangt de indiener hiervan een bevestiging.

In behandeling nemen van de aanvragen

Zo snel mogelijk nadat u uw aanvraag hebt ingediend, hoort u of het NRO uw aanvraag in behandeling neemt. Het NRO-secretariaat bepaalt dat aan de hand van een aantal administratief-technische criteria (zie de ontvankelijkheidscriteria in paragraaf 4.2). Alleen als uw aanvraag hieraan voldoet, kan het NRO deze in behandeling nemen.

Voorselectie (optioneel)

Bij grote aantallen uitgewerkte aanvragen kan de programmacommissie ervoor kiezen om een voorselectie te houden (art. 2.2.3 NWO Subsidieregeling 2017). Dit kan als het aantal ingediende aanvragen minimaal vier maal groter is dan het aantal honoreringen. Bij een voorselectie beoordeelt de beoordelingscommissie de aanvragen globaal op de beoordelingscriteria. Zij geeft de aanvrager daarbij gelegenheid tot wederhoor en adviseert vervolgens de programmacommissie. Vervolgens besluit de programmacommissie de minder kansrijke aanvragen terzijde te schuiven.

Preadvisering beoordelingscommissie

Alle aanvragen worden eerst voor commentaar voorgelegd aan (enkele) leden van de beoordelingscommissie (de preadviseurs). De preadviseurs geven schriftelijk een inhoudelijk en beargumenteerd commentaar op het voorstel. Zij formuleren dit commentaar aan de hand van de beoordelingscriteria (zie paragraaf 4.2). Daarnaast geven de preadviseurs voor elk hoofdcriterium een score. De preadviseurs mogen geen persoonlijke belangen hebben bij de aanvragen waarover zij adviseren.

Interviews door de beoordelingscommissie

U als hoofdaanvrager ontvangt vervolgens de geanonimiseerde preadviezen op de aanvraag. U hebt daarna minimaal vijf werkdagen de gelegenheid om een weerwoord voor te bereiden. U formuleert dit weerwoord tijdens het interview met de beoordelingscommissie. Mocht de teneur van de preadviezen overwegend negatief zijn, dan kunt u de aanvraag eenvoudig terugtrekken. De kans op een positieve beoordeling is over het algemeen namelijk klein bij overwegend negatieve preadviezen. Mocht u besluiten de aanvraag terug te trekken, dan dient u dit zo snel mogelijk per e-mail aan het bureau te melden en de aanvraag in ISAAC in te trekken.

Beoordeling door de beoordelingscommissie

De aanvragen, preadviezen en weerwoorden fungeren als startpunt voor de bespreking door de beoordelingscommissie. De programmacommissie stelt deze beoordelingscommissie in op basis van expertise. Voor de beoordelingscommissie geldt de ‘Code omgang met persoonlijke belangen’. De commissie stelt naar aanleiding van de bespreking een schriftelijk advies op voor de programmacommissie over de kwaliteit en prioritering van de aanvragen. Dit advies baseert zij op de beoordelingscriteria. Het voorstel als geheel moet ten minste de kwalificatie goed krijgen. Daarnaast moeten de 5 criteria ten minste de kwalificatie goed krijgen om in aanmerking te komen voor honorering.

De kwalificaties komen tot stand op basis van scores per criterium volgens de NWO scoretabel (op een schaal van 1 tot 9, waarbij ‘1’ excellent is en ‘9’ zeer matig). Indien na beoordeling blijkt dat twee of meer aanvragen met dezelfde gewogen totaalscore (twee decimalen achter de komma) gelijk eindigen, en deze aanvragen bevinden zich op de grens van honorering binnen het subsidieplafond, dan zal de aanvraag die de hoogste score heeft behaald op het criterium ‘de kwaliteit van het onderzoeksplan’ als hoogste eindigen. Als ook dan aanvragen gelijk eindigen, zal de aanvraag die de hoogste score heeft behaald op het criterium ‘de kwaliteit van het afnamedesign en het plan voor werving, feedback en kennisverspreiding’ als hoogste eindigen. Als ook dan aanvragen gelijk eindigen bepaalt de commissie met behulp van een (anonieme) meerderheidsstemming de rangorde (art. 2.2.7. lid 3 sub a, onderdeel iv NWO Subsidieregeling 2017). Mochten de stemmen staken zal het NRO door middel van een door een notaris uit te voeren loting de prioritering vaststellen.

Besluitvorming door de programmacommissie

Tot slot toetst de programmacommissie het advies van de beoordelingscommissie. Vervolgens stelt zij de definitieve kwalificaties vast en besluit zij welke aanvraag wordt gehonoreerd. Er kan naar verwachting één aanvraag gehonoreerd worden. Daarbij kan de programmacommissie beleidsmatige overwegingen meenemen (zie paragraaf 4.2.3).

Bezwaar en beroep

Voor het indienen van formele bezwaren tegen beslissingen in het kader van de ronde TIMSS en Peil.Rekenen-Wiskunde 2023 staan, waar van toepassing, de geldende bezwaar- en beroepsprocedures open.

Tijdpad

25 februari 2021

Deadline indiening intentieverklaringen

1 april 2021

Deadline indiening voorstellen

April 2021

Preadviezen beoordelingscommissie

Mei 2021

Vergadering beoordelingscommissie (in combinatie met interviews) en advies over honorering aanvragen

Mei 2021

Besluit programmacommissie NCO

Juni 2021

Het NRO informeert de indieners over het besluit

Aanpassingen tijdpad

Het kan zijn dat het NRO het noodzakelijk acht om tijdens de lopende procedure nog aanpassingen in het tijdpad van deze ronde aan te brengen. Uiteraard ontvangt u hierover op tijd bericht.

4.2 Criteria

Formele ontvankelijkheidscriteria

Het NRO neemt uw aanvraag alleen in behandeling als deze voldoet aan een aantal formele voorwaarden. Deze voorwaarden zijn:

  • − de aanvraag is ingediend door een consortium dat aan de gestelde eisen in paragraaf 3.1 voldoet;

  • − de aanvraag is ingediend door een consortium dat een intentieverklaring heeft ingediend vóór de deadline;

  • − het aanvraagformulier is, na eventueel verzoek tot aanvulling of wijziging, juist, compleet en volgens de instructies ingevuld;

  • − de aanvraag is ingediend via het ISAAC-account van de hoofdaanvrager;

  • − de aanvraag is op tijd ontvangen;

  • − de aanvraag is in het Nederlands opgesteld;

  • − de aanvraag valt binnen de thematiek van deze call for proposals;

  • − het budget is volgens de richtlijnen in de call for proposals opgesteld;

  • − in de begroting is maximaal € 525.000 gereserveerd voor het uitvoeren van het peilingsonderzoek en maximaal € 830.000 voor het uitvoeren van het Nederlandse deel van TIMSS;

  • − in de begroting is € 300.000 gereserveerd voor IEA-fee;

  • − de periode waarover u subsidie aanvraagt, is passend bij de looptijd van het onderzoek.

Het NRO toetst uw aanvraag eerst op deze voorwaarden. Alleen als uw aanvraag hieraan voldoet, wordt deze toegelaten tot de beoordelingsprocedure. U wordt gevraagd om na indiening van een aanvraag beschikbaar te zijn om eventuele wijzigingen door te voeren om (alsnog) te voldoen aan de ontvankelijkheidscriteria.

Inhoudelijke beoordelingscriteria

De onderzoeksvoorstellen voor deze call for proposals worden inhoudelijk beoordeeld aan de hand van de volgende criteria:

  • 1. De kwaliteit van het onderzoeksplan voor het Nederlandse deel van TIMSS en voor het peilingsonderzoek (35%)

  • 2. De kwaliteit van het beoogde instrumentarium voor het peilingsonderzoek (20%)

  • 3. De kwaliteit van het afnamedesign en het plan voor werving, feedback en kennisverspreiding voor het Nederlandse deel van TIMSS en voor het peilingsonderzoek (20%)

  • 4. De kwaliteit van het consortium (15%)

  • 5. Financiën en begroting (10%)

De criteria hebben de volgende onderliggende onderdelen.

  • 1. De kwaliteit van het onderzoeksplan voor het Nederlandse deel van TIMSS en voor het peilingsonderzoek (35%)

    • a. helderheid, volledigheid en haalbaarheid van het plan van aanpak;

    • b. kwaliteit van de gemaakte keuzes en de onderbouwing daarvan;

    • c. mate waarin het onderzoeksplan beantwoording van de onderzoeksvragen mogelijk maakt;

    • d. specificatie van de uitsluitingscriteria op het niveau van de leerlingen;

    • e. kwaliteit van de voorgestelde wijze van dataverzameling en data-analyse (incl. omgang met ontbrekende waarden; voor het Nederlandse deel van TIMSS kan gekeken worden naar de technische rapporten van TIMSS 2019 en 2015);

    • f. kwaliteit van de uitwerking van het conceptueel model en de per schooltype te onderzoeken samenhangen tussen de leerlingprestaties en de relevante kenmerken op het niveau van de leerling, leerkracht, het reken-wiskundeonderwijs en de school;

    • g. de relatie tot de fasering van het internationale onderzoek.

  • 2. De kwaliteit van het beoogde instrumentarium voor het peilingsonderzoek (20%)

    • a. concreet en onderbouwd voorstel voor het in te zetten instrumentarium voor zowel het in kaart brengen van de kennis, het inzicht en de vaardigheden van leerlingen in het laatste leerjaar van het bo, sbo en so (voormalig cluster 4) op het gebied van rekenen- wiskunde als voor de kenmerken van leerlingen, leerkrachten, het reken- wiskundeonderwijs en scholen;

    • b. goede argumentatie van de mogelijkheden tot het eventueel inzetten van bestaande meetinstrumenten op het gebied van rekenen-wiskunde voor het in kaart brengen van de kennis en vaardigheden van leerlingen in het laatste leerjaar van het bo, sbo en so (voormalig cluster 4);

    • c. kwaliteit van de procedures waarmee de betrouwbaarheid en validiteit van het beoogde instrumentarium worden onderzocht (met specifieke aandacht voor de constructvaliditeit);

    • d. specificatie van de wijze waarop via ankeritems de standaarden op de referentieniveaus worden overgebracht;

    • e. een adequaat voorstel voor het inzetten van ankeritems uit het vorige peilingsonderzoek t.b.v. het bepalen van een trend.

  • 3. De kwaliteit van het afnamedesign, het plan voor werving, feedback en kennisverspreiding voor het Nederlandse deel van TIMSS en voor het peilingsonderzoek (20%)

    • a. haalbaar afnamedesign met goede balans tussen de gevraagde inspanningen van scholen, leerkrachten en leerlingen en het verkrijgen van een betrouwbaar en volledig beeld van de leerlingprestaties op het gebied van rekenen-wiskunde, leerling-, leerkracht- en schoolkenmerken (incl. het onderwijs in rekenen-wiskunde);

    • b. verwachte effectiviteit, originaliteit en innovativiteit van de voorgestelde aanpak voor werving en het optimaliseren van het responspercentage, voor het peilingsonderzoek met bijzondere aandacht voor het speciaal onderwijs (voormalig cluster 4) en voor TIMSS met inachtneming van het door de IEA vereiste responspercentage;

    • c. relevante en betekenisvolle feedback aan de deelnemende scholen;

    • d. activiteiten om belanghebbenden en andere geïnteresseerden vooraf en tijdens de looptijd van het project te informeren;

    • e. activiteiten ten behoeve van de verspreiding van de resultaten.

  • 4. De kwaliteit van het consortium (15%)

    • a. aantoonbare kennis van het Nederlandse onderwijsveld, het hebben van een netwerk daarbinnen en de bereidheid om het onderwijsveld te betrekken bij onder andere de validering van het instrumentarium;

    • b. ervaring met onderzoek bij leerlingen met specifieke onderwijsbehoeften;

    • c. expertise op het terrein van exacte vakken en rekenen-wiskunde in het basisonderwijs, het speciaal basisonderwijs en het speciaal onderwijs (voormalig cluster 4);

    • d. aantoonbare expertise in het uitvoeren van grootschalig (inter)nationaal vergelijkend onderwijsonderzoek;

    • e. ervaring met instrumentontwikkeling;

    • f. kennis van de uitvoeringsproblematiek van digitale dataverzamelingen en aantoonbare ervaring met (succesvol verlopen) digitale toetsing;

    • g. aantoonbare ervaring met (succesvol verlopen) werving van scholen en respondenten;

    • h. de bijdrage van de individuele consortiumpartners aan het onderzoek;

    • i. inbedding van het onderzoek in een adequate onderzoeksinfrastructuur.

  • 5. Financiën en begroting (10%)

    • a. adequate onderbouwing van de gevraagde middelen;

    • b. goede balans tussen investeringen in instrumentsamenstelling/-ontwikkeling, dataverzameling en analyses ter beantwoording van de onderzoeksvragen.

Op alle criteria moet ten minste sprake zijn van een kwalificatie ‘goed’ om in aanmerking te komen voor toewijzing.

5 Contact en overige informatie

5.1 Contact

5.1.1 Inhoudelijke vragen

Voor inhoudelijke vragen over TIMSS en Peil.Rekenen-Wiskunde 2023 en deze call for proposals neemt u contact op met:

Beleidsmedewerkers

Sophie Brolsma

T: 070 – 349 43 64, E: info@nationaalcohortonderzoek.nl

Nina Ouddeken

T: 070 – 349 41 04, E: info@nationaalcohortonderzoek.nl

Secretariaat

T: 070 344 0928, E: info@nationaalcohortonderzoek.nl

Contactpersoon Inspectie van het Onderwijs

Marleen van der Lubbe

T: 088 – 669 60 88, E: m.vanderlubbe@owinsp.nl

5.1.2 Technische vragen over het elektronisch aanvraagsysteem ISAAC

Op www.isaac.nwo.nl/help vindt u een pdf van de ISAAC-handleiding. In dit document staat algemene informatie over het gebruik van ISAAC en specifieke informatie voor aanvragers, referenten, commissieleden en projectleiders. Lees altijd eerst deze handleiding, voordat u de helpdesk om raad vraagt. Hebt u toch technische vragen over het gebruik van ISAAC? Neem dan contact op met een medewerker van de ISAAC-helpdesk. De ISAAC-helpdesk is bereikbaar van maandag t/m vrijdag van

10.00 tot 17.00 uur op telefoonnummer +31 (0)20 346 71 79. Helaas ondersteunen niet alle buitenlandse providers het bellen naar dit nummer. U kunt uw vraag ook per e-mail stellen via isaac.helpdesk@nwo.nl. U ontvangt dan binnen twee werkdagen een reactie.

5.2 Overige informatie

Het NRO verwerkt gegevens van aanvragers conform de NWO privacyverklaring.

Na afronding van de ronde zal het NRO aanvragers mogelijk benaderen voor een evaluatie van de procedure.

Het meest recente TIMSS-onderzoek is TIMSS 2019. Voor het beschrijven van de methoden en technieken is het technisch rapport van TIMSS 2019 zeer relevant. Dit rapport is gepubliceerd op de website van de TIMSS & PIRLS International Study Center (ISC). De taakomschrijving van de National Research Coordinator (NRC) en de National Study Center (NSC) kan als inspiratie dienen voor de beschrijving van de rollen in het team. Dit bestand is als bijlage aan de financieringspagina toegevoegd.

6 Bijlage(n)

6.1 Toelichting op budgetmodules

Voor personeel dat een substantiële bijdrage levert aan het onderzoek kan subsidie voor de salariskosten worden aangevraagd. Subsidiëring van deze salariskosten is afhankelijk van het type aanstelling en de organisatie waar het personeel is/wordt aangesteld.

  • − Voor de aanstelling van een promovendus, postdoc of NWP aan een universitaire instelling,

  • − worden salariskosten gefinancierd conform de op het moment van subsidieverlening geldende VSNU-salaristabellen (www.nwo.nl/salaristabellen).

  • − Voor universitair medisch centra worden salariskosten gefinancierd conform de op het moment van subsidieverlening geldende NFU-salaristabellen (www.nwo.nl/salaristabellen).

  • − Voor overig personeel van onderwijsinstellingen en andere instellingen worden salariskosten gefinancierd op basis van de Handleiding Overheidstarieven 2021.

  • − Voor de Nederlandse Cariben geldt dat de rijksoverheid in Caribisch Nederland ambtenaren op de BES-eilanden onder andere voorwaarden in dienst neemt dan in Europees Nederland. https://www.rijksdienstcn.com/werken-bij-rijksdienst-caribisch-nederland/arbeidsvoorwaarden.

De tarieven voor alle budgetmodules zijn verwerkt in het begrotingsformat bij het aanvraagformulier. Voor de budgetmodule ‘Postdoc’ komt bovenop de salariskosten een eenmalige persoonsgebonden benchfee van € 5.000 ter stimulering van de wetenschappelijke carrière van de door NWO gefinancierde projectmedewerker. Vergoedingen voor promotiestudenten/beursalen aan een Nederlandse universiteit komen niet in aanmerking voor subsidie van NWO.

Hieronder volgt een toelichting op de beschikbare budgetmodules.

Postdoc

De omvang van de aanstelling van een postdoc is minimaal 6 voltijdsmaanden en maximaal 48 voltijdsmaanden. De inzet kan naar eigen inzicht worden ingericht, maar is altijd minstens 0,5 fte óf de looptijd is minstens 12 maanden. Het product van fte x looptijd dient altijd minimaal 6 voltijdsmaanden te zijn.

Voor een beperktere inzet van een postdoc staat het materieel budget ter beschikking.

Niet-wetenschappelijk personeel (NWP) bij universiteiten

Financiering voor de aanstelling van niet-wetenschappelijk personeel dat noodzakelijk is voor de uitvoering van het onderzoeksproject kan alleen worden aangevraagd als er ook financiering voor een promovendus of postdoc wordt aangevraagd. Voor NWP kan maximaal € 100.000 aangevraagd worden. Het kan hier gaan om student-assistenten, programmeurs, technisch assistenten of analisten. Afhankelijk van het functieniveau kan worden gekozen uit de salaristabellen NWP MBO, NWP HBO en NWP Academisch.

De omvang van de aanstelling is minimaal 6 voltijdsmaanden en maximaal 48 voltijdsmaanden. De inzet kan naar eigen inzicht worden ingericht, maar is altijd minstens 0,5 fte óf de looptijd is minstens 12 maanden. Het product van fte x looptijd dient altijd minimaal 6 voltijdsmaanden te zijn.

Voor een beperktere inzet van NWP staat het materieel budget ter beschikking.

Overig personeel aan onderwijs- en onderzoeksinstellingen en overige organisaties

Voor de financiering van loonkosten van personeel aan een onderwijs- en onderzoeksinstelling (m.u.v. een promovendus, postdoc en NWP aan een universiteit) en van overige organisaties, worden maximale tarieven (uur/dag) gehanteerd gebaseerd op de Handleiding overheidstarieven 2021. Dit kan ook personeel betreffen met een vast dienstverband.

U geeft in de aanvraagbegroting aan hoe u de aangevraagde personele kosten verdeelt over de verschillende leden van het consortium (indien van toepassing). Benoem hierbij wat uw overwegingen zijn achter deze verdeling. In de begroting neemt u per type personeel de dagtarieven op. Deze mogen onderstaande maximale tarieven niet overschrijden; u mag wel een lager tarief opnemen. Deze tarieven zijn vervolgens bindend en worden bij toekenning niet geïndexeerd. Dit betekent dat het NRO uitgaat van de in de begroting opgenomen tarieven bij een eventuele toekenning en uiteindelijke subsidievaststelling.

Personeel aan een onderwijs- en onderzoeksinstelling

Voor personeel dat werkzaam is bij een onderwijs- en onderzoeksinstellinginstelling (waaronder universiteiten en instellingen voor hoger beroepsonderwijs) moet worden uitgegaan van onderstaande maximale tarieven (uur/dag). Let op: kosten voor begeleiding van een promovendus dan wel postdoc komen niet voor vergoeding in aanmerking.

Projectondersteuning

€ 50/400

Junior/onderzoeksassistentie WP en NWP/docenten

€ 70/560

Medior/universitair docenten/docent-onderzoekers

€ 87/696

Senior/universitair hoofddocenten

€ 96/768

Directie/hoogleraar/lector

€ 121/968

Personeel overige organisaties

Voor personeel aan overige organisaties moet worden uitgegaan van de volgende maximale tarieven (uur/dag):

Projectondersteuning

€ 50/400

Junior

€ 77/616

Medior

€ 130/1.040

Senior/directie

€ 140/1.120

Toelichting op budgetmodule Materieel

Per fte aangevraagde wetenschappelijke positie (postdoc) en/ of per aangevraagde wetenschappelijk medewerker onder het HOT-tarief met een minimale aanstelling van 0,2 fte, kan per jaar van de aanstelling maximaal € 15.000 materieel budget worden aangevraagd. Materieel budget voor kleinere aanstellingen wordt naar rato aangevraagd en door NWO beschikbaar gesteld. De verdeling van het totaalbedrag aan materieel budget over de door NWO gesubsidieerde personeelsposities ligt bij de aanvrager. Het aan te vragen materieel budget is gespecificeerd naar de onderstaande drie posten:

Projectgebonden goederen/diensten

  • − IEA-deelnamekosten (€ 300.000) (NB: deze post dient in de begroting opgenomen te worden bij de budgetmodule “Materieel”, maar wordt niet meegenomen in de koppeling tussen het materiële en personele budget)

  • − verbruiksgoederen

  • − meet- en rekentijd (bijv. supercomputertoegang, etc.)

  • − kosten voor aanschaf of gebruik van dataverzamelingen (bijv. van het CBS), waarvoor het totaalbedrag niet meer dan € 25.000 per aanvraag bedraagt

  • − toegang tot grote (inter)nationale faciliteiten

  • − werk door derden (bijv. laboratoriumanalyses, dataverzameling, etc.)

  • − personele kosten voor een aanstelling voor een kleinere omvang dan aangeboden onder de personele budgetmodules. Hierbij gelden dezelfde tarieven als binnen de personele modules.

Reis- en verblijfskosten ten behoeve van de aangevraagde personeelsposities

  • − reis- en verblijfskosten

  • − congresbezoek (maximaal 2 per jaar per aangevraagde wetenschappelijke personeelspositie)

  • − veldwerk

  • − werkbezoek

Uitvoeringskosten

  • − zelf te organiseren binnenlands symposium/conferentie/workshop

  • − kosten voor Open Access-publiceren (uitsluitend in full gold Open Access tijdschriften, geregistreerd in de ‘Directory of Open Access Journals’ https://doaj.org/)

  • − kosten datamanagement

  • − kosten voor vergunningaanvragen

  • − auditkosten (alleen voor instellingen die niet onderworpen zijn aan het onderwijsaccountantsprotocol van OCW), maximaal € 5.000 per aanvraag; voor projecten van drie jaar of korter maximaal € 2.500 per aanvraag.

Niet aangevraagd kunnen worden:

  • − basisvoorzieningen binnen de instelling (bijvoorbeeld laptop, kantoormeubilair etc.)

  • − onderhouds- en verzekeringskosten

Indien het maximumbedrag van € 15.000 per jaar per aangevraagde wetenschappelijke positie niet toereikend is voor het uitvoeren van het onderzoek kan daarvan afgeweken worden, mits goed gemotiveerd in de aanvraag. De IEA-deelnamekosten worden niet meegerekend in deze koppeling.

Uitsluitend kosten die rechtstreeks voortvloeien uit het onderzoek, zijn subsidiabel. Daarom kunt u geen subsidie krijgen voor bijvoorbeeld huisvestings-, overhead-, onderhouds- of afschrijvingskosten.

In sommige gevallen brengt het onderzoek een gebruik van faciliteiten met zich mee dat aantoonbaar het normale gebruik ontstijgt. In dat geval is subsidie wel mogelijk. Materiële kosten onderbouwt u in uw motivatie zowel inhoudelijk als financieel.

Toelichting op budgetmodule Investeringen (t/m € 150.000)

In deze budgetmodule kan financiering worden aangevraagd tot maximaal € 150.000 voor investeringen in apparatuur, dataverzamelingen en/of software (bijv. lasers, specialistische computers of computerprogramma's).

Toelichting op budgetmodule Investeringen (van € 150.000 t/m € 500.000)

In deze budgetmodule kan financiering worden aangevraagd voor projectgebonden investeringen in wetenschappelijk vernieuwende apparatuur en/of dataverzameling van (inter)nationaal belang. De kosten voor deze projectgebonden investeringen dienen in de aanvraag adequaat gespecificeerd en gemotiveerd te worden. Het minimaal aan te vragen bedrag is € 150.000. Het maximaal aan te vragen bedrag is € 500.000.

De kosten voor investeringen dienen in de aanvraag adequaat gespecificeerd en gemotiveerd te worden.

Subsidiabel zijn:

  • − kosten voor investeringen in wetenschappelijke apparatuur;

  • − kosten voor investeringen in datasets;

  • − personeelskosten voor het opzetten van databases en de initiële digitalisering van het bibliografisch apparaat, indien deze niet gekocht kunnen worden;

  • − personeelskosten voor medewerkers met essentiële technische expertise noodzakelijk voor de ontwikkeling of bouw van een investering.

Bij het aanvragen van financiering voor personeelskosten moet worden onderbouwd waarom deze personeelskosten noodzakelijk zijn. Indien de aanvrager deze expertise niet tot zijn beschikking heeft, moet worden aangegeven dat deze kosten moeten worden ingekocht. De interne inkoopprocedures en/of richtlijnen van de aanvrager zijn van toepassing.

Niet-subsidiabel zijn:

  • − kosten voor infrastructurele voorzieningen die tot de gebruikelijke infrastructuur gerekend kunnen worden;

  • − dataverzamelingen en eventuele bijbehorende software en bibliografieën die reeds op andere wijze beschikbaar zijn;

  • − overige personeelskosten, waaronder personeelskosten voor de exploitatie en het uitvoeren van

  • − onderzoek met de faciliteit;

  • − onderhoud en gebruik van de apparatuur. De kosten voor het gebruik van apparatuur door de onderzoekers die op een project aangevraagd worden kunnen via het materieel budget aangevraagd worden.

Toelichting op budgetmodule Kennisbenutting

Het doel van deze budgetmodule is het bevorderen van de benutting van de uit het onderzoek voortkomende kennis14. Het aangevraagde budget mag niet hoger zijn dan € 25.000.

Aangezien kennisbenutting in de verschillende wetenschapsgebieden zeer veel verschillende vormen kent, is het aan de aanvrager om te specificeren welke kosten nodig zijn, bijvoorbeeld voor het maken van een lespakket, een haalbaarheidsstudie naar toepassingsmogelijkheden, of kosten voor het indienen van een octrooiaanvraag.

Het aangevraagde budget dient in de aanvraag adequaat gespecificeerd te worden. Indien het maximumbedrag van € 25.000 niet toereikend is voor het uitvoeren van het onderzoek, kan, mits goed gemotiveerd in de aanvraag, daarvan afgeweken worden.

Wij adviseren u om een concrete en realistische omschrijving te geven van op te leveren producten en activiteiten, met bijbehorende begroting.

Bij alle producten en activiteiten omschrijft u:

  • − wie de doelgroep is;

  • − hoe u deze doelgroep betrekt bij de ontwikkeling van het product of de activiteit; en

  • − hoe u het product en/of de kennis gaat verspreiden of implementeren.

Onder kosten voor kennisbenutting vallen bijvoorbeeld:

  • − kosten voor het ontwikkelen van een handleiding, checklist, app, website, toets- of lesmateriaal (ontwerp, vormgeving, drukwerk, beeldmateriaal, redactie);

  • − kosten voor het organiseren van bijeenkomsten voor (specifieke) doelgroepen om eindresultaten te presenteren.

Toelichting op budgetmodule Internationalisering

Met budget voor internationalisering wordt het stimuleren van internationale samenwerking beoogd. Het aangevraagde budget mag niet hoger zijn dan € 25.000. Het aangevraagde bedrag moet gespecificeerd zijn. Indien het maximumbedrag niet toereikend is voor het uitvoeren van het onderzoek, kan, mits goed gemotiveerd in de aanvraag, daarvan afgeweken worden.

Subsidiabel zijn:

  • − reis- en verblijfskosten voor zover het om directe onderzoekskosten gaat voortvloeiende uit de internationale samenwerking en additionele kosten voor internationalisering die niet op een andere manier – bijvoorbeeld vanuit de benchfee – worden gedekt;

  • − reis- en verblijfskosten voor buitenlandse gastonderzoekers;

  • − kosten voor de organisatie van internationale workshops / symposia / wetenschappelijke bijeenkomsten.

X Noot
1

Het betreft leerlingen die na dit schooljaar uitstromen naar (een vorm van) het regulier voortgezet onderwijs (vo) of voortgezet speciaal onderwijs (vso). Voor het speciaal onderwijs gaat het om leerlingen van voormalig cluster 4-scholen.

X Noot
2

Ten behoeve van de ijking aan de referentiesets rekenen kan gebruik worden gemaakt van items van de niet-openbare referentiesets (NOS) rekenen voor 1F en 1S. De NOS rekenen 1F bevat 50 items die als volgt verdeeld zijn over de vier domeinen: 20 getallen, 10 verhoudingen, 15 meten en meetkunde en 5 verbanden. De referentieset 1S bevat 40 items die als volgt verdeeld zijn over de vier domeinen: 16 getallen, 8 verhoudingen, 12 meten en meetkunde en 4 verbanden. Na toekenning stelt de inspectie de items uit de niet-openbare referentiesets (met bijbehorende cesuren) beschikbaar aan aanvragers, onder voorwaarde van geheimhouding. Aanvragers zijn verantwoordelijk voor de selectie van de items uit de totale set om de cesuur op de referentieniveaus over te brengen. De verankering van de items van de NOS met het instrumentarium van het peilingsonderzoek dient dusdanig te zijn dat het mogelijk wordt om vanuit het instrumentarium van het peilingsonderzoek nieuwe ankersets voor 1F en 1S samen te stellen.

X Noot
3

In afwijking op de adviezen in paragraaf 6.4 van de domeinbeschrijving is ervoor gekozen niet afzonderlijk te rapporteren over de beheersing van bewerkingen met breuken op twee niveaus (advies 3). Zoals ook uit tabel 2 kan worden opgemaakt is het uitdrukkelijk wel de bedoeling om in het instrumentarium breukopgaven met en zonder context op te nemen. Daarnaast is het advies overgenomen om geen nieuwe leerinhouden uit de bouwstenen van Curriculum.nu te peilen (advies 9).

X Noot
4

De inspectie stelt hiertoe potentiële, papieren, ankeritems (met bijbehorende data) uit het vorige peilingsonderzoek beschikbaar aan aanvragers, onder voorwaarde van geheimhouding. Aanvragers zijn verantwoordelijk voor de selectie van ankeritems die passen bij de huidige inhoudelijke kaders. Aanvragers zijn eveneens verantwoordelijk voor eventueel equivaleringsonderzoek in het geval de ankeritems digitaal worden afgenomen.

X Noot
5

De ankeritems uit Peil.Rekenen-Wiskunde einde bo en sbo 2018/2019 en de items uit de niet-openbare referentieset kunnen desgewenst buiten de pretest worden gehouden.

X Noot
6

Dit betekent dat in afwijking op de adviezen in de domeinbeschrijving de inhouden die onder referentieniveau 1S vallen niet per definitie hoeven te worden uitgesloten in de toetsen voor het speciaal (basis)onderwijs. Dit is alleen van toepassing voor leerlingen met specifieke uitstroomprofielen en geldt uiteraard ook voor leerlingen in het regulier basisonderwijs met diezelfde uitstroomprofielen.

X Noot
7

Aanvragers selecteren deze trenditemsen verwerken de data van deze items, verrichten analyses op deze items en vergelijken in samenspraak met de inspectie de prestaties van de aan het peilingsonderzoek deelnemende leerlingen met de prestaties van groep 6-leerlingen.

X Noot
8

Voor de operationalisatie van de kenmerken waarover in dit peilingsonderzoek minimaal informatie dient te worden verzameld, dienen aanvragers aan te sluiten bij de operationalisatie van deze kenmerken in Peil.Rekenen-Wiskunde einde basis- en speciaal basisonderwijs 2018/2019.

X Noot
9

Indien uit de gezamenlijke werving blijkt dat minder dan 115 basisscholen bereid zijn deel te nemen aan het peilingsonderzoek in groep 8, werven de aanvragers aanvullende scholen uit de reservetranches van de TIMSS-steekproef tot ten minste het hier als minimum genoemde aantal van 115 basisscholen.

X Noot
10

Op dit moment is de totale omvang van de populatie 274 sbo-scholen. Bij de trekking van de steekproef zal de inspectie rekening houden met de deelname van sbo-sholen aan andere onderzoeken die door de inspectie worden uitgevoerd in het kader van het instellings- of stelseltoezicht.

X Noot
11

Ten aanzien van de vaardigheid begrijpend lezen wordt de aanvragers verzocht om voor alle deelnemende leerlingen de score op de meest recent afgenomen toets begrijpend lezen uit het leerlingvolgsysteem op te vragen. Het in kaart brengen van de samenhang tussen dit leerlingkenmerk en de leerlingprestaties is alleen relevant voor het onderdeel kaal/context.

X Noot
12

De berekening van de schoolwegingsmaat is gebaseerd op de opleiding van de ouders, het land van herkomst, de verblijfsduur in Nederland en gegevens over het al dan niet in de schuldsanering zitten (zie https://www.cbs.nl/nl-nl/publicatie/2017/06/herziening-gewichtenregeling-primair-onderwijs).

X Noot
13

De data van TIMSS worden door aanvragers verwerkt en separaat van het peilingsonderzoek ontsloten t.b.v. nader onderzoek en publicaties.

X Noot
14

In deze budgetmodule wordt aangesloten bij de definitie voor “kennisoverdracht” die de Europese Commissie hanteert in de Communautaire kaderregeling inzake staatssteun voor onderzoek, ontwikkeling en innovatie (PbEU 2014, C 198).

Naar boven