Call for proposals Hoger Onderwijs 2018, Nederlandse Organisatie voor Wetenschappelijk Onderzoek

Programmaraad voor Praktijkgericht Onderzoek (PPO)

Den Haag, februari 2018

Nederlandse Organisatie voor Wetenschappelijk Onderzoek

Inhoud

1

Inleiding

1
 

1.1

Achtergrond

1
 

1.2

Beschikbaar budget

2
 

1.3

Geldigheidsduur call for proposals

2

2

Doel

2

3

Richtlijnen voor aanvragers

3
 

3.1

Wie kan aanvragen

3
 

3.2

Wat kan aangevraagd worden

4
 

3.3

Wanneer kan aangevraagd worden

7
 

3.4

Het opstellen van de intentieverklaring

7
 

3.5

Het opstellen van de aanvraag

7
 

3.6

Specifieke subsidievoorwaarden

7
 

3.7

Het indienen van een intentieverklaring en aanvraag

10

4

Beoordelingsprocedure

11
 

4.1

Procedure

11
 

4.2

Criteria

13
 

4.2.1

Formele ontvankelijkheidscriteria

13
 

4.2.2

Inhoudelijke beoordelingscriteria uitgewerkte aanvraag

13
 

4.2.3

Beleidsmatige overwegingen

15

5

Contact en overige informatie

15
 

5.1

Contact

15
 

5.1.1

Inhoudelijke vragen

15
 

5.1.2

Technische vragen over het elektronisch aanvraagsysteem ISAAC

16

6

Bijlagen

16

1 Inleiding

1.1 Achtergrond

Het Nationaal Regieorgaan Onderwijsonderzoek (NRO) coördineert en financiert onderwijsonderzoek en bevordert de verbinding tussen wetenschappelijk onderzoek en de praktijk van het onderwijs. Zo werkt het NRO aan vernieuwing en verbetering van het onderwijs.

Het NRO is onderdeel van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO).

Deze call for proposals geeft een overzicht van de procedure voor het indienen van een aanvraag voor subsidie, en de beoordeling en selectie daarvan, voor Hoger Onderwijs 2018 en valt onder verantwoordelijkheid van de Programmaraad voor Praktijkgericht Onderzoek (PPO).

De PPO financiert praktijkgericht onderwijsonderzoek dat valt onder de volgende definitie:

Praktijkgericht onderzoek is onderzoek waarvan de vraagstelling voortkomt uit en wordt geformuleerd met de onderwijspraktijk en wordt uitgevoerd in en met die praktijk. Praktijkgericht onderzoek levert kennis, inzichten en/of concrete producten op die bijdragen aan de ontwikkeling van de onderwijspraktijk (door organisatieontwikkeling en professionalisering) en aan het vergroten van de wetenschappelijke kennisbasis over onderwijs.

Het NRO vraagt aanvragers om bij het indienen van onderzoeksvoorstellen rekening te houden met lopend en afgesloten onderzoek, waaronder het onderzoek dat NRO financiert (zie: www.nro.nl/onderzoeksprojecten/overzicht-van-de-onderzoeksprogrammas en www.nro.nl/nro-projecten-vinden en www.kennisrotonde.nl).

De financiering kan alleen worden aangevraagd voor onderzoek gericht op het Hoger Onderwijs. Voor projecten in andere onderwijssectoren kan geen financiering worden aangevraagd.

1.2 Beschikbaar budget

Het Ministerie van OCW stelt budget beschikbaar voor onderzoek naar het onderwijs in het Hoger Onderwijs en heeft het NRO verzocht om dit onderzoek uit te zetten.

Het beschikbare budget voor deze subsidieronde ‘Hoger Onderwijs 2018’ bedraagt in totaal 1.750.000 euro, waarvan 875.000 euro beschikbaar is voor onderzoek naar de onderwijspraktijk in het hbo en 875.000 euro voor onderzoek naar de onderwijspraktijk in het wo.

Onderzoeksprojecten die zowel in het hbo als het wo uitgevoerd worden, worden nadrukkelijk niet uitgesloten. Vanwege de verdeling van de budgetten dient bij de projectomschrijving een duidelijke keuze gemaakt te worden voor een sector (hbo of wo). Dit kan worden aangegeven in het aanvraagformulier.

Deze call kent drie thema’s. Het budget is als volgt verdeeld over de thema’s:

Thema 1 ‘toegankelijkheid van het hoger onderwijs’: 275.000 euro per sector (hbo en wo).

Thema 2 ‘studentenwelzijn en kleinschalig onderwijs’: 300.000 euro per sector (hbo en wo)

Thema 3 ‘hoger onderwijs en de verbinding met de samenleving’: 300.000 euro per sector (hbo en wo)

1.3 Geldigheidsduur call for proposals

Voor deze subsidieronde moet een intentieverklaring worden ingediend.

Deadline intentieverklaring: donderdag 15 maart 2018, om 14:00 uur.

Deadline aanvraag: dinsdag 15 mei 2018, om 14:00 uur.

Deze call for proposals is geldig tot en met de sluitingsdatum van de aanvragen.

2 Doel

Voor deze subsidieronde kunnen aanvragen worden ingediend voor het uitvoeren van praktijkgericht onderzoek naar het onderwijs in het Hoger Onderwijs binnen één van de drie in deze call beschreven thema’s.

Het doel van deze subsidieronde is bij te dragen aan de kwaliteitsontwikkeling van het Nederlandse hoger onderwijs.

Het hoger onderwijs zal studenten steeds meer moeten voorbereiden op een complexe wereld waarin nieuwe technologieën een centrale rol zullen spelen. Waar routine en stabiliteit aan waarde verliezen, neemt het belang van wendbaarheid en creativiteit van professionals toe. Het onderwijs komt voor uitdagingen te staan, waarvan de impact voor een deel moeilijk is in te schatten. Dit vraagt om een doordachte en strategische positionering van de onderwijsprofessionals, van de onderwijsinstellingen en een stevige, met kennis geïnformeerde visie van onderwijsbeleidsmakers. Onderzoek naar de vraagstukken die hieruit volgen, zoals overzichten over wat al bekend is, of praktijkgericht onderzoek naar en in de onderwijspraktijk of juist verdieping van theoretische kennis over hoger onderwijs, biedt daarbij een waardevolle bron van kennis en inspiratie.

Het Ministerie van OCW publiceerde in 2015 De waarde(n) van weten: strategische agenda hoger onderwijs en onderzoek 2015–2025. Daarin worden de prioriteiten in de ontwikkeling van de kwaliteit van het onderwijs benoemd, en wordt ruimte gegeven aan onderzoek naar het hoger onderwijs.

De thema’s die centraal staan in deze call for proposals sluiten hier op aan:

  • 1. Toegankelijkheid van het hoger onderwijs

  • 2. Studentenwelzijn en kleinschaligheid

  • 3. Hoger onderwijs en de verbinding met de samenleving.

Aanvragen worden binnen één thema ingediend en beoordeeld. De aansluiting bij het thema is een van de criteria voor ontvankelijkheid. Het is denkbaar dat een project raakvlakken vertoont met twee, of zelfs alle drie de beschreven thema’s. In dat geval wordt aangeraden in te dienen binnen het thema dat het dichtst aansluit bij de belangrijkste motivatie van de aanvrager om het project uit te voeren.

In het volgende hoofdstuk worden deze thema’s inhoudelijk beschreven.

Deze subsidieronde richt zich op voorstellen voor praktijkgericht onderwijsonderzoek. Onderzoek dat in deze subsidieronde kan worden gefinancierd wordt uitgevoerd door een consortium dat tenminste bestaat uit onderzoekers (waaronder tenminste één hoogleraar of lector) met een achtergrond in de onderwijswetenschappelijke disciplines en docenten en/of andere professionals werkzaam in de praktijk van het Hoger Onderwijs. In een consortium zijn bovendien tenminste twee bekostigde Nederlandse Hoger Onderwijsinstellingen 1 verbonden.

Maatschappelijke organisaties, waaronder ook studentenorganisaties gerekend kunnen worden, kunnen onderdeel zijn van een consortium. (Zie hoofdstuk 3 ‘Richtlijnen voor aanvragers’)

Praktijkgericht onderzoek:

Het primaire doel van praktijkgericht onderzoek, zoals dat wordt gefinancierd door het NRO, is oplossingen te vinden voor praktijkproblemen (vragen van onderwijs- professionals) en daarmee bij te dragen aan de vernieuwing en verbetering van het onderwijs. Hierbij wordt gebruik gemaakt van wetenschappelijke inzichten. Een belangrijk kenmerk van praktijkgericht onderzoek is de intensieve samenwerking tussen onderzoekers en praktijkprofessionals gedurende het gehele traject. Dit begint met formuleren van de onderzoeksvraag en loopt door tot en met de implementatie en verdere verspreiding van de onderzoeksresultaten. Er is dus constant sprake van tweerichtingsverkeer. Een ander belangrijk kenmerk van praktijkgericht onderzoek gefinancierd door het NRO is dat het, naast de betekenis voor de praktijk, moet voldoen aan wetenschappelijke criteria voor onderzoekskwaliteit.

De opbrengsten van praktijkgericht onderzoek dienen zo veel mogelijk bruikbaar te zijn in andere onderwijscontexten dan die waarin het onderzoek plaatsvindt.

Uit de aanvraag moet duidelijk blijken waar in het onderwijs het beoogde onderzoek wordt uitgevoerd en op welke manier het consortium werkt aan het overdraagbaar maken van de resultaten naar contexten die niet zijn onderzocht (transfer). Dit geeft andere onderwijsinstellingen de mogelijkheid de resultaten voor hun eigen praktijk te gebruiken. Voor een goed gebruik van de resultaten is het verder nodig dat het onderzoeksverslag inzicht geeft in werkzame mechanismen van de onderzochte aanpak (niet alleen óf die werkt, maar ook hóe die werkt).

Tot slot geven de resultaten van praktijkgericht onderzoek sturing aan verder onderzoek.

Aanvragen die niet of onvoldoende aansluiten bij het doel en/of de thema’s van deze call lopen grote kans om niet of om als ‘ontoereikend’ beoordeeld te worden. Het NRO raadt aanvragers daarom aan om alleen aanvragen in te dienen die nauw aansluiten bij de doelstelling van deze call.

3 Richtlijnen voor aanvragers

3.1 Wie kan aanvragen

Aanvragen kunnen worden ingediend door consortia, bestaande uit tenminste

  • (1) onderzoeker(s) uit de onderwijswetenschappelijke disciplines en

  • (2) docenten en/of andere professionals werkzaam aan instellingen voor hoger onderwijs in Nederland2.

In een consortium zijn onderwijsprofessionals uit ten minste twee bekostigde Nederlandse hoger onderwijsinstellingen vertegenwoordigd.

De hoofdaanvrager moet lector of hoogleraar in de onderwijswetenschappelijke disciplines zijn en verbonden aan (onderzoeksinstellingen die gelieerd zijn aan) universiteiten, instellingen voor hoger onderwijs, of andere onderzoeksinstellingen in Nederland waar onderwijsonderzoek wordt uitgevoerd. De hoofdaanvrager dient aantoonbare expertise en ervaring te hebben in de uitvoering van praktijkgericht wetenschappelijk onderzoek en de vertaling van onderzoeksresultaten naar de praktijk. De hoofdaanvrager participeert actief in het onderzoek en het consortium.

Daarnaast kunnen (3) professionals van Nederlandse aan het onderwijs gerelateerde instellingen (bijvoorbeeld onderwijsbegeleidingsdiensten of adviesbureaus) en (4) maatschappelijke partnerorganisaties (bijvoorbeeld stage-instellingen, maatschappelijke organisaties, studentenorganisaties, (regionale) overheden, etc. deel uitmaken van het consortium.

In de aanvraag moet de samenstelling van het consortium, de ervaring met praktijkgericht onderwijsonderzoek en de rol van alle leden van het consortium te worden toegelicht.

Binnen elk consortium dient één persoon als hoofdaanvrager het voorstel in via ISAAC, het elektronisch aanvraag- en registratiesysteem van NWO. Deze persoon ontvangt alle berichten van het NRO die voor het consortium bedoeld zijn tijdens de beoordelingsprocedure en is na eventuele toekenning verantwoordelijk voor het door het NRO te financieren onderzoeksproject. De hoofdaanvrager is tevens projectleider. Eventueel kan de hoofdaanvrager een andere persoon aanwijzen medeprojectleider van het onderzoek. De hoofdaanvrager behoudt de verantwoordelijkheid voor het project.

Een aanvrager kan in de ronde ’Hoger Onderwijs 2018’ bij slechts één aanvraag betrokken zijn, hetzij als hoofdaanvrager, mede-aanvrager, of onderdeel van een consortium.

Voor de volledigheid wordt hierbij opgemerkt dat leden van de programmaraden, programmacommissies en de Stuurgroep van het NRO niet van deelname aan de subsidieronde uitgesloten zijn. Zij vallen onder de geldende definities van ‘aanvrager’. In de beoordelingsprocedure is, conform de NWO Gedragscode Belangenverstrengeling, waarborging voor het omgaan met mogelijke betrokkenheid van leden van de programmaraden, programmacommissies en de Stuurgroep van het NRO ingebouwd. Leden van de beoordelingscommissie daarentegen kunnen niet tevens aanvrager in dezelfde ronde zijn.

3.2 Wat kan aangevraagd worden

Het beschikbare budget voor deze subsidieronde ‘Hoger Onderwijs 2018’ bedraagt in totaal 1.750.000 euro, waarvan 875.000 euro beschikbaar is voor onderzoek naar de onderwijspraktijk in het hbo en 875.000 euro voor onderzoek naar de onderwijspraktijk in het wo.

Onderzoeksprojecten die zowel in het hbo als het wo uitgevoerd worden, worden nadrukkelijk niet uitgesloten. Vanwege de verdeling van de budgetten dient bij de projectomschrijving een duidelijke keuze gemaakt te worden voor een sector (hbo of wo). Dit kan aangegeven worden in het aanvraagformulier.

Voor thema 1 is maximaal 275.000 euro per aanvraag voor praktijkgericht onderzoek beschikbaar. Per sector (hbo en wo) kan maximaal één aanvraag gehonoreerd worden.

Voor thema 2 is maximaal 300.000 euro per aanvraag voor praktijkgericht onderzoek beschikbaar. Per sector (hbo en wo) kan maximaal één aanvraag gehonoreerd worden.

Voor thema 3 is maximaal 300.000 euro per aanvraag voor praktijkgericht onderzoek beschikbaar. Per sector kan maximaal één aanvraag gehonoreerd worden.

De maximale looptijd voor een project voor praktijkgericht onderzoek is 36 maanden (3 jaar).

De programmaraad kan hier op beleidsmatige gronden van afwijken (zie paragraaf 4.2.3).

Er kan financiering worden aangevraagd ter dekking van zowel de direct aan het project verbonden personele als de materiële kosten. Alle kosten dienen inhoudelijk gemotiveerd te worden. Er kan alleen subsidie worden aangevraagd voor de kosten van personen en instellingen die in Nederland gevestigd zijn.

Het NRO accepteert publieke en private cofinanciering in de vorm van personele en materiële bijdragen op voorwaarde dat de rol en de garantie van publieke en private cofinanciering duidelijk wordt geëxpliciteerd in het aanvraagformulier. De cofinanciering mag niet hoger zijn dan het bij het NRO aangevraagde budget, omdat het NRO de hoofdfinancier moet zijn. Voor de voorwaarden voor private cofinanciering wordt u verder verwezen naar art. 1.5 NWO Subsidieregeling.

Het is niet toegestaan om dezelfde aanvraag of een verbeterde versie van die aanvraag in te dienen als deze is ingediend in eerdere NRO subsidierondes.

De programmaraad behoudt zich het recht voor bij de toekenning van een subsidie, vanwege budgettaire en inhoudelijke overwegingen, niet het gehele aangevraagde budget toe te kennen.

3.2.1 Personele kosten

Subsidie kan worden aangevraagd voor de salariskosten van voor het onderzoek aan te stellen personeel.

Het betreft in elk geval de salariskosten van wetenschappelijk personeel en incidenteel die van niet-wetenschappelijk personeel. Voor de personele kosten wordt onderscheid gemaakt in personeel aan onderwijs- en onderzoeksinstellingen gefinancierd met publieke middelen en personeel aan overige organisaties.

3.2.1.1 Personeel aan onderwijs- en onderzoeksinstellingen gefinancierd met publieke middelen (d.w.z. universiteiten en hoger beroepsonderwijs)

Voor personeel aan onderwijs- en onderzoeksinstellingen gefinancierd met publieke middelen wordt het volgende onderscheid gemaakt:

  • – Promovendi en postdoc’s (aangesteld aan een universiteit)

    Voor de aanstelling van promovendi en postdocs op het project is het met de VSNU gesloten Akkoord Bekostiging Wetenschappelijk Onderzoek inclusief bijbehorende meest recente salaristarieven van toepassing. Bij een AiO-aanstelling van drie jaar dient u de tabel voor 3-jarige aanstellingen te volgen. Deze, en overige informatie betreffende dit akkoord zijn te vinden via de volgende webpagina: http://www.nwo.nl/financiering/hoe-werkt-dat/salaristabellen.

    Bij een voltijdsaanstelling wordt een maximale benchfee van € 5.000 euro ter beschikking gesteld. Bij een aanstelling in deeltijd wordt de benchfee naar rato toegekend. Deze benchfee is bedoeld voor kosten ter stimulering van de wetenschappelijke carrière van de door het NRO gefinancierde onderzoeker (bijvoorbeeld congresbezoek, publicatie van de dissertatie). De benchfee dient onder materiële kosten begroot te worden (zie paragraaf 3.2.2.).

  • – Overig personeel

    Overig personeel aan onderwijs- en onderzoeksinstellingen gefinancierd met publieke middelen, waaronder personeel met een vast dienstverband, moeten uitgaan van de volgende maximale tarieven (uur/dag) gebaseerd op de Handleiding Overheidstarieven 2017:

    Secretariaat

    € 53/424

    Junior/onderzoeksassistentie WP en NWPDit zijn bekostigde instellingen voor hoger onderwijs zoals opgesomd in artikel 1.8 van de Wet Hoger Onderwijs, en de erkende private instellingen in Nederland geregistreerd als ‘rechtspersoon voor hoger onderwijs’. Dit zijn bekostigde instellingen voor hoger onderwijs zoals opgesomd in artikel 1.8 van de Wet Hoger Onderwijs, en de erkende private instellingen in Nederland geregistreerd als ‘rechtspersoon voor hoger onderwijs’.1/docenten

    € 72/576

    Medior/universitair docenten/docent-onderzoekers

    € 87/696

    Senior/universitair hoofddocenten

    € 95/760

    Directie/hoogleraar/lector

    € 119/952
    X Noot
    1

    WP: wetenschappelijk personeel/ NWP: niet-wetenschappelijk personeel

    De genoemde tarieven zijn gebaseerd op het kostendekkend tarief inclusief de hierbij geldende opslagen. Het kostendekkend tarief omvat het gemiddeld bruto salaris inclusief verwachte loonontwikkeling, vakantie-uitkering, eindejaarsuitkering, werkgeverslasten plus een opslag voor overhead.

3.2.1.2 Personeel aan overige organisaties

Personeel aan overige organisaties moeten uitgaan van de volgende maximale tarieven (uur/dag) gebaseerd op de Handleiding Overheidstarieven 2017:

Ondersteuning

€ 55/440

Junior

€ 81/648

Medior

€ 130/1.040

Senior/directie

€ 139/1.112

De genoemde tarieven zijn gebaseerd op het kosten-plus tarief exclusief btw, inclusief de hierbij geldende opslagen. Het kosten-plus tarief omvat het gemiddeld bruto salaris inclusief verwachte loonontwikkeling, vakantie uitkering, eindejaarsuitkering, werkgeverslasten, een opslag voor overhead plus een winstopslag.

Op www.nwo.nl/nroprojectbeheeris de Handleiding Overheidstarieven 2018 te vinden met hierin een nadere toelichting op bovenstaande tarieven.

In de aanvraag dient te worden aangegeven hoe de aangevraagde personele kosten verdeeld worden over de verschillende leden van het consortium (indien van toepassing) met de overwegingen achter deze verdeling. In de aanvraag worden per type personeel de dagtarieven opgenomen met een maximum van bovenstaande tarieven, een lager tarief mag worden opgenomen. Deze tarieven zijn vervolgens bindend. Dit betekent dat de in de aanvraag op te nemen uurtarieven worden aangehouden bij een eventuele toekenning en uiteindelijke subsidievaststelling.

De hoofdaanvrager is verantwoordelijk voor de verdeling van het budget over de leden van het consortium. Ten behoeve van de samenwerking tussen de consortiumpartners en ter voorkoming van de afdracht van BTW kan een overeenkomst worden opgesteld. Voor een voorbeeld van een dergelijke kostendeelovereenkomst zie www.nwo.nl/nroprojectbeheer.

3.2.2 Materiële kosten

In een aanvraag kan subsidie worden aangevraagd ter dekking van materiële kosten, zoals:

  • − de aanschaf van speciaal voor het onderzoek benodigde apparatuur, gebruiksgoederen;

  • − kosten voor het houden van enquêtes, het doen van experimenten en testonderzoek, en de aanschaf van databestanden;

  • − studentassistentie;

  • − inhuur van derden voor uitvoer van werkzaamheden ter ondersteuning van de uitvoer van het onderzoek (bijvoorbeeld ontwerpers, vertalers, specifieke adviseurs, etc. die niet in dienst zijn van de instelling(en) waar het onderzoek uitgevoerd wordt, en niet betrokken zijn bij het ontwerp van het onderzoek)

  • − reizen die noodzakelijk zijn in verband met het onderzoek;

  • − internationaliseringskosten;

  • − kosten die verband houden met disseminatie van onderzoeksresultaten, op toegankelijke wijze ter beschikking stellen van onderzoeksdata, kennisoverdracht en kennisbenutting.

De kosten van apparatuur, van verbruiksgoederen of van administratieve of technische hulp die tot het gebruikelijke voorzieningenpakket van een onderzoeksinstelling gerekend moeten worden en de kosten voor computergebruik bij rekencentra, alsmede voor het gebruik van laboratoria komen niet in aanmerking voor subsidiëring, tenzij het onderzoek een gebruik van faciliteiten met zich meebrengt dat aantoonbaar uitgaat boven het normale gebruik. Uitsluitend kosten die rechtstreeks voortvloeien uit het onderzoek zijn subsidiabel. Er kunnen derhalve bijvoorbeeld geen huisvestings-, overhead-, onderhouds- of afschrijvingskosten uit het materiële budget worden bekostigd.

Congresbezoek van promovendi en postdocs wordt bekostigd vanuit de benchfee. Dit betreft een vergoeding van maximaal € 5.000 euro. Congresbezoek voor het overige personeel kan worden aangevraagd als ‘congreskosten overig personeel’.

Internationaliseringskosten

Kosten voor internationalisering van het beoogde onderzoek kunnen, indien ze niet worden vergoed door de eigen instelling en indien ze zijn gespecificeerd en gemotiveerd in de aanvraag, voor vergoeding in aanmerking komen. Het betreft de kosten van:

  • − reizen naar en verblijf in het buitenland voor onderzoeksdoeleinden of een werkbezoek in het kader van NRO-onderzoek;

  • − reizen naar en verblijf in het buitenland voor aan het onderzoek verbonden personen die uitgenodigd worden voor de presentatie van onderzoeksresultaten in een workshop of expertmeeting aldaar;

  • − de organisatie van workshops in Nederland, alsmede de kosten van reizen naar en verblijf in Nederland voor buitenlandse begeleiders of onderzoekers die uitgenodigd worden voor de presentatie van onderzoeksresultaten op een workshop of expertmeeting in het kader van NRO-onderzoek;

  • − reizen naar en verblijf in het buitenland voor het (mede)presenteren door aan het onderzoek verbonden personen van de resultaten van NRO- onderzoek op een internationaal congres. Kosten van de onderzoekers voor dit doeleinde, vallen onder de benchfee en gelden als maximum.

Kennisbenutting

Kosten voor kennisbenutting betreffen bijvoorbeeld:

  • − kosten voor het ontwikkelen van een handleiding, checklist, app, website, toets- of lesmateriaal (ontwerp, vormgeving, drukwerk, beeldmateriaal, redactie);

  • − kosten voor het organiseren van bijeenkomsten voor (specifieke) doelgroepen om eindresultaten te presenteren.

De kosten voor kennisbenutting moeten gespecificeerd en toegelicht worden in de begroting van de aanvraag. Kosten van personeel binnen het consortium voor kennisbenuttingsactiviteiten worden in het aanvraagformulier opgegeven onder ‘personele kosten’ en niet onder de post ‘kennisbenutting’, die valt onder ‘materiële kosten’. Als richtlijn wordt aangehouden dat ongeveer 5% van de totaal aan te vragen subsidie moet worden besteed aan kennisbenutting.

Bij het controleren van de ontvankelijkheid van de aanvragen, zal het NRO nadrukkelijk aandacht besteden aan de plannen en de begroting voor kennisbenutting. Aanvragers wordt geadviseerd een concrete en realistische omschrijving te geven van op te leveren producten en activiteiten, met bijbehorende begroting.

Bij alle producten en activiteiten dient te worden omschreven:

  • − wie de doelgroep vormen;

  • − hoe deze doelgroep betrokken wordt bij de ontwikkeling van het product of de activiteit;

  • − hoe de verspreiding en implementatie van het product of de kennis bevorderd wordt.

Materiële kosten dienen zowel inhoudelijk gemotiveerd als financieel onderbouwd te worden. De programmaraad behoudt zich het recht voor bij de toekenning van een subsidie, vanwege budgettaire overwegingen, niet het gehele aangevraagde materieel budget toe te kennen.

3.3 Wanneer kan aangevraagd worden

De sluitingsdatum voor het indienen van intentieverklaringen is donderdag 15 maart 14:00.

Het indienen van een intentieverklaring is verplicht om een aanvraag te mogen indienen.

De sluitingsdatum voor het indienen van aanvragen is dinsdag 15 mei 2018, om 14:00 uur.

Aanvragen waar geen intentieverklaring voor is ingediend of die na de deadline zijn ingediend worden niet meegenomen in de procedure.

3.4 Het opstellen van de intentieverklaring

Een hoofdaanvrager maakt via het indienen van een intentieverklaring zijn interesse voor het indienen van een aanvraag bekend. Het tijdig indienen van een intentieverklaring is een voorwaarde voor het mogen indienen van een aanvraag als hoofdaanvrager in deze subsidieronde.

In de intentieverklaring geeft de aanvrager:

  • − aan voor welk thema de onderzoeker een aanvraag in zou willen dienen, en in welke sector. Dit dient in de eerste regel van het veld voor de samenvatting vermeld te worden;

  • − een korte samenvatting van een onderzoeksvraag en aanzet voor een onderzoeksplan.

De intentieverklaring wordt ingediend via het elektronisch aanvraagsysteem ISAAC van NWO (zie paragraaf 3.7, ‘het indienen van de intentieverklaring en aanvraag’).

De deadline voor het indienen van een intentieverklaring is donderdag 15 maart

om 14:00.

3.5 Het opstellen van de aanvraag

Uw subsidieaanvraag bestaat uit twee delen: een factsheet en het aanvraagformulier.

  • − De factsheet vult u direct in het elektronisch aanvraagsysteem ISAAC van NWO in;

  • − Het aanvraagformulier vindt u op de financieringspagina van dit programma op de NWO-website. Dit formulier voegt u, zodra ingevuld, als PDF-bestand toe aan de factsheet.

Het uitgangspunt bij het opstellen van een aanvraag wordt gevormd door deze call for proposals.

Uw aanvraag dient in het Engels te worden opgesteld.

De aanvraag wordt ingediend via het elektronisch aanvraagsysteem ISAAC van NWO (zie paragraaf 3.7, ‘het indienen van de intentieverklaring en aanvraag’).

De deadline voor het indienen van een aanvraag is dinsdag 15 mei om 14:00 uur.

Disciplinecodes

Het is verplicht om in het aanvraagformulier één of meerdere disciplinecodes in te vullen die van toepassing is/zijn op het voorgestelde onderzoek. U kunt hiervoor alleen gebruik maken van de NWO disciplinecodes, te vinden via www.nwo.nl/disciplinecodes.

Het is verplicht om deze informatie ook in ISAAC in te vullen in het tabblad ‘Algemeen’ bij ‘Disciplines’ voor u de aanvraag indient. In zowel het aanvraagformulier als ISAAC hoort daar in ieder geval altijd de disciplinecode voor ‘Onderwijswetenschappen’ (41.90.00) bovenaan te staan. Vervolgens zet u in rangorde van boven naar onder de belangrijkste (sub)disciplines.

3.6 Subsidievoorwaarden

Op alle aanvragen zijn de NWO Regeling Subsidies en het Akkoord bekostiging wetenschappelijk onderzoek van toepassing.

Open Access

Alle publicaties van onderzoek dat is gefinancierd op basis van toekenningen voortvloeiend uit deze call for proposals dienen onmiddellijk (op het moment van publicatie) wereldwijd vrij toegankelijk te zijn (Open Access). Er zijn verschillende manieren voor onderzoekers om Open Access te publiceren. Voor open access publicaties in tijdschriften kan subsidie worden aangevraagd.

Een uitgebreide toelichting hierop vindt u op www.nwo.nl/openscience.

Projectresultaten moeten zo spoedig mogelijk worden gepubliceerd, ook wanneer er sprake is van te verwachten exploitatierechten.

Datamanagement

Bij goed onderzoek hoort verantwoord datamanagement. Onderzoeksdata die voortkomen uit met publieke middelen gefinancierd onderzoek moeten zo veel mogelijk ‘vrij’ en duurzaam beschikbaar komen voor hergebruik door andere onderzoekers. Daarnaast is het belang van verantwoord datamanagement groot. Aanvragen dienen daarom te voldoen aan het datamanagementprotocol van NWO. Onderzoekers dienen in hun begroting ook rekening te houden met de personele en materiële kosten voor datamanagement. Dit protocol bestaat uit twee stappen:

  • 1. Datamanagementparagraaf

    De datamanagementparagraaf maakt deel uit van de uitgewerkte onderzoeksaanvraag. Onderzoekers dienen vier vragen te beantwoorden over datamanagement binnen hun beoogde onderzoeksproject. Zij worden dus gevraagd reeds voor aanvang van het onderzoek te bedenken hoe de verzamelde data geordend en gecategoriseerd moeten worden zodat zij vrij beschikbaar kunnen worden gesteld. Vaak zullen al bij het tot stand komen van de data en de analyse daarvan maatregelen getroffen moeten worden om opslag en deling later mogelijk te maken. Onderzoekers kunnen zelf aangeven welke onderzoeksdata zij voor opslag en hergebruik relevant achten.

  • 2. Datamanagementplan

    Na honorering van een aanvraag dient de onderzoeker de datamanagementparagraaf uit te werken tot een datamanagementplan. Uiterlijk vier maanden na honorering van de aanvraag moet dat plan via ISAAC onder rapportages zijn ingediend bij NRO. NRO keurt het plan zo snel mogelijk goed. Goedkeuring van het datamanagementplan door NRO is voorwaarde voor de subsidieverlening. Het plan kan tijdens het onderzoek worden bijgesteld.

Meer informatie over het datamanagementprotocol van NWO staat op: www.nwo.nl/datamanagement. Daarnaast is informatie te vinden op de website van het Landelijk Coördinatiepunt Research Datamanagement: www.lcrdm.nl.

NARCIS

Bij aanvang van het onderzoek dient melding gemaakt te worden bij NARCIS, de Nederlandse onderzoekdatabank van Data Archiving and Networked Services (DANS) van de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) ten behoeve van opname van de beschrijving van het onderzoek in de databank van NARCIS: www.narcis.nl. Het onderzoek wordt dan na aanmelding binnen 5 werkdagen opgenomen in NARCIS en krijgt daarbij een uniek onderzoeknummer (OND-nummer) en is daarmee bekend voor andere onderzoekers.

DANS

Alle producten en tussenproducten, met name databestanden met onderzoeksgegevens die zich lenen voor meervoudig gebruik dienen, geschoond van de vertrouwelijke gegevens, de gerubriceerde gegevens en de gegevens waarvan op grond van de wet- en regelgeving het openbaar maken achterwege moet blijven, binnen drie maanden na publicatie van een rapport door de subsidieontvanger onder vermelding van het unieke OND-nummer aan het online archiveringssysteem EASY van Data Archiving and Networked Services (DANS) van de Koninklijke Akademie van Wetenschappen(KNAW) aangeboden te worden (i.c. www.easy.dans.knaw.nl). Databestanden dienen voorzien te zijn van documentatie conform de richtlijnen van DANS. Na opname van de databestanden in EASY wordt een Persistent Identifier van het databestand toegekend door DANS.

NCO

Daarnaast dienen omvangrijke landelijk representatieve databestanden ter beschikking te worden gesteld aan het CBS ten behoeve van het Nationaal Cohortonderzoek Onderwijs (NCO) dat onderdeel is van het NRO. Of het wenselijk is dat een dergelijke koppeling plaatsvindt, dient bij aanvang van het project besproken te worden met een van de coördinatoren van het NCO, Mark Levels of Rolf van der Velden. Deze zijn te bereiken via NRO. Indien besloten wordt om het bestand integraal onderdeel te laten zijn van het NCO, zullen uitgebreide instructies en handleidingen worden verstrekt op basis waarvan de dataverzameling kan worden aangepast en informatie kan worden verstrekt aan de respondenten.

Na toekenning

Uiterste startdatum

Een toegekend project dient uiterlijk drie maanden na de toekenning te starten, anders kan het subsidiebesluit worden ingetrokken.

Voor de start van het project stuurt u de volgende startdocumenten toe aan het NRO:

  • − Een volledig ingevuld en ondertekend projectmeldingsformulier (PMF);

  • − Bij iedere aanstelling van een promovendus of postdoc op het project stuurt u tevens een volledig ingevuld en ondertekend personeelsinformatieformulier (PIF) toe;

  • − Een formulier ter verklaring van deelname, ondertekend door alle partners in het consortium.

U kunt alle documenten downloaden via www.nwo.nl/nroprojectbeheer.

De hoofdaanvrager is verantwoordelijk voor het door NRO gesubsidieerde onderzoeksproject en is voor het NRO het aanspreekpunt voor het onderzoeksproject. Subsidie wordt toegekend aan het consortium en uitbetaald aan de instelling waar de projectleider werkzaam is. De projectleider is verantwoordelijk voor de verdeling van de subsidie over de leden van het consortium.

Startbijeenkomst (praktijkgericht onderzoek)

Het project zal aanvangen met een startbijeenkomst met het NRO-bureau, de programmaraad voor praktijkgericht onderzoek en betrokkenen vanuit beleid en/of praktijk voor afstemming over de onderzoeksopzet en de beoogde opbrengsten van het gehonoreerde project.

Tussentijdse wijzigingen melden

Op de hoofdaanvrager van wie een project is gehonoreerd, rust de verplichting om, conform de algemene subsidievoorwaarden, eventuele afwijkingen in de planning of uitvoering van het onderzoek, onmiddellijk en met redenen omkleed voor te leggen aan het NRO-bureau.

Voor budgetverschuivingen gelden de volgende richtlijnen: een verschuiving tussen personeel en materieel en binnen personeel dient altijd te worden voorgelegd aan het NRO. Een verschuiving binnen het materieel budget behoeft alleen te worden voorgelegd indien:

  • • De verschuiving gevolgen heeft voor de inhoud, planning en/of beoogde opbrengsten

  • • van het onderzoek;

  • • De verschuiving groter is dan 20% van het totale materieel budget of groter is dan € 5.000,–.

Monitoring voortgang onderzoek

Halverwege de looptijd van het onderzoek nodigt het NRO (een vertegenwoordiging van) de leden van het consortium uit voor een voortgangsgesprek. In dit gesprek wordt, aan de hand van het onderzoeksvoorstel, onder meer besproken hoe het onderzoek vordert, hoe de samenwerking tussen onderzoekers en praktijkpartners verloopt, hoeveel zicht er al is op resultaten en toepassing, of er ondersteuning van het NRO nodig is en of er al gedacht kan worden aan het overdragen van eerste inzichten. Het consortium maakt een verslag van dit voortgangsgesprek in een door het NRO beschikbaar gesteld format.

Het NRO monitort de voortgang en evalueert de resultaten van het gesubsidieerde onderzoek op basis van de in de aanvraag vermelde planning en beoogde opbrengsten. Indien hierop een afwijking wordt geconstateerd, behoudt de programmaraad zich het recht voor betaling van tranches aan te houden, en de subsidie lager vast te stellen en/ of in te trekken.

Daarnaast verlangt het NRO dat gedurende de looptijd, en tot twee jaar na de looptijd van het project, iedere publicatie of andere vorm van output volgens het Standaard Evaluatie Protocol (SEP) afzonderlijk wordt geregistreerd in ISAAC; het elektronische indiensysteem van NWO op www.isaac.nwo.nl. Daar is een uitgebreide beschrijving te vinden van de stappen voor het registreren van producten in ISAAC.

Kennisbenutting

Het NRO zal tussentijds, via de projectleider, nauw contact houden met het consortium en ondersteuning bieden bij het verhogen van de bruikbaarheid en verspreiding van de resultaten van het onderzoek.

Na toekenning stelt het consortium op basis van het beknopte voorstel voor kennisbenutting zoals opgesteld in de aanvraag, in samenspraak met het NRO een uitgewerkt ‘plan van aanpak kennisbenutting’ op.

Afronding

Uiterlijk 36 maanden na de startdatum van het project dienen alle onderzoeksactiviteiten te zijn afgerond en alle geplande producten (onderzoeksrapport, overige materialen, werkwijzen etc.) in het bezit van de programmaraad te zijn. Tot zes maanden daarna is het alleen nog mogelijk om activiteiten uit te voeren ten behoeve van kennisbenutting die als zodanig zijn opgenomen in plan van aanpak kennisbenutting dat in overleg met het NRO is uitgewerkt.

Beoordeling output

Het onderzoek is pas succesvol afgerond als minimaal de in de aanvraag genoemde output ter beschikking is gesteld en is goedgekeurd door de programmaraad.

Voor tijdens het project ontwikkelde producten geldt dat deze in ISAAC dienen te worden geregistreerd. Om resultaten zo snel mogelijk beschikbaar te maken plaatst het NRO het definitief inhoudelijk eindrapport direct op de website. Dit kan gevolgen hebben voor eventuele toekomstige wetenschappelijke publicaties.

In de praktijkcontext waarin het praktijkgericht onderwijsonderzoek figureert, is het belangrijk dat de onderzoeksresultaten op goed leesbare wijze zijn gepresenteerd. Daarom heeft de programmaraad bepaald dat alle resultaten in ieder geval in het Nederlands beschikbaar moeten zijn. De aanvrager wordt verder nadrukkelijk verzocht toe te zien op de toegankelijkheid van de resultaten voor de doelgroep: het onderwijs- en eventueel het beleidsveld. Het kennisbenuttingsplan wordt ook beoordeeld op de toegankelijkheid van de onderzoeksresultaten.

Presentatie projecten

Regelmatig zal het NRO bijeenkomsten beleggen waar onderzoeken die zijn gehonoreerd gepresenteerd worden. Daarmee beoogt het NRO, conform de missie, bij te dragen aan het verbeteren en vernieuwen van de onderwijspraktijk.

Uitvoerders van het project worden geacht om aan de bijeenkomsten een bijdrage te leveren indien vanuit NRO gewenst. Daarnaast wordt van de uitvoerders gevraagd om, in overleg met het NRO, hun onderzoek te presenteren op andere bijeenkomsten in relatie tot het betreffende thema en/of hoger onderwijs.

Eindverslag en financiële verantwoording

Uiterlijk binnen drie maanden na afronding van het onderzoek dient de hoofdaanvrager een eindverslag en financiële verantwoording in via ISAAC. Het NRO stelt hiervoor een format beschikbaar waarin gevraagd wordt naar reflectie op het proces en de opbrengsten. Dit eindverslag wordt door de programmaraad beoordeeld.

Alle tot dan toe in het kader van het project gerealiseerde en in de aanvraag genoemde output dient de hoofdaanvrager tevens afzonderlijk te registreren in ISAAC. Na goedkeuring van het eindverslag wordt de subsidieperiode afgesloten en de definitieve subsidie vastgesteld.

3.7 Het indienen van intentieverklaring en aanvraag

Het indienen van een intentieverklaring en aanvraag bij NWO kan alleen via ISAAC, het elektronisch aanvraagsysteem. Intentieverklaringen en aanvragen die niet via ISAAC zijn ingediend, worden niet in behandeling genomen. Een hoofdaanvrager is verplicht zijn/haar intentieverklaring en aanvraag via zijn/haar eigen ISAAC-account in te dienen.

Indien de hoofdaanvrager nog geen ISAAC-account heeft, dient deze dat minimaal een week voor het indienen aan te maken. Dit is om eventuele aanmeldproblemen nog op tijd te kunnen verhelpen. Indien de hoofdaanvrager al een ISAAC-account heeft, hoeft deze geen nieuw account aan te maken om een nieuwe aanvraag in te dienen.

Bij het indienen van uw intentieverklaring en aanvraag in ISAAC dient u ook online nog gegevens in te voeren. Begin daarom ten minste één dag vóór de deadline van deze call for proposals met het indienen van uw aanvraag. Intentieverklaringen en aanvragen die na de deadline worden ingediend, worden niet in behandeling genomen.

Wanneer een hoofdaanvrager bij een organisatie werkt die niet is opgenomen in de database van ISAAC, kan dit gemeld worden via relatiebeheer@nwo.nl. De organisatie zal dan worden toegevoegd. Aangezien enige dagen nodig zijn om het verzoek te verwerken, dient dit uiterlijk een week voor de deadline gemeld te worden.

Voor vragen van technische aard verzoeken wij u contact op te nemen met de ISAAC helpdesk, zie paragraaf 5.2.1.

4 Beoordelingsprocedure

4.1 Procedure

Algemene bepalingen

Voor alle bij de beoordeling en/of besluitneming betrokken personen en betrokken NWO-medewerkers is de NWO-code belangenverstrengeling van toepassing.

De datamanagementparagraaf in de aanvraag wordt niet beoordeeld en derhalve ook niet meegewogen in de beslissing om een aanvraag al of niet toe te kennen. De commissie kan wel advies geven met betrekking tot de datamanagementparagraaf. Na honorering van een aanvraag dient de onderzoeker de paragraaf uit te werken in een datamanagementplan. Aanvragers kunnen hierbij gebruik maken van het advies van de commissie.

De procedure bestaat uit de volgende stappen:

  • − Indiening van intentieverklaringen

  • − Indiening van aanvragen

  • − In behandeling nemen van de aanvragen

  • − Preadvisering beoordelingscommissie

  • − Weerwoord op het preadvies

  • − Beoordeling door de beoordelingscommissie

  • − Besluitvorming programmaraad

NRO voorziet alle uitgewerkte aanvragen van een kwalificatie. Deze kwalificatie wordt aan de aanvrager bekend gemaakt bij het besluit over al dan niet toekennen van subsidie.

De kwalificatie kent de volgende categorieën:

  • − excellent

  • − zeer goed

  • − goed

  • − ontoereikend

  • − komt niet in aanmerking voor de volgende fase van de NWO- beoordelingsprocedure (geldt alleen voor financieringsinstrumenten met een voorselectie)

Een voorstel dient op alle criteria tenminste ‘goed’ te scoren om voor subsidie in aanmerking te komen. Voor meer informatie over de kwalificaties zie: http://www.nwo.nl/kwalificaties.

Vanwege de in de beoordelingscommissie aanwezige expertise en het tijdpad voor het onderzoek is besloten gebruik te maken van de mogelijkheid gegeven bij Artikel 2.2.4 van de NWO regeling subsidies (versie 1 mei 2017) om een afwijkende selectieprocedure te volgen ten aanzien van advisering, beoordeling en besluitvorming. Deze afwijking houdt in dat de beoordelingsprocedure zonder inschakeling van referenten zal worden uitgevoerd.

Indiening van intentieverklaringen

Door middel van een intentieverklaring geeft u aan dat u een aanvraag wilt indienen voor deze call for proposals.

Intentieverklaringen dienen uiterlijk donderdag 15 maart 14:00 uur via ISAAC ingediend te zijn. Het indienen van een intentieverklaring is verplicht.

Indiening van aanvragen (consortia)

U kunt alleen een aanvraag indienen als u ook een intentieverklaring heeft ingediend. Voor indiening van uw aanvraag is een standaardformulier beschikbaar. Aanvragers dienen zich te houden aan de in dit formulier opgenomen vragen en de toelichting hierop, alsmede aan de richtlijnen voor het maximale aantal woorden en pagina’s.

Volledig ingevulde aanvraagformulieren dienen uiterlijk dinsdag 15 mei 14:00 uur via ISAAC ingediend te zijn. Na genoemd tijdstip is indiening niet meer mogelijk. Na ontvangst van de aanvraag ontvangt de indiener hiervan een bevestiging.

Let op: In deze ronde zal gewerkt worden met een internationale beoordelingscommissie. Om die reden dienen aanvragen in het Engels te worden opgesteld.

In behandeling nemen van de aanvragen

Zo spoedig mogelijk na indiening van het voorstel krijgt de hoofdaanvrager bericht over het al dan niet in behandeling nemen van de aanvraag. Het NRO-secretariaat bepaalt dat aan de hand van een aantal administratief-technische criteria. Deze staan vermeld in paragraaf 4.2.1. Een aanvraag die niet voldoet aan één van de genoemde criteria, wordt niet in behandeling genomen.

Voorselectie (optioneel)

Bij grote aantallen uitgewerkte aanvragen kan de programmaraad ervoor kiezen om een voorselectie te houden (Art. 2.2.3 NWO Subsidieregeling). Hierbij is het aantal ingediende aanvragen per thema vier maal groter dan het aantal honoreringen per thema. Bij een voorselectie worden de aanvragen globaal op de beoordelingscriteria beoordeeld. De beoordelingscommissie geeft de aanvrager gelegenheid tot wederhoor en adviseert vervolgens de programmaraad. Vervolgens besluit de programmaraad de minder kansrijke aanvragen terzijde te schuiven.

Preadvisering beoordelingscommissie

Elke in behandeling genomen aanvraag wordt allereerst voor commentaar voorgelegd aan leden van de beoordelingscommissie (de preadviseurs). De preadviseurs geven schriftelijk een inhoudelijk en beargumenteerd commentaar op het voorstel. Zij formuleren dit commentaar aan de hand van de beoordelingscriteria, die vermeld staan in paragraaf 4.2.2. Daarnaast geven de preadviseurs voor elk hoofdcriterium een score. De preadviseurs mogen niet betrokken zijn bij de aanvragen waarover zij adviseren.

Weerwoord

De hoofdaanvrager ontvangt de geanonimiseerde preadviezen op de aanvraag en krijgt minimaal een week de gelegenheid een weerwoord te formuleren. Indien de teneur van de preadviezen overwegend negatief is, wordt het consortium dringend aangeraden om de aanvraag terug te trekken. De kans op een positieve beoordeling is over het algemeen namelijk klein bij overwegend negatieve preadviezen. Indien het consortium besluit de aanvraag terug te trekken, dan dient de hoofdaanvrager dit zo snel mogelijk per e-mail aan het bureau te melden en de aanvraag in ISAAC in te trekken.

Beoordeling door de beoordelingscommissie

In deze ronde zal gewerkt worden met een internationale beoordelingscommissie. De aanvragen, preadviezen en weerwoorden fungeren als startpunt voor de bespreking door de beoordelingscommissie. De beoordelingscommissie wordt door de programmaraad ingesteld en gekozen op basis van expertise en niet- betrokkenheid bij de aanvragen.

De commissie stelt naar aanleiding van de bespreking een schriftelijk advies op voor de Programmaraad voor Praktijkgericht Onderwijsonderzoek over de kwaliteit en prioritering van de aanvragen, uitgaande van de beoordelingscriteria.

Het voorstel dient op alle criteria ten minste als ‘goed’ gekwalificeerd te worden om in aanmerking te komen voor honorering.

Besluitvorming door de programmaraad

Het advies van de beoordelingscommissie wordt door de programmaraad getoetst. Vervolgens stelt deze de definitieve kwalificaties vast en besluit hij welke aanvraag/ aanvragen voor honorering in aanmerking komen. Daarbij kan de programmaraad beleidsmatige overwegingen in aanmerking nemen (zie paragraaf 4.2.3).

Bezwaar en beroep

Voor het indienen van formele bezwaren tegen beslissingen in het kader van de subsidieronde Praktijkgericht Onderzoek naar het Hoger onderwijs 2018 staan, waar van toepassing, de geldende bezwaar- en beroepsprocedures open.

Voorlopig tijdpad

Januari 2018

Aankondiging Call

Februari 2018

Publicatie call

15 maart 2018 14:00

Deadline intentieverklaring

15 mei 2018 14:00

Deadline indienen uitgewerkte aanvraag

Mei

Ingediende aanvragen worden gecontroleerd op ontvankelijkheid

Juni

Opstellen preadviezen door commissieleden

Juni

Versturen preadviezen naar aanvragers

Juli

Gelegenheid tot weerwoord op preadviezen

September

Bespreking door beoordelingscommissie(s)

Oktober 2018

Besluitvorming PPO

Oktober 2018

Bericht over besluit naar aanvragers

Aanpassingen procedure

Het kan zijn dat het NRO het noodzakelijk acht om tijdens de lopende procedure nog aanpassingen in de werkwijze of het tijdpad van deze subsidieronde aan te brengen. Eventuele aanpassingen in de procedure zullen aan de aanvragers worden gecommuniceerd.

4.2 Criteria

4.2.1 Formele ontvankelijkheidscriteria

Om in aanmerking te komen voor toelating tot de beoordelingsprocedure dient iedere aanvraag te voldoen aan een aantal formele voorwaarden, zoals hieronder beschreven. Aanvragen zullen eerst op deze voorwaarden worden getoetst. Alleen aanvragen die aan de onderstaande voorwaarden voldoen zullen tot de beoordelingsprocedure worden toegelaten:

  • − De intentieverklaring is tijdig ingediend;

  • − De uitgewerkte aanvraag is ingediend door een persoon die aan de gestelde eisen in paragraaf 3.1. voldoet;

  • − Het aanvraagformulier is, na eventueel verzoek tot aanvulling of wijziging, juist, compleet en volgens de instructies ingevuld;

  • − De aanvraag is ingediend via het ISAAC-account van de hoofdaanvrager;

  • − De aanvraag is tijdig ingediend;

  • − De aanvraag is in het Engels opgesteld;

  • − De aanvraag valt binnen de thematiek van deze call for proposals;

  • − Het budget is volgens de richtlijnen in de call for proposals opgesteld;

  • − De periode waarover subsidie wordt aangevraagd is maximaal 36 maanden.

4.2.2 Inhoudelijke beoordelingscriteria uitgewerkte aanvraag

De uitgewerkte aanvragen voor deze call for proposals worden inhoudelijk beoordeeld aan de hand van de volgende criteria:

De onderzoeksvoorstellen dienen aan te sluiten bij de beschrijving van praktijkgericht onderzoek zoals die in deze call is gegeven en worden inhoudelijk beoordeeld aan de hand van onderstaande hoofdcriteria:

  • 1. Praktijkrelevantie (40%)

  • 2. Wetenschappelijke kwaliteit (40%)

  • 3. Kwaliteit van het consortium (20%)

Deze beoordelingscriteria leiden ertoe dat de onderzoeksvoorstellen worden geselecteerd waarin het meest overtuigend wordt aangetoond dat de resultaten van wetenschappelijke kwaliteit zullen zijn en breed gebruikt zullen gaan worden. De criteria wegen mee in de beoordeling voor respectievelijk 40%, 40%, en 20%.

Op alle hoofdcriteria dient ten minste sprake te zijn van een kwalificatie ‘goed’ om in aanmerking te komen voor subsidietoekenning.

1. Praktijkrelevantie (40%)

A. Vraagarticulatie en samenwerking

  • 1. Uit de beschrijving van de vraagarticulatie blijkt dat:

    • a. De vraag die in de aanvraag centraal staat, direct voortkomt uit de vragen en problemen waarmee de leden van het consortium die werkzaam zijn in de onderwijspraktijk (docenten en andere onderwijsprofessionals) zich geconfronteerd zien;

    • b. de aanvraag tot stand is gekomen in samenspraak met deze leden van het consortium.

B. Aansluiting bij de call

  • 2. De aanvraag sluit aan bij het doel van praktijkgericht onderzoek zoals dat in hoofdstuk 1 en 2 van deze call beschreven staat.

C. Opbrengsten en kennisbenutting

  • 3. De uitvoering van het onderzoek (het proces van onderzoeken) draagt bij aan ontwikkeling van de opleiding en professionalisering van de onderwijsprofessionals. Zij worden actief betrokken bij de uitvoering.

  • 4. De opbrengsten van het onderzoek (resultaten, inzichten, producten) dragen bij aan verbetering en vernieuwing van het onderwijs.

  • 5. Het onderzoek leidt tot bruikbare inzichten en producten voor de onderwijspraktijk en biedt concrete oplossingen voor het geschetste vraagstuk. Te denken valt aan theorieën, handreikingen, checklists, websites, lesvoorbeelden, apps, video’s, toetsen enzovoort.

  • 6. De producten en inzichten zijn ook bruikbaar voor onderwijsinstellingen en/of andere gebruikers buiten het consortium. In het onderzoeksvoorstel wordt goed beargumenteerd dat er behoefte is aan de producten bij deze andere gebruikers en op welke manier deze transfer bewerkstelligd kan worden.

  • 7. Het onderzoeksvoorstel bevat een beknopt kennisbenuttingsplan voor de (tussentijdse) verspreiding van de resultaten en producten naar andere gebruikers (bijvoorbeeld onderwijsinstellingen buiten het consortium, educatieve uitgeverijen, onderwijsbegeleidingsdiensten en welzijnsorganisaties). Zowel in de planning als in de begroting is ruimte opgenomen om dit plan verder uit te werken zodra er meer zicht is op de resultaten van het onderzoek.

2. wetenschappelijke kwaliteit (40%)

D. Probleemverkenning

  • 8. Een goede praktijkgerichte probleemverkenning geeft een systematisch en doorgrond overzicht van het vraagstuk in de praktijkcontext aan de hand van de volgende vragen:

    • a. Wat is het probleem en wat is de maatschappelijke relevantie van dit probleem?

    • b. Hoe groot is het probleem en welke praktijk betreft het? (‘Groot’ kan zowel kwantitatief als kwalitatief inhouden, ‘praktijk’ gaat om het soort instelling, het profiel van de studenten of het personeel, etc.)

    • c. Wat is al bekend over de mogelijke oorzaken?

    • d. Welke (wetenschappelijke) kennis en oplossingen zijn reeds voorhanden om tot verbetering/innovatie te komen? Hoe wordt daarbij aangesloten? Wat maakt het onderzoek noodzakelijk?

    • e. Wat zijn de hiaten in de beschikbare kennis en oplossingen?

    • f. Op welke manier draagt dit onderzoek bij aan het oplossen van het praktijkprobleem, welke doelen worden daarbij nagestreefd?

E. Centrale onderzoeksvraag en deelvragen

  • 9. De centrale onderzoeksvraag en eventuele deelvragen sluiten aan op de probleemverkenning en de beantwoording ervan leidt tot een aanvulling op bestaande kennis, inzichten en/of concrete producten.

  • 10. De centrale vraag en de deelvragen zijn afgebakend, precies geformuleerd en het beantwoorden ervan is realistisch en haalbaar.

F. Onderzoeksplan

  • 11. De onderzoeksopzet is consistent, haalbaar, voldoende verantwoord en geschikt om de vraagstelling te beantwoorden.

  • 12. Het onderzoek wordt uitgevoerd met behulp van wetenschappelijke onderzoeksmethoden die een betrouwbaar en valide antwoord geven op de onderzoeksvragen.

  • 13. De onderzoeksopzet geeft blijk van flexibiliteit zodat onverwachte, situationele veranderingen in de praktijk niet voor onoverkomelijke problemen zorgen.

  • 14. De raming van de aangevraagde personele en materiële middelen is redelijk voor het voorgestelde onderzoek en voldoende beargumenteerd. Dit geldt ook voor eventuele cofinanciering.

G. Resultaten van het onderzoek

  • 15. Het onderzoeksplan voorziet in de oplevering van een onderzoeksrapport waarin de opzet, uitvoering en resultaten van het onderzoek worden beschreven

  • 16. De resultaten van het onderzoek dragen bij aan het vergroten van de wetenschappelijke kennisbasis over onderwijs en geven sturing aan verder onderzoek.

3. Kwaliteit van het consortium (20%)

H. Kwaliteit van het consortium

  • 17. Het onderzoek is gepland en wordt uitgevoerd in nauwe samenwerking tussen alle leden van het consortium. Dit blijkt onder andere uit de actieve rol die alle leden zowel in het opzetten als het uitvoeren van het onderzoek en de kennisbenutting vervullen. De rolverdeling tussen de verschillende leden van het consortium wordt toegelicht in de aanvraag.

  • 18. Het management van de onderwijsinstelling(en) ondersteunt het onderzoek. Het feit dat het management het onderzoek ondersteunt blijkt onder meer uit het gegeven dat de onderwijsinstelling ruimte maakt om het onderzoek uit te voeren.

  • 19. Binnen het consortium zijn de leden aantoonbaar deskundig in het uitvoeren van praktijkgericht onderzoek en de benutting van onderzoeksresultaten door de onderwijspraktijk.

    Toelichting: Deze deskundigheid impliceert onder andere dat onderzoeksleden goed onderlegd zijn op methodologisch gebied, veel ervaring hebben met gelijkwaardige samenwerking met onderwijsprofessionals en deskundig zijn in de benutting van onderzoeksresultaten door de onderwijspraktijk. Daarnaast is genoeg inhoudelijke expertise aanwezig over de thematiek van de aanvraag. Dit alles blijkt bijvoorbeeld uit relevante publicaties, producten en presentaties voor de praktijk (bijvoorbeeld handreikingen, checklists, websites, lesvoorbeelden, apps of toetsen) en voor de wetenschap (bijvoorbeeld proefschriften, vakpublicaties en peer-reviewed artikelen).

  • 20. De wetenschappelijke kwaliteit en de praktijkrelevantie van de resultaten worden geborgd door:

    • − De samenstelling van het consortium (de ervaringen en expertise van deze partners);

    • − De manier waarop verschillende leden van het consortium worden ingezet (de taakverdeling);

    • − De samenwerking binnen het consortium.

Op alle hoofdcriteria dient ten minste sprake te zijn van een kwalificatie ‘goed’ om in aanmerking te komen voor subsidietoekenning.

4.2.3 Beleidsmatige overwegingen

Bij de honorering van voorstellen kan de programmaraad naast de inhoudelijke kwaliteitscriteria ook de volgende beleidsmatige overwegingen in aanmerking nemen:

  • − Budgettaire gronden

5 Contact en overige informatie

5.1 Contact

5.1.1 Inhoudelijke vragen

Voor inhoudelijke vragen over PPO Hoger Onderwijs 2018 en deze call for proposals neemt u contact op met:

Beleidsmedewerker

Gitta Snijders

T: 070 3445012, E: g.snijders@nwo.nl

Judith Huisman

T: 070 3440658 E: j.huisman@nwo.nl

Secretariaat

T: 070 3494343, E: ppo@nro.nl

5.1.2 Technische vragen over het elektronisch aanvraagsysteem ISAAC

Op www.isaac.nwo.nl/helpvindt u de ISAAC-handleiding. Deze is als pdfte openen. In dit document vindt u algemene informatie over het gebruik van ISAAC en specifieke informatie voor aanvragers, referenten, commissieleden en projectleiders.

Bij technische vragen betreffende het gebruik van ISAAC neemt u contact op met de ISAAC-helpdesk. Leest u eerst de handleiding voordat u de helpdesk om raad vraagt!

Bereikbaarheid ISAAC-helpdesk: van maandag t/m vrijdag van 10.00 tot 17.00 uur, telefoonnummer 020-3467179. Helaas ondersteunen niet alle buitenlandse providers het bellen naar 020-3467179. U kunt ook uw vraag per e-mail sturen aan isaac.helpdesk@nwo.nl. U krijgt dan binnen twee werkdagen per e-mail antwoord.

6 Bijlagen

6.1 Thema 1: Toegankelijkheid

Auteurs: Anja van den Broek, Jessica Nooij, Jules Warps, Froukje Wartenbergh en José Mulder

Toegankelijkheid

De overheid draagt verantwoordelijkheid voor de toegankelijkheid van het hoger onderwijs, naast de verantwoordelijkheid die zij heeft voor kwaliteit en doelmatigheid. Wanneer de studentenpopulatie (op alle niveaus) die in het hoger onderwijs instroomt, deelneemt én met een diploma afrondt, een afspiegeling is van de diversiteit in onze samenleving, dan kan er gesproken worden van een toegankelijk hoger onderwijs. In het verleden heeft de toegankelijkheid van het hoger onderwijs en de discussie rondom gelijke kansen zich met name gericht op de intrede in het hoger onderwijs. De laatste jaren komt steeds vaker ook een accent te liggen op doorstroom en een (succesvolle) uitstroom. Deze verbreding van het begrip ‘toegankelijkheid’ wordt ook door de Onderwijsraad expliciet bepleit in diens advies over het hoger onderwijs.3

Tal van overwegingen, ook financiële prikkels, spelen een rol bij de keuze om wel of niet te gaan studeren. De overheid borgt de toegankelijkheid via een studiefinancieringsstelsel waarmee financiële drempels voor toetreding tot het hoger onderwijs worden weggenomen. De overheid heeft de laatste jaren met de invoering van de Wet kwaliteit in verscheidenheid daarnaast tal van maatregelen aangekondigd en ingevoerd om de toegankelijkheid en de kwaliteit te verbeteren en doorstroommogelijkheden te vergroten; niet alleen voor het bevorderen van de initiële instroom maar ook voor het verbeteren van leven-lang-leren-trajecten (o.a. door het verkorten en flexibiliseren van onderwijstrajecten).

Achtergrond en doelgroepen

Het gelijkheidsprincipe, dat ieder individu op basis van eigen talenten en inzet een eerlijke positie in de maatschappij kan bereiken, vormt de basis van het Nederlands onderwijsstelsel. Voor het hoger onderwijs is dit vertaald naar het doel dat iedereen met voldoende kennis en vaardigheden om op het gevraagde niveau succesvol te studeren de kans moet krijgen om hoger onderwijs te volgen, ongeacht herkomst of andere sociaal-culturele of sociaaleconomische factoren.4

Als gevolg van deze meritocratisering van het onderwijs heeft Nederland zich sinds de jaren zestig ontwikkeld tot een open samenleving waarin sociale herkomst steeds minder bepalend is voor onderwijssucces en daarmee indirect ook voor succes op de arbeidsmarkt. De laatste rapportage van Eurostudent laat bijvoorbeeld zien dat Nederlandse studenten in het hoger onderwijs een redelijke afspiegeling vormen van de Nederlandse samenleving wat betreft opleidingsachtergrond van hun ouders (met name in het hbo) en dat maatschappelijke posities grotendeels worden bepaald door de inspanning die geleverd wordt.5

Toch zijn we er nog niet: uit verschillende onderzoeken naar de toegankelijkheid van en (succesvolle) deelname aan het hoger onderwijs blijkt dat groepsgebonden kenmerken nog steeds van invloed zijn op onderwijskansen. De basis van kansenongelijkheid wordt al gelegd bij de start van de onderwijsloopbaan.6 Ondanks de inspanning van overheid, wetenschap en onderwijsveld blijkt dat bepaalde groepen onevenredig vaak niet, of niet succesvol, deelnemen aan hoger onderwijs. De volgende groepen zijn daarbij geïdentificeerd:

vrouwen (met name deelname aan bètastudies); mannen (met name qua achterblijvend studiesucces);

studenten met een migratieachtergrond (met name qua achterblijvend studiesucces); afgestudeerde mbo-4 studenten (hoge mate van uitval en switch in eerste jaar en daardoor

achterblijvend studiesucces op hbo, leenaversie);

havisten (hoge mate van switch na eerste jaar en daardoor achterblijvend studiesucces op hbo); eerstegeneratiestudenten (achterblijvende instroom en studiesucces in het hoger onderwijs,

leenaversie);

hbo-bachelorstudenten (achterblijvende instroom wo-master);

studenten met een (functie)beperking (achterblijvende instroom en studiesucces in het hoger onderwijs).

Verklaringen

Verklaringen voor een, voor sommige groepen, beperkte toegankelijkheid worden doorgaans gezocht in een complex samenspel van factoren. Sinds de analyse die in de tweede helft van de vorige eeuw in een aantal sociologische standaardwerken werd gemaakt (o.a. door Rosenthal & Jacobson7, Boudon8, Bernstein9 en Bourdieu10), zijn deze factoren grotendeels onveranderd gebleven.

Onderstaande (niet limitatieve) lijst licht er een aantal toe.

Culturele factoren: het hebben van een andersoortige ‘habitus’ of simpel gesteld culturele achtergrond bij achterstandsgroepen wordt als reden genoemd voor het verklaren van sociale ongelijkheid.11

Economische factoren: studeren kost geld. Het zelf financieel investeren in de eigen toekomst is niet voor alle groepen in de samenleving een vanzelfsprekendheid. Recent onderzoek heeft uitgewezen dat studenten uit lagere ses-groepen vaker een aversie hebben tegen het afsluiten van een studielening en minder geneigd zijn om te geloven dat lenen loont dan hogere ses- groepen.12 Dit kan van invloed zijn op de keuze om te gaan studeren.

Stigmatisering: de wijze waarop individuen op basis van groepsgebonden kenmerken (impliciet) worden beoordeeld, kan leiden tot vooringenomen verwachtingen, die van invloed zijn op hun ontwikkelingskansen.13 Stigmatisering kan ook de andere kant opwerken: waarbij leden uit een groep zichzelf stigmatiseren en daarmee een selffulfilling prophecy in de hand werken. Een voorbeeld van stigmatisering is de beeldvorming rondom mbo-studenten (‘ze hebben een te laag niveau en geen goede studiehouding’). In de onlangs georganiseerde StudentLabs, waarin studenten zelf werkten aan plannen om de doorstroom van mbo naar hbo te verbeteren, kwam naar voren dat zowel stigmatisering van mbo-studenten een rol speelt als zelfstigmatisering.14

Rol van docenten: ook het gedrag van docenten is van invloed op het ontstaan van ongelijkheid; hierbij kan het gaan om het hebben van (lage) verwachtingen en een (subjectieve) beoordeling (‘etikettering’) door de docent van de prestaties waarin herkomst van de student een rol speelt.15 16

Instellingsklimaat: onderwijsinstellingen kunnen vanuit hun ethos (en daaruit voortvloeiend de pedagogische stijl van hun docenten) bijdragen aan de wijze waarop studenten worden beoordeeld. Studenten worden beoordeeld al naar gelang hun reactie op het ethos van de onderwijsinstelling.

Studiekeuzemotieven: Er is veel onderzoek gedaan naar de motieven om te kiezen voor een bepaalde opleiding. Hieruit komt naar voren dat een keuze op basis van intrinsieke interesse de meeste kans biedt op succes; een keuze op basis van status en salaris de minste.

Stratificatie: volgens de ‘diversion hypothesis’ zorgt de gelaagdheid binnen het systeem ervoor dat mensen op basis van hun afkomst zelf kiezen voor een meer of minder prestigieuze instelling, opleiding of sector.17 Tegelijkertijd gaat het principe van ‘effectively maintained equality’ ervan uit dat families uit hogere milieus bij een toename van het aantal deelnemers op het hoogste niveau, meer investeren om hun kinderen van een onderscheidende opleiding te kunnen voorzien en zo hun kansen op een goede baan te verhogen.18 Beide mechanismen samen zorgen voor het behoud van stratificatie binnen het onderwijs. Een goed voorbeeld hiervan is de instroom bij University Colleges, onderzoek laat zien dat hier in tegenstelling tot minder prestigieuze selectieopleidingen, vooral studenten met academisch opgeleide ouders deelnemen aan de selectieprocedure.19

De afweging die individuen maken of studeren loont, wordt door bovenstaande factoren (vaak in samenhang) beïnvloed: zowel bij de keuze ‘ga ik wel of niet naar het hoger onderwijs?’, maar ook gaandeweg als men zich afvraagt; ‘ben ik binnen deze studie wel op mijn plek?’. Een voorbeeld is de afweging die mbo-4 studenten maken om al dan niet naar het hbo te gaan. Een complex geheel van ‘push’ en ‘pull’-factoren zoals culturele factoren, negatieve beeldvorming, een aantrekkende arbeidsmarkt en de kosten van studeren spelen, in wisselende samenstelling, daarbij een rol.

Tot op heden hebben veel onderzoeken uitgewezen dát deze factoren van invloed zijn. In de onderwijspraktijk wordt volop geëxperimenteerd met interventies die met het oogmerk de toegankelijkheid te vergroten en drempels weg te nemen.

Onderzoeksvragen

Onderzoeksvoorstellen kunnen gaan over (een combinatie van) de volgende voorbeeldvragen.

Toegankelijkheid nader in beeld

Op basis van welke diversiteitskenmerken kan het beste bepaald worden of het hoger onderwijs qua instroom, deelname en succesvolle afronding een afspiegeling vormt van de diversiteit in de samenleving? Hoe liggen de verhoudingen tussen groepen met die diversiteitskenmerken qua instroom, deelname en succesvolle afronding van een opleiding in het hoger onderwijs? Wat zijn de overeenkomsten en verschillen tussen die groepen qua drempels en knelpunten die ervaren worden?

Welke rol kan leven lang leren effectief spelen bij het toegankelijk maken van het hoger onderwijs?

Processen van in- en exclusie

Welke problemen ervaren studenten in doorstroommogelijkheden en aansluiting (mbo-hbo, havo- hbo, vwo-hbo, vwo-wo, buitenlandse studenten), tot welke toegankelijkheidproblemen leidt dit en wat zijn effectieve remedies?

Welke samenwerkingsprogramma’s met toeleverend onderwijs tussen het voortgezet onderwijs en het hoger onderwijs; tussen mbo en hbo en tussen hbo en wo, weten effectief de instroom, deelname en succesvolle afronding van bepaalde groepen te verbeteren en wat zijn hierbij kritische factoren?

In hoeverre spelen toegankelijkheidskwesties expliciet een rol in het beleid van instellingen, in welke mate is dit zichtbaar in de inrichting van het onderwijs en de begeleiding van studenten, en tot welke effecten leidt het?

Differentiatie voor gelijke kansen

Over welke vaardigheden moeten docenten beschikken om te kunnen omgaan met de heterogeniteit van de studentenpopulatie naar vooropleidingstraject (mbo-hbo, havo-hbo, vwo-hbo, vwo-wo, buitenlandse studenten) en culturele en sociale achtergrond?

Hoe kunnen onderzoeksresultaten (bijv. tevredenheidscijfers, in- en doorstroomcijfers, studievoortgangsresultaten, rendementen) adequaat en effectief vertaald worden naar stuurmechanismen voor verbetering van de kwaliteit, de mogelijkheid tot differentiëren en de inrichting van verschillende routes binnen opleidingen?

In hoeverre voldoet het hoger onderwijs aan de wens van volwassenen en werkenden tot bij- en nascholing? Is het onderwijs hiervoor voldoende flexibel ingericht?

In hoeverre is het flexibele deeltijdonderwijs een alternatieve route voor jonge volwassenen om direct door te stromen naar een opleiding in het hoger onderwijs? En onder welke voorwaarden?

Selectie en studieadviezen

Hoe kan de studiekeuzecheck (en daaraan voorafgaand de voorlichting, en daaropvolgend de studiebegeleiding) worden ingericht om het studiesucces van studenten in het eerste jaar (en daarna) effectief te vergroten?20

In hoeverre zijn selectiecriteria bij toelating tot het objectief, waardevrij en effectief? Welke criteria leiden tot (onbewuste) de-selectie van bepaalde groepen (bijvoorbeeld vanwege zelfselectie of subjectiviteit). Hoe kunnen selectiecriteria zo ingericht worden dat niet alleen de geschikte studenten selecteert, maar ook een diverse studentenpopulatie?21

In hoeverre is er sprake van toegankelijkheid bij schakelprogramma’s en wat zijn kritische factoren bij de inrichting van schakelprogramma’s voor het bevorderen van succesvolle doorstroom?22

Hoe bewaken hogescholen en universiteiten de balans tussen kwaliteit, selectie, excellentie en toegankelijkheid?23 In hoeverre leidt nadruk op excellentie en selectie tot een nieuwe vorm van exclusiviteit? Wat zijn dilemma’s en good practices van een optimale balans?24

Voor alle vragen geldt dat ook een internationale component kan worden meegenomen voor zover dit functioneel is voor het beantwoorden van de vragen binnen de Nederlandse context.

Bijvoorbeeld: ‘Hoe doet Nederland het in relatie tot andere landen?’ of ‘Welke good practices uit andere landen voor vergelijkbare problemen zijn mogelijk toepasbaar in de Nederlandse onderwijspraktijk?’.

6.2 Thema 2: Kleinschaligheid en studentenwelzijn

Auteurs:

Dr. F.R. Kappe, Drs. N. Gubbels, & Prof. dr. S.M.M. Loyens

Kleinschaligheid

De centrale vraag in dit thema is hoe binnen het huidige bestel het hoger onderwijs kan worden ingericht zodat een studieklimaat gecreëerd wordt, waarin de leerprestaties en de bredere algemene vorming van de student worden bevorderd. Het studieklimaat houdt verband met het welzijn van studenten.25 Eén van de factoren die het studieklimaat bepalen, is kleinschalig onderwijs: instructie aan kleine groepen studenten. Deze onderwijsvorm wint aan populariteit. Naast het organiseren van instructie in kleine groepen blijft de instructiemethode van belang.

Kenmerken als ‘activerend’, ‘intensief’ en ‘student-gecentreerd’ worden in dit verband genoemd. De verwachting is dat leeromgevingen die kleinschaligheid combineren met actieve, student- gecentreerde instructie resulteren in de ontwikkeling van kwalitatief hoogstaande academische en/of professionele gemeenschappen, waaraan getalenteerde en gemotiveerde studenten deelnemen en waarin docenten en studenten sterk met elkaar verbonden zijn26. Enerzijds bevorderen dergelijke leeromgevingen de studieprestaties van studenten, een aanname die ook door de27 wordt gedaan bij verschaffing van het predicaat ‘kleinschalig en intensief’. Anderzijds blijkt uit onderzoek dat dergelijke leeromgevingen naast leerprestaties ook affectieve uitkomsten kunnen bevorderen.

Zo blijkt het zelf kunnen selecteren van leermiddelen meer gevoelens van autonomie en competentie te bewerkstellingen, vergeleken met het opgegeven krijgen van te bestuderen leermiddelen door een docent28.

Onderwijs kleinschaliger en intensiever inrichten, blijkt bijgevolg een belangrijke opdracht voor het hoger onderwijs. De voorwaarden waaronder en manieren waarop dit kan, blijken echter nog verre van duidelijk en vereisen meer onderzoek op dit vlak. Leidt kleinschalig en intensief onderwijs bijvoorbeeld ook tot minder gezondheidsproblemen of zien we hier net de schaduwkant van een competitieve onderwijsomgeving optreden? Hoe belangrijk zijn face-to-face meetings hierbij en wat kan van onderzoek naar blended learning geleerd worden in dit opzicht? Hiermee samenhangend worden van docenten verschillende rollen gevraagd: instructeur en coach, die tot betere leerprestaties brengen en het welzijn bevorderen.

Tot slot is nog maar weinig bekend over mogelijke preventieve maatregelen die instellingen, opleidingen, docenten en studenten kunnen nemen ter bevordering van zowel studieprestaties als het studentenwelzijn.

Studentenwelzijn

Het versterken van het welzijn van studenten wordt als steeds belangrijkere benadering gezien om de ontwikkeling van studenten op het gebied van sociale, emotionele en academische vaardigheden te bevorderen29. Het persoonlijke welzijn van studenten vormt onder andere een stevige basis tot leren en voor academische betrokkenheid30. Volgens het Centre for Education of Statistics and Evaluation (CESE) is in het onderwijs het welzijn van studenten belangrijk om twee redenen. De eerste reden is de erkenning dat onderwijzen niet alleen gaat om het behalen van academische prestaties, maar ook om het welzijn van de student in zijn geheel (zowel intellectueel, sociaal & emotioneel). Daarnaast zou een hogere mate van welzijn tot betere cognitieve resultaten bij studenten leiden31. Bij studentenwelzijn wordt uitgegaan van een brede definitie die rekening houdt met zowel het klinische perspectief als het psychologische perspectief van welzijn, gebaseerd op Noble et al. (2008) De definitie luidt: ‘Studentenwelzijn is een duurzame positieve psychische staat, gekenmerkt door veerkracht, tevredenheid met zichzelf, relaties en ervaringen tijdens de studententijd en gekenmerkt door de afwezigheid van psychische klachten zoals stress, angst en depressie’.

Nederlandse studenten worden door ouders, hulpverleners en ook door docenten doorgaans niet tot een kwetsbare groep in de samenleving gerekend32. Echter, recente (inter)nationale studies wijzen uit dat het welzijn van studenten er niet goed voor staat en dat studenten in het hoger onderwijs steeds vaker met (zware psychische) problemen kampen. Zo ervaren veel Nederlandse studenten een hoge mate van stress, zijn studenten ernstig oververmoeid, kampen ze met een lage zelfwaardering en ervaren ze weinig binding met de school33. Dit wordt volgens studenten onder andere veroorzaakt door een hoge mate van prestatiedruk, hoge studie-eisen (studiedruk) en het moeilijk kunnen combineren van werk, studie en privé34. Het aantal studenten dat aangeeft deze klachten te hebben ligt aanzienlijk hoger dan bij de groep niet-studerende leeftijdsgenoten35 en hoger bij hbo studenten dan bij wo studenten. Bijkomend probleem is dat studenten het moeilijk vinden om hulp te zoeken voor hun problemen. Het niet zoeken van hulp kan de (psychische) problemen van studenten verergeren en in veel gevallen tot studievertraging of studie-uitval leiden. Een hoge studieuitval is niet alleen ongunstig voor studenten, maar is daarnaast ook ongunstig voor de maatschappij, aangezien het een enorme kostenpost is. Ook is er bij docenten sprake van handelingsverlegenheid, de zogeheten mental health literacy van/bij docenten. Een van de vragen die dit oproept is: mag van een docent gevraagd worden dat hij (stress) signalen bij studenten (h)erkent en erop acteert en wat zijn daarbij belemmerende en bevorderende factoren?

Onderzoeksvragen

De overkoepelende onderzoeksvraag voor de bij deze call behorende onderzoeksvoorstellen luidt: Op welke wijze kunnen de leerprestaties en het welzijn van studenten worden bevorderd en hoe kan een kleinschalige en intensieve inrichting van het onderwijs daaraan bijdragen?

Deelvragen:

  • • Wat is de rol van kleinschaligheid, betrokkenheid, en actieve werkvormen in relatie tot studentenwelzijn en studieprestaties?

  • • Hoe verhoudt kleinschalig zich tot intensief, student-gecentreerd en/of activerend?

  • • Wat is er bekend over de effecten van kleinschalig intensief onderwijs op leerprestaties enerzijds en affectieve uitkomstmaten anderzijds?

  • • Hoe kunnen onderwijsprofessionals (docenten, studentbegeleiders, beleidsmedewerkers) (preventief) inspelen op de behoeften (autonomie, competentie, verbondenheid) en studiestrategieën van studenten?

6.3 Thema 3: Hoger onderwijs en de verbinding met de samenleving

De Vereniging Hogescholen en de Vereniging Samenwerkende Nederlandse Universiteiten benadrukken in hun toekomstvisies de verantwoordelijkheid die kennisinstellingen hebben om dienstbaar te zijn aan de samenleving36. Universiteiten en hogescholen benoemen in hun eigen strategische agenda’s zowel hun internationale ambities als de verbinding die zij willen zoeken met de eigen stad of regio.37 Ook individuele academici roepen op tot een ‘dienstbare houding’ van de academische gemeenschap in de samenleving.38

Deze ‘verbinding met de samenleving’ krijgt in Nederland vorm in initiatieven als de City Deal Kennis Maken39 waarin lokale overheden, kennisinstellingen en bedrijfsleven samenwerken om maatschappelijke vraagstukken aan te pakken en in Science Parks waar gemeente en kennisinstellingen investeren om bedrijfsleven aan te trekken. Door de OECD (2007)40 wordt dat vertaald in vier analysevelden: hoger onderwijs en regionale innovatie; human capital en skills ontwikkeling; sociale en culturele ontwikkeling; regionale capacity building.

De bijdrage van instellingen voor hoger onderwijs aan hun regionale en nationale omgeving heeft vele gezichten (Vaessen & Van der Velde, 2003)41: aantrekken van hoogopgeleid personeel, opleiden van de volgende generatie professionals en supporten en initiëren van innovatie. In de strategische agenda voor het hoger onderwijs De waarde(n) van weten wordt een toekomst geschetst waarin kennisinstellingen en de samenleving als ‘ecosystemen’ innig met elkaar verbonden zijn. In het licht van deze toekomst benadrukt de strategische agenda ook het belang van geëngageerd onderwijs: ‘De vorming van studenten vraagt om instellingen die in het hart van de samenleving staan.’42

De vraag om een nauwe verbinding tussen hoger onderwijs en de samenleving nodigt uit tot onderwijsonderzoek, geworteld in de onderwijspraktijk van de instellingen en de professionele praktijk van hun maatschappelijke partners.43,44

Hoe kan het onderwijs van HO-instellingen zodanig worden ingericht en vormgegeven, dat de verschillende doelstellingen van het hoger onderwijs worden gerealiseerd en dat dat de studenten een brede, integrale voorbereiding krijgen op hun toekomstige rol in het maatschappelijk verkeer als burger, professional en ondernemer?

Universiteiten en hogescholen hebben in het Nederlandse binaire stelsel een verschillende, zij het overlappende maatschappelijke opdracht. Dit uit zich vooral in de relatie tussen onderwijs en onderzoek. In het WO heeft het fundamentele onderzoek het primaat en is de opleiding gericht op het ontwikkelen van onderzoeksvaardigheden, terwijl in het hbo de professionele beroepspraktijk het primaat heeft: men leidt onderzoekende professionals op en levert een bijdrage aan de innovatie van professies en (top)sectoren. De relatie tussen hoger onderwijs en samenleving is daardoor niet eenduidig.

In het hbo is werkplekleren en betrokkenheid bij sectorale innovatie opgelegd; in het wo laat dat een gevarieerd beeld zien: in de academische beroepsopleidingen (denk aan de medische sector en de technische universiteiten) is de praktijk heel nabij; in meer generieke academische opleidingen is de maatschappelijke betrokkenheid niet systematisch georganiseerd. Hierdoor ontstaat een kaleidoskopisch palet van ‘aansluitingsproblemen’ tussen opleiding en maatschappij.

Sachs & Clark (2017)45 presenteren vanuit het Angelsaksische HO-model (VS, UK, Australië) experimenten met (community) service learning om de betrokkenheid van studenten bij hun maatschappelijke context te versterken. Dit zijn vormen van ervaringsleren, waarin studenten worden uitgedaagd om hun academische en/of professionele vaardigheden in te zetten ten behoeve van maatschappelijke innovatie46,47. Binnen de beroepsgerichte opleidingen binnen hbo en wo komen duale varianten voor, waarbij het leren en innoveren in de praktijk als belangrijke mechanisme wordt beschouwd: een artsenopleiding zonder co-asssistentschappen is ondenkbaar.

Via de Centres of Expertise (CoE’s) in het hbo worden studenten gericht ingezet in innovatieve vormen van werkplekleren, in het kader van samenwerkingstrajecten tussen hogeschool en bedrijfsleven, gericht op competentieontwikkeling bij de student (Narayanan et al., 2010; Rampersad, 2015)48,49. Betrokkenheid van studenten in innovatieve projecten genereert zowel opbrengsten in termen van bedrijfsinnovatie als in termen van de ontwikkeling van professionaliteit en ondernemerszin bij de studenten. Dergelijke projecten ondersteunen kennisuitwisseling en netwerkvorming tussen HO-instellingen en bedrijven, wat wederzijdse voordelen biedt50.

Tot nu toe blijken dergelijke samenwerkingsverbanden vaak van individuele initiatiefnemers afhankelijk en incidenteel in plaats van structureel van aard.51 Docenten en bestuurders lopen tegen organisatorische en didactische vraagstukken aan, wanneer zij deze rijke leeromgevingen breder dan in een enkele onderwijseenheid willen implementeren. De barrières die hier gevonden worden zijn beschreven52; mogelijke oplossingen echter nog nauwelijks.

Onderzoek in het kader van deze call zou zich kunnen richten op de bevorderende en belemmerende factoren in de samenwerking tussen onderwijsinstellingen en professionele organisaties in de samenleving. Naast organisatorische vraagstukken levert onderwijs in nauwe verbinding met de samenleving didactische vraagstukken op, bijvoorbeeld over de veranderende rol van de docent en student, en over de toetsing en beoordeling van contextueel leren. Mogelijke thema’s en aandachtspunten voor onderzoek:

  • • Complexiteit en multidisciplinariteit: maatschappelijke vraagstukken vragen om samenwerking tussen disciplines, terwijl het onderwijs vaak nog monodisciplinair is ingericht. Hoe kan die multidisciplinariteit een plek krijgen in de curricula en de assessmentprocedures en toetsvormen van het hoger onderwijs?

  • • Modus II kennisgeneratie (zie Gibbons e.a., 1994)53: hoe verloopt kennisontwikkeling in de

  • • context van professionele, innovatieve praktijken en hoe verhoudt zich dat tot de wetenschappelijke praktijk van kennisproductie? Hoe kan het hoger onderwijs rekening houden met de onvoorspelbaarheid van kennisontwikkeling?

  • • Geëngageerd leren: verbinden van theoretische kennis aan maatschappelijke probleemvelden; hoe kunnen studenten vroegtijdig geëngageerd worden bij de kennisontwikkeling in hun professionele domein? Hoe dragen deze leeractiviteiten bij aan de bredere algemene vorming van studenten? Hoe kunnen studenten effectief worden voorbereid op een professionele toekomst van een leven lang leren, ontwikkelen en (sociaal) ondernemen?

  • • Wat is het effect van profilering van onderwijsinstellingen/opleidingen op verbinding met de samenleving? Hoe vindt visievorming binnen de instelling plaats ten aanzien van de verbinding met de samenleving en wat is het effect daarvan op de implementatie/doorwerking in het curriculum? Welke organisatorische maatregelen zijn nodig om de verbinding tussen hoger onderwijs en samenleving te versterken en te ondersteunen?

Naar deze vragen is binnen het Nederlands hoger onderwijs nog relatief weinig wetenschappelijk onderzoek verricht. Er is nog weinig bekend over het effect van maatschappelijke verbinding op de kwaliteit van het hoger onderwijs; over geschikte samenwerkingsvormen voor bedrijven en kennisinstellingen en over nieuwe didactische principes. Nieuw onderzoek, dat in de context van deze call kan worden gehonoreerd, dient zich te richten op de Nederlandse context en het niveau van een verzameling van casestudies te overstijgen. Daarbij kan voortgebouwd worden op internationale literatuur over de vormen, het effect en de succesfactoren voor het verbinden van onderwijs met de samenleving.

X Noot
1

Dit zijn bekostigde instellingen voor hoger onderwijs zoals opgesomd in artikel 1.8 van de Wet Hoger Onderwijs.

X Noot
2

Dit zijn bekostigde instellingen voor hoger onderwijs zoals opgesomd in artikel 1.8 van de Wet Hoger Onderwijs, en de erkende private instellingen in Nederland geregistreerd als ‘rechtspersoon voor hoger onderwijs’.

X Noot
3

Onderwijsraad (2011). Hoger onderwijs voor de toekomst. Den Haag: Onderwijsraad.

X Noot
4

Young, M. (1958). The rise of the meritocracy, 1870–2033: an essay on education and equality. London: Thames & Hudson, 1958.

X Noot
5

Hauschildt, K., Gwosć, C., Netz, N. & Mishra, S. (2015). Social and Economic Conditions of Student Life in Europe: EUROSTUDENT V 2012–2015, Synopsis of Indicators. Hannover: DZHW.

X Noot
6

European Commission (2017). Study on the impact of admission systems on higher education outcomes. EAC- 2015-0470.

X Noot
7

Rosenthal, R. & Jacobson, L. (1968). Pygmalion in the classroom. Teacher expectations and pupils’ intellectual development. New York: Holt, Rinehart and Winston, Inc.

X Noot
8

Boudon, R. (1974). Education, opportunity, and social inequality: Changing prospects in Western society. New York: Wiley.

X Noot
9

Bernstein, B. (1971). Class, codes and control: volume 1 theoretical studies towards a sociology of language. London: Routledge and Kegan Paul.

X Noot
10

Bourdieu, P. (1984). Distinction: A social critique of the judgement of taste. London: Routledge & Kegan Paul.

X Noot
11

Hollingworth, S. & Williams, K. (2009). Constructions of the working-class ‘other’ among urban, white, middle- class youth: ‘chavs’, subculture and the valuing of education. Journal of Youth Studies, 12 (5), 467–482.

X Noot
12

Broek, A. van den, Wartenbergh, F., Bendig-Jacobs, J., Tholen, R., Duysak, S. & Nooij, J. (2017). Monitor Beleidsmaatregelen 2016–2017. Studiekeuze, studiegedrag en leengedrag in relatie tot beleidsmaatregelen in het hoger onderwijs, 2006–2016. Onderzoek in opdracht van het Ministerie van OCW. Nijmegen: ResearchNed.

X Noot
13

Goffman, E. (1963). Stigma: notes on the management of spoiled identity. Englewood Cliffs, N.J.: Prentice-Hall.

X Noot
14

StudentLabs brochure: https://www.dus-i.nl/binaries/dus-i/documenten/publicaties/2017/05/14/-studentlab- brochure/StudentLab+Brochure.pdf

X Noot
15

Nash, R. (1973). Classrooms observed: the teachers’ perception and the pupil’s performance. London: Routledge and Kegan Paul.

X Noot
16

Gershenson, S. Holt, S.B. & Papageorge, N.W. (2016). Who believes in me? The effect of student-teacher demographic match on teacher expectations. Economics of Education Review, 52, 209–224.

X Noot
17

Brint, S. and J. Karabel. (1989). The Diverted Dream: Community Colleges and the Promise of Educational Opportunity in America, 1900-1985. Oxford University Press, New York.

X Noot
18

Lucas, S.R. (2001). Effectively Maintained Inequality: Education Transitions, Track Mobility, and Social Background Effects. The American Journal of Sociology, 106(6), 1642–1690.

X Noot
19

Herweijer, L. (2017). Sociale scheidslijnen binnen het hoger onderwijs? De casus van de University colleges. Presentatie ORD 2017.

X Noot
20

Warps, J., Nooij, J., Muskens, M., Kurver, B. & Broek, A. van den (2017). De studiekeuzecheck. Landelijk onderzoek naar uitvoering en opbrengsten van de studiekeuzecheck. Onderzoek in opdracht van het Ministerie van OCW. Nijmegen: ResearchNed.

X Noot
21

Broek, A. van den, Nooij, J., Essen, M. van & Duysak, S. (2017). Selectie & plaatsing bij numerusfixusopleidingen. De intentie tot deelname, de deelname aan de selectie en de uitslag in relatie tot achtergrondkenmerken. Onderzoek in opdracht van het Ministerie van OCW. Nijmegen: ResearchNed.

X Noot
22

Broek, A. van den, Wartenbergh, F., Bendig-Jacobs, J. & Esseveldt, J. van. M.m.v. B. Kurver, M. van Hoof & J. Sanders (2017). Schakelen tussen bachelor en master in het hoger onderwijs. Eindrapport. Onderzoek in opdracht van het Ministerie van OCW. Nijmegen: ResearchNed.

X Noot
23

Wetenschappelijke Raad voor het Regeringsbeleid (2006). De verzorgingsstaat herwogen. Verzorgen, verzekeren, verheffen en verbinden (WRR-rapport nr. 76, 2006).

X Noot
24

Inspectie van het Onderwijs (2015). Inspectieonderzoek naar selectie en toegankelijkheid van het hoger onderwijs.

X Noot
25

Nauta, M. C. E., Meijman, F. J., & Meijman, T. F. (1996). De subjectief ervaren gezondheid en studiebeleving van studenten van de Universiteit van Amsterdam. Tijdschrift voor Sociale Gezondheidszorg, 74(8), 391-6.

X Noot
26

Nederlands Vlaamse Accreditatie Organisatie (2011). Distinctive features of small-scale and intensive education. Available at: https://www.nvao.net/system/files/procedures/Distinctive%20Feature%20Small-scale%20and%20Intensive%20Education%202011.pdf

X Noot
27

Nederlands Vlaamse Accreditatie Organisatie (2011). Distinctive features of small-scale and intensive education. Available at: https://www.nvao.net/system/files/procedures/Distinctive%20Feature%20Small-scale%20and%20Intensive%20Education%202011.pdf

X Noot
28

Wijnia, Loyens, Derous, & Schmidt (2015). How important are student-selected versus instructor-selected literature resources for students’ learning and motivation in problem-based learning? Instructional Science, 43, 39–58. doi:10.1007/s11251-014-9325-6

X Noot
29

Noble, T., McGrath, H., Wyatt, T., Carbines, R., & Robb, L. (2008). Scoping study in approaches to student wellbeing – Final report. Canberra: Department of Education, Employment and Workplace Relations.

X Noot
30

Phan, H. P., Ngu, B. H., & Alrashidi, O. (2016). Role of Student Well-Being: A Study Using Structural Equation Modeling. Psychological Reports, 119(1).

X Noot
31

Centre for Education Statistics and Evaluation. (2015). Student Wellbeing. Literature review. NSW Department of Education and Communities.

X Noot
32

Verouden, N.W., Vonk, P., & Meijman, F.J. (2010). Studenten en stille pijn. Elsevier Gezondheidszorg.

X Noot
33

Smit-Dopmeijer, J., Schoorel, B., & Schwartz, D. (2013). Project #FIVE Studentenonderzoek 2012. Feiten en cijfers over uitval, vertraging, gezondheid en veiligheid. Kenniscentrum Gezondheid en Welzijn, Windesheim.

X Noot
34

Schmidt, E., & Simons, M. (2013). Psychische klachten onder studenten. Utrecht: LSVB, 13.

X Noot
35

Boot, C.R.I., Vonk, P., & F.J. Meijman. (2005). Ervaren gezondheid van studenten aan de Universiteit en Hogeschool van Amsterdam. Rapportage project Student en Gezondheid. Universiteit van Amsterdam.

X Noot
36

Vereniging Hogesholoen ‘#HBO2025 Wendbaar en Weerbaar’ (2015) http://www.vereniginghogescholen.nl/kennisbank/vereniging-hogescholen/artikelen/strategische-visie-hbo2025-wendbaar-weerbaar ; Vereniging Samenwerkende Nederlandse Universiteiten ‘De Digitale Samenleving – Nederland en zijn univeristeiten: internationale pioniers in mensgerichte informatietechnologie’ (2017) http://vsnu.nl/files/documenten/Publicaties/VSNU_De_Digitale_Samenleving.pdf

X Noot
37

Zie bijvoorbeeld de openingszin van strategische agenda van de Hogeschool Rotterdam: ‘Het is onze opdracht elke student op te leiden tot de professional die een waardevolle bijdrage levert aan de maatschappij. Dat doen we in Rotterdam, in een grootstedelijke, internationale context.’ Onze agenda – Opleiden in Rotterdam voor de wereld van morgen (Hogeschool Rotterdam, 2016) https://www.hogeschoolrotterdam.nl/globalassets/documenten/hogeschool/over-ons/strategische-agenda.pdf

X Noot
38

Zie A. Verbrugge & J van Baardewijk (red) Waartoe is de universiteit op aarde? Amsterdam, 2014) en M.J. Flikkema (ed.) Sense of serving – reconsidering the role of universities now (Amsterdam, 2016)

X Noot
40

OECD (2007). Higher Education in Regions: Globally Competitive, Locally Engaged. Parijs: OECD.

X Noot
41

Vaessen, P. & Van der Velde, M. (2003). University knowledge transfer through social and professional embeddedness. In: Rutten, R., Boekema, F. & Kuijpers, E. (eds). Economic Geography of Higher Eudcation. Routledge.

X Noot
42

Waarde(n) van weten – strategische agenda voor het hoger onderwijs (2015)

X Noot
43

Zie voor een state-of-art: Case, J.M. & Huisman, J. (eds. 2016): Researching Higher Education; international perspectives on theory, policy and practice. London: Routledge.

X Noot
44

Zie ook: Gijbels, D., Donche, V., Richardson, J.T.E. & Vermunt, J.D. (Eds., 2014). Learning Patterns in higher education. Dimensions and research perspectives. London: Routledge/EARLI.

X Noot
45

Sachs, J. & Clark, L. (eds.; 2017) Learning through community engagement; vision and practice in higher education. Singapore: Springer Science and Business Media.

X Noot
46

Zie bijvoorbeeld J.A. Boland ‘Strategies for Enhancing Sustainability of Civic Engagement: Opportunities, Risks, and Untapped Potential’ in L. McIllrath, A. Lyons Higher Education and Civic Engagement (Springer, 2012) 41–59.

X Noot
47

Van Baren, E., Meelen, M., & Meijs, L. (2014). Promoting youth development around the world: the Duke of Edinburgh’s International Award. Jeugdbeleid, 8(3–4), 95–102.

X Noot
48

Narayanan, V.K., Olk, P.M. & Fukami, C.V. (2010). Determinants of Internship Effectiveness: An Exploratory Model. In: Academy of Management Learning & Education, 9, 1, p. 61–80.

X Noot
49

Rampersad, G.C. (2015). Developing university-business cooperation through work-based learning. In: International Journal of Technology Management, 68,3/4, p. 203–227.

X Noot
50

Zie ook Nieuwenhuis e.a. (2017) Pedagogisch-didactische aspecten van werkplekleren. Een internationale review voor NRO. Nijmegen: HAN.

X Noot
51

Onderwijsraad 2014

X Noot
52

Bijvoorbeeld J.A. Boland (2012).

X Noot
53

Gibbons, M., Limoges, C., Nowotny, H., Schwartzman, S., Scott, P. & Trow, M. (1994). The new production of knowledge. The dynamics of science and research in contemporary societies. London: Sage Publications.

Naar boven