Regeling van de Minister van Financiën van 15 maart 2018, houdende regels voor periodiek evaluatieonderzoek (Regeling periodiek evaluatieonderzoek)

De Minister van Financiën,

Gelet op artikel 4.20, tweede lid, aanhef en onderdeel f, van de Comptabiliteitswet 2016;

Besluit:

§ 1 Algemene bepalingen

Artikel 1 Begrippen

• 1. In deze regeling wordt verstaan onder:

  beleidsdoorlichting:

  een syntheseonderzoek naar de doeltreffendheid en de doelmatigheid van een substantieel, samenhangend deel van het beleid, dat wordt gevoerd op grond van één of meer beleidsartikelen van de rijksbegroting;

  beleidsevaluatie:

  een onderzoek naar de doeltreffendheid en de doelmatigheid van het beleid;

  doelmatigheid van het beleid:

  de mate waarin het optimale effect tegen zo min mogelijk kosten en ongewenste neveneffecten wordt bewerkstelligd.

  doeltreffendheid van het beleid:

  de mate waarin de beleidsdoelstelling dankzij de inzet van de onderzochte beleidsinstrumenten wordt gerealiseerd;

  onafhankelijk deskundige:

  een inhoudelijk deskundige die geen verantwoordelijkheid draagt voor het te onderzoeken beleid;

• 2. De begrippen van artikel 1.1 van de Comptabiliteitswet 2016 zijn van overeenkomstige toepassing op deze regeling.

§ 2 Onderzoek naar doeltreffendheid en doelmatigheid

Artikel 2 Onderzoek naar de doeltreffendheid en doelmatigheid

• 1. Het onderzoek naar de doeltreffendheid en de doelmatigheid van het beleid, bedoeld in artikel 4.1, eerste lid, onder c , van de Comptabiliteitswet 2016 voldoet aan de volgende eisen:

  • a. het onderzoek maakt duidelijk welk beleid wordt onderzocht en wat de doelstellingen van dat beleid zijn;

  • b. het onderzoek geeft antwoord op de vraag in hoeverre het beleid, alsmede de daarmee samenhangende uitgaven, doeltreffend en doelmatig is;

  • c. de conclusies van het onderzoek worden onderbouwd door onderliggende bevindingen;

  • d. de in het onderzoek gebruikte onderzoeksmethode is valide en betrouwbaar;

  • e. het rapport geeft inzicht in de gebruikte evaluatiemethode en in de mogelijkheden en onmogelijkheden om de doeltreffendheid en de doelmatigheid van het betreffende beleid vast te stellen.

• 2. Bij de uitvoering van een onderzoek naar de doeltreffendheid en de doelmatigheid van het beleid wordt minimaal één onafhankelijk deskundige betrokken.

• 3. De deskundige, bedoeld in het tweede lid, geeft een onafhankelijk oordeel over het uitgevoerd onderzoek.

• 4. Het onderzoeksrapport beschrijft de manier waarop een of meer onafhankelijk deskundigen bij het onderzoek is of zijn betrokken.

Artikel 3 De beleidsdoorlichting

• 1. Het beleid dat (mede) wordt gevoerd op grond van één of meer beleidsartikelen uit de rijksbegroting, wordt ten minste eens in de zeven jaar geëvalueerd in een beleidsdoorlichting.

• 2. De begroting en het jaarverslag geven aan welke beleidsdoorlichtingen in welk jaar zijn of worden uitgevoerd.

• 3. De eisen in artikel 2 zijn op de beleidsdoorlichtingen van toepassing.

• 4. Een beleidsdoorlichting bevat in ieder geval de volgende onderdelen:

  • a. een afbakening van het te onderzoeken beleidsterrein;

  • b. de gehanteerde motivering voor het beleid en de met het beleid beoogde doelen;

  • c. een beschrijving van het beleidsterrein en de onderbouwing van de daarmee gemoeide uitgaven;

  • d. een overzicht van eerder uitgevoerd onderzoek naar doeltreffendheid en doelmatigheid en een onderbouwing van de gekozen evaluatieprogrammering;

  • e. de effecten van het gevoerde beleid en een analyse en beoordeling van de doeltreffendheid en doelmatigheid van het gevoerde beleid, dit wil zeggen alle beleidsinstrumenten in hun onderlinge samenhang, en – indien relevant – de effecten van het beleid op economische groei en regeldruk;

  • f. een beschouwing over de maatregelen die genomen kunnen worden ter verdere verhoging van de doelmatigheid en de doeltreffendheid van het beleid;

  • g. een beschrijving van beleidsopties indien er significant minder middelen (-/- 20%) beschikbaar zijn.

• 5. De Minister die het aangaat, zendt de beleidsdoorlichting aan de Tweede Kamer der Staten-Generaal.

• 6. Bij elke beleidsdoorlichting geeft ten minste één onafhankelijk deskundige een oordeel over de kwaliteit van de beleidsdoorlichting en een toelichting op de betrokkenheid en inbreng van de onafhankelijk deskundige bij de totstandkoming van de beleidsdoorlichting. Deze toelichting wordt opgenomen in de beleidsdoorlichting of als bijlage meegestuurd naar de Tweede Kamer.

• 7. De onafhankelijk deskundige die bij een beleidsdoorlichting is betrokken, is niet werkzaam bij ministeries en is niet betrokken geweest bij de totstandkoming van het te onderzoeken beleid. Medewerkers van de inspectiediensten van het Rijk, de Auditdienst Rijk en de departementale onderzoeksinstellingen met een onafhankelijke status kunnen wel als onafhankelijk deskundigen optreden.

§ 3 Evaluaties

Artikel 4 Evaluatie van subsidieregelingen

Onverminderd het bepaalde in artikel 4:24 van de Algemene wet bestuursrecht zijn de eisen, bedoeld in artikel 2, eerste lid, van toepassing op de evaluatie van subsidieregelingen.

§ 4 Slotbepalingen

Artikel 5 Inwerkingtreding

Deze regeling treedt in werking met ingang van de dag na datum van uitgifte en de Staatscourant waarin zij wordt geplaatst, en werkt zij terug tot en met 1 januari 2018.

Artikel 6 Citeertitel

Deze regeling wordt aangehaald als: Regeling periodiek evaluatieonderzoek.

Deze regeling zal met de toelichting in de Staatscourant worden geplaatst.

De Minister van Financiën, W.B. Hoekstra

TOELICHTING

Algemeen

Met de inwerkingtreding van de Comptabiliteitswet 2016 (CW 2016) is de Comptabiliteitswet 2001 ingetrokken. De regelingen die op de Comptabiliteitswet 2001 zijn gebaseerd, zijn hiermee van rechtswege vervallen en zijn daarom niet meer geldend. Deze regeling vervangt de Regeling periodiek evaluatieonderzoek (RPE) van 15 augustus 2014 die op basis van de Comptabiliteitswet 2001 was opgesteld.

Onderhavige regeling is een nadere uitwerking van artikel 4.20, tweede lid, aanhef en onderdeel f, van de CW 2016. Op basis van deze delegatiebepaling kan de Minister van Financiën regels stellen over de voorstellen, voornemens, en toezeggingen, op basis van artikel 3.1, aanhef, en onder a, en het periodiek onderzoeken van de doeltreffendheid en doelmatigheid van het beleid op grond van artikel 4.1, aanhef, eerste lid, onder c, van de CW 2016. De verplichting om het beleid periodiek te evalueren is voor verschillende beleidsinstrumenten op diverse manieren geregeld. Artikel 4.1, aanhef, eerste lid, onder c, van de CW 2016 regelt specifiek de verantwoordelijkheid van de ministers om het beleid dat aan hun begroting ten grondslag ligt periodiek te onderzoeken op doeltreffendheid en doelmatigheid. Artikel 4:24 van de Algemene wet bestuursrecht (Awb) bevat de verplichting om de subsidies die berusten op een wettelijk voorschrift ten minste eenmaal in de vijf jaar te evalueren, tenzij dit wettelijk anders is bepaald. De Regeling rijksbegrotingsvoorschriften (RBV) bevat regels voor het in de begrotingen en jaarverslagen opnemen van de geagendeerde en uitgevoerde evaluatieonderzoeken.

Periodiek evalueren draagt bij aan de doeltreffendheid en doelmatigheid, doordat inzicht ontstaat in de werking van het beleid. Met evaluatieonderzoek wordt daarnaast verantwoording afgelegd aan het parlement over het te voeren en het gevoerde beleid. De Tweede Kamer en het kabinet achten het wenselijk om meer inzicht te krijgen in de effecten en kosten van het beleid. Het is daarom noodzakelijk dat de doeltreffendheid en doelmatigheid van al het beleid van het Rijk periodiek wordt geëvalueerd. Het Rijk initieert of voert om genoemde redenen diverse soorten evaluaties uit.

Deze regeling is inhoudelijk niet gewijzigd ten opzichte van oude RPE, maar is voornamelijk wettechnisch aangepast in het kader van de modernisering van de Comptabiliteitswet 2001.

Gelet op artikel 7.40, derde lid, aanhef, van de Comptabiliteitswet 2016 is het ontwerp van deze regeling voor advies aan de Algemene Rekenkamer voorgelegd.

Artikelsgewijs

Artikel 1 Begrippen

Eerste en tweede lid

De begrippen die in de Comptabiliteitswet 2016 zijn gedefinieerd, zoals het begrotingsbeheer, zijn van overeenkomstige toepassing op deze regeling. Hierdoor worden alleen enkele begrippen die niet in de Comptabiliteitswet 2016 zijn gedefinieerd, in het eerste lid van deze regeling opgenomen.

Een beleidsdoorlichting is een periodiek onderzoek naar de doeltreffendheid en doelmatigheid van beleid, waarvoor specifieke regels gelden. Een beleidsdoorlichting heeft het karakter van een synthese-onderzoek: de beleidsdoorlichting vat samen wat bekend is over de doeltreffendheid en doelmatigheid van het beleid en geeft ook aan wat de interactie tussen beleidsinstrumenten is. De beleidsdoorlichting steunt daarmee op ondermeer door de departementen georganiseerd evaluatieonderzoek naar de doeltreffendheid en de doelmatigheid van het beleid. Een beleidsdoorlichting heeft daarmee twee functies. Allereerst geeft de beleidsdoorlichting een overzicht van de mate waarin het beleidsterrein op doeltreffendheid en doelmatigheid is geëvalueerd. Daarnaast bevat de beleidsdoorlichting een oordeel over de doeltreffendheid en doelmatigheid van het totale onderzochte beleidsterrein, dat wil zeggen alle instrumenten in hun onderlinge samenhang.

Bij de doeltreffendheid van beleid gaat het om de mate waarin het beleid bijdraagt aan het behalen van het beoogde beleidsdoel. Volgens de memorie van toelichting van de Comptabiliteitswet 2016, in hoofdstuk 3, paragraaf 1. Normering, wordt met de doeltreffendheid van beleid meer specifiek bedoeld de mate waarin de nagestreefde beleidsdoelstelling dankzij de inzet van beleidsinstrumenten wordt gerealiseerd. Het gaat dus om het beoogde effect van de ingezette beleidsinstrumenten op de doelstelling(en) van het beleid.

Doelmatigheid van het beleid betreft de relatie tussen de optimale effecten van het beleid op het beleidsdoel en eventuele neveneffecten, en de kosten van het beleid, de beleidsuitgaven en overige kosten binnen en buiten het departement. Het beleid is doelmatig als het gewenste beleidseffect tegen zo min mogelijk kosten en ongewenste neveneffecten wordt bereikt. Beleid dat niet doeltreffend is, kan niet doelmatig zijn. Andersom is doeltreffend beleid niet automatisch ook doelmatig.

Met de term onderzoek naar de doeltreffendheid en doelmatigheid van het beleid wordt het periodiek onderzoek naar doeltreffendheid en doelmatigheid in artikel 4.1, aanhef, eerste lid, onder c, van de CW 2016 bedoeld. Deze artikelleden regelen de verantwoordelijkheid van de minister voor het beleid dat aan zijn begroting ten grondslag ligt. Deze verantwoordelijkheid geldt voor al het beleid en het daarbij behorende beleidsinstrumentarium.

Een onafhankelijk deskundige is een persoon die inhoudelijk deskundig is op het te onderzoeken beleid, maar die geen verantwoordelijkheid draagt voor dit beleid. Ook heeft de onafhankelijk deskundige in de onderzochte periode geen verantwoordelijkheid gedragen voor het te onderzoeken beleid noch is deze persoon betrokken geweest bij de totstandkoming ervan.

Artikel 2 Onderzoek naar de doeltreffendheid en doelmatigheid

Eerste lid

Dit lid bepaalt een aantal algemene criteria waaraan alle onderzoeken naar de doeltreffendheid en doelmatigheid aan moeten voldoen. Om goed te kunnen evalueren is het nodig om al bij de beleidsvorming na te denken over de beleidstheorie en de mogelijkheden om te evalueren. Artikel 3.1, aanhef en onder a en b, van de Comptabiliteitswet 2016, eist dat er wordt toegelicht welke doelstellingen, doeltreffendheid en doelmatigheid worden nagestreefd en tevens dat er wordt toegelicht welke financiële beleidsinstrumenten worden ingezet om de beoogde doelstellingen te realiseren. De toelichting bevat daartoe bijvoorbeeld een evalueerbare en controleerbare doelstelling. Het verzamelen van data, het in kaart brengen van de (start)situatie zonder beleid, de manier en termijn waarop effecten zichtbaar kunnen worden, bijvoorbeeld met experimenten, zijn eveneens relevante onderdelen van de beleidsvoorbereiding.

Centrale vragen van het onderzoek

De centrale vragen in het onderzoek zijn in hoeverre het beleid bijdraagt aan het met dat beleid beoogde doel en in hoeverre het optimale effect tegen zo min mogelijk kosten en ongewenste neveneffecten wordt bereikt. Om deze vragen goed te kunnen beantwoorden moet allereerst het met het beleid beoogde doel in kaart worden gebracht. Bij een beleidsdoorlichting is het beoogde doel van het beleid de algemene doelstelling van het betreffende beleidsartikel. Bij een evaluatieonderzoek is het van belang om zo goed mogelijk weer te geven welke doelstelling(en) er is of zijn geformuleerd, bijvoorbeeld in beleidsbrieven of andere publicaties. Voorts moet de afbakening van het evaluatieonderzoek helder zijn.

Onderzoek naar doelmatigheid en doeltreffendheid van beleid

Door de effecten van het beleid af te zetten tegen de doelstelling van het beleid kan een uitspraak worden gedaan over de mate waarin beleidsdoelen zijn gerealiseerd. Om een uitspraak over doeltreffendheid mogelijk te maken is inzicht nodig in de mate waarin deze effecten gerealiseerd zijn dankzij het beleid.

In het onderzoek wordt daarom onderzocht of er een causale relatie is tussen het beleid(sinstrument) en een maatschappelijke uitkomst. In de praktijk zullen ook externe factoren de uitkomst beïnvloeden. Voor de invloed van externe factoren moet dus worden gecorrigeerd om de effecten van beleid te meten. Dit maakt het meten van effecten van beleid complex.

Het aantonen van een causale relatie eist idealiter dat de situatie met beleid kan worden afgezet tegen de situatie waarin er geen (of ander) beleid zou zijn gevoerd.

Het methodologisch verantwoord onderzoeken hiervan met een (quasi-) experimentele opzet is echter niet altijd mogelijk, of kan te gecompliceerd of te kostbaar zijn. In dat geval kan met behulp van andere methoden het eventuele effect en de doeltreffendheid van het beleid aannemelijk worden gemaakt. Typen onderzoek die op onderdelen indicaties kunnen geven van de effecten van beleid zijn bijvoorbeeld verdiepende case studies, systematische kwalitatieve vergelijkende analyse, systematische bevraging van onafhankelijk deskundigen, of een beoordeling van de uitvoering van het beleid. Idealiter wordt daarbij informatie uit verschillende bronnen gecombineerd om een indicatie van de effecten van het beleid te krijgen. Voor sommige beleidsterreinen is het niet goed mogelijk om de effecten van het beleid te meten en ook niet om via andere methoden voldoende indicaties van de effecten te krijgen.

Het rapporteren over de effecten van beleid is het belangrijkste onderdeel van een evaluatieonderzoek. Er moet dus altijd aandacht worden besteed aan de effecten van beleid en de (on)mogelijkheid om deze te kunnen vaststellen.

Conclusies van het onderzoek

De conclusies in het rapport volgen uit de bevindingen van het evaluatieonderzoek. Er moet worden gewaakt voor niet goed onderbouwde conclusies. Als er onvoldoende betrouwbare informatie is om uitspraken te doen over doeltreffendheid en doelmatigheid, dan moet dit worden aangegeven in het rapport.

Validiteit en betrouwbaarheid

Het onderzoek moet valide en betrouwbaar zijn. Met validiteit wordt bedoeld dat wordt onderzocht wat het onderzoek beoogt te onderzoeken. Met betrouwbaarheid wordt bedoeld dat het resultaat niet afhankelijk is van toevallige factoren; een herhaling van het onderzoek zou tot dezelfde uitkomsten en conclusies moeten leiden. Betrouwbaar betekent ook dat de wijze waarop het onderzoek tot stand is gekomen, achteraf reconstrueerbaar is.

Op basis van de informatie in het rapport moet de lezer kunnen beoordelen op welke wijze het onderzoek is uitgevoerd, op welke wijze variabelen zijn gemeten en welke onderzoeksmethodes zijn gevolgd. De gebruikte onderzoeksmethoden sluiten zo veel mogelijk aan bij actuele professionele standaarden. Het is wenselijk om de beperkingen en onmogelijkheden van het meten van de effecten van het onderzochte beleid in het rapport aan te geven, inclusief alternatieven om het meten van effecten te verbeteren.

Tweede lid

Onderzoek naar de doeltreffendheid en doelmatigheid van het beleid kan in eigen beheer worden uitgevoerd of uitbesteed. Dit artikellid schrijft voor dat bij onderzoek naar de doeltreffendheid en doelmatigheid van het beleid minimaal één onafhankelijk deskundige is betrokken. Dit om te waarborgen dat het onderzoek voldoet aan de eisen die in het eerste lid worden gesteld. Onafhankelijk deskundigen moeten inhoudelijk deskundig zijn op het te onderzoeken beleidsterrein. Ook heeft de onafhankelijk deskundige in de onderzochte periode geen verantwoordelijkheid gedragen voor het te onderzoeken beleid of betrokken geweest bij de totstandkoming van dit beleid.

Derde lid

Het ligt voor de hand dat de opdrachtgever heldere afspraken maakt met de onafhankelijk deskundige over zijn of haar taak. De onafhankelijk deskundige neemt in ieder geval de eisen in artikel 2 van deze regeling in acht.

Vierde lid

De manier waarop de onafhankelijk deskundige wordt betrokken is vormvrij, omdat de gewenste betrokkenheid per evaluatie kan verschillen.

Het is wenselijk dat de onafhankelijk deskundige tijdig bij de uitvoering van de evaluatie wordt betrokken. Dit kan door bijvoorbeeld de opzet van het onderzoek te bespreken en door commentaar te vragen tijdens de uitvoering. Ook kan het afgeronde onderzoek aan de onafhankelijk deskundige worden voorgelegd.

Het is ook mogelijk dat het hele onderzoek wordt uitbesteed aan een onafhankelijke partij. Dit kan ook een onafhankelijke partij binnen een ministerie zijn. Een eis daarbij is dat bij de opdrachtverlening de onafhankelijke inbreng van de uitvoerder van het onderzoek voldoende wordt gewaarborgd.

Artikel 3 De beleidsdoorlichting

Eerste tot en met derde lid

Een beleidsdoorlichting is een periodiek onderzoek naar de doeltreffendheid en doelmatigheid van beleid, waarvoor specifieke regels gelden. Een beleidsdoorlichting heeft het karakter van een syntheseonderzoek: de beleidsdoorlichting vat samen wat bekend is over de doeltreffendheid en doelmatigheid van het beleid en geeft ook aan wat de interactie tussen beleidsinstrumenten is. De beleidsdoorlichting steunt daarmee op eerder evaluatieonderzoek naar de doeltreffendheid of de doelmatigheid van het beleid.

Een beleidsdoorlichting bestrijkt in principe een heel beleidsartikel of in ieder geval een substantieel en samenhangend deel van een beleidsartikel. Indien gerelateerde beleidsinstrumenten onder verschillende beleidsartikelen vallen, kan het de evaluatie ten goede komen om meerdere beleidsartikelen in samenhang te beoordelen in één beleidsdoorlichting. Een beleidsdoorlichting kan ook betrekking hebben op beleidsartikelen van meerdere departementale begrotingen. Bij een beleidsdoorlichting is het beoogde doel van het beleid de algemene doelstelling van het betreffende beleidsartikel. De eisen die in artikel 2 zijn voorgeschreven gelden ook voor de beleidsdoorlichting.

Al het beleid wordt met een zekere regelmaat periodiek geëvalueerd in een beleidsdoorlichting, bijvoorbeeld eens in de vier jaar en ten minste eens in de zeven jaar. Er moet sprake zijn van een dekkende programmering van beleidsdoorlichtingen. Bij voorkeur wordt de agendering van beleidsdoorlichtingen zo ingericht dat informatie uit de beleidsdoorlichting kan worden gebruikt bij de besluitvorming over aanpassingen van het beleid. Het is daarnaast noodzakelijk ervoor te zorgen dat de evaluatieprogrammering aansluit bij de programmering van de beleidsdoorlichtingen. Idealiter is op het moment dat een beleidsdoorlichting gepland staat voldoende informatie beschikbaar (in de vorm van evaluatieonderzoek), zodat een goede beoordeling van de doeltreffendheid en doelmatigheid van het gehele beleidsartikel mogelijk is.

De regeling rijksbegrotingsvoorschriften bevat de nadere regels voor het in de begroting opnemen van de geagendeerde en uitgevoerde beleidsdoorlichtingen.

Vierde lid

De beleidsdoorlichting bevat in ieder geval de volgende onderdelen:

Afbakening van het beleidsterrein

Een beleidsdoorlichting is in principe gericht op het beleidsartikel en op de algemene doelstelling van dat artikel. Vanwege de omvang van sommige beleidsartikelen wordt de mogelijkheid open gelaten om het artikel in delen door te lichten. De beleidsdoorlichting moet dan wel betrekking hebben op een substantieel en samenhangend deel van het artikel. In dat geval wordt ook aangegeven of en wanneer de andere onderdelen van het artikel worden doorgelicht. Ook in dit geval wordt gekeken in hoeverre het beleid heeft bijgedragen aan het behalen van de algemene doelstelling van het beleidsartikel zoals die in de beleidsplannen zijn opgenomen. Wanneer de doeltreffendheid en doelmatigheid van beleid beter kan worden onderzocht door (substantiële onderdelen van) verschillende beleidsartikelen in samenhang te beoordelen, dan kan het logisch zijn om één integrale beleidsdoorlichting op te stellen. Daarbij wordt aangegeven welke onderdelen en instrumenten dit betreft.

Onderzoeksvragen:

• 1. Welk(e) artikel(en) (onderdeel of onderdelen) wordt of worden behandeld in de beleidsdoorlichting?

• 2. Indien van toepassing: wanneer worden/zijn de andere artikelonderdelen doorgelicht?

Motivering van het gevoerde beleid

Dit onderdeel geeft beknopt aan waarom in het verleden voor dit beleid is gekozen en tevens of het probleem dat aanleiding was voor het beleid nog actueel is.

Onderzoeksvragen:

• 3. Wat was de aanleiding voor het beleid? Is deze aanleiding nog actueel?

• 4. Wat is de verantwoordelijkheid van de rijksoverheid?

Het beleidsterrein en de bijbehorende uitgaven

Het derde onderdeel van een beleidsdoorlichting geeft een beknopte beschrijving van de beleidsinstrumenten in hun onderlinge samenhang. Daarnaast worden de uitgaven in beeld gebracht en onderbouwd. Ook worden trends in de uitgaven beschreven en onderbouwd, bijvoorbeeld toegerekend aan ontwikkelingen in het gebruik, of in de kostprijs (koppeling met volume en prijzen). Belangrijk is verder dat wordt gekeken of het beleid, naast de directe uitgaven, inclusief uitvoeringskosten en bijvoorbeeld toezichtkosten, op het beleidsartikel ook leidt tot uitgaven of kosten op andere beleidsterreinen of andere begrotingen, ofwel dat de uitvoering van het beleid kosten met zich meebrengt voor andere partijen (burgers, bedrijfsleven).

Onderzoeksvragen:

• 5. Wat is de aard en samenhang van de ingezette instrumenten?

• 6. Met welke uitgaven gaat het beleid gepaard, inclusief kosten op andere terreinen of voor andere partijen?

• 7. Wat is de onderbouwing van de uitgaven? Hoe zijn deze te relateren aan de componenten volume/gebruik en aan prijzen/tarieven?

Overzicht van eerder uitgevoerd onderzoek naar doeltreffendheid en doelmatigheid

De beleidsdoorlichting bevat een overzicht van welke evaluaties van de doeltreffendheid en doelmatigheid (met bronvermelding) zijn uitgevoerd en welke evaluatiemethoden zijn gekozen, en om welke redenen: toepassingsmogelijkheden, kosten, complexiteit, en het belang van de informatie die de evaluatiemethoden opleveren. Toegelicht wordt in hoeverre het beschikbare onderzoeksmateriaal uitspraken over doeltreffendheid en doelmatigheid mogelijk maakt. Ten slotte wordt aangegeven welke beleidsterreinen (nog) niet zijn geëvalueerd op doeltreffendheid en doelmatigheid en de reden waarom dit (nog) niet kan of (nog) niet is gebeurd. Daarmee ontstaat een overzicht van de mogelijkheden en keuzes die zijn gemaakt om het betreffende beleidsterrein te evalueren.

Onderzoeksvragen:

• 8. Welke evaluaties (met bronvermelding) zijn uitgevoerd, op welke manier is het beleid geëvalueerd en om welke redenen?

• 9. Welke beleidsonderdelen zijn (nog) niet geëvalueerd? Inclusief uitleg over de mogelijkheid en onmogelijkheid om de doeltreffendheid en de doelmatigheid van het beleid in de toekomst te evalueren.

• 10. In hoeverre maakt het beschikbare onderzoeksmateriaal uitspraken over de doeltreffendheid en de doelmatigheid van het beleidsterrein mogelijk?

De doeltreffendheid en de doelmatigheid van het gevoerde beleid en de samenhang met kabinetsdoelstellingen

De beleidsdoorlichting geeft – voor zover mogelijk – een oordeel over de doeltreffendheid en de doelmatigheid van het onderzochte beleid in zijn geheel. De ingezette beleidsinstrumenten worden daarvoor in onderlinge samenhang geanalyseerd. Naast het reeds in opdracht van de overheid uitgevoerde evaluatieonderzoek kunnen daarvoor ook overige bronnen uit binnen- en buitenland worden gebruikt, zoals uitvoeringsinformatie en beschikbaar wetenschappelijk empirisch onderzoek.

Aangezien een beleidsdoorlichting zich richt op de algemene doelstelling van het artikel wordt het effect van de beleidsinstrumenten op de algemene doelstelling beoordeeld. De algemene doelstelling van een beleidsartikel is, naar zijn aard, vaak in algemene termen geformuleerd. Een eerste vraag is of de gestelde doelen zijn behaald ongeacht de inzet van beleidsinstrumenten. Het gaat hier om doelrealisatie. De volgende vraag is in hoeverre het gevoerde beleid hieraan heeft bijgedragen. De bijdrage van individuele instrumenten aan het behalen van de algemene doelstelling is soms lastig te meten. Toch moet deze bijdrage zo goed mogelijk in kaart worden gebracht. Daarbij kan het helpen om ook te inventariseren of er andere, meer concrete doelstellingen voor het beleid zijn geformuleerd. Dit kan bijvoorbeeld gebeurd zijn in de begroting of in beleidsbrieven.

De doeltreffendheid is de mate waarin het gevoerde beleid heeft bijgedragen aan het halen van de algemene doelstelling. Bij de doelmatigheid moeten de kosten van het beleid worden afgewogen tegen het effect van het beleid (en de eventuele neveneffecten) en wordt de vraag beantwoord of met een andere beleidsmix hetzelfde effect tegen minder kosten had kunnen worden bereikt, of een groter effect tegen dezelfde kosten. Daarbij wordt ook aandacht besteed aan de uitvoeringskosten van het beleid.

Het ligt voor de hand dat in de beleidsdoorlichtingen niet alleen verantwoording wordt afgelegd over het onder het beleidsartikel gevoerde beleid, maar dat ook wordt ingegaan op de bijdrage van het beleid aan bredere kabinetsdoelstellingen. Zo kan in de beleidsdoorlichting, indien relevant, worden ingegaan op de bijdrage van het beleid aan de economische groei en de vermindering van regeldruk.

Tevens zal er in het kader van ‘open data’ zo veel mogelijk naar worden gestreefd om de data waarop het onderzoek gebaseerd is te publiceren. Hierbij zal rekening worden gehouden met privacy wetgeving en de Wet openbaarheid van bestuur.

Onderzoeksvragen:

• 11. Zijn de doelen van het beleid gerealiseerd?

• 12. Hoe doeltreffend is het beleid geweest? Zijn er positieve en/of negatieve neveneffecten?

• 13. Hoe doelmatig is het beleid geweest?

Verhogen doelmatigheid en doeltreffendheid

Elke beleidsdoorlichting wordt afgerond met een beschouwing over maatregelen die getroffen kunnen worden om de doelmatigheid en doeltreffendheid verder te verhogen. De informatie en conclusies uit de beleidsdoorlichting kunnen aanleiding geven om het onderzochte beleid op één of meer onderdelen aan te scherpen of aan te passen om zo de doelmatigheid en doeltreffendheid van het beleid te verhogen en op die manier (nog) betere resultaten te halen bij het realiseren van de maatschappelijke doelstellingen van het beleid.

Onderzoeksvragen:

• 14. Welke maatregelen kunnen worden genomen om de doelmatigheid en doeltreffendheid verder te verhogen?

Verkenning van beleidsopties bij minder beschikbare middelen

In dit onderdeel wordt een verkenning gemaakt van beleidsopties die gekozen kunnen worden indien er significant minder middelen (-/- 20%) beschikbaar zijn voor het beleidsterrein. Er wordt in beeld gebracht welke keuzes dit impliceert en welke afwegingen daarbij een rol spelen. Daarbij wordt per beleidsoptie aangegeven met welke maatschappelijke effecten dat naar verwachting gepaard gaat en welke neveneffecten er zijn. De beleidsopties worden budgettair onderbouwd.

Onderzoeksvraag:

• 15. In het geval dat er significant minder middelen ( –/– 20% van de middelen) beschikbaar zijn op het (de) beleidsartikel(en)), welke beleidsopties zijn dan mogelijk?

Vijfde lid

Een afgeronde beleidsdoorlichting wordt door de betrokken Minister(s) naar de Tweede Kamer gestuurd. Dit gebeurt bij voorkeur samen met een beleidsreactie van de betrokken Minister(s) op de beleidsdoorlichting.

Zesde lid

Voor beleidsdoorlichtingen worden nadere eisen gesteld aan de wijze waarop de Tweede Kamer wordt geïnformeerd over de borging van onafhankelijkheid. Voorgeschreven is dat ten minste een van de betrokken onafhankelijk deskundigen een toelichting geeft op zijn of haar betrokkenheid en inbreng bij de totstandkoming van de beleidsdoorlichting en over de kwaliteit van de beleidsdoorlichting. Deze toelichting wordt in de beleidsdoorlichting opgenomen, bijvoorbeeld als bijlage, of samen met de beleidsdoorlichting naar de Tweede Kamer gestuurd.

Over de manier waarop de onafhankelijk deskundige deze toelichting vorm geeft worden geen regels gegeven. Wel ligt het voor de hand dat de onafhankelijk deskundige in zijn of haar oordeel in ieder geval duidelijk maakt hoe hij of zij bij de beleidsdoorlichting betrokken is geweest en in hoeverre de beleidsdoorlichting voldoet aan de kwaliteitseisen uit artikel 2.

Zevende lid

Voor een beleidsdoorlichting gelden aanvullende eisen met betrekking tot de inhoud en het borgen van de onafhankelijkheid. Voor beleidsdoorlichtingen geldt dat de onafhankelijk deskundige niet afkomstig is uit de kring van departementen. Hierdoor wordt de schijn vermeden dat de ‘rijksslager’ zijn eigen vlees keurt.

Uitzondering op deze regel zijn medewerkers van inspectiediensten en departementale onderzoeksinstellingen met een onafhankelijke status, zoals de Planbureaus, de Auditdienst Rijk, de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) bij het Ministerie van Buitenlandse Zaken, het Wetenschappelijk Onderzoek en Documentatiecentrum (WODC) bij het Ministerie van Veiligheid en Justitie of het Kennisinstituut voor Mobiliteitsbeleid (KIM) bij het Ministerie van Infrastructureel en Milieu. Zij kunnen wel als onafhankelijk deskundige optreden. Hetzelfde geldt voor onafhankelijke adviseurs van de regering, zoals de Nationale ombudsman of de Nationaal Rapporteur Mensenhandel.

Artikel 4 Evaluatie van subsidieregelingen

Met de evaluatie van de subsidieregelingen wordt de periodieke evaluatie van subsidies in de zin van de Algemene wet bestuursrecht (Awb) bedoeld (artikel 4:24 van de Awb). Dit artikel schrijft voor dat indien een subsidieregeling (artikel 4.10, eerste lid, van de CW 2016) op een wettelijke grondslag berust ten minste eenmaal in de vijf jaar een verslag wordt gepubliceerd over de doeltreffendheid en de effecten van de subsidiereling in de praktijk, tenzij wettelijk anders is bepaald. Niet elke individuele subsidieverstrekking valt dus onder de subsidie-evaluatie. De Awb stelt gelet op de grote verscheidenheid aan subsidies geen algemene nadere eisen aan de vorm of inhoud van de evaluatie. Wel is het, volgens de memorie van toelichting van de Awb, ‘vanzelfsprekend’ dat de evaluatie een adequaat inzicht geeft in de doeltreffendheid en de effecten van de subsidieregeling in de praktijk. Onderzoek naar doeltreffendheid en doelmatigheid vormt derhalve onderdeel van elke subsidie-evaluatie. Om die reden bepaalt dit artikel dat de eisen in artikel 2, eerste lid, ook van toepassing zijn voor de subsidie-evaluaties.

De periode van vijf jaar komt overeen met de maximale looptijd (vervaldatum) voor een subsidieregeling op grond van artikel 4.10, tweede lid, van de CW 2016. Indien de subsidieregeling voldoet aan de voorwaarden van de horizonbepaling op basis van artikel 4.10, derde lid, aanhef en onder a en b, van de CW 2016, vervalt de subsidieregeling later dan vijf jaren, maar niet langer dan tien jaren, na de inwerkingtreding ervan.

De Minister van Financiën, W.B. Hoekstra