31 865 Verbetering verantwoording en begroting

Nr. 126 BRIEF VAN DE MINISTER VAN FINANCIËN

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 4 februari 2019

In mijn brief van 6 juli 2018 (Kamerstuk 31 865, nr. 118) schetste ik u de contouren van de in het regeerakkoord (bijlage bij Kamerstuk 34 700, nr. 34) aangekondigde operatie «Inzicht in Kwaliteit» (hierna: de operatie). Daarin kondigde ik aan uw Kamer halfjaarlijks te informeren over de voortgang van de operatie. Met deze brief stuur ik u de eerste voortgangsrapportage¹.

Woord vooraf

Het doel van de operatie is om meer inzicht te krijgen in de resultaten van beleid en daarnaar te handelen, waardoor de maatschappelijke toegevoegde waarde van publieke inspanningen wordt vergroot. Aanleiding is de breed gedeelde opvatting dat burgers recht hebben op een doeltreffende en doelmatige besteding van schaarse publieke middelen – en de constatering dat we dat nu niet altijd volledig weten.

In mijn antwoord op vragen van de vaste commissie voor Financiën van 5 oktober 2018 (Kamerstuk 31 865, nr. 121) heb ik meer toelichting gegeven op de aanpak van de operatie. De operatie kent een tweeledige aanpak: ik werk met alle departementen aan concrete initiatieven om inzicht in de toegevoegde waarde van specifiek beleid te vergroten, en ik werk samen met departementen aan het versterken van het onderliggende evaluatiestelsel² om inzicht en toegevoegde waarde structureel te vergroten.

In deze toelichting plaatste ik ook een kanttekening bij de aanpak van de operatie: het structureel versterken van het evaluatiestelsel is een complexe opgave waarbij het risico op een «papieren exercitie» op de loer ligt. We beginnen daarbij zeker niet op nul. Internationaal staat dit huidige evaluatiestelsel goed aangeschreven. Alle departementen en andere betrokkenen werken al aan het creëren van inzicht in de toegevoegde waarde van beleid. Onze gezamenlijke ambitie is alleen nog hoger. Om dit te realiseren zijn geen pasklare oplossingen voorhanden.

In deze voortgangsrapportage informeer ik u over de nadere invulling van de departementale initiatieven en de eerste inzichten die ik heb opgedaan over het functioneren van het huidige evaluatiestelsel. Daarnaast informeer ik u over een ander onderwerp dat binnen de scope van de operatie valt: de eerste bevindingen en vervolgstappen uit het monitoren van artikel 3.1 van de Comptabiliteitswet. Dit artikel stelt dat beleidsvoorstellen, -voornemens en -toezeggingen naar uw Kamer vergezeld moeten gaan van – onder andere – toelichting op de verwachte doeltreffendheid en doelmatigheid.

Hoofdpunten

De inhoud van deze voortgangsrapportage bestaat uit vijf punten die deels in deze brief en deels in de bijbehorende bijlagen worden toegelicht:

• 1. Met alle departementen zijn initiatieven geselecteerd. Deze initiatieven zijn geselecteerd op grond van drie criteria: [a] de overtuiging dat meer inzicht op dit terrein het mogelijk maakt om maatschappelijke toegevoegde waarde te verhogen; [b] het potentiële leereffect voor de operatie in de zoektocht naar structurele versterking van het evaluatiestelsel; en [c] de diversiteit van het totale portfolio aan initiatieven om het totale leereffect te maximaliseren. Bijlage 1 bevat de lijst met initiatieven en een toelichting op de selectiecriteria en vervolgstappen³.

• 2. Om richting te geven aan het nadenken over het versterken van het evaluatiestelsel is een belangrijke vraag wanneer het evaluatiestelsel succesvol is en daarmee wat het richtpunt voor de operatie is. Uitgangspunt is dat het evaluatiestelsel als doel heeft om gedurende het hele beleidsproces bruikbare inzichten te genereren over de (verwachte) kosten en resultaten van beleid en mogelijke verbetering daarvan. Deze inzichten moeten bruikbaar zijn voor twee doeleinden: verbeteren en verantwoorden. Dit uitgangspunt vraagt wel om verdere uitwerking, met name hoe vanuit dit uitgangspunt een succesvol functionerend stelsel eruitziet. Verderop in deze brief geef ik een eerste aanzet tot een antwoord – als startpunt voor verdere discussie.

• 3. De afgelopen maanden is gestart met een overkoepelende analyse van het evaluatiestelsel. Deze analyse bestaat momenteel uit twee delen: [a] een feitelijke beschrijving van het huidige stelsel; [b] een eerste inzicht in de mate waarin het stelsel momenteel functioneert. Beide onderdelen zijn gebaseerd op synthese-onderzoek van bestaande bronnen en literatuur, aangevuld met interviews en een uitvraag binnen departementen. Voor het tweede deel heb ik een onafhankelijke partij (Stichting Economisch Onderzoek) gevraagd om aanvullend feitenonderzoek te doen naar specifiek het instrument beleidsdoorlichting⁴. Hieronder benoem ik kort de voornaamste inzichten, die in bijlage 2 en 3 worden toegelicht⁵. Voor al deze inzichten geldt dat dit tussenresultaten zijn waar ik nog geen conclusies aan verbind. De komende tijd zal ik samen met de departementen op basis van deze tussenresultaten en lessen uit de rest van de operatie voorstellen uitwerken om het stelsel te versterken.

  • a. Feitelijke beschrijving evaluatiestelsel

    • Het evaluatiestelsel bestaat uit diverse losstaande wetten, regels en instrumenten waarmee verschillende actoren werken aan het vergroten van inzicht en maatschappelijke toegevoegde waarde.

    • Een set Rijksbrede instrumenten speelt een centrale rol in dit stelsel. In de fase van beleidsvoorbereiding gaat het om instrumenten als het Integraal Afwegingskader (IAK), de Maatschappelijke Kosten Baten Analyse (MKBA) en de publieke business case en in de fase van uitvoering en verantwoording om bijvoorbeeld evaluaties van wetgeving, subsidies, doorlichtingen van agentschappen en beleidsdoorlichtingen. Daarnaast worden er jaarlijks Interdepartementale Beleidsonderzoeken (IBO’s) uitgevoerd waarmee beleidsopties worden geïnventariseerd en zijn in het verleden Brede Heroverwegingen uitgevoerd om besparingsopties in kaart te brengen.

    • Departementen maken uiteenlopende keuzes bij de praktische invulling van het evaluatiestelsel.

  • b. Functioneren evaluatiestelsel in de praktijk

    • Het Nederlandse evaluatiestelsel staat internationaal goed aangeschreven: evaluatie is wettelijk geborgd, veel beleidsterreinen worden geëvalueerd en er is een sterke traditie van onafhankelijke instituties die de overheid scherp houden.

    • Het grootste deel van de evaluaties gaat over specifieke instrumenten en individuele beleidsmaatregelen. De grote diversiteit maakt een overkoepelende conclusie moeilijk, maar het algemene beeld is dat deze evaluaties bruikbare inzichten geven in gerealiseerde prestaties en mogelijkheden voor procesmatige verbeteringen.

    • Bij Rijksbrede instrumenten lijkt ruimte voor verbetering: instrumenten die primair gericht zijn op «verbetering van beleid» zoals IBO’s en Heroverwegingen, leveren daarvoor veelal bruikbare inzichten op, maar worden selectief ingezet. Rijksbrede instrumenten die primair gericht zijn op verantwoording, zoals beleidsdoorlichtingen, geven vaak wel inzicht in geleverde prestaties, maar slagen beperkt in het genereren van inzichten in de gerealiseerde doeltreffendheid en doelmatigheid.

    • Verdiepend onderzoek van SEO naar het instrument beleidsdoorlichting laat zien dat bijna tweederde van de beleidsdoorlichtingen uitspraken worden gedaan over de doeltreffendheid en in eenderde (ook) over doelmatigheid, en dat de meeste beleidsdoorlichtingen aanbevelingen bevatten om de doeltreffendheid en doelmatigheid te verbeteren. De conclusies over doeltreffendheid en doelmatigheid zijn wel van wisselende kwaliteit. Volgens SEO zou – ook wanneer rekening wordt gehouden met complexiteit van onderzoek naar veel beleidsterreinen – meer inzicht mogelijk moeten zijn.

    • Ministeries krijgen wisselende prikkels om structureel goed te evalueren. Ondanks formele evaluatieverplichtingen verschilt de mate waarin er op departementen sprake is van een vanzelfsprekende «evaluatiecultuur». In de praktijk werkt belemmerend dat de winst van een positieve evaluatie-uitkomst doorgaans kleiner is dan het afbreukrisico bij een slechte uitkomst.

• 4. Een stap die al gezet is in het verder versterken van het evaluatiestelsel is het in werking treden van de herziene Comptabiliteitswet op 1 januari 2018. Ik ben begonnen met het monitoren van artikel 3.1 CW. Hierin valt onder andere op dat er nog ruimte voor verbetering zit in de toepassing en dat voor een zinvolle toepassing van 3.1 CW nadere afbakening van de reikwijdte van het artikel behulpzaam is. Ik zal hiertoe samen met departementen een voorstel uitwerken en daarbij ook nadrukkelijk de Kamer als «afnemer» van de informatie betrekken. Bijlage 4 bevat eerste lessen uit deze monitor⁶. Op basis van de lessen uit deze monitor zal ik het komende jaar bijzondere aandacht hebben voor de toepassing van artikel 3.1 CW. In de komende voortgangsrapportage zal ik hierover wederom rapporteren. Om de gewenste kwaliteitsverbetering te bevorderen zal mijn ministerie tevens het onderling leren tussen ministeries blijven stimuleren door intervisie in interdepartementaal verband.

• 5. Naast het opstarten van de initiatieven, de overkoepelende analyse van het evaluatiestelsel en het monitoren van artikel 3.1 CW heb ik samen met collega’s bij departementen de afgelopen tijd eerste praktische stappen gezet om het evaluatiestelsel verder te versterken:

  • a. De schrijfwijzer 3.1 CW is inmiddels vervangen door aanvullingen in het Integraal Afwegingskader (IAK) op de punten doeltreffendheid en doelmatigheid. In hetzelfde IAK is ook invulling gegeven aan de motie Van Weyenberg/Dijkgraaf om bij substantiële beleidswijzigingen aan te geven of en hoe deze geëvalueerd gaan worden;

  • b. Vanuit de operatie faciliteren we kennisdeling tussen departementen in de vorm van themabijeenkomsten en organiseren we in het voorjaar een congres om een grotere groep ambtenaren, onderzoekers en stakeholders te betrekken bij deze kennisdeling;

  • c. Ook individuele departementen werken aan concrete verbeteringen om het evaluatiestelsel te versterken. Zo werkt OCW aan het ontsluiten van data over scholen om het horizontaal toezicht te versterken en subsidieert BZK onderzoek naar de productiviteit van de Nederlandse publieke sector (zie bijvoorbeeld www.trendsinpubliekesector.nl). Mijn eigen departement kent sinds kort – in navolging van de Ministeries van EZK en LNV – een Commissie Beleidsevaluatie om de interne aandacht voor en kwaliteit van beleidsevaluaties te vergroten. Bijlagen 1 en 2 bevatten meer voorbeelden van wat departementen allemaal doen.

Deze opsomming vormt een kleine selectie van de diverse «good practices» die reeds in de praktijk worden gebracht. Samen met de departementale initiatieven is dit input om de komende maanden te werken aan structurele versterking van het stelsel.

Richtpunt voor de operatie

Een belangrijke vraag om te beantwoorden is wanneer het evaluatiestelsel «succesvol» is – en daarmee wat het richtpunt voor de operatie is. Uitgangspunt is dat het evaluatiestelsel als doel heeft om gedurende het hele beleidsproces bruikbare inzichten te genereren over de (verwachte) resultaten en kosten van beleid en mogelijke verbetering daarvan. Deze inzichten moeten bruikbaar zijn voor twee doeleinden: verbeteren en verantwoorden. Tussen deze doeleinden bestaat in de praktijk soms spanning, maar ze zijn beide essentieel om de toegevoegde waarde van beleid zo groot mogelijk te maken.

De vervolgvraag – na dit algemene uitgangspunt – is: wanneer is het stelsel succesvol in het generen van bruikbare inzichten? Hier is in mijn optiek geen generiek antwoord op mogelijk. Welke mate van inzicht als succes kan worden gezien hangt van meerdere factoren af, zoals:

• De kenmerken van het beleidsterrein (Bijvoorbeeld: leent het beleidsterrein zich voor onderzoek met behulp van nulmetingen en controlegroepen, of is dat onmogelijk of onwenselijk?);

• De fase van de beleidscyclus (Bijvoorbeeld: staan we voor een nieuw probleem waar nog weinig onderzoek naar gedaan is maar wel een beleidskeuze moet worden gemaakt, of evalueren we een langlopende maatregel?);

• De omvang van de maatregel (Bijvoorbeeld: is de inzet van evaluatie-instrumenten in proportie met de omvang van de maatregel?).

Het antwoord op deze vragen verschilt per beleidsterrein en per moment. Het doel van het stelsel zou moeten zijn om zo veel inzicht te genereren als realistisch mogelijk en doelmatig is gegeven de kenmerken van het beleidsterrein en fase in het beleidsproces. Hoewel een absolute standaard voor «bruikbaar inzicht» daarmee niet mogelijk is, kunnen we voor het hele evaluatiestelsel wel een richtpunt geven van een specifieke werkwijze in alle stappen van de beleidscyclus en bijbehorende houding en gedrag stimuleren die maakt dat zo veel mogelijk bruikbaar inzicht gegenereerd zal worden.

Als schot voor de boeg voor dit richtpunt, onafhankelijk van de specifieke instrumenten die vandaag de dag gebruikt worden, heb ik het volgende ideaalbeeld voor ogen:

• Bij substantiële beleidsvoornemens wordt aan de voorkant maximaal nagedacht over het maatschappelijke doel en hoe het voorgestelde beleid hieraan bijdraagt, inclusief gebalanceerde afweging van mogelijke alternatieven. Nieuw beleid is vaak ook een politieke keuze. Ook bij besluiten die voortkomen uit politieke onderhandeling wordt de beleidstheorie transparant gemaakt en worden verwachte directe en indirecte effecten op korte en lange termijn zoveel mogelijk inzichtelijk gemaakt;

• Bij alle grote beleidsterreinen wordt zo veel mogelijk gewerkt met «monitoren en bijsturen». Aan de voorkant wordt scherp nagedacht over wat voor deze monitoring nodig is, hoe en wanneer hier lessen uit worden getrokken en wanneer verantwoording over resultaten wordt afgelegd;

• Voor grote beleidsterreinen wordt periodiek de balans opgemaakt om na te denken over grote en kleine verbeteringen. In verkiezingsprogramma’s en formaties kan voor alle grote beleidsdossiers standaard teruggegrepen worden op actuele overzichten van weloverwogen beleidsalternatieven – bij gelijkblijvende budgetten, maar ook als blijkt dat er meer of minder middelen beschikbaar komen;

• Beleidsmedewerkers hebben de motivatie, kennis en creativiteit om keuzes maximaal te onderbouwen en resultaten zo snel mogelijk inzichtelijk te maken. Ze krijgen tijd, ruimte en waardering om zo veel mogelijk inzicht te krijgen in de toegevoegde waarde van publieke inspanningen voor de maatschappij;

• In het politieke debat wordt expliciet gevraagd om onderbouwing van de maatschappelijke toegevoegde waarde van beleid en wordt het beschikbare inzicht gebruikt als belangrijke overweging bij het beoordelen en vormgeven van beleid.

Over de wenselijkheid van dit richtpunt en de verdere operationalisering ga ik de komende maanden nader in gesprek met alle betrokken partijen. De vervolgstap is vervolgens om te onderzoeken op welke punten de huidige praktijk afwijkt van het richtpunt en welke interventies kunnen bijdragen om daarnaartoe te werken. Waar nodig zal daarbij ruimte zijn voor maatwerk per departement. Ik verwacht met de departementale initiatieven en verdere analyse van nationale en internationale voorbeelden zowel veel lessen op te doen over dit richtpunt als over de benodigde randvoorwaarden om daar te komen.

Vervolgstappen

De operatie is een leerproces voor alle betrokkenen zonder pasklaar draaiboek voor de komende jaren. Zeker is dat we ook in 2019 verder werken met de initiatieven waar we de afgelopen maanden mee gestart zijn en daarbij streven naar zo veel mogelijk concrete resultaten – zowel in de initiatieven als in het stelsel als geheel.

Ik zal na het zomerreces een volgende voortgangsrapportage sturen en verwacht daarin in ieder geval de volgende punten terug te laten komen:

• Een statusupdate van de departementale initiatieven, met naast inzicht in de voortgang per initiatief ook een overzicht van eerste lessen die we opgedaan hebben in deze initiatieven;

• Een vervolg op de analyse van het evaluatiestelsel met in ieder geval aandacht voor het ex-ante instrumentarium en internationale «good practices» voor het verder ontwikkelen van de evaluatiefunctie;

• Een eventuele aanscherping van het richtpunt van de operatie met eerste inzichten over de belangrijkste veranderingen die nodig zijn om naar dit richtpunt toe te werken.

Ik ga graag in gesprek over deze voortgangsrapportage en vervolgstappen met uw Kamer – en in het bijzonder met uw leden Sneller en Snels als rapporteurs – tijdens het algemeen overleg over Rijksbrede ontwikkelingen in begroten en verantwoorden op 14 februari 2019. Alleen samen kunnen we deze operatie tot een succes maken en daarmee de maatschappelijke toegevoegde waarde van publieke uitgaven zowel op de korte als lange termijn verhogen.

De Minister van Financiën, W.B. Hoekstra

---

1 Raadpleegbaar via www.tweedekamer.nl

2 Ik gebruik de term «evaluatiestelsel» als overkoepelend begrip voor alle inspanningen gericht op het creëren van inzicht in de toegevoegde waarde van beleid. Dit stelsel omvat naast ex-post evaluaties ook bijv. de monitoring van resultaten en de ex-ante evaluatie van mogelijke beleidsalternatieven. Dit stelsel is opgebouwd uit meerdere wetten, richtlijnen en instrumenten, maar wordt daarnaast in de praktijk vormgegeven door de houding en gedrag van alle betrokken actoren. In het vervolg van deze brief en de bijlagen ga ik nader in op de beschrijving van dit stelsel.

3 Raadpleegbaar via www.tweedekamer.nl

4 Raadpleegbaar via www.tweedekamer.nl

5 Raadpleegbaar via www.tweedekamer.nl

6 Raadpleegbaar via www.tweedekamer.nl