31 865 Verbetering verantwoording en begroting

Nr. 212 BRIEF VAN DE MINISTER VAN VOLKSGEZONDHEID, WELZIJN EN SPORT

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 6 juli 2022

Hierbij ontvangt u de ex durante evaluatie van de pilot Lerend evalueren van het Ministerie van VWS. Om als overheid effectief te zijn, is inzicht in de kwaliteit van het beleid cruciaal. Dit inzicht wordt verkregen door evaluaties van beleid. Goed evaluatieonderzoek is complex en vereist expertise en maatwerk, met name door de combinatie van de twee hoofddoelen van evaluatieonderzoek: verantwoorden én leren.

In dit kader is het Ministerie van VWS in 2018 een pilot gestart met als doel werkende weg het inzicht in de kwaliteit van het beleid en het effect hiervan op de samenleving te verbeteren. Belangrijk hierbij is dat evaluaties onderdeel uitmaken van de beleidscyclus van het Ministerie van VWS en zodoende alle betrokkenen actief leren van de resultaten van de evaluaties. Een jaar later startte de rijksbrede operatie Inzicht in Kwaliteit¹. Het doel van deze operatie is ook het vergroten van de maatschappelijk toegevoegde waarde van overheidsbeleid. Het Ministerie van VWS was met de pilot hier al mee gestart, de pilot is als geheel opgenomen in de operatie Inzicht in Kwaliteit.

In 2019 is er een Startevaluatie² van de pilot uitgevoerd. Deze evaluatie heeft de kwaliteit en het leereffect van de beleidsdoorlichtingen onderzocht die zijn uitgevoerd in de jaren voor de start van de pilot. Ook zijn factoren beschreven die van invloed zijn op de kwaliteit van het leren van evaluaties, bijvoorbeeld de aanwezigheid van een beleidstheorie, betrekken van de praktijk of timing van de evaluatie. In de startevaluatie is geanalyseerd in hoeverre deze factoren aanwezig waren bij de beleidsdoorlichtingen. Deze factoren zijn in de ex durante evaluatie wederom geanalyseerd voor de individuele evaluaties in de pilot. Deze ex durante evaluatie is uitgevoerd om te kunnen bepalen of de pilot de gewenste resultaten oplevert en hoe het Ministerie van VWS lerend evalueren verder kan versterken in de organisatie.

Aanpak evaluatie

In de evaluatie zijn twee lijnen onderscheiden, namelijk de kwaliteit van de individuele evaluaties en de veranderkundige aspecten van het Ministerie van VWS als lerende organisatie. Hiervoor zijn twee afzonderlijke rapportages opgesteld. De resultaten uit beide lijnen geven belangrijke informatie om de kwaliteit en het gebruik van lopende en toekomstige lerende evaluaties te verbeteren. Het onderzoek is uitgevoerd door een extern onderzoeksbureau (Regioplan) en onderzoekers van het Ministerie van VWS. Het onderzoek is begeleid door een stuurgroep met deskundigen en een onafhankelijke voorzitter. Op basis van beide onderzoeken heeft de stuurgroep een appreciatie en aanbevelingen geformuleerd voor het Ministerie van VWS. De beide rapportages en de appreciatie vindt u in de bijlagen.

Doel pilot Lerend evalueren

Een belangrijk doel van de pilot is om werkende weg het inzicht in de doeltreffendheid en doelmatigheid van het beleid te vergroten. Dit inzicht wordt onder meer verkregen door te evalueren. Door niet alleen achteraf maar ook ex ante en ex durante te evalueren kan het beleid eerder worden bijgestuurd, met als einddoel de maatschappelijke impact van het beleid van het Ministerie van VWS te vergroten. Hierbij gaat het met name om evaluaties van complexe beleidsvraagstukken op het brede terrein van het Ministerie van VWS. Een ander essentieel aspect van de pilot is dat de praktijk (zoals de uitvoerende instanties en de burgers) nadrukkelijk wordt betrokken. Dit omdat het van belang is om in beeld te brengen wat de condities voor doeltreffendheid en doelmatigheid zijn, wat de implicaties zouden zijn van alternatieve beleidskeuzes. Belangrijk hierbij is om te onderzoeken hoe verschillende betrokkenen hier tegenaan kijken, juist ook vanuit de praktijk. Dit inzicht vergroot de handelingsopties. Ten slotte is de pilot er ook op gericht om binnen het Ministerie van VWS een nieuwe manier van omgaan met beleidsonderzoek tot stand te brengen. Evalueren moet een vast en logisch onderdeel worden van de beleidscyclus om zodoende het beleid te monitoren en te verbeteren. Evalueren is een mogelijkheid om te reflecteren.

In deze brief worden eerst kort de conclusies van de rapportages weergegeven. Vervolgens wordt toegelicht hoe het Ministerie van VWS de aanbevelingen uit de rapportages gaat uitwerken om zo het lerend evalueren te versterken in de organisatie.

Conclusies ex durante evaluatie

De evaluatie bestaat uit twee delen; onderzoek naar de kwaliteit van de individuele evaluaties en actieonderzoek naar de veranderkundige aspecten van het Ministerie van VWS als lerende organisatie. Beide onderzoeken geven conclusies en aanbevelingen. De stuurgroep heeft een appreciatie op de onderzoeken gegeven en komt ook met aanbevelingen. Hieronder wordt kort per onderdeel de conclusies en aanbevelingen beschreven.

Regioplan heeft de kwaliteit van de individuele evaluaties onderzocht en stelt dat de evaluaties vaak een kwalitatieve indruk van doeltreffendheid geven en in zeer beperkte mate zicht op doelmatigheid. Er worden kleine stappen gezet richting het meer leren van evalueren. Regioplan ziet dat er nog veel winst te behalen is door stappen te zetten om het zicht op doeltreffend en doelmatigheid te versterken, om het op leren gerichte karakter van evaluaties te vergroten en om benutting te versterken.

Uit het actieonderzoek blijkt dat er binnen het Ministerie van VWS over het algemeen enthousiasme is over lerend evalueren. Het geeft ruimte en vrijheid om evaluaties zo vorm te geven dat veldpartijen en de praktijk goed kunnen worden betrokken en dat werkende weg beleid kan worden verbeterd. De focus van lerend evalueren op de maatschappelijke impact helpt ook om de doelstelling van het beleid leidend te laten zijn in een evaluatie. De ondersteuning vanuit de pilot wordt ook als waardevol aangemerkt. Aan de andere kant wordt soms te veel vrijheid gegeven en bestaat er vaak nog onduidelijkheid over de te hanteren methodieken en onbekendheid over begrippen zoals beleidstheorie. Een gestructureerd evaluatieprogramma met verschillende methoden, mogelijkheden en een goede ondersteuning zijn daarom essentieel.

De stuurgroep die de evaluatie heeft begeleid ziet een wisselend beeld. Enerzijds heeft de pilot ervoor gezorgd dat het Ministerie van VWS het beleid vaker dan voor de pilot is gaan evalueren en de vragen die worden gesteld, worden goed beantwoord. Anderzijds mogen meer vrijheden bij evalueren niet leiden tot het negeren van vragen over inzicht in doelmatigheid. Inzicht in doelmatigheid is niet alleen nodig om te verantwoorden dat publieke middelen goed worden besteed, maar juist ook om te leren.

Versterken evaluatiefunctie bij het Ministerie van VWS

De pilot fase loopt eind dit jaar af. De resultaten van de ex durante evaluatie ondersteunen de koers die het Ministerie van VWS met lerend evalueren heeft ingezet en ik wil deze verder brengen.

Ook rijksbreed wordt het versterken van de evaluatiefunctie gestimuleerd. In het kader van de operatie Inzicht in Kwaliteit is rijksbreed ingezet op een nieuwe manier van evalueren. Zie de voortgangsrapportage van de operatie³. Dit heeft ook geleid tot een voorstel voor herziening van de Regeling periodieke evaluatie (RPE)⁴, waarin de nieuwe departementale Strategische Evaluatieagenda (SEA) wordt verankerd. De motivatie voor de herziening is dat door de betere aansluiting op de beleidscyclus, de SEA tussentijdse bijsturing faciliteert van beleid op basis van opgedane inzichten uit vooraf strategisch geplande evaluaties.

Deze ex durante evaluatie is ook een lerende evaluatie; dat betekent dat niet alleen achteraf wordt onderzocht of de pilot effectief was, maar ik de aangereikte handvatten uit het ex durante onderzoek ook zal benutten om de evaluatiefunctie bij het Ministerie van VWS te versterken.

De aanbevelingen zijn samen te vatten in drie hoofdpunten.

• 1. Verbeteren kwaliteit van de individuele evaluaties: het gebruik van de beleidstheorie bevorderen, het inzicht in doelmatigheid verhogen.

• 2. Verbeteren van het leren: verdere ontwikkeling Strategische Evaluatieagenda (SEA), vooraf de leerbehoeften of leervragen onderbouwen, verbeteren gebruik resultaten evaluaties.

• 3. Lerende organisatie: investeren in (de ondersteuning van) beleidsmedewerkers, commitment top departement.

Ad 1 Verbeteren kwaliteit van de individuele evaluaties

Uit de ex durante evaluatie komt naar voren dat er veel vrijheid is om de onderzoeksvragen te formuleren. Het advies is hier meer op te sturen, ik neem dit advies over.

Het op een goede wijze invulling geven aan de geboden ruimte is een groeiproces. Belangrijke ontwikkelstappen zijn kennis en ervaring op doen met achtergronden, begripsvorming en voor het Ministerie van VWS nieuwe methoden voor evaluatieonderzoek.

Ik ga een expertisecentrum opzetten om zodoende meer ondersteuning en sturing te bieden bij evaluaties. Het expertisecentrum is een kennisplatform dat ondersteuning biedt in de verschillende fasen van het opzetten en uitvoeren van onderzoek: oriëntatie op kennis- en evaluatiebehoefte, opstellen leervragen en taakopdracht, organiseren onderzoek, uitvoeren onderzoek en opvolging adviezen. Daarnaast krijgt het expertisecentrum ook een toetsende taak; een taakopdracht moet verplicht worden besproken. Daarbij wordt getoetst of er een beleidstheorie is of wordt ontwikkeld, zijn de leervragen helder en hoe de doelmatigheid van beleid wordt onderzocht. Het expertisecentrum bestaat uit medewerkers vanuit verschillende disciplines van het VWS-concern en waar nodig ook externe deskundigen.

Ad 2 Verbeteren van het leren

De rapportages bevatten verschillende aanbevelingen om het leren van evalueren te versterken. Ik ga verder met de doorontwikkeling van de Strategische Evaluatieagenda (SEA). Evalueren moet een integraal onderdeel worden van het beleidsproces en vooraf moet duidelijk zijn wat we willen leren. De praktijk wordt ook nadrukkelijk betrokken, zowel bij het formuleren van de leerbehoefte als de uitvoering van het onderzoek.

Om de SEA verder te onderbouwen komt er een onderzoekprogrammering waarin lerende evaluaties en andere (meer reguliere) evaluaties een plek hebben, zodat verschillende typen evaluaties elkaar kunnen verrijken. In de evaluatie eerste ervaringen met de Strategische Evaluatieagenda (SEA)⁵ uitgevoerd in opdracht van het Ministerie van Financiën, wordt het Ministerie van VWS op dit onderdeel als goed voorbeeld genoemd. De belangrijke begrotingsartikelen en beleidsprioriteiten komen helder en navolgbaar terug in de SEA-thema’s. Daarnaast is er een duidelijke prioritering in de thema’s aangebracht (p.13).

De SEA wordt versterkt door het formuleren van inzichtbehoeften. De inzichtbehoeften vormen het fundament voor het maken van strategische keuzes rond het programmeren van (ex-ante, ex-durante en ex-post) evaluatieonderzoeken. De inzichtbehoeften komen onder meer voort uit (een prioritering van) kennislacunes, naderende besluitvormingsmomenten en vaststaande (verplichte) evaluatiemomenten⁶.

Lerend evalueren is een integraal onderdeel van het beleidsproces en daarmee onderdeel van de kerntaak van beleid. Via deze manier van werken wordt bereikt dat er nadrukkelijk wordt gekeken naar de maatschappelijke impact van beleid, ervaringen en dat hier lessen uit worden getrokken. Hierdoor ontstaat een continu proces van leren en verbeteren. Zo komen in de lerende evaluatie leren en verantwoorden samen. Dit leidt tot een lerende organisatie waarin het Ministerie van VWS haar eigen handelen durft te confronteren met de effecten ervan in de samenleving en daarvan leert.

Bij iedere evaluatie zal vooraf meer aandacht komen voor de leerbehoeften van de verschillende betrokkenen, en hoe de inzichten uit het onderzoek benut moeten worden. Door ook de perspectieven van de verschillende stakeholders te betrekken komt er beter inzicht op de implicatie van het beleid in de praktijk. Door de leerbehoeften vooraf goed te formuleren worden de onderzoeksvragen meer gericht op leren en op het handelingsperspectief van de betrokkenen.

Ook wil ik meer aandacht geven aan onbedoelde en onverwachte effecten van beleid. Juist van de onbedoelde en onverwachte effecten is te leren. Evaluatieresultaten zijn geen afreken momenten maar leerlessen voor verbetering of doorstart.

Ad 3 Lerende organisatie

De evaluatie geeft als aanbeveling door te gaan met lerend evalueren en voldoende middelen beschikbaar te stellen voor de ondersteuning, begeleiding en benutting ervan. Betrokkenheid van (top) management is daarbij belangrijk.

Evalueren wordt verder ingebed in de beleidscyclus, mede door de nieuwe regelgeving zoals de invoeringstoets bij nieuw beleid die is opgenomen in het integraal afwegingskader (IAK) en de verplichting van het monitoren en evalueren van beleid zoals opgenomen in de Comptabiliteitswet (art. 3.1.).

Gedurende het jaar zal structureel door de ambtelijke top worden gevolgd hoe de evaluaties vorderen en hoe de adviezen uit evaluaties worden opgepakt. Op deze wijze wordt meer aandacht gegeven aan evalueren en ontstaat een bestuursstijl gericht op ruimte voor reflectie en evalueren.

Het voorbeeldgedrag van leidinggevenden is belangrijk om verandering te stimuleren en is voor de verantwoordelijk beleidsmedewerker een ondersteuning om lerend te evalueren. De praktische ondersteuning bij een evaluatie wordt verder versterkt door het op te richten expertisecentrum. De al bestaande ondersteuning zoals onderlinge kennisuitwisseling, opleidingen en de toolbox (praktische en methodologische ondersteuning bij het uitvoeren van een evaluatie) wordt voortgezet.

Slot

De ex durante evaluatie geeft het Ministerie van VWS voldoende vertrouwen om verder te gaan met lerend evalueren. In de rijksbrede Evaluatie van de SEA⁷ wordt het Ministerie van VWS als good practise genoemd voor lerend evalueren. Hiervoor wordt onder andere genoemd dat de aandacht voor evalueren eerder in het beleidsproces is komen te liggen. De keuze voor samenhangende beleidsonderwerpen zorgt voor meer integraal evaluatieonderzoek. En door de praktijk bij evaluaties te betrekken, worden ervaringen van mensen («leefwereld») gekoppeld aan de regelgeving van het zorgstelsel («systeemwereld»).

Ik wil het lerend evalueren binnen het Ministerie van VWS verder versterken en de aanbevelingen uit de ex durante evaluatie zijn hierbij goede handvatten. Lerend evalueren is daarmee geen pilot meer maar is een vast onderdeel van de beleidscyclus geworden. Dit wordt mede ondersteund door het voorstel van herziene regelgeving voor de RPE⁸.

Deze versterking van de evaluatiefunctie vraagt ook de komende jaren tijd, energie en aandacht van het Ministerie van VWS. Ik zal u op de hoogte houden van de ontwikkeling. In de begroting 2023 van het Ministerie van VWS wordt de SEA opgenomen waarbij ingezet wordt op goede onderbouwing en strategische invulling qua onderwerpen en in de tijd.

Over twee jaar wordt opnieuw onderzoek uitgevoerd naar lerend evalueren binnen het Ministerie van VWS.

De Minister van Volksgezondheid, Welzijn en Sport, E.J. Kuipers

---

1 Kamerstuk 31 865, nr. 118, Verbetering verantwoording en begroting. Start operatie Inzicht in Kwaliteit.

2 Bijlage bij Kamerstuk 31 865, nr. 150

3 Kamerstuk 31 865, nr. 184, Vierde voortgangsrapportage operatie Inzicht in Kwaliteit.

4 Kamerstuk 31 865, nr. 203, Herziening Regeling periodieke evaluatie (RPE).

5 Kamerstuk 31 865 nr. 206, Evaluatie eerste ervaringen met de Strategische Evaluatieagenda (SEA)

6 Kamerstuk 31 865 nr. 206, Evaluatie eerste ervaringen met de Strategische Evaluatieagenda (SEA) p.14

7 Kamerstuk 31 865 nr. 206, Evaluatie eerste ervaringen met de Strategische Evaluatieagenda (SEA) p.16

8 Kamerstuk 31 865, nr. 203 Verbetering verantwoording en begroting