31 865 Verbetering verantwoording en begroting

Nr. 150 BRIEF VAN DE MINISTER VAN VOLKSGEZONDHEID, WELZIJN EN SPORT

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 25 juni 2019

Hierbij ontvangt u de rapportage van de startevaluatie van de pilot Lerend evalueren van het Ministerie van VWS¹. De startevaluatie is uitgevoerd om te leren van ervaringen met beleidsdoorlichting uit het verleden en in de toekomst te kunnen bepalen of de pilot het gewenste resultaat oplevert.

Een belangrijk doel van de pilot is om werkendeweg het inzicht in de doeltreffendheid en doelmatigheid van het beleid te vergroten en om op basis daarvan het beleid te verbeteren. De pilot Lerend evalueren werkt met een meerjarenprogramma van evaluaties voor de periode 2018–2022. De evaluaties hebben betrekking op beleidsvraagstukken op het brede beleidsterrein van VWS. In de uitvoering daarvan wordt nadrukkelijk de praktijk betrokken en wordt geëxperimenteerd met voor VWS vernieuwende evaluatiemethoden. De programmering van de evaluaties omvat naast ex post evaluaties ook ex ante en ex durante onderzoeken zodat er een betere aansluiting is op de beleidscyclus.

Om te kunnen bepalen of de pilot het gewenste resultaat heeft, is voorzien in een startevaluatie in 2018–2019, een evaluatie in 2020–2021 en een eindevaluatie in 2022. Hierbij is het belangrijkste evaluatiecriterium of het inzicht in de doeltreffendheid en de doelmatigheid van het beleid is toegenomen en of dit inzicht daadwerkelijk wordt gebruikt om het beleid te verbeteren.

VWS en Financiën hebben de startevaluatie gezamenlijk uitgevoerd onder leiding van een onafhankelijk voorzitter. Het onderzoek is begeleid door een commissie van twee onafhankelijke wetenschappers op het gebied van evalueren, directeuren van VWS, een medewerker van Financiën en twee medewerkers van de Algemene Rekenkamer als toehoorders.

Voor de startevaluatie is gebruikt gemaakt van de contouren van de pilot zoals opgenomen in de brief aan de Tweede Kamer bij de start van de pilot Lerend evalueren². Hieruit zijn factoren naar voren gekomen die invloed hebben op de kwaliteit (mate van inzicht in doeltreffendheid en doelmatigheid) en het leren van evaluaties. In deze startevaluatie is voor acht eerder uitgevoerde beleidsdoorlichtingen geanalyseerd in hoeverre deze factoren aanwezig waren.

Bevindingen evaluaties 2014–2017

De onafhankelijkheid van de onderzoeken was goed geborgd; meestal door een onafhankelijk voorzitter van de begeleidingscommissie van het onderzoek. Er was voldoende kennis van evalueren aanwezig bij de onderzoekers en de betrokken beleidsmedewerkers. De onderzoeksmethode was passend bij de betreffende beleidsdoorlichting, de vragen van de Regeling Periodiek Evaluatieonderzoek zijn gebruikt als kader.

Er zijn ook factoren waar minder goed op werd gescoord. Bij geen van de doorlichtingen bleek dat de beleidstheorie vooraf goed was uitgeschreven, wel was het mogelijk om deze achteraf te reconstrueren. De beleidsdoorlichtingen betroffen vaak een aantal individuele beleidsinstrumenten op één begrotingsartikel die niet noodzakelijk een samenhangend beleidsvraagstuk omvatten. Daardoor was het moeilijk een synthese van het beleid uit te voeren. De beleidsdoorlichtingen gaven beperkt inzicht in de doeltreffendheid en doelmatigheid van het beleid en hadden daardoor onvoldoende toegevoegde waarde om van te leren.

De beperkte toegevoegde waarde van de uitgevoerde beleidsdoorlichtingen was voor VWS de aanleiding van het initiatief voor de pilot Lerend evalueren. De pilot onderzoekt hoe de kwaliteit van de evaluatiepraktijk en het leervermogen van de organisatie kan worden verbeterd. De factoren die hier invloed op hebben zijn nu expliciet gemaakt en zijn voor de pilot aangrijpingspunten voor verbetering.

De resultaten van deze startevaluatie zijn in lijn met andere onderzoeken. De Algemene Rekenkamer³, de Studiegroep Begrotingsruimte⁴ en de Tweede Kamer⁵ hebben ook geconcludeerd dat de kwaliteit van beleidsdoorlichtingen kan worden verbeterd. In 2018 is rijksbreed de Operatie Inzicht in Kwaliteit gestart⁶. De operatie heeft tot doel om de maatschappelijke toegevoegde waarde van publiek geld te vergroten door meer inzicht in de impact van beleid te krijgen en daar naar te handelen. De pilot van VWS maakt nu onderdeel uit van deze operatie.

Leren door evalueren

Deze startevaluatie geeft als onderdeel van de pilot Lerend evalueren belangrijke input voor het leerproces. Het uitvoeren van dit onderzoek door VWS heeft in dit kader een aantal leerpunten opgeleverd:

• Het vooraf expliciet maken van het doel en de (verwachte) werking van voorgenomen beleid is van belang om goed te kunnen evalueren.

• Het ontwikkelen van een passende evaluatiemethodiek vergt veel aandacht en tijd. Deze investering in de voorkant van het onderzoek, betaalt zich echter ruimschoots terug in transparante uitkomsten.

• Het betrekken van externe deskundigen bij het begeleiden van het onderzoek en een onafhankelijk voorzitter verbeteren de methodiek en borgt de onafhankelijkheid.

• Om daadwerkelijk te kunnen leren en het beleid te verbeteren is een lerende organisatie van belang. Factoren die hierbij een rol spelen zijn: het management ondersteunt het om kritisch te kunnen reflecteren op het gevoerde beleid en de lessen van evaluaties worden daadwerkelijk gebruikt om het beleid aan te passen.

Vooruitblik

De pilot Lerend evalueren heeft als doel de kwaliteit van de beleidsevaluaties te verhogen en er meer van te leren. De pilot zet in op het verbeteren van de factoren die de kwaliteit beïnvloeden om dit doel te bereiken, zoals meer aandacht voor het vooraf expliciteren van de beleidstheorie. De inhoud staat centraal en wordt niet begrensd door de begrotingsindeling van VWS. In de aanpak van de pilot wordt daarnaast gewerkt met een praktijkgericht en interactief ondersteuningsprogramma voor de betrokken beleidsmedewerkers en onderzoekers.

Ik zal uw Kamer jaarlijks in september voor Prinsjesdag informeren over de voortgang van de pilot. Daarbij worden de taakopdrachten van de evaluatieonderzoeken van het komende jaar aangeboden. Hiermee wordt u in de gelegenheid gesteld om bij de opzet van deze onderzoeken vragen te stellen die vervolgens betrokken kunnen worden bij de uitvoering van de evaluaties. Net zoals in deze brief zal bij alle afgeronde evaluaties een aparte passage worden besteed aan de leerlessen zoals deze bij de uitvoering van de evaluatie en onder vlag van Lerend evalueren zijn opgedaan.

Deze startevaluatie geeft de stand van zaken weer tot de start van de pilot in 2018 en maakt daarnaast de beleidstheorie van de pilot Lerend evalueren expliciet. De startevaluatie maakt het mogelijk om op hoofdlijnen een vergelijking te maken met evaluaties die worden uitgevoerd tijdens de pilot. Het inzicht dat wordt verkregen met de individuele evaluaties binnen de pilot en de wijze waarop dit inzicht wordt gebruikt, zal laten zien of de Pilot succesvol is en of de beleidstheorie zoals beschreven in deze startevaluatie ook in de praktijk werkt. U ontvangt de taakopdracht voor de ex-durante evaluatie volgend jaar.

Ik ben graag bereid met uw Kamer hierover van gedachten te wisselen.

De Minister van Volksgezondheid, Welzijn en Sport, H.M. de Jonge

---

1 Raadpleegbaar via www.tweedekamer.nl

2 Kamerstuk 31 865, nr. 99, Brief aan Tweede Kamer van VWS over de Pilot beleidsevaluaties VWS.

3 Algemene Rekenkamer (2014). Rijksbrede resultaten en thema’s verantwoordingsonderzoek 2014; Kamerstuk 31 865, nr. 71. Bijlage: Procesevaluatie begrotingscyclus 2014 en beleidsdoorlichtingen, pagina 11.

4 Kamerstuk 34 300, nr. 74, Van saldosturing naar stabilisatie, Vijftiende Rapport Studiegroep Begrotingsruimte, p. 48–53.

5 Brief van de Tweede Kamer aan de Minister van Financiën, Focusonderwerp van de verantwoording over 2016, 14 april 2016. Brief van de vaste commissie voor Financiën aan de Minister van financiën

6 Kamerstuk 31 865 , nr. 118, Operatie inzicht in kwaliteit.