33 269 Effectiviteitsonderzoek bij de Rijksoverheid

Nr. 4 LIJST VAN VRAGEN EN ANTWOORDEN

Vastgesteld 4 september 2013

De commissie voor de Rijksuitgaven heeft een aantal vragen voorgelegd aan de Algemene Rekenkamer over de brief van 27 juni 2013 inzake het rapport van de Algemene Rekenkamer «Effectiviteitsonderzoek bij de rijksoverheid: vervolgonderzoek"» (Kamerstuk 33 269, nr. 3)

De Algemene Rekenkamer heeft deze vragen beantwoord bij brief van 3 september 2013. Vragen en antwoorden zijn hierna afgedrukt.

De voorzitter van de commissie, Harbers

De griffier van de commissie, Groen

Vraag 1

De Algemene Rekenkamer stelt voor effectiviteitsonderzoek ten minste eens in de zeven jaar uit te voeren. Waarom wordt in dit onderzoek dan gekeken naar de afgelopen zes jaar (pagina 11)? In hoeverre zouden de uitkomsten dan wezenlijk anders geweest zijn?

Op p. 8 van ons rapport citeren we de per 1 januari 2013 van kracht geworden Regeling Periodiek Evaluatieonderzoek (RPE 2013) van het Ministerie van Financiën.¹ Hierin is vastgelegd dat elk beleid ten minste eens in de zeven jaar wordt geëvalueerd in een beleidsdoorlichting. De periode van zeven jaar is dus geen voorstel van de Algemene Rekenkamer, maar een voorschrift van de minister van Financiën.

In de voorganger van de RPE 2013, de Regeling periodiek evaluatieonderzoek en beleidsinformatie 2006 (RPE 2006),² die nog van kracht was toen wij in 2011 met ons onderzoek begonnen, was geen termijn opgenomen. In de RPE 2006 stond wel een eis van periodiciteit, maar het streven was om «…de beleidsdoorlichting zo in te passen in de beleidscyclus dat de informatie ook daarvoor kan worden gebruikt. Daarom is de vijfjaarstermijn niet meer opgenomen. Het blijft echter wel de bedoeling beleid met een zekere regelmaat – bijvoorbeeld vier, vijf of zeven jaar – te evalueren» (p. 11).

De nu geldende termijn van zeven jaar heeft betrekking op een beleidsdoorlichting, niet op losse evaluatieonderzoeken. Een beleidsdoorlichting is een syntheseonderzoek waarin de resultaten van al het beschikbare evaluatieonderzoek worden samengevat. Dat evaluatieonderzoek moet dus zijn uitgevoerd vóórdat de beleidsdoorlichting kan worden opgesteld.

Wij hebben gekeken naar de vraag in welke mate onderzoek naar de effectiviteit van het beleid beschikbaar is, mede met het oog op de totstandkoming van zinvolle beleidsdoorlichtingen. In het eerste deel van ons onderzoek, dat wij in mei 2012 publiceerden,³ hebben wij ervoor gekozen een periode van vijf jaar in kaart te brengen, omdat dat volgens ons in veel gevallen een redelijke termijn is voor het evalueren van beleid. In het vervolgonderzoek van juni 2013 hebben we een extra jaar aan het onderzoek toegevoegd, waardoor de evaluatieperiode zes jaar betreft.

Wij denken niet dat het toevoegen van een zevende onderzoeksjaar tot wezenlijk andere uitkomsten zou hebben geleid. We baseren deze mening op twee overwegingen:

• 1. Het beeld uit ons onderzoek uit 2013 (basis: zes jaar evaluaties) is niet sterk verschillend van het beeld uit 2012 (basis: vijf jaar evaluaties). Uit beide onderzoeken komt naar voren dat minder dan de helft van het beleid op effectiviteit is geëvalueerd. Eén jaar extra leverde dus geen substantieel beter resultaat op.

• 2. De verklaringen die ministeries hebben gegeven om beleid niet op effectiviteit te evalueren (zie onderstaande tabel), geven geen aanleiding om te verwachten dat er op korte termijn veel meer beleid op effectiviteit zal worden onderzocht dan tot nu toe is gebeurd.

Door ministeries gegeven verklaringen voor beleid dat in de periode 2006–2011 niet op effectiviteit is geëvalueerd

Bedragen in miljoenen euro’s, uitgaven 2011¹

	Verklaring	Met het beleid gemoeide uitgaven	Percentage van het totaal
1	Het is niet duidelijk hoe het beleid op effectiviteit kan worden geëvalueerd	16.952	36%
2	Het is nog te vroeg om de effectiviteit vast te stellen	14.620	31%
3	Anderen evalueren dit	7.220	15%
4	Effectiviteitsonderzoek heeft onvoldoende toegevoegde waarde	6.761	14%
5	We hebben in 2012 geëvalueerd	1.755	4%
6	Het beleid is inmiddels stopgezet	275	1%
7	Het evalueren van effecten is te duur	28	0%
Totaal		47.610	100%

1 Door afrondingsverschillen tellen de percentages op tot 101%.

De verklaringen 1, 2 en 4 – samen goed voor 81% van de niet op effectiviteit geëvalueerde beleidsuitgaven waarbij ministeries hebben toegelicht waarom er niet is geëvalueerd – wijzen er niet op dat er snel substantieel meer effectiviteitsonderzoek beschikbaar komt. Ministeries weten niet hoe het moet (verklaring 1), vinden het nog te vroeg (verklaring 2) of vinden dat het onvoldoende toegevoegde waarde heeft (verklaring 4).

Verder hebben we geconstateerd dat beleid dat volgens de ministeries in het zevende jaar (2012) was geëvalueerd (verklaring 5), weliswaar was onderzocht, maar vaak niet op effectiviteit.⁵ Veel onderzoek dat van ministeries het label «effectiviteitsonderzoek» krijgt, blijkt geen effectiviteitsonderzoek te zijn.

Vraag 2

Waarom zijn zaken als het Infrastructuurfonds en Brede Doeluitkering (BDU) niet meegenomen in het onderzoek?

Artikel 20 van de Comptabiliteitswet verplicht ministers om beleid op effectiviteit te onderzoeken. In ons onderzoek hebben we ons beperkt tot beleid met een maatschappelijke doelstelling. Dit betreft een deel van de beleidsartikelen uit de begroting. De bijdragen van het Ministerie van Infrastructuur en Milieu aan het Infrastructuurfonds en de BDU Verkeer en Vervoer vielen tijdens ons onderzoek buiten deze afbakening, omdat deze uitgaven in de door ons onderzochte jaren 2010 en 2011 door de ministeries werden verantwoord op een begrotingsartikel dat als «niet-beleidsartikel» werd aangeduid.

Overigens is dit in de begroting 2013 aangepast: het Infrastructuurfonds en de BDU Verkeer en Vervoer vallen nu wél onder een beleidsartikel.

Wij constateren verder met genoegen dat het kabinet in reactie op ons rapport van juni 2013 heeft laten weten de evaluatieplicht zoals vastgelegd in artikel 20 van de Comptabiliteitswet breed op te vatten, wat onzes inziens betekent dat ook beleid dat is gefinancierd via niet-beleidsartikelen, begrotingsfondsen, belastinguitgaven en premiegefinancierde uitgaven, onder de wettelijke evaluatieplicht valt.

---

1 Financiën (2012). Regeling Periodiek Evaluatieonderzoek. Staatscourant, nr. 18352. Den Haag: Sdu.

2 Financiën (2006). Regeling periodiek evaluatieonderzoek en beleidsinformatie. Den Haag: Ministerie van Financiën.

3 Algemene Rekenkamer (2012a). Effectiviteitsonderzoek bij de rijksoverheid. Den Haag: Algemene Rekenkamer. Bijlage bij Kamerstuk 33 269, nr. 1. Den Haag: Sdu.

5 In vier van de vijf gevallen.