33 034 Leren van subsidie-evaluaties

Nr. 2 RAPPORT

INHOUD

		Blz.
	Samenvatting	3
1	Over dit onderzoek	6
1.1	Evalueren van subsidies	6
1.2	Subsidies en de Tweede Kamer: historisch overzicht	7
1.3	Doel- en probleemstelling onderzoek	9
2	Conclusies en aanbevelingen	10
2.1	Hoofdconclusie	10
2.2	Toelichting bij hoofdconclusie	10
2.2.1	Aanwezigheid van evaluaties en effectiviteit van subsidies	10
2.2.2	Kwaliteit van evaluaties	13
2.2.3	Leren van subsidie-evaluaties op basis van onderbouwde informatie	15
2.2.4	Informeren van de Tweede Kamer	17
2.3	Aanbevelingen	19
3	Reactie ministers en nawoord Algemene Rekenkamer	23
3.1	Reactie minister van Financiën	23
3.2	Nawoord Algemene Rekenkamer	24
Bijlage 1	Overzicht conclusies aanbevelingen en toezeggingen	27
Bijlage 2	Politieke aandacht voor subsidies en subsidie-evaluaties: historisch overzicht	29
Bijlage 3	Aanpak onderzoek, normen en begrippen	34
Bijlage 4	Onderzochte subsidies	37
Bijlage 5	Gekleurde informatie aan de Tweede Kamer	39
Bijlage 6	Fouten en onduidelijkheden in «Subsidieoverzicht Rijk 2010»	41
Literatuur		44

SAMENVATTING

Subsidies vormen een belangrijk sturingsinstrument voor de rijksoverheid bij het verwezenlijken van haar beleidsdoelen. In 2010 verstrekte de rijksoverheid volgens het Subsidieoverzicht Rijk 2010 (Financiën, 2010d, p. 16) 633 verschillende subsidies, waaraan ze in dat jaar naar verwachting ruim € 6 miljard zou uitgeven.

In hoeverre houdt het Rijk in de gaten of al deze subsidiegelden effectief worden besteed? Die vraag vormde het vertrekpunt van dit onderzoek. Wij hebben onderzocht of de subsidies bij het Rijk goed worden geëvalueerd, in hoeverre het Rijk de uitkomsten van uitgevoerde evaluaties gebruikt en de lessen daaruit adequaat benut door bijvoorbeeld ineffectieve subsidies aan te passen of stop te zetten. Ook zijn we nagegaan in hoeverre de informatie die ministers aan de Tweede Kamer sturen over de effectiviteit van subsidies een ongekleurde weergave is van de informatie in de evaluatierapporten.

Conclusies

Onze hoofdconclusie is dat subsidies over het algemeen gebrekkig op effectiviteit worden geëvalueerd. Hierdoor blijft veelal onbekend of subsidies effectief zijn. Aan het uitgangspunt van het kabinet-Rutte/Verhagen dat subsidies ter ondersteuning van bedrijven en ondernemers alleen moeten worden verstrekt als de effectiviteit ervan is bewezen (Informateur, 2010, p. 8), wordt dan ook niet voldaan.

Door de gebrekkige wijze waarop subsidies worden geëvalueerd bestaat het risico dat ministers beslissingen nemen over bijvoorbeeld voortzetting van een subsidieregeling op basis van niet-onderbouwde informatie over de effectiviteit ervan. Ook bestaat het risico dat ministers over de effectiviteit van subsidies niet-onderbouwde informatie aan de Tweede Kamer verstrekken.

Wij hebben vastgesteld dat deze risico’s in de praktijk ook manifest worden. De uitkomsten van gebrekkige evaluaties zijn in de door ons onderzochte periode door bewindspersonen gebruikt bij het nemen van beleidsbeslissingen en in de verantwoording aan de Tweede Kamer.

Het is onbekend welk deel van de subsidieregelingen binnen de wettelijke termijn van vijf jaar wordt geëvalueerd.

Wij baseren onze hoofdconclusie op de volgende deelconclusies:

• 1. Volgens de gegevens van het Rijk zelf zijn 111 van de 633 subsidieregelingen uit in de periode 2005–2009 onderworpen aan een evaluatie. Dit aantal blijkt niet te kloppen; in werkelijkheid zijn in de periode 2005–2009 slechts 81 subsidies geëvalueerd. De meeste van deze subsidies zijn echter niet op effectiviteit geëvalueerd. Van de subsidies die wél op effectiviteit zijn geëvalueerd, is dat zelden deugdelijk gebeurd: de evaluaties maken niet duidelijk of de subsidies effectief zijn of niet. Het is onbekend welk deel van de subsidieregelingen binnen de wettelijke termijn van vijf jaar wordt geëvalueerd.

• 2. De onduidelijkheid over de effectiviteit van subsidies is in de meeste gevallen terug te voeren op gebreken in het evaluatieonderzoek (gebrekkige onderzoeksopzet) en/of in de verslaglegging daarover (onduidelijke informatie over hoe het effectiviteitsonderzoek is uitgevoerd). Bovendien bestaat er vaak geen helderheid over de doelen van de subsidie; of de door de minister beoogde doelen gehaald zijn valt dan niet goed te zeggen. Een mogelijke verklaring voor de gebrekkige wijze van evalueren is dat er nauwelijks wettelijke kwaliteitseisen zijn vastgelegd voor subsidie-evaluaties.

• 3. De uitkomsten van de door ons beoordeelde effectevaluaties zijn voor het merendeel gebruikt om subsidies aan te passen. De evaluaties blijven dus niet onbenut. Wij leiden hieruit af dat er bij de rijksoverheid wel degelijk de intentie bestaat om te leren van subsidie-evaluaties. De uitkomsten van de door ons onderzochte evaluaties hebben echter in geen enkel geval geleid tot het stopzetten van een subsidie. Met andere woorden: over alle geëvalueerde subsidies is besloten dat ze – al dan niet in gewijzigde vorm – konden worden voortgezet. Deze besluiten zijn dikwijls genomen op basis van niet of onduidelijk onderbouwde informatie.

• 4. De Tweede Kamer wordt niet over alle subsidie-evaluaties geïnformeerd. De informatie die de Tweede Kamer wél bereikt, is in de meeste gevallen gebaseerd op conclusies uit subsidie-evaluaties die niet deugdelijk zijn onderbouwd. Daar komt bij dat de informatievoorziening aan de Kamer in een aantal gevallen gekleurd is; ministers melden soms alleen de positieve punten uit subsidie-evaluaties. Ook de kwaliteit van het rijksbrede Subsidieoverzicht Rijk 2010 schiet op diverse punten tekort. Een en ander heeft tot gevolg dat de Tweede Kamer op basis van de door ministers verstrekte informatie geen goed beeld krijgt van de effectiviteit van subsidies.

Aanbevelingen

Wij bevelen alle ministers aan om de subsidieregelingen die onder hun verantwoordelijkheid vallen deugdelijk te evalueren op effectiviteit en om alleen onderbouwde effectiviteitsconclusies te gebruiken voor het trekken van lessen (c.q. aanpassing van het beleid) en voor het afleggen van verantwoording aan de Tweede Kamer.

Om goed invulling te kunnen geven aan deze aanbevelingen is het nodig dat subsidies worden voorzien van een duidelijke doelstelling en dat de minister van Financiën inhoudelijke kwaliteitscriteria voor effectevaluaties opstelt. Gelijktijdig met dit rapport publiceren we de Handreiking voor effectevaluaties van subsidies om ministeries hierbij te ondersteunen (Algemene Rekenkamer, 2011).

Wij bevelen de ministers verder aan om subsidies waarvan in evaluatieonderzoek is aangetoond dat ze niet effectief zijn, in beginsel stop te zetten. Indien ministers in zo’n geval besluiten dat een subsidie toch niet moet worden stopgezet, zouden zij dit met redenen omkleed aan de Tweede Kamer moeten melden, conform het principe «comply or explain» (pas toe of leg uit).

Tot slot bevelen wij de minister van Financiën aan om door te gaan met het publiceren van een Subsidieoverzicht Rijk of een ander, soortgelijk overzicht. Wij vinden dat de minister de bruikbaarheid, uniformiteit en consistentie van dit overzicht zou moeten waarborgen door middel van begrotingsvoorschriften die expliciete vermelding van bepaalde informatie over subsidies verplicht stellen, zoals de doelstelling(en), de begin- en einddatum, alle geplande en uitgevoerde evaluaties en de uitkomsten hiervan (inclusief verwijzingen naar de betreffende evaluatierapporten). De afzonderlijke ministers zouden op basis van deze voorschriften moeten zorgen voor een openbaar en raadpleegbaar juist, volledig, actueel en consistent departementaal subsidieoverzicht.

Reactie minister van Financiën

We hebben een reactie ontvangen op ons onderzoek van de minister van Financiën, mede namens de ministers van Binnenlandse Zaken en Koninkrijksrelaties, Buitenlandse Zaken, Defensie, Economische Zaken, Landbouw en Innovatie, Infrastructuur en Milieu, Onderwijs, Cultuur en Wetenschap, Sociale Zaken en Werkgelegenheid, Veiligheid en Justitie en Volksgezondheid, Welzijn en Sport. Het Ministerie van Algemene Zaken verstrekt geen subsidies en is daarom niet in het onderzoek betrokken.

De minister van Financiën is het op hoofdlijnen eens met onze aanbevelingen, maar plaatst wel een aantal kanttekeningen. De minister geeft aan dat de informatievoorziening over subsidies aan de Tweede Kamer transparanter en frequenter zal worden, doordat in het kader van «Verantwoord begroten» met ingang van het begrotingsjaar 2012 alle departementale begrotingen zijn voorzien van een bijlage met daarin een overzicht van alle subsidieregelingen.

De minister is het niet eens met onze aanbeveling om inhoudelijke kwaliteitscriteria in regelgeving vast te leggen. De minister geeft ook aan geen voorstander te zijn van het invoeren van een beslisregel op grond waarvan subsidieregelingen in principe stopgezet moeten worden bij een negatieve evaluatie.

Nawoord Algemene Rekenkamer

In ons nawoord schrijven wij dat wij er niet van overtuigd zijn dat de veranderingen die de minister wil doorvoeren voldoende zijn om de gewenste verbeteringen te realiseren. Wij missen in de reactie van de minister concrete toezeggingen op twee belangrijke punten:

• 1. De minister wil geen inhoudelijke kwaliteitscriteria voor effectevaluaties vastleggen, terwijl zulke criteria juist een belangrijke functie vervullen. Aan de hand van kwaliteitscriteria kunnen beperkingen in uitgevoerd evaluatieonderzoek duidelijk zichtbaar worden gemaakt. Inzicht in zulke beperkingen helpt bij het nemen van een onderbouwde beslissing over het al dan niet voortzetten of aanpassen van een subsidieregeling. Tegelijkertijd is inzicht in de beperkingen van een evaluatie nuttig bij het informeren van de Tweede Kamer over de uitkomsten van een evaluatie.

• 2. Als het gaat om de verbeteringen in de informatievoorziening aan de Tweede Kamer laat de minister een groot deel van onze aanbevelingen buiten beschouwing. De minister gaat niet in op zijn rol bij het opstellen van de subsidieoverzichten: waarborgen van de bruikbaarheid, uniformiteit en consistentie. Hij gaat ook niet in op elementen die van belang zijn om een goed inzicht te geven in de mate waarin subsidiegelden effectief zijn besteed, zoals de subsidiedoelstelling, begin- en einddatum en evaluatie-uitkomsten.

Wij vinden dat een minister, als hij ineffectief gebleken subsidies wil voortzetten, de Tweede Kamer actief moet informeren en in samenspraak met het parlement een eventuele keuze over voortzetting moet maken.

1 OVER DIT ONDERZOEK

1.1 Evalueren van subsidies

Subsidies vormen een belangrijk sturingsinstrument voor de rijksoverheid bij het verwezenlijken van haar beleidsdoelen. Een subsidie is volgens de Algemene wet bestuursrecht (Awb) «... een aanspraak op financiële middelen, anders dan als betaling voor geleverde goederen of diensten, die door een bestuursorgaan wordt verstrekt aan burgers, bedrijven en instellingen met het oog op bepaalde activiteiten van de aanvrager» (artikel 4:21 Awb). ¹

In 2010 verstrekte de rijksoverheid volgens het Subsidieoverzicht Rijk 2010 (Financiën, 2010d) 633 verschillende subsidies, waaraan ze in dat jaar naar verwachting ruim € 6 miljard zou uitgeven.

Subsidieoverzicht Rijk 2010

Het Subsidieoverzicht Rijk 2010 is op 8 maart 2010 door de minister van Financiën gepubliceerd. Met dit overzicht wil hij voorzien in de behoefte van de Tweede Kamer aan een overzicht van en inzicht in subsidieregelingen. Het overzicht is gebaseerd op informatie over subsidieregelingen en subsidies die door de afzonderlijke departementen is verstrekt.²

Voor het Subsidieoverzicht Rijk 2010 is de definitie van het subsidiebegrip in artikel 4.21 van de Awb als uitgangspunt genomen. In het subsidieoverzicht staan volgens de toelichting «... subsidieregelingen waarvoor per 1 januari 2010 of op een later moment aanvragen kunnen worden ingediend, en die in 2010 tot uitgaven leiden (naar stand van de begroting 2010). Daarnaast zijn subsidies en bijdragen opgenomen die, voor zover bekend op 1 januari 2010, in 2010 worden verleend op basis van een kaderwet of begroting (subsidies met een eenmalig of uniek karakter)» (Financiën, 2010d, p. 3).

De rijksoverheid moet er naar streven subsidiebudgetten effectief te besteden. «Effectief»³ betekent in dit onderzoek dat het doel van de subsidie (mede) dankzij de subsidiemaatregelen wordt gerealiseerd. Voor een goed inzicht in een effectieve besteding van subsidiebudgetten is het van belang om subsidies regelmatig te evalueren op doeltreffendheid. Ministers moeten subsidies met een wettelijke grondslag op grond van de Awb (artikel 4:24) eens per vijf jaar evalueren.

Wanneer uit een evaluatie blijkt dat een subsidie niet effectief is, kan worden besloten deze aan te passen of stop te zetten. Op deze manier draagt een regelmatige evaluatie van subsidies bij aan de beheersing van de overheidsuitgaven.

Dat subsidies ter versterking van de positie van bedrijven en ondernemers alleen worden verstrekt indien de effectiviteit ervan is bewezen, is als uitgangspunt opgenomen in het regeerakkoord van het kabinet-Rutte/Verhagen (Informateur, 2010, p. 8).

In de recente vereenvoudiging en uniformering van de uitvoering en verantwoording van rijkssubsidies, conform het Kader financieel beheer rijkssubsidies (Financiën, 2009), is periodieke evaluatie van subsidieregelingen aangewezen als één van de noodzakelijke randvoorwaarden ter beheersing van het risico op misbruik en oneigenlijk gebruik.

Op grond van het Kader financieel beheer rijkssubsidies worden aan subsidieverstrekkingen tot € 25 000 geen, en aan subsidieverstrekkingen tussen € 25 000 en € 125 000 weinig verantwoordingseisen gesteld. Hierdoor nemen de administratieve lasten voor verlener en aanvrager/ontvanger af, maar neemt het risico op misbruik en oneigenlijk gebruik en op een onrechtmatige besteding van deze middelen toe. De Aanwijzingen voor subsidieverstrekking (AZ, 2009) voorzien daarom in diverse maatregelen voor het tegengaan daarvan. Een van die stappen betreft het periodiek evalueren van de subsidieregeling. Dat biedt ook de mogelijkheid om voor de regeling als geheel na te gaan in hoeverre deze effectief is.

In ons onderzoek Inzicht in belastinguitgaven, specifieke uitkeringen en subsidies hebben wij op basis van het Subsidieoverzicht Rijk 2010 vastgesteld dat meer dan de helft van de subsidies van vijf jaar of ouder niet is geëvalueerd (Algemene Rekenkamer, 2010). In datzelfde onderzoek constateerden wij dat voor bijna een derde van de subsidies die op 1 januari 2010 liepen en die een verwachte looptijd hadden van meer dan vijf jaar, nog geen evaluatie was gepland en dat een derde van alle subsidies geen einddatum had.

In dit vervolgonderzoek hebben we onderzocht wat de kwaliteit is van de subsidie-evaluaties die wél zijn uitgevoerd. Ook hebben we bekeken hoe deze evaluaties zijn gebruikt bij de beslissing om beleid te stoppen of – eventueel in aangepaste vorm – voort te zetten. Verder hebben we onderzocht wat uit de uitgevoerde evaluaties bleek over de effectiviteit van de onderzochte subsidies. Tot slot hebben we gekeken naar de informatievoorziening aan de Tweede Kamer over de uitkomsten en het gebruik van de uitgevoerde evaluaties.

1.2 Subsidies en de Tweede Kamer: historisch overzicht

Behoefte aan periodieke inventarisatie

Al in een onderzoek van 1989 constateerden wij dat een systematische inventarisatie en analyse van door de rijksoverheid verstrekte subsidies ontbrak (Algemene Rekenkamer, 1989). Ons rapport vormde de aanzet voor het «geïntegreerde subsidiebeleid» van het kabinet-Lubbers III (1989–1994). Dat beleid kende twee «sporen»: het richtte zich enerzijds op het verbeteren van het subsidiebeheer (in het bijzonder het voorkomen van misbruik en oneigenlijk gebruik) en anderzijds op het verbeteren van het subsidiebeleid (doorlichten van subsidies op actualiteit, effectiviteit en doelmatigheid). In 1991 publiceerden wij een vervolg op ons onderzoek uit 1989, waarin we constateerden dat van de 31 financieel omvangrijkste subsidieregelingen er sinds ons vorige onderzoek 15 toereikend waren geëvalueerd (Algemene Rekenkamer, 1991).

Bij de voortgangsrapportage over het geïntegreerde subsidiebeleid in mei 1993, ontving de Tweede Kamer van het kabinet het eerste subsidieoverzicht (de «subsidiebijbel»). In het overzicht werd voor elke lopende subsidie informatie verstrekt over de stand van zaken op beide «sporen». Deze informatie betrof onder meer de uitgevoerde evaluaties en de resultaten daarvan. Daarbij werd door het kabinet overigens wel opgemerkt dat «het karakter van de desbetreffende evaluaties» uiteenliep (Financiën & Justitie, 1993, p. 12). Het kabinet kondigde aan een algemene wettelijke regeling voor subsidies te zullen treffen waarin ook een periodieke evaluatieplicht voor subsidieregelingen zou worden opgenomen. Verder kondigde het kabinet aan dat ontwerpbegrotingen voortaan een subsidiebijlage zouden bevatten.

In 1996 publiceerden wij ons vervolgonderzoek naar subsidiebeheer door de rijksoverheid (Algemene Rekenkamer, 1996). Naar aanleiding hiervan vroegen Tweede Kamerleden om een (jaarlijkse) inventarisatie van bestaande subsidieregelingen. Zij refereerden daarbij aan de eerdere «subsidiebijbel» van het vorige kabinet. De minister van Financiën zegde toe jaarlijks een «puur feitelijk en objectief» subsidieoverzicht te publiceren aan de hand van de criteria uit het genoemde Rekenkamerrapport.

In de jaren 1998 tot en met 2002 (met een aanvulling in 2003) ontving de Tweede Kamer jaarlijks een overzicht van lopende rijkssubsidies. Daarna nam de frequentie van de overzichten sterk af: in 2006 verscheen een «Instrumentenoverzicht Rijk» en in 2010 (weer) een «Subsidieoverzicht Rijk».

Behoefte aan duidelijke definities voor subsidieoverzichten

Bij het opstellen van de subsidieoverzichten zijn in de loop der jaren verschillende definities van «subsidie» gehanteerd. Aanvankelijk werd uitgegaan van de subsidiedefinitie uit de Miljoenennota 1988 (Financiën, 1987).

Aan die keuze is vastgehouden, ook toen per 1 januari 1998 de subsidiedefinitie in de Awb officieel van kracht werd. Toen in 2003 duidelijk werd dat sommige ministeries de (striktere) Awb-definitie hanteerden en andere niet, was dat voor de minister van Financiën aanleiding om, vasthoudend aan de eerder gekozen bredere subsidiedefinitie in de Miljoenennota 1988, een aanvulling op het Subsidieoverzicht Rijk 2003 (Financiën, 2003) te publiceren. In het Algemeen Overleg waarin dit aanvullende rapport besproken werd, gaven verscheidene Kamerleden aan behoefte te hebben aan uniformering van definities, regels en afspraken voor het opstellen van de subsidieoverzichten. De minister van Financiën antwoordde hierop dat de Awb-definitie een juridisch karakter heeft en voor andere doeleinden wordt gebruikt.

Het daaropvolgende Instrumentenoverzicht 2006 (Financiën, 2006a) had een nog bredere scope dan de voorgaande overzichten, namelijk het in kaart brengen van álle geldstromen die het Rijk verlaten. Pas in het Subsidieoverzicht Rijk 2010 is gekozen voor de (beperktere) subsidiedefinitie uit de Awb die al sinds 1998 van kracht is.

Behoefte aan inzicht in doeltreffendheid van subsidies

De Tweede Kamer heeft de afgelopen jaren herhaaldelijk aangegeven dat ze graag inzicht wil hebben in de doeltreffendheid van subsidies en graag wil worden geïnformeerd over resultaten van subsidie-evaluaties. In geen van de overzichten die de minister van Financiën na de «subsidiebijbel» uit 1993 heeft gepubliceerd, is dit echter gebeurd.

In 2002 werd de regering in de «zoeklicht»-motie van Tweede Kamerlid Van As (Tweede Kamer, 2002), verzocht om alle rijkstaken en in het bijzonder subsidieregelingen door te lichten op taakstelling, omvang en kosten. In antwoord op deze motie stuurde het kabinet in 2003 het rapport Zicht op subsidies naar de Tweede Kamer (Financiën, 2003), met daarin een inventarisatie van bestaande subsidieregelingen (inclusief de eerder genoemde aanvulling) en een beoordelingskader op basis waarvan subsidies kunnen worden beoordeeld. Hierop diende Tweede Kamerlid Van As een volgende motie in, waarin hij verzocht om alle subsidies te voorzien van een einddatum waar dat nog niet gebeurd was, en subsidies alleen te verlengen als ze waren geëvalueerd.

In een Algemeen Overleg over het Instrumentenoverzicht Rijk 2006, zegde de minister van Financiën toe om in een volgend overzicht informatie op te nemen over de geplande evaluatiedatum van subsidies en de vindplaats van de resultaten van evaluaties.

In december 2009, in een Algemeen Overleg over het Kader financieel beheer rijkssubsidies, gaven verscheidene Kamerleden opnieuw aan graag frequenter een actueel overzicht te willen hebben van rijkssubsidies en meer inzicht te willen krijgen in de effectiviteit van verstrekte subsidies. De minister van Financiën zegde toe een rijksbreed overzicht van subsidies in het voorjaar van 2010 naar de Tweede Kamer te sturen. Hierna werd de motie-Weekers aangenomen, waarin de regering werd verzocht om in het Instrumentenoverzicht dat in 2010 zou verschijnen, een beoordeling van de doelmatigheid en doeltreffendheid van de verschillende subsidieregelingen op te nemen.

In de toelichting op het Subsidieoverzicht Rijk 2010 gaf de minister van Financiën aan dat de vermelding van het evaluatiemoment (jaartal) in het subsidieoverzicht moest worden gezien als de invulling van de motie-Weekers. «De beoordeling van de doeltreffendheid en doelmatigheid van instrumenten wordt gedaan door de beleidsverantwoordelijke ministers en staatssecretarissen, bijvoorbeeld in beleidsdoorlichtingen die aan de Tweede Kamer worden aangeboden» (Financiën, 2010a, p. 3–4).

In 1989 constateerden wij dat maar weinig subsidieregelingen met een substantieel financieel belang goed waren geëvalueerd. In 1996 constateerden we in een vervolgonderzoek dat de helft van de subsidies nog steeds niet was geëvalueerd. In 2010 stelden wij op basis van de gegevens in het Subsidieoverzicht Rijk 2010 vast dat meer dan de helft van de subsidies van vijf jaar of ouder niet was geëvalueerd.

Een uitgebreider historisch overzicht staat in bijlage 2.

1.3 Doel- en probleemstelling onderzoek

Het doel van dit onderzoek is een bijdrage te leveren aan het lerend vermogen van het Rijk, door inzicht te verschaffen in:

• de mate waarin het Rijk zijn subsidies adequaat op doeltreffendheid evalueert;

• de lessen die uit deze evaluaties kunnen worden getrokken;

• de mate waarin deze lessen adequaat worden benut om de subsidies aan te passen of stop te zetten;

• de mate waarin de informatie aan de Tweede Kamer over de effectiviteit van subsidies een ongekleurde weergave is van de informatie uit de evaluaties.

De probleemstelling van het onderzoek is drieledig:

• 1. In hoeverre worden de subsidies bij het Rijk goed geëvalueerd?

• 2. In hoeverre gebruikt het Rijk de uitkomsten van uitgevoerde evaluaties en benut ze de lessen daaruit adequaat (door bijvoorbeeld ineffectieve subsidies aan te passen of stop te zetten)?

• 3. In hoeverre is de informatie die ministers aan de Tweede Kamer sturen over de effectiviteit van subsidies een ongekleurde weergave van de informatie in de evaluatierapporten?

In bijlage 3 staat een korte toelichting bij de aanpak van ons onderzoek. Op onze website www.rekenkamer.nl is een uitgebreide onderbouwing van ons rapport te vinden.

2 CONCLUSIES EN AANBEVELINGEN

2.1 Hoofdconclusie

Subsidies worden over het algemeen gebrekkig op effectiviteit geëvalueerd. Hierdoor blijft veelal onbekend of subsidies effectief zijn. Aan het uitgangspunt van het kabinet-Rutte/Verhagen dat subsidies ter versterking van de positie van bedrijven en ondernemers alleen worden verstrekt als de effectiviteit ervan is bewezen (Informateur, 2010, p. 8), wordt dan ook niet voldaan.

Door de gebrekkige wijze waarop subsidies worden geëvalueerd bestaat het risico dat ministers beslissingen nemen over bijvoorbeeld voortzetting van een subsidieregeling op basis van niet-onderbouwde informatie over de effectiviteit ervan. Ook bestaat het risico dat ministers over de effectiviteit van subsidies niet-onderbouwde informatie aan de Tweede Kamer verstrekken.

Deze risico’s worden in de praktijk ook manifest. De uitkomsten van gebrekkige evaluaties zijn in de door ons onderzochte periode herhaaldelijk door bewindspersonen gebruikt bij het nemen van beleidsbeslissingen en in de verantwoording aan de Tweede Kamer.

Een onbekend deel van de subsidies wordt niet binnen de wettelijke termijn van vijf jaar geëvalueerd.

In de volgende paragrafen lichten we deze hoofdconclusie toe.

2.2 Toelichting bij hoofdconclusie

2.2.1 Aanwezigheid van evaluaties en effectiviteit van subsidies

De meeste subsidies zijn in de periode 2005–2009 niet op effectiviteit geëvalueerd. Van de subsidies die wél op effectiviteit zijn geëvalueerd, is dat zelden deugdelijk gebeurd: de evaluaties maken niet duidelijk of de subsidies effectief zijn of niet. Een onbekend deel van de subsidies wordt niet binnen de wettelijke termijn van vijf jaar geëvalueerd.

Uit figuur 1 blijkt dat het Subsidieoverzicht Rijk 2010 (Financiën, 2010d) 633 subsidies vermeldt. Bij 111 subsidies daarvan is aangegeven dat ze zijn geëvalueerd in de periode 2005–2009. In werkelijkheid zijn slechts 81 subsidies geëvalueerd, waarvan 59 op effectiviteit: voor 42 van de 111 subsidies bleek de evaluatie niet te bestaan, en evaluaties van 22 andere subsidies gingen niet over de effectiviteit van die subsidie. De evaluaties van de resterende 47 subsidies betroffen wel de effectiviteit. Daarnaast bleken er van twaalf subsidies wel effectevaluaties te bestaan, hoewel deze niet in het subsidieoverzicht stonden vermeld. In totaal waren dus 59 subsidies op effectiviteit geëvalueerd.

We hebben 50 van deze 59 subsidies in ons onderzoek betrokken. Samen hadden deze subsidies voor 2010 een budget van € 654 miljoen. ⁴ De effectiviteit van deze 50 subsidies is in 53 evaluaties onderzocht.

Hoewel de 53 evaluaties betrekking hebben op de effectiviteit van de betreffende subsidies, maken de meeste van deze evaluaties niet duidelijk of de subsidies werken of niet. In slechts negen gevallen kunnen we op basis van de evaluatie met zekerheid iets zeggen over (in)effectiviteit: in vier gevallen is aannemelijk gemaakt dat de betreffende subsidie in ieder geval deels wel werkt. Het budget voor 2010 voor deze subsidies bedroeg volgens het Subsidieoverzicht Rijk 2010 € 50,4 miljoen. In vijf (andere) gevallen is op grond van de evaluatie aannemelijk dat de subsidie in ieder geval deels niet werkt. Het budget voor de betrokken subsidies bedraagt voor 2010 € 60,8 miljoen.⁵ Van de rest van het door ons onderzochte subsidiebudget 2010 (€ 542,6 miljoen) is het, ondanks de beschikbaarheid van effectevaluaties, onbekend of het effectief is besteed.

Ministers moeten op grond van de Algemene wet bestuursrecht (Awb) subsidies met een wettelijke grondslag eens per vijf jaar evalueren. In eerder onderzoek (Algemene Rekenkamer, 2010, p. 36) constateerden we dat van de subsidies die vijf jaar of langer lopen ⁶ 59% niet was geëvalueerd. In dit onderzoek constateren we dat het Subsidieoverzicht Rijk 2010 veel fouten en onduidelijkheden bevat (zie daarover § 2.2.4), onder meer over de begindatum van een subsidie. Daardoor is het precieze aantal subsidies dat (niet) tijdig is geëvalueerd en het precieze aantal subsidies ouder dan vijf jaar dat nog niet is geëvalueerd, onbekend.

Schema 1 Schematische indeling van de subsidies van het Rijk, verdeeld naar al dan niet tijdige naleving van de evaluatieverplichting

Voor een onbekend aantal subsidies, dat echter waarschijnlijk groter is dan de genoemde 45, geldt derhalve dat de verplichting om de subsidie eens in de vijf jaar te evalueren niet is nagekomen en dat het desbetreffende ministerie zichzelf en de Tweede Kamer de kans ontnomen heeft om van de resultaten van een evaluatie te leren.

De fouten en onduidelijkheden in het Subsidieoverzicht Rijk 2010 hebben ook gevolgen voor het inzicht in de stand van zaken op de motie-Van As uit 2003. In deze motie heeft de Tweede Kamer het kabinet verzocht om alle bestaande subsidies en subsidieregelingen te voorzien van een einddatum. In ons vorige onderzoek (Algemene Rekenkamer, 2010, p. 42) constateerden we dat 38% van de lopende subsidies (238 subsidies) geen einddatum had. Ook van de einddata in het Subsidieoverzicht Rijk 2010 weten we echter niet in hoeverre die juist zijn. Daarom is ook onbekend hoeveel subsidies voldoen aan de motie-Van As en dus een einddatum hebben.

Schema 2 Schematische indeling van de subsidies van het Rijk, verdeeld naar subsidies met en zonder einddatum

2.2.2 Kwaliteit van evaluaties

Dat er onduidelijkheid bestaat over de effectiviteit van geëvalueerde subsidies, is in de meeste gevallen terug te voeren op gebreken in het evaluatieonderzoek (gebrekkige onderzoeksopzet) en/of in de verslaglegging daarover (onduidelijke informatie over hoe het effectiviteitsonderzoek is uitgevoerd). Bovendien bestaat er vaak geen helderheid over de doelen van de subsidie; of de door de minister beoogde doelen gehaald zijn valt dan niet goed te zeggen.

Een mogelijke verklaring voor de gebrekkige wijze van evalueren is dat er nauwelijks wettelijke kwaliteitseisen zijn vastgelegd voor subsidie-evaluaties.

Wij komen tot deze conclusies op grond van onze analyse van de 53 in het onderzoek betrokken evaluaties. Daaruit kwam het volgende naar voren:

• 1. De onderzoeksopzet voldoet vaak niet aan vereisten voor goede effectevaluaties:

  • In slechts zes van de 53 evaluaties voldeden zowel alle gebruikte indicatoren voor het bepalen van de doelrealisatie als de meting van die indicatoren.⁷ In alle overige gevallen bestonden er naar ons oordeel onzekerheden over de keuze van de indicatoren, de kwaliteit van de meting of beide. De variabelen voor doelrealisatie worden niet altijd specifiek en meetbaar gedefinieerd.

Voorbeeld van een niet-gedefinieerd begrip

«Ter bevordering van de samenwerking» met andere agrarische ondernemers en andere partners heeft de minister van Landbouw, Natuur en Voedselkwaliteit (LNV) in 2005, 2006 en 2007 subsidie verstrekt aan samenwerkingsverbanden van agrariërs bij innovatieprojecten in de intensieve veehouderij. In het kader van de evaluatie van deze regeling zijn aanvragers van de subsidie bevraagd over de betekenis van de subsidieregeling voor de samenwerking (Bureau Bartels B.V., 2008, p. 23). De vragen die zijn gesteld, zijn echter niet in de evaluatiedocumenten opgenomen.

Het begrip «samenwerking» wordt daarin ook niet gedefinieerd (en is ook in de regeling zelf of in de selectiecriteria voor de projectaanvragen niet nader omschreven). Kennelijk wordt met samenwerking bedoeld dat verscheidene partijen betrokken zijn bij de uitvoering, maar hoe die betrokkenheid eruit moet zien wordt nergens aangegeven.

In het evaluatierapport staat dat de regeling volgens de deelnemers «een extra stimulans aan de samenwerking» heeft gegeven. Dat is echter voor meer dan één uitleg vatbaar. Het kan betekenen dat men door het project met partijen is gaan samenwerken waarmee men dat eerder nog niet deed. Maar ook: dat men in een bestaand samenwerkingsverband meer of intensiever is gaan samenwerken.

• Er wordt vaak niet of onvoldoende onderzocht of er sprake is van een causale relatie tussen de subsidie, de activiteit en het vermeende effect: komt de activiteit (mede) tot stand dankzij de subsidie en wordt het effect vervolgens (mede) veroorzaakt door de activiteit? Als dit niet aannemelijk kan worden gemaakt, is in feite geen sprake van een effectiviteitsmeting maar van een meting van de mate waarin het beleidsdoel bereikt is, zonder dat duidelijk is wat de subsidie bijdraagt aan het bereiken van dit doel.

  We realiseren ons dat dit soort onderzoek ingewikkeld is en niet in alle gevallen zonder meer mogelijk is.

Voorbeelden van subsidies die relatief lastig zijn te evalueren

Het Rijk verstrekt subsidies voor de instandhouding van bepaalde instellingen. Voorbeelden hiervan die wij in ons onderzoek tegenkwamen zijn subsidies voor Instituut Clingendael en de Atlantische Commissie. Voor dit soort instituten is het lastig om een vergelijking met een representatieve referentiegroep – in casu een of meer vergelijkbare instellingen – te maken, omdat die vaak niet zal bestaan, zeker niet in Nederland, maar veelal ook niet in het buitenland. Ook is het lastig is te beoordelen wat er zou zijn gebeurd indien deze instituten er niet zouden zijn geweest.

Wij hebben slechts bij één van de 53 door ons bekeken evaluaties een (quasi-)experimentele opzet aangetroffen. ⁸

• 2. Conclusies zijn niet altijd onderbouwd door onderzoek. In 38 van de 53 evaluaties wordt een conclusie over de effectiviteit van een subsidie getrokken op grond van bevindingen die volgens ons onvoldoende bewijskracht hebben, of waarvan op basis van de rapportage onduidelijk is hoe deze tot stand zijn gekomen. Zo ontbreekt in de doelomschrijving van diverse subsidies een maatstaf op grond waarvan kan worden geconcludeerd of de subsidie voldoende effectief is. Toch wordt in de evaluaties van deze subsidies een uitspraak gedaan over de effectiviteit.

Voorbeelden van subsidies zonder maatstaf voor behalen doelstelling

MATRA

Het MATRA-programma ⁹ van het Ministerie van Buitenlandse Zaken richt zich op het stimuleren van kleinschalige projecten in de buurlanden van de EU, die bijdragen aan de ontwikkeling van de plaatselijke maatschappelijke organisaties. De steun bestaat onder meer uit het geven van subsidies. In de evaluatie van dit programma wordt geconcludeerd dat de verstrekte subsidie «niet doorslaggevend» is geweest, «maar wel een belangrijke steun». Ook wordt aangegeven dat de projecten «lokaal van belang» zijn geweest. Welke maatstaven er voor deze oordelen zijn toegepast (wanneer is de steun belangrijk en wanneer doorslaggevend?) is niet helder.

Humanitair ontmijnen

Non-gouvernementele organisaties die actief zijn in voormalige oorlogsgebieden kunnen subsidie aanvragen voor het ruimen van landmijnen. Het is de bedoeling dat het ruimen gebeurt in samenwerking met de lokale bevolking en dat na kennisoverdracht het werk aan hen wordt overgedragen. In de evaluatie van de subsidie «Humanitair ontmijnen» staat: «Mine clearance in Angola and Cambodia were highly effective». Hoewel in de evaluatie wel effecten worden beschreven, is onduidelijk op welke maatstaf het oordeel is gebaseerd. Bij welke mate van effectiviteit spreekt men van «highly effective» en wanneer moet worden gesproken van «less effective?»

• 3. In de evaluatierapporten staat vaak onvoldoende informatie om te kunnen beoordelen hoe het onderzoek is uitgevoerd:

  • In elf van de 53 evaluaties was voor alle variabelen onduidelijk hoe ze waren gemeten; in negen andere evaluaties gold dat voor een deel van de variabelen.

• 4. Gebrek aan helderheid over wat de doelen van een subsidie zijn, maakt zowel het uitvoeren als het beoordelen van een effectmeting lastig.

  • In zestien van de 53 evaluaties wordt het ontbreken van of ambivalentie in doelstellingen expliciet aan de orde gesteld. Niet alleen voor de evaluatoren is dit lastig. Ook voor ons was het in deze gevallen lastig om te bepalen of de mate van doelrealisatie juist was gemeten; verscheidene interpretaties van het doel zijn in zulke situaties verdedigbaar.

• 5. Wet- en regelgeving bieden onvoldoende houvast voor de inhoudelijke kwaliteit van evaluaties van subsidies.

  • De Awb regelt wel de evaluatieplicht voor subsidies, maar deze plicht is niet uitgewerkt of toegelicht, noch naar inhoud, noch naar vorm.

  • De Rijksbegrotingsvoorschriften 2011 bieden te weinig houvast voor de technische kwaliteit van uit te voeren evaluaties. Hierin staat weliswaar dat op basis van een verantwoorde effectevaluatie kan worden bepaald in welke mate de doelrealisatie is toe te schrijven aan het gevoerde beleid en dat dit vereist dat de situatie mét beleid kan worden afgezet tegen de situatie zónder beleid (of met ánder beleid) (Financiën, 2010c, p. 68). Maar er is niet in aangegeven dat dit een voorschrift is voor evaluatieonderzoek bij het Rijk. De wel opgenomen voorschriften luiden:

    • De verantwoordelijkheden en bevoegdheden in het totstandkomingsproces moeten helder zijn verdeeld en het totstandkomingsproces moet achteraf reconstrueerbaar zijn.

    • De onafhankelijkheid van de evaluatieonderzoeken moet zijn gewaarborgd.

    • Van de beleidsinformatie moet duidelijk zijn aangegeven wat de bron is.

2.2.3 Leren van subsidie-evaluaties op basis van onderbouwde informatie

De uitkomsten van de door ons op gebruik beoordeelde effectevaluaties zijn voor het merendeel gebruikt om subsidies aan te passen. De evaluaties blijven dus niet onbenut. Wij leiden hieruit af dat er bij de rijksoverheid wel degelijk de intentie bestaat om te leren van subsidie-evaluaties. De uitkomsten van de door ons onderzochte evaluaties hebben echter in geen enkel geval geleid tot het stopzetten van de subsidie. Met andere woorden: over alle geëvalueerde subsidies is besloten dat ze – al dan niet in gewijzigde vorm – konden worden voortgezet. Deze besluiten zijn dikwijls genomen op basis van niet of onduidelijk onderbouwde informatie.

Wij baseren deze conclusies op de volgende onderzoeksbevindingen:

• 1. Voor zeven van de dertig subsidie-evaluaties waarvan we het gebruik hebben kunnen vaststellen, geldt dat de subsidie niet gewijzigd is op grond van conclusies over de effectiviteit. In de overige 23 gevallen is de subsidie gewijzigd voortgezet. Deze wijzigingen hebben betrekking op de subsidiedoelen, de subsidievoorwaarden, de uitvoering en/of de financiering.

• 2. Stopzetting van een subsidieregeling wordt niet vaak overwogen.¹⁰ Redenen die beleidsambtenaren opgeven voor het voortzetten van subsidies die niet (optimaal) blijken te werken, zijn:

  • dat de reikwijdte van het evaluatieonderzoek (te) beperkt is;

  • dat de subsidie (ook) andere doelen dient dan de doelen die in de

  • evaluatie zijn betrokken;

  • dat de subsidie wel degelijk noodzakelijk is, ook al toont de evaluatie dat niet aan;

  • dat de evaluatie tegenstrijdige conclusies en aanbevelingen bevat.

  Daarnaast hebben beleidsambtenaren tegenover ons redenen voor voortzetting van subsidies genoemd die losstaan van de werkzaamheid ervan. Men gaf bijvoorbeeld aan:

  • dat «niets doen» moreel gezien geen optie is (bij subsidie voor noodhulp);

  • dat er breed politiek draagvlak voor de subsidie bestaat;

  • dat er belangen en afwegingen spelen op een hoger beleidsniveau (subsidiëren van de beleidssector wordt bijvoorbeeld belangrijker gevonden dan de effectiviteit ervan);

  • dat er geen alternatief beleidsinstrument voorhanden is;

  • dat de doelen van de subsidie niet helder zijn, waarmee het mogelijk is om de subsidie te laten aansluiten op verschuivende beleidsprioriteiten.

  We zijn geen voorbeelden tegengekomen waarbij op basis van de evaluatieresultaten is besloten de subsidie(regeling) stop te zetten.

Voorbeelden van subsidies die niet zijn stopgezet, hoewel de evaluatie daar wel aanleiding toe gaf

De evaluaties van de subsidieregeling «Buitenlandse arthouse films» en van de subsidieregeling «Distributie buitenlandse jeugdfilms» (beide Ministerie van OCW) roepen vragen op over de doeltreffendheid van de subsidies. Zo blijkt het vooruitzicht van subsidie bij de beslissing van distributeurs over de aankoop van een specifieke arthousefilm niet in hun (risico)afweging te worden meegenomen en wordt subsidie voor de distributie van buitenlandse jeugdfilms nauwelijks aangevraagd.

Er is op basis van deze conclusies echter niet tot stopzetting besloten. Dit is in het geval van de subsidieregeling «Buitenlandse arthouse films» wel enigszins verklaarbaar, aangezien in dezelfde evaluatie wordt aanbevolen de regeling (met enkele aanpassingen) te handhaven. Een andere reden voor het Filmfonds en het Ministerie van OCW om door te gaan met deze subsidie is dat zij niet twijfelen aan de noodzaak van subsidie om het kwantitatieve en kwalitatieve aanbod van buitenlandse arthousefilms op peil te houden, iets wat in het evaluatieonderzoek onvoldoende aan bod komt volgens de betrokken beleidsmedewerker.

In het geval van de evaluatie van de subsidieregeling «Distributie buitenlandse jeugdfilms» heeft het Filmfonds aangegeven eigenlijk de regeling te willen stopzetten, wegens het gebrek aan belangstelling bij distributeurs. Na signalen dat de regeling zou worden stopgezet, bleek toch een aantal distributeurs interesse te hebben voor gebruikmaking van de regeling. Het Filmfonds heeft vervolgens besloten voorlopig door te gaan met de regeling.

• 3. Uit onze interviews met beleidsambtenaren over veertien evaluaties blijkt dat zij weinig aandacht hebben voor de kwaliteit van het uitgevoerde onderzoek. Hoewel ze in verreweg de meeste (twaalf van de veertien) gevallen aangeven tevreden te zijn met de kwaliteit van de evaluatie, is er slechts in één geval gelet op de kwaliteit van de meting en slechts in zes gevallen op de kwaliteit van de onderzoeksopzet en op de mate waarin de conclusies over effectiviteit werden onderbouwd door de bevindingen.

  Zoals we hiervoor al aangaven (zie § 2.2.2) geldt voor de meeste van de door ons bekeken evaluaties dat de kwaliteit van het uitgevoerde onderzoek onduidelijk is of gebreken vertoont. Deze tekortkomingen worden evenwel door beleidsambtenaren veelal niet opgemerkt. Wij signaleren dan ook bij de rijksoverheid het risico dat beslissingen om subsidies (ongewijzigd) voort te zetten, worden genomen op basis van informatie uit effectevaluaties die niet of onduidelijk is onderbouwd.

2.2.4 Informeren van de Tweede Kamer

De Tweede Kamer wordt niet over alle subsidie-evaluaties geïnformeerd. De informatie die de Tweede Kamer wél bereikt, is in de meeste gevallen gebaseerd op conclusies uit subsidie-evaluaties die niet deugdelijk zijn onderbouwd. Daar komt bij dat de informatievoorziening aan de Kamer in een aantal gevallen gekleurd is; ministers melden soms alleen de positieve punten uit subsidie-evaluaties. Ook de kwaliteit van het rijksbrede Subsidieoverzicht Rijk 2010 schiet op diverse punten tekort. Een en ander heeft tot gevolg dat de Tweede Kamer op basis van de door ministers verstrekte informatie geen goed beeld krijgt van de effectiviteit van subsidies.

Wij leiden dit af uit de volgende onderzoeksbevindingen:

• 1. De Tweede Kamer wordt niet in alle gevallen geïnformeerd over de uitkomsten van subsidie-evaluaties. Over de uitkomsten van twee derde (36 van de 53) van de door ons onderzochte subsidie-evaluaties hebben de ministers informatie naar de Tweede Kamer gestuurd, meestal in de vorm van een beleidsreactie bij de evaluatie. ¹¹ Voor 30 van de 36 evaluaties hebben ze aangegeven of en zo ja hoe ze de subsidie zouden gaan aanpassen. In 25 van de 36 reacties stonden ook conclusies uit de evaluatie vermeld over de effectiviteit van de subsidies.

• 2. De informatie die de ministers aan de Tweede Kamer sturen is voor een deel aantoonbaar ondeugdelijk onderbouwd; voor een ander deel geldt dat er onzekerheid bestaat over de juistheid van de onderbouwing. Deze problemen spelen bij in totaal 20 van de 36 subsidies waarover de Tweede Kamer evaluatie-informatie heeft ontvangen. De betrokken minister heeft in deze twintig gevallen conclusies over de effectiviteit aan de Tweede Kamer gemeld waarvan wij hebben vastgesteld dat ze onjuist zijn dan wel dat onbekend is of ze juist zijn.

• 3. De informatie die de Tweede Kamer ontvangt over de subsidie-evaluaties is in een aantal gevallen gekleurd:

  • Vaak bieden ministers de Tweede Kamer een beleidsreactie op een evaluatierapport aan, waarbij ze meestal ook het evaluatierapport meesturen. Over drie subsidies verstrekten de ministers in hun beleidsreactie de positieve uitkomsten van de evaluaties en lieten ze de minder positieve uitkomsten achterwege (zie kader). Overigens zijn bij een andere subsidie positieve conclusies niet gemeld.

Gekleurde informatie over uitkomsten van subsidie-evaluaties

NESO-programma voor internationale samenwerking in het hoger onderwijs (OCW)

In 2009 verscheen een evaluatie van het NESO-programma van het Ministerie van Onderwijs, Cultuur en Wetenschap (OCW), dat erop gericht is om de naamsbekendheid van Nederland als kennisland in tien gekozen doellanden te vergroten en te versterken door middel van Netherlands Education Support Offices (NESO’s).

De minister meldde aan de Tweede Kamer onder meer dat het programma in een duidelijke behoefte voorziet en succesvol is. Hij meldde niet dat uit de evaluatie blijkt dat de meeste NESO’s nog te kort bestaan om nu al van een integraal succes te kunnen spreken.

Subsidie Atlantische Commissie (BuZa)

De Atlantische Commissie geeft voorlichting over trans-Atlantische samenwerking en laat onderzoek doen naar de trans-Atlantische betrekkingen. Zij ontvangt daarvoor subsidie van het Ministerie van Buitenlandse Zaken (BuZa).

In 2010 verscheen een evaluatierapport over deze subsidie. De minister van BuZa heeft alleen de zes positieve hoofdbevindingen uit het rapport aan de Tweede Kamer gemeld, de drie bevindingen die minder positief waren niet.

Subsidie Technologische topinstituten (EZ)

Technologische topinstituten (TTI’s) hebben als doel om wetenschappelijke excellentie die relevant is voor het bedrijfsleven, te stimuleren. Op die manier moet de innovatiecapaciteit en daarmee de concurrentiepositie van het Nederlandse bedrijfsleven worden verstevigd.

Begin 2006 stuurde de minister van Economische Zaken (EZ) een evaluatie van de subsidie voor TTI’s naar de Tweede Kamer, en ook haar beleidsreactie daarop. In die reactie vermeldde zij alleen de positieve conclusie dat het TTI-programma de start en ontwikkeling van vier succesvolle TTI’s mogelijk heeft gemaakt. Een conclusie die in tegenspraak is met de vorige stond echter niet in de beleidsreactie.

Een uitgebreidere toelichting op deze drie casussen is opgenomen in bijlage 5 van dit rapport.

• Bij drie andere subsidies heeft de betrokken minister twijfels over de effectiviteit van de subsidie of nuanceringen bij de uitspraak dat de subsidie niet effectief is, niet aan de Tweede Kamer gemeld.

• 4. De informatiewaarde van het Subsidieoverzicht Rijk 2010 schiet op verschillende punten tekort:

  • De informatie blijkt niet altijd juist te zijn. Niet alle vermelde financiële bijdragen zijn subsidies; niet alle vermelde evaluaties bestaan ook echt; er bestaan ook evaluaties die niet in het overzicht zijn vermeld.

  • De informatie is niet consistent. Zo blijken ministeries verschillend om te gaan met subsidies die berusten op een kaderwet. Het Ministerie van Sociale Zaken en Werkgelegenheid (SZW) benoemt bijvoorbeeld alle incidentele subsidies die op grond van de Kaderwet SZW-subsidies worden verstrekt apart in het overzicht, terwijl het Ministerie van Volksgezondheid, Welzijn en Sport (VWS) dat niet doet en de Subsidieregeling VWS-subsidies als één subsidieregeling telt, hoewel onder die paraplu zeer veel incidentele subsidies worden verstrekt. Ook de begindata van subsidies worden in het overzicht niet consistent vermeld. Sommige ministeries noemen hier de instellingsdatum van de subsidie, andere ministeries de datum waarop de subsidieregeling voor het laatst is aangepast.

In bijlage 6 is een uitgebreider overzicht opgenomen van de fouten en onduidelijkheden in het Subsidieoverzicht Rijk 2010.

De recente voorstellen van de minister van Financiën (Financiën, 2011c) in het kader van «Verantwoord begroten», om elk begrotingshoofdstuk te voorzien van een subsidiebijlage, schieten volgens ons op dit punt tekort. Zo staan in de voorbeeld-subsidiebijlage die de minister van Financiën aan de Tweede Kamer heeft gestuurd geen doelstellingen, begin- en einddata, geen evaluatiemoment van afgeronde onderzoeken noch de uitkomsten daarvan (Financiën, 2011b).

Overigens is ook de informatievoorziening aan de Tweede Kamer over subsidies vooraf beperkt. De Tweede Kamer krijgt maar weinig rijkssubsidieregelingen vooraf te zien, namelijk alleen de regelingen die de status van formele wet hebben. Dat zijn meestal de kaderwetten, waarin doelstellingen slechts globaal staan omschreven.

2.3 Aanbevelingen

1. Ministers moeten hun subsidies niet alleen (laten) evalueren, maar er ook voor zorgen dat dit deugdelijk gebeurt.

Om het risico zo klein mogelijk te maken dat er uit subsidie-evaluaties verkeerde lessen over de effectiviteit van de subsidie worden getrokken, dient de informatie hierover van goede kwaliteit te zijn. Nieuw uit te voeren evaluaties naar de effectiviteit van subsidies moeten volgens ons voldoen aan de volgende drie vereisten voor goede effectevaluaties:

• De meting van de doelrealisatie moet valide zijn.

• De vraag of de doelrealisatie kan worden toegeschreven aan de subsidie moet worden beantwoord.

• De conclusies moeten deugdelijk zijn onderbouwd.

Wij realiseren ons dat het onderzoeken van de effectiviteit van beleid vaak ingewikkeld is. Soms is het niet mogelijk of niet haalbaar (bijvoorbeeld omdat de kosten van het onderzoek niet in verhouding staan tot de grootte van de subsidie) om onderzoek uit te voeren op basis van de hierboven genoemde vereisten. Om ministeries te ondersteunen bij de belangrijke, maar niet eenvoudige taak om subsidies op effectiviteit te onderzoeken, hebben we in een gelijktijdig met dit rapport gepubliceerde Handreiking voor effectevaluaties van subsidies uitgewerkt hoe ze hieraan concreet vorm kunnen geven (Algemene Rekenkamer, 2011).

2. Ministers moeten alleen van goed uitgevoerde effectevaluaties de resultaten gebruiken bij het nemen van beleidsbeslissingen en bij de verantwoording aan de Tweede Kamer.

Alleen op basis van onderbouwde conclusies over de effectiviteit van subsidies kunnen verantwoorde lessen worden geleerd. Indien ministers alleen onderbouwde conclusies over de effectiviteit van subsidies aan de Tweede Kamer meedelen, krijgt zij een goed beeld van de effectiviteit van subsidies. In onze Handreiking voor effectevaluaties van subsidies (Algemene Rekenkamer, 2011) hebben we uitgewerkt hoe ministers de kwaliteit kunnen beoordelen van evaluaties die ze hebben laten uitvoeren, hoe ze de resultaten daarvan kunnen omzetten in beleidsbeslissingen en hoe ze daarover de Tweede Kamer kunnen informeren.

3. De minister van Financiën moet inhoudelijke kwaliteitscriteria voor evaluatieonderzoek naar de effectiviteit van beleid vastleggen.

Op dit moment zijn er geen duidelijke beoordelingscriteria voor de inhoudelijke kwaliteit van evaluaties van subsidies (en ander beleid). Dat is wel van belang. Immers, alleen van kwalitatief goede informatie kun je verantwoord leren. De minister van Financiën zou daarom dergelijke beoordelingscriteria moeten vastleggen. Wij bieden aan met de minister mee te denken over de wijze waarop invulling aan deze aanbeveling gegeven kan worden zonder te verzanden in bureaucratische voorschriften.

4. Subsidies en subsidieregelingen moeten door de ministers zo veel mogelijk worden voorzien van een concrete doelstelling.

Subsidies en subsidieregelingen moeten voldoende handvatten bieden voor een evaluatie. Daarom moeten ze in principe een specifieke en meetbare doelstelling hebben. Hieraan moet aan het begin van het beleidsproces aandacht worden geschonken.

Als de minister van mening is dat formulering van een concrete doelstelling niet mogelijk is, zou hij dat vooraf expliciet moeten melden aan de Tweede Kamer.

5. Een subsidie waarvan in evaluatieonderzoek is aangetoond dat hij niet werkt, dient te worden stopgezet, tenzij de minister met redenen omkleed aan de Tweede Kamer aangeeft waarom hij toch niet tot stopzetting heeft besloten («comply or explain»).

Een subsidie die aantoonbaar niet werkt moet worden stopgezet, of zodanig worden aangepast dat ze wel effectief zou kunnen worden. Het kabinet Rutte/Verhagen hanteert in zijn regeerakkoord een strenger principe. Daarin heeft het aangegeven dat subsidies, althans die ter versterking van de positie van bedrijven en ondernemers, alleen verstrekt mogen worden als de effectiviteit ervan is bewezen (Informateur, 2010, 8).

Wij kunnen ons evenwel voorstellen dat de minister redenen heeft om een bepaalde subsidie waarvan uit onderzoek blijkt dat zij niet effectief is, of waarvan de effectiviteit niet is aan te tonen, toch te laten doorlopen. Plausibele redenen kunnen bijvoorbeeld zijn dat de minister meent dat het niet-effectief zijn vooral te wijten is aan gebreken in de uitvoering van de subsidie en dat hij goede argumenten heeft om te veronderstellen dat de subsidie in gewijzigde vorm wel kansrijk is, of dat hij de subsidie om andere redenen van belang acht (bijvoorbeeld omdat met de subsidie een bijzonder maatschappelijk belang gemoeid is). In die gevallen zou de minister deze keuze expliciet tegenover de Tweede Kamer moeten verantwoorden.

6. De minister van Financiën moet doorgaan met het publiceren van een Subsidieoverzicht Rijk of een ander, soortgelijk overzicht. Het document zou een overzicht moeten bieden van de subsidies per departement. De minister van Financiën moet de bruikbaarheid, uniformiteit en consistentie van dit overzicht waarborgen door middel van begrotingsvoorschriften over onder andere de doelstellingen en de begin- en einddatum van subsidies, alle geplande en uitgevoerde evaluaties van subsidies en de uitkomsten hiervan, inclusief verwijzingen naar de evaluatierapporten. De afzonderlijke ministers moeten op basis van deze voorschriften zorgen voor een openbaar en raadpleegbaar juist, volledig, actueel en consistent departementaal subsidieoverzicht.

Het periodiek publiceren van een Subsidieoverzicht Rijk is een goede manier om de ministers invulling te laten geven aan hun wettelijke plicht (uit hoofde van artikel 20 lid 2 van de Comptabiliteitswet) om inzicht te geven in de doelmatigheid en doeltreffendheid van beleid. Bovendien wordt hiermee het belang dat de Tweede Kamer al decennia hecht aan inzicht in subsidies, gehonoreerd.

Vastgelegd moet worden welke informatie het overzicht moet bevatten. Te denken valt aan: de begrote budgetten, de beoogde doelen, de begin- en einddata en de evaluatiedata (vergelijk de motie-Van As, Tweede Kamer, 2003b). Daarbij is speciale aandacht nodig voor doorlopende subsidies. In reactie op ons vorige onderzoek naar subsidies (Algemene Rekenkamer, 2010) heeft de minister van Financiën aangegeven dat veel subsidies zonder einddatum doorlopende subsidies zijn en dat voor deze subsidies periodiek een besluit genomen wordt over de voortzetting daarvan. De momenten waarop deze besluiten genomen gaan worden en de uitkomsten daarvan zouden eveneens in het subsidieoverzicht moeten komen.

Verder zou dit overzicht informatie moeten bevatten over de uitkomsten van uitgevoerde effectevaluaties, zodat de Tweede Kamer zich daadwerkelijk een beeld kan vormen van de doeltreffendheid van de verstrekte subsidies. Dit laatste is conform de motie-Weekers uit 2009, die hierom vraagt (Tweede Kamer, 2009). Wanneer het volgens de minister niet wenselijk of mogelijk is om een subsidie op effectiviteit te evalueren moet dit ook, met redenen omkleed, in het overzicht worden vermeld.

Ook moet de minister van Financiën duidelijk maken wat onder verschillende begrippen verstaan moet worden. Daarvoor zijn eenduidige definities nodig van onder meer begin-, eind- en evaluatiedata.

De recente voorstellen van de minister van Financiën ter zake (Financiën, 2011c) in het kader van «Verantwoord begroten», schieten volgens ons op dit punt tekort.

De vorm waarin het overzicht wordt gepubliceerd, ligt niet per se vast, maar het ligt anno 2011 voor de hand te kiezen voor een op internet te publiceren bijlage bij de begroting en/of het jaarverslag. Met gebruikmaking van ICT is het mogelijk om eenvoudig en tegen relatief lage lasten subsidieoverzichten te genereren op basis van onderliggende (departementale) databestanden met informatie over subsidieregelingen en subsidies. Wanneer deze subsidieoverzichten, apart per ministerie en/of samengenomen in één overzicht voor het Rijk, via het internet raadpleegbaar worden gemaakt, voorziet dat in de herhaaldelijk uitgesproken behoefte van de Tweede Kamer aan een actueel en toegankelijk overzicht van subsidieregelingen en subsidies.

3 REACTIE MINISTERS EN NAWOORD ALGEMENE REKENKAMER

Op 14 september 2011 heeft de minister van Financiën een reactie gegeven op ons onderzoek, mede namens de ministers van Binnenlandse Zaken en Koninkrijksrelaties, Buitenlandse Zaken, Defensie, Economische Zaken, Landbouw en Innovatie, Infrastructuur en Milieu, Onderwijs, Cultuur en Wetenschap, Sociale Zaken en Werkgelegenheid, Veiligheid en Justitie en Volksgezondheid, Welzijn en Sport. Het Ministerie van Algemene Zaken verstrekt geen subsidies en is daarom niet in het onderzoek betrokken.

Hieronder volgt een samenvattende weergave van de reactie. Een integrale weergave van de brief is te vinden op onze website: www.rekenkamer.nl.

3.1 Reactie minister van Financiën

De minister van Financiën is het op hoofdlijnen eens met onze aanbevelingen. Wel plaatst hij een aantal kanttekeningen bij onze aanbevelingen over de wijze waarop de beschikbaarheid en kwaliteit van evaluaties kan worden verbeterd. Verder wijst hij op het feit dat in het regeerakkoord een aantal subsidietaakstellingen is opgenomen vanuit de gedachte dat de samenleving minder moet worden gestuurd met behulp van subsidies.

Aanwezigheid van evaluaties en effectiviteit van subsidies

De minister van Financiën is het eens met onze aanbeveling dat een zo dekkend mogelijke programmering van evaluaties, en een goede rapportage daarover, wenselijk is.

De minister geeft aan dat overeenkomstig onze aanbevelingen de informatievoorziening over subsidies aan de Tweede Kamer, transparanter en frequenter zal worden. In het kader van «Verantwoord begroten» (Financiën, 2011c) wordt namelijk met ingang van het begrotingsjaar 2012 jaarlijks per departement een overzicht van alle subsidieregelingen als bijlage bij de begroting opgenomen. Daarin staat onder meer het evaluatiemoment van subsidies vermeld. Hiermee wordt volgens de minister al een grote stap gezet in de richting van betere informatievoorziening.

Komend jaar zal de minister evalueren in hoeverre deze nieuwe begrotingsopzet voldoet aan de wensen van de Tweede Kamer. Hij zegt toe onze suggestie om ook de laatst uitgevoerde evaluatie in de tabel op te nemen, daarin mee te nemen. Door ook naar het verleden te kijken, wordt zichtbaar in hoeverre de evaluatieprogrammering dekkend is, aldus de minister.

Hoewel de Algemene wet bestuursrecht (Awb) de verplichting bevat om subsidieregelingen elke vijf jaar te evalueren, betekent dat volgens de minister nog niet dat voor elke subsidie een evaluatierapport beschikbaar moet zijn. De evaluatie kan volgens hem ook onderdeel zijn van bijvoorbeeld een beleidsnota of een breder onderzoek, zoals een beleidsdoorlichting. Om een goed overzicht tot stand te brengen, zullen volgens hem uiteraard ook evaluaties in deze vorm te vinden moeten zijn in het eerder genoemde subsidieoverzicht.

Kwaliteit van de evaluaties

De minister deelt onze aanbeveling om te streven naar een betere kwaliteit van evaluaties. Wel plaatst hij enkele kanttekeningen bij de aanbevolen invulling en aard van de evaluaties. Hij schrijft dat wij in ons rapport ervan uit lijken te gaan dat in alle gevallen sprake kan zijn van een zinvol effectonderzoek, waarin de situaties met en zonder de inzet van de te evalueren subsidieregeling op een betekenisvolle manier gekwantificeerd naast elkaar gezet kunnen worden. Volgens de minister is het kwantitatief meten van effecten in de praktijk echter vaak lastig, niet goed mogelijk of te kostbaar (in verhouding tot de omvang van de subsidieregeling).

In de Awb worden, zo stelt de minister, aan de precieze aard van de evaluaties dan ook geen nadere regels gesteld. Ook in de Rijksbegrotingsvoorschriften (die regels bevatten voor het evaluatieonderzoek ex post) wordt volgens hem benadrukt dat de vraag naar de effecten (en neveneffecten) van het beleid weliswaar essentieel is, maar ook vaak moeilijk te beantwoorden. Als het niet mogelijk is om de situatie met en zonder beleid onderling te vergelijken, moeten we soms tevreden zijn met het goed aanduiden van de effecten van een subsidieregeling en een plausibele indicatie van de effectiviteit, aldus de minister. Een volledig dekkende programmering van effectonderzoek is volgens hem onmogelijk.

Om deze redenen is de minister het niet eens met onze aanbeveling om inhoudelijke kwaliteitscriteria in regelgeving vast te leggen. Dat wil volgens hem niet zeggen dat we niet moeten streven naar kwalitatief goede subsidie-evaluaties, of naar goede evaluaties in het algemeen. Om tot deze goede evaluaties te komen is een aantal zaken vereist. Van belang is om te beginnen dat een subsidieregeling is voorzien van een duidelijke doelstelling; de minister vindt dat wij dit in ons rapport terecht benadrukken.

Daarnaast kunnen best practices en handreikingen een waardevolle bijdrage leveren, zoals de handreiking die de Algemene Rekenkamer tegelijk met dit onderzoek publiceert. Verder is de minister het met ons eens dat in een goede evaluatie juist ook de beperkingen van het onderzoek duidelijk aan bod moeten komen.

Leren van subsidie-evaluaties

De minister vindt het positief dat wij in ons rapport aangeven dat de intentie om van evaluaties te leren bij het Rijk wel aanwezig is.

In reactie op onze vaststelling dat een groot deel van de evaluaties wel heeft geleid tot wijzigingen in de subsidieregeling, maar niet tot het stopzetten van een subsidie, schrijft de minister geen voorstander te zijn van het invoeren van een beslisregel op grond waarvan subsidieregelingen in principe moeten worden stopgezet bij een negatieve evaluatie. De beslissing om een subsidie al dan niet stop te zetten vergt volgens hem een politieke weging, waarbij de uitkomsten van evaluaties worden benut, maar niet het enige criterium zijn.

De minister besluit zijn reactie met het uitspreken van de hoop dat door de genoemde verbeteringen in het kader van «Verantwoord begroten» en door een verbeterde kwaliteit van subsidie-evaluaties (met oog voor de methodologische en praktische beperkingen) de Tweede Kamer in het vervolg een beter beeld zal krijgen van de effectiviteit van de diverse subsidieregelingen.

3.2 Nawoord Algemene Rekenkamer

Wij nemen met instemming kennis van het feit dat de minister van Financiën, mede namens zijn collega’s, op hoofdlijnen instemt met onze aanbevelingen en streeft naar een betere kwaliteit van subsidie-evaluaties en een betere informatievoorziening over (de uitkomsten van) die evaluaties aan de Tweede Kamer. We zijn er echter niet van overtuigd dat de veranderingen die de minister wil doorvoeren voldoende zijn om deze verbeteringen daadwerkelijk te realiseren.

Op twee belangrijke punten ontbreken concrete toezeggingen: het vastleggen van kwaliteitscriteria voor effectiviteitsonderzoek en de wijze waarop de Tweede Kamer wordt geïnformeerd over de effectiviteit van subsidies.

We zijn het eens met de minister waar hij schrijft dat het uitvoeren van effectiviteitsonderzoek soms lastig, niet goed mogelijk of te kostbaar (in relatie tot de omvang van de subsidieregeling) is. Waar de minister echter om die reden de conclusie trekt dat hij geen inhoudelijke kwaliteitscriteria wil vastleggen, willen wij nogmaals het belang en de functie van die criteria benadrukken.

Het gaat ons om basale criteria die aan elk effectiviteitsonderzoek kunnen worden gesteld: het onderzoek moet betrekking hebben op de doelstelling van de subsidie, het onderzoek moet aannemelijk maken of de subsidie aan het bereiken van die doelstelling heeft bijgedragen en de conclusies van het onderzoek moeten onderbouwd zijn door onderliggende bevindingen.

Juist aan de hand van deze criteria kunnen beperkingen in uitgevoerd evaluatieonderzoek duidelijk zichtbaar worden gemaakt. Dat kan de ministers helpen als zij de resultaten willen gebruiken voor het nemen van onderbouwde beleidsbeslissingen. Bovendien kunnen de criteria de ministers handvatten bieden als zij de Tweede Kamer willen informeren over de uitkomsten van een evaluatie of willen uitleggen waarom een evaluatie niet goed mogelijk of te kostbaar is.

Als het gaat om de verbeteringen in de informatievoorziening aan de Tweede Kamer laat de minister een groot deel van onze aanbevelingen buiten beschouwing. De minister gaat niet in op zijn rol bij het opstellen van de subsidieoverzichten die in het kader van «Verantwoord begroten» nu jaarlijks als bijlagen bij de departementale begrotingen worden gepubliceerd.

Die rol is vastgelegd in de Comptabiliteitswet (CW). De minister van Financiën heeft op grond van artikel 18 van de CW tot taak regels te stellen over onder meer de voorbereiding, wijziging en inrichting van de begrotingen. Vanuit die taak behoort de minister de bruikbaarheid, uniformiteit en consistentie van het subsidieoverzicht te waarborgen, onder meer door duidelijke definities te geven van de daarin gebruikte begrippen, en ervoor zorg te dragen dat een en ander wordt vastgelegd in de rijksbegrotingsvoorschriften.

De minister zegt toe de datum van de laatst uitgevoerde evaluatie aan het overzicht te willen toevoegen. Hij gaat niet in op de andere zaken die volgens ons van belang zijn om een goed inzicht te geven in de mate waarin subsidiegelden effectief zijn besteed, zoals de subsidiedoelstelling, begin- en einddatum en evaluatie-uitkomsten. Deze zaken zijn (nog) niet opgenomen in de als bijlage bij de departementale begrotingen van 2012 opgenomen subsidie-overzichten.

De minister geeft aan dat hij geen voorstander is van een beslisregel op grond waarvan subsidieregelingen in principe moeten worden stopgezet bij een negatieve evaluatie. Wij vragen niet om een beslisregel, maar om transparantie bij het voortzetten van ineffectief gebleken subsidies. Daarom zijn wij van mening dat ministers deze afweging niet alleen moeten maken, maar de Tweede Kamer in dergelijke gevallen actief moeten informeren en in samenspraak met het parlement de keuze moeten maken over het al dan niet voortzetten. Tot slot merken wij op het stopzetten van niet-effectieve subsidies aansluit bij het voornemen in het regeerakkoord om subsidies alleen te verstrekken, indien de effectiviteit ervan is bewezen.

BIJLAGE 1 OVERZICHT CONCLUSIES AANBEVELINGEN EN TOEZEGGINGEN

Plaats in deel I	Conclusies	Aanbevelingen	Toezegging minister
Hoofdconclusie
§ 2.1	Subsidies worden over het algemeen gebrekkig op effectiviteit geëvalueerd. Risico’s hierbij: ministers nemen beslissingen over subsidieregelingen op basis van niet-onderbouwde informatie en verstrekken niet onderbouwde informatie aan Tweede Kamer. Deze risico’s worden in de praktijk ook manifest. Onbekend deel van subsidies wordt binnen wettelijke termijn van vijf jaar geëvalueerd.
Deelconclusies
§ 2.2.1	Meeste onderzochte subsidies zijn niet op effectiviteit geëvalueerd. Voor zover ze wél op effectiviteit zijn geëvalueerd, is dat zelden deugdelijk gebeurd: evaluaties maken niet duidelijk of subsidies in kwestie effectief zijn of niet.	• Ministers moeten hun subsidies niet alleen (laten) evalueren, maar er ook voor zorgen dat dit deugdelijk gebeurt.	• Minister deelt deze aanbeveling. Door ook laatst uitgevoerde evaluatie in subsidieoverzicht bij begroting op te nemen, wordt zichtbaar in hoeverre de evaluatieprogrammering dekkend is. Minister zegt toe dit in de evaluatie van nieuwe begrotingsopzet mee te nemen. • Minister vindt dat in een evaluatie ook beperkingen van het onderzoek aan bod moeten komen.
§ 2.2.2	Onduidelijkheid over effectiviteit van subsidies komt vaak door gebrekkige onderzoeksopzet en onduidelijke informatie over hoe effectiviteitsonderzoek is uitgevoerd. Bovendien bestaat er vaak geen helderheid over doelen van subsidies. Mogelijke verklaring voor gebrekkige wijze van evalueren is dat er nauwelijks wettelijke kwaliteitseisen zijn vastgelegd voor subsidie-evaluaties.	• Subsidies en subsidieregelingen moeten door ministers zo veel mogelijk worden voorzien van concrete doelstellingen.	• Minister vindt dat een subsidieregeling duidelijke doelstelling moet hebben.
		• Minister van Financiën moet inhoudelijke kwaliteitscriteria voor evaluatieonderzoek naar effectiviteit van beleid vastleggen.	• Minister oneens met tweede aanbeveling, omdat volgens hem effectonderzoek per definitie kwantitatieve meting vereist en om die reden vaak lastig, niet goed mogelijk of te kostbaar is.
§ 2.2.3	Evaluaties blijven niet onbenut. Bij rijksoverheid bestaat dus intentie om te leren van subsidie-evaluaties. Maar geen van de onderzochte subsidies is op grond van evaluatie-uitkomsten stopgezet. Besluiten om subsidies te laten doorlopen zijn dikwijls genomen op basis van niet of onduidelijk onderbouwde informatie.	• Ministers moeten alleen van goed uitgevoerde effectevaluaties resultaten gebruiken bij beleidsbeslissingen en bij verantwoording aan Tweede Kamer.	• Minister eens met eerste aanbeveling.
		• Subsidies waarvan in evaluatieonderzoek is aangetoond dat ze niet werken, moeten worden stopgezet, tenzij de minister met redenen omkleed aan Tweede Kamer aangeeft waarom hij toch niet tot stopzetting heeft besloten («comply or explain»).	• Minister wil geen beslisregel invoeren op grond waarvan subsidieregelingen in principe worden stopgezet bij negatieve evaluatie. Zo’n beslissing vergt politieke weging.
§ 2.2.4	Tweede Kamer krijgt op basis van door ministers verstrekte informatie geen goed beeld van effectiviteit van subsidies. Ze wordt niet over alle subsidie-evaluaties geïnformeerd. Informatie die Tweede Kamer wél bereikt is veelal gebaseerd op conclusies uit subsidie-evaluaties die niet deugdelijk zijn onderbouwd. Informatievoorziening aan de Kamer in aantal gevallen gekleurd. Kwaliteit van rijksbrede Subsidieoverzicht Rijk 2010 schiet op diverse punten tekort.	• Minister van Financiën moet doorgaan met publiceren van Subsidieoverzicht Rijk of een ander, soortgelijk overzicht dat overzicht biedt van subsidies per departement. Minister moet bruikbaarheid, uniformiteit en consistentie van dit overzicht waarborgen door middel van begrotingsvoorschriften over doelstellingen en begin- en einddatum van subsidies, alle geplande en uitgevoerde evaluaties van subsidies en uitkomsten hiervan, inclusief verwijzingen naar evaluatierapporten. Alle ministers moeten op basis van deze voorschriften zorgen voor een openbaar en raadpleegbaar juist, volledig, actueel en consistent departementaal subsidieoverzicht.	• Informatievoorziening over subsidies aan Tweede Kamer wordt transparanter en frequenter, via jaarlijkse bijlage bij begroting met overzicht van alle subsidieregelingen. Minister overweegt vermelden van laatst uitgevoerde evaluatie. Op onze overige concrete aanbevelingen om informatievoorziening over subsidies aan Tweede Kamer te verbeteren en rol van de minister van Financiën daarbij, doet minister geen toezeggingen.

BIJLAGE 2 POLITIEKE AANDACHT VOOR SUBSIDIES EN SUBSIDIE-EVALUATIES: HISTORISCH OVERZICHT

Jaar	Subsidieoverzicht (P/D/B)[1]	Definitie subsidie	Aandacht voor subsidie-evaluaties	Vindplaats documentatie
1989			Algemene Rekenkamer: Publicatie van rijksbrede inventarisatie van subsidiebeheer door rijksoverheid. Van 66% van de 410 subsidieregelingen met een financieel belang van minstens f 1 miljoen was geen evaluatie beschikbaar; slechts 75 evaluaties voldoen aan de eisen.	Algemene Rekenkamer, 1989, deel 2
1990
1991			Ministers van Financiën en van Justitie: Geïntegreerd subsidiebeleid. Twee sporen: verbeteren van subsidiebeheer (in het bijzonder voorkomen van misbruik en oneigenlijk gebruik) en verbeteren van subsidiebeleid (in het bijzonder actualiteit, effectiviteit en doelmatigheid).	Financiën & Justitie, 1993a
			Algemene Rekenkamer: Publicatie van het Verslag 1990, met daarin onder meer een analyse van de mate waarin de 31 financieel omvangrijkste subsidieregelingen waren geëvalueerd en van de vraag of de evaluaties voldeden aan de gestelde criteria.	Algemene Rekenkamer, 1991
1992
1993	Subsidieoverzicht[2] bij de rapportage Geïntegreerd subsidiebeleid (de eerste «subsidiebijbel»)[3] (P) [700 subsidies, f 39 miljard]	«Een gebonden inkomensoverdracht- en vermogensoverdracht-om-niet van het Rijk aan personen, instellingen enzovoort in Nederland.» (definitie Miljoenennota 1988)	Ministers van Financiën en Justitie: Er komt een algemene wettelijke regeling voor subsidies in de Algemene wet bestuursrecht (Awb). Daarin ook een plicht tot periodieke evaluaties van subsidieregelingen op effectiviteit. Ontwerpbegrotingen dienen vanaf nu een subsidiebijlage te bevatten.	Financiën en Justitie, 1993b; het subsidieoverzicht is als bijlage hierbij gevoegd (ter inzage gelegd) Financiën, 1987, p. 82
1994
1995
1996			Algemene Rekenkamer: Publicatie Vervolgonderzoek subsidiebeheer. Hoewel het inzicht in de realisatie van doelstellingen is toegenomen, wordt de helft van de subsidies nog steeds niet geëvalueerd.	Algemene Rekenkamer, 1996
			Tweede Kamer: Tweede Kamerleden vragen in algemeen overleg om een (jaarlijkse) inventarisatie van bestaande subsidieregelingen en refereren aan de «subsidiebijbel» van het vorige kabinet. Minister van Financiën zegt toe jaarlijks een puur feitelijk en objectief subsidieoverzicht te publiceren aan de hand van de toetsingscriteria uit het Rekenkamerrapport Subsidiebeheer. Vooruitlopend op de evaluatieplicht die in de Awb zal worden opgenomen, heeft de minister reeds een plan om subsidieregelingen eens in de vijf jaar te evalueren ingediend. Financiën zal toezien op de uitvoering.	Tweede Kamer, 1996
1997
1998	Subsidieoverzicht 1998[4] (P)	Cf Miljoenennota 1988	Ministers van Justitie en Financiën: Subsidietitel in de Awb van kracht, met daarin een subsidiedefinitie die afwijkt van die in de Miljoenennota.	Justitie, 1996 Financiën, 1998a Financiën, 1998b
	Subsidieoverzicht 1999 (P)	Cf Miljoenennota 1988	Tweede Kamer: Tweede Kamerlid Weekers merkt in een algemeen overleg op dat het subsidieoverzicht 1998 beperkt vergelijkbaar is met die uit 1993, door de veranderde subsidiedefinitie.	Tweede Kamer, 1998
1999	Subsidieoverzicht 2000[5] (P)	Cf Miljoenennota 1988		Financiën, 1999
2000	Subsidieoverzicht 2001 (P)	Cf Miljoenennota 1988	Tweede Kamer: De commissie voor de Rijksuitgaven (CRU) verzoekt de minister van Financiën de huidige wijze van toezenden van het subsidieoverzicht te veranderen. De CRU stelt voor dat de Tweede Kamer eens in de vier jaar een evaluatieve brief over het instrument subsidie in algemene zin ontvangt. Actuele informatie over subsidies zoals die nu in het subsidieoverzicht en de desbetreffende begrotingen staat, moet bij voorkeur via internet beschikbaar zijn. Aandachtspunt voor de evaluatieve brief: aantal subsidieregelingen, budgettair belang, onderbouwing van keuze voor instrument subsidie, aanwezigheid toetsbare doelstellingen en helder geformuleerde doelgroep, vijfjaarlijkse evaluatieplicht, anti-cumulatiebepalingen, valt naleving onder reikwijdte accountantscontrole.	Financiën, 2000 Tweede Kamer, 2000
2001	Subsidieoverzicht 2002 (P)	Cf Miljoenennota 1988		Financiën, 2001
2002	Subsidieoverzicht 2003 (D) [505 subsidies, € 17,5 miljard]	Cf Miljoenennota 1988	Tweede Kamer: In de motie-Van As (zoeklicht) wordt de regering verzocht alle rijkstaken tegen het licht te houden door middel van een op te starten «zoeklichtactie», die tot doel heeft om alle rijkstaken qua taakstelling, omvang en kosten door te lichten en bijzondere aandacht te besteden aan alle subsidieregelingen.	Financiën, 2002 Tweede Kamer, 2002
2003	Aanvulling op subsidieoverzicht 2003 in rapport «Zicht op subsidies» (P) [aanvulling: € 4,7 miljard]	Bij de inventarisatie op basis van het Subsidieoverzicht Rijk 2003 bleek dat sommige ministeries de (striktere) Awb-definitie voor subsidies hanteerden. Voor het rapport zijn ook regelingen buiten het subsidieoverzicht die wel onder de definitie van de Miljoenennota 1988 vallen, als subsidie aangemerkt.	Minister van Financiën: Aanbieding van rapport Zicht op subsidies, bedoeld als invulling van kabinetsreactie op de motie-Van As (zoeklicht). Twee delen: inventarisatie van de bestaande subsidieregelingen en een beoordelingskader voor subsidies. Hierin twee criteria: actualiteit en doelmatigheid van de subsidie, waaronder ook de vraag «in welke mate wordt de doelstelling gerealiseerd dankzij de subsidie»? Als «overige beleidsrelevante vraag» ook vermeld: is horizonbepaling aanwezig? Minister van Financiën schrijft in aanbiedingsbrief: subsidieoverzicht wordt met ingang van de Miljoenennota 2003 alleen nog gepubliceerd op het internet (www.minfin.nl). Tweede Kamer zal vierjaarlijks een evaluatieve brief over het instrument subsidies in het algemeen ontvangen, waarvan het rapport Zicht op subsidies de eerste is.	Financiën, 2003
			Tweede Kamer: In de motie-Van As (einddatum) wordt de regering verzocht alle subsidies en subsidieregelingen te voorzien van een einddatum, waar dat nog niet is gebeurd. Na deze einddatum zouden subsidieregelingen automatisch moeten worden stopgezet, tenzij na evaluatie uitdrukkelijk wordt besloten tot verlenging.	Tweede Kamer, 2003b
			Algemeen overleg over het rapport Zicht op subsidies. Verschillende Tweede Kamerleden vragen om uniformering van definities, regels en afspraken voor het subsidieoverzicht en scherper inzicht in evaluaties. Minister van Financiën houdt vast aan subsidiedefinitie van Miljoenennota 1988: Awb-subsidie-definitie is juridisch en heeft andere doeleinden. Toezegging dat in de toekomst eens per vier jaar (kabinetsperiode) een subsidieoverzicht rijk zal worden gepresenteerd (uiterlijk eind 2005). Minister zal werken aan completering van het overzicht, zoals opname van premiegefinancierde sector (VWS) en specifieke uitkeringen.	Tweede Kamer, 2003a
2004
2005
2006	Instrumentenoverzicht Rijk 2006 (B); plus managementsamenvatting (P) [983 instrumenten, € 149,4 mld. Waarvan € 86,9 miljard subsidies en overdrachten]	Wijziging «Subsidies aan producenten, sociale uitkeringen inclusief sociale overdrachten in natura, en overige inkomensoverdrachten.» (gebaseerd op het Europees Stelsel van rekeningen 1995)[6]	Tweede Kamer: Tweede Kamerlid Van As geeft in algemeen overleg aan aanvulling van Instrumentenoverzicht Rijk 2006 te wensen, met informatie over geplande evaluaties en resultaten van laatst uitgevoerde evaluatie, en uitvoering van zijn motie uit 2003 (einddatum) want 80% van de subsidieregelingen heeft nog steeds geen einddatum. Conclusies van het algemeen overleg: in het volgende instrumentenoverzicht wordt geplande evaluatiedatum opgenomen plus verwijzing naar vindplaats van resultaten. Minister van Financiën komt terug op een einddatum in subsidieregelingen.	Managementsamenvatting Instrumentenoverzicht Rijk 2006 (Financiën, 2006b). Het Instrumentenoverzicht Rijk 2006 zelf is in 2006 beschikbaar gesteld via www.rijksbegroting.nl/ior, maar met de conversie van deze website naar www.rijksoverheid.nl in het ongerede geraakt en nu niet meer raadpleegbaar (Tweede Kamer, 2006).
2007
2008
2009			Ministerraad: Vaststelling Kader financieel beheer rijkssubsidies (in december 2009 omgezet in Aanwijzingen voor de subsidieverstrekking).	Financiën, 2009
			Algemene Rekenkamer: Advies om elektronische hulpmiddelen te gebruiken bij de subsidieverlening; dit levert ook de benodigde gegevens voor het opstellen van een subsidieoverzicht. Tevens oproep om terughoudend te zijn met inzet van subsidie-instrument, zeker bij kleine subsidiebedragen.	Algemene Rekenkamer, 2009
			Tweede Kamer: Tweede Kamerleden vragen in algemeen overleg om een actueel (en frequenter verschijnend) overzicht van rijkssubsidies en doen de suggestie om het overzicht «dynamisch» te maken, bijvoorbeeld via een website. De Kamerleden willen inzicht in de doeltreffendheid en doelmatigheid van subsidies: is een subsidieregeling nodig en vormt deze het juiste instrument om een bepaald doel te bereiken. Minister van Financiën geeft aan horizonbepaling serieus te nemen maar vindt die voor bepaalde subsidies niet raadzaam. Toezegging van rijksbreed subsidieoverzicht in het voorjaar 2010.	Tweede Kamer, 2010
			In de Motie-Weekers (doelmatigheid en doeltreffendheid van subsidies) wordt de regering verzocht om doelmatigheid en doeltreffendheid van subsidieregelingen op te nemen in het eerstvolgende Instrumentenoverzicht Rijk.	Tweede Kamer, 2009
2010	Subsidieoverzicht Rijk 2010[7] (P en D) [633 subsidies, € 6 060 miljoen]	Wijziging «Een aanspraak op financiële middelen, anders dan als betaling voor geleverde goederen of diensten, die door een bestuursorgaan wordt verstrekt aan burgers, bedrijven en instellingen met het oog op bepaalde activiteiten van de aanvrager.» (conform artikel 4.21 van de Algemene Wet Bestuursrecht)[8]	Minister van Financiën: Aanbieding van Subsidieoverzicht Rijk 2010. Als invulling van de motie-Weekers wordt per regeling het evaluatiemoment vermeld [Ministeries blijken dit later verschillend te hebben geïnterpreteerd: de vermelde jaartallen liggen zowel in het verleden (= datum van reeds uitgevoerde evaluaties) als in de toekomst (= datum van geplande evaluaties) – Algemene Rekenkamer]	Financiën, 2010b
			Algemene Rekenkamer: Publicatie rapport over subsidies vermeld in het Subsidieoverzicht Rijk 2010. Meer dan de helft van de subsidies van vijf jaar of ouder is niet geëvalueerd. Voor bijna een derde van de subsidies die liepen op 1 januari 2010 en een verwachte looptijd hadden van meer dan vijf jaar, was nog geen evaluatie gepland en een derde van alle subsidies had geen einddatum. Aanbevelingen: (1) stel de frequentie van informatievoorziening over subsidies in de vorm van het Subsidieoverzicht Rijk opnieuw vast: (2) stel voor alle lopende subsidieregelingen een evaluatieplanning op en neem deze op in het eerstvolgende Subsidieoverzicht Rijk (comply or explain); (3) voorzie subsidieregelingen zonder einddatum op korte termijn van een einddatum en neem deze op in eerstvolgend Subsidieoverzicht Rijk (comply or explain).	Algemene Rekenkamer, 2010
			Regeerakkoord Rutte/Verhagen: Subsidies ter versterking van de positie van bedrijven en ondernemers worden alleen verstrekt als de effectiviteit ervan bewezen is.	Informateur, 2010
2011			Minister van Financiën: Aanvullingen op de Rijksbegrotingsvoorschriften in het kader van de plannen voor Verantwoord Begroten. Departementen moeten met ingang van de ontwerpbegroting 2012 een (internet-)bijlage publiceren met daarin een overzicht van de subsidies (conform Awb 4:21) per departement.	Financiën, 2011a
			Tweede Kamer: Tweede Kamerleden geven in algemeen overleg aan de bijlagen bij de ontwerpbegrotingen, waaronder de subsidiebijlage, ook op papier te willen blijven ontvangen. Minister van Financiën geeft aan dat de stukken op papier aangeboden worden, maar ook digitaal beschikbaar worden gesteld via een toegankelijke website.	Tweede Kamer, 2011

1 P: Papieren versie; D: digitaal document op internet; B: database op internet.

2 Dit overzicht geeft per subsidie informatie over onder meer: doelstelling, doelgroep, datum meest recente evaluatie en de conclusie daarvan, aanwezigheid horizonbepaling.

3 De subsidieoverzichten werden in de wandelgangen van de Tweede Kamer ook wel aangeduid als «subsidiebijbels» vanwege de grote omvang van het eerste subsidieoverzicht uit 1993.

4 De in het overzicht genoemde budgetten zijn naar de stand van de ontwerpbegrotingen 1998. Voor de Subsidieoverzichten 1999 tot en met 2003 is eenzelfde systematiek gehanteerd. De subsidieoverzichten 1998 tot en met 2003 geven per subsidie informatie over onder meer: doelstelling, doelgroep, datum en aard meest recente ex-post-evaluatie en de vindplaats daarvan, aanwezigheid horizonbepaling.

5 Het Subsidieoverzicht 2000 is als bijlage bij de Miljoenennota 2000 in september 1999 aangeboden aan de Tweede Kamer. Ook de subsidieoverzichten over 2001, 2002 en 2003 zijn als bijlage bij de desbetreffende miljoenennota’s gepubliceerd.

6 Het instrumentenoverzicht biedt een overzicht van álle uitgaande geldstromen van de departementen, waarbij een uitsplitsing gemaakt is naar «subsidies en overdrachten» en overige geldstromen. Tot «subsidies en overdrachten» gerekend de uitgaven met de ESR-codes 31 en 41–43 , en tot «overige uitgaven» de uitgaven met andere codes (ESR: Europees Stelsel van rekeningen).

7 Volgens de toelichting zijn de in het overzicht genoemde budgetten gebaseerd op door departementen verstrekte informatie en in een aantal gevallen niet ingevuld omdat hierover nog geen informatie beschikbaar was of pas in 2011 of later budget gereserveerd was. Het overzicht geeft per subsidie informatie over onder meer: doelstelling, doelgroep, begin- en einddatum en evaluatiemoment.

8 Zo zijn niet opgenomen: aanspraken of verplichtingen op grond van fiscale wetten en volksverzekeringen, inkomensoverdrachten, verstrekkingen aan publiekrechtelijk ingestelde rechtspersonen, specifieke uitkeringen aan medeoverheden en bekostiging van onderwijs en onderzoek (structureel/eerste geldstroom).

BIJLAGE 3 AANPAK ONDERZOEK, NORMEN EN BEGRIPPEN

Aanpak onderzoek

In ons onderzoek hebben we alle 111 subsidies betrokken die volgens het Subsidieoverzicht Rijk 2010 in de jaren 2005 tot en met 2009 zijn geëvalueerd.¹² Van deze subsidies hebben we de bijbehorende evaluatieverslagen opgezocht. In 42 gevallen bleken die niet aanwezig, in 69 gevallen wel. Aan deze verzameling van 69 geëvalueerde subsidies hebben we twaalf subsidies toegevoegd waarvoor wél een evaluatie in de jaren 2005 tot en met 2009 bleek te zijn uitgevoerd, maar waarvan dit niet was vermeld in het Subsidieoverzicht Rijk 2010. Van deze 81 subsidies met evaluaties zijn we nagegaan of deze documenten daadwerkelijk uitspraken bevatten over de effectiviteit van de subsidie. Dat bleek bij 22 subsidies niet en voor 59 subsidies wel het geval.¹³

Niet alle 59 subsidies hebben we betrokken in het vervolg van ons onderzoek. De twee subsidies die twee maal in het Subsidieoverzicht Rijk voorkwamen onder twee verschillende nummers, hebben we uiteraard maar één maal meegenomen in het onderzoek, waarmee het aantal geëvalueerde subsidies op 57 uitkomt.

Omdat we niet alleen de kwaliteit maar ook het leren van deze evaluaties wilden beoordelen, en dit leren enige tijd vergt na de publicatie van het rapport, hebben we de zes evaluaties gepubliceerd ná 1 juli 2009 verder buiten beschouwing gelaten. Ook één evaluatie gepubliceerd vóór 2005 viel buiten de scope van dit onderzoek.

Aldus resteerden 53 evaluaties, die betrekking hadden op vijftig subsidies.¹⁴ Deze 53 hebben we op kwaliteit beoordeeld. Een belangrijke vraag daarbij was of de conclusies en aanbevelingen die de effectiviteit van de subsidie betroffen, voldoende waren onderbouwd.

Vervolgens hebben we voor een aantal van de op kwaliteit beoordeelde subsidie-evaluaties, gesprekken gevoerd met ambtenaren van de betrokken ministeries. Het doel van deze gesprekken was om na te gaan of en hoe de resultaten van de evaluaties zijn gebruikt en welke overwegingen daarbij gehanteerd zijn.

Tot slot zijn we voor alle evaluatieverslagen die in dit onderzoek zijn betrokken, nagegaan welke informatie naar de Tweede Kamer is gestuurd over de evaluatie zelf, over de belangrijkste conclusies en aanbevelingen als het gaat om de effectiviteit van de subsidie, en over het gebruik van de resultaten van de evaluatie.

Normen

Periodieke evaluatie

Algemene wet bestuursrecht

In artikel 4:24 is bepaald dat subsidieregelingen iedere vijf jaar geëvalueerd moeten worden:

«Indien een subsidie op een wettelijk voorschrift berust, wordt ten minste eenmaal in de vijf jaren een verslag gepubliceerd over de doeltreffendheid en de effecten van de subsidie in de praktijk, tenzij bij wettelijk voorschrift anders is bepaald.»¹⁵

Regeling Rijksbegrotingsvoorschriften 2011 (Financiën, 2010c, 67)

Artikel 5 regelt de periodieke evaluatie van beleid:

«Beleid gericht op de realisatie van de algemene of operationele beleidsdoelstellingen wordt, aansluitend bij de beleidscyclus, periodiek geëvalueerd in een beleidsdoorlichting.»

In de toelichting op dit artikel wordt aangegeven dat het de bedoeling is om beleid met een zekere regelmaat – bijvoorbeeld elke vier, vijf of zeven jaar – te evalueren. De reden om hiervoor geen termijn vast te leggen, is het streven dat de beleidsdoorlichting zo wordt ingepast in de beleidscyclus dat de informatie ook daarvoor kan worden gebruikt.

In dit onderzoek hebben we de volgende normen gehanteerd:

• 1. Subsidies worden door het Rijk goed op effectiviteit geëvalueerd. Dat wil zeggen:

  • dat de meting valide is (er wordt gemeten wat gemeten moet worden);

  • dat het aannemelijk is dat de gevonden effecten kunnen worden toegeschreven aan de subsidie (met andere woorden, dat er een causale relatie is tussen de subsidie en de doelrealisatie), iets wat aannemelijk kan worden gemaakt door middel van:

    • evaluaties met een (quasi-)experimentele opzet, waarin het bereiken van een bepaald doel bij de beoogde doelgroep centraal staat;¹⁶

    • onderzoeken waarin de doelgroep wordt bevraagd over de noodzaak van de subsidie;¹⁷

    • onderzoeken waarin de relatie tussen subsidie en effect plausibel wordt gemaakt door informatie uit verscheidene bronnen te combineren (triangulatie).

  • dat de conclusies worden onderbouwd door onderzoeksresultaten.

• 2. Het Rijk gebruikt de uitkomsten van uitgevoerde evaluaties en benut de lessen daaruit adequaat:

  • conclusies over de effectiviteit van de subsidie (en bijbehorende aanbevelingen) die voldoende zijn onderbouwd, worden gebruikt voor de voortzetting, aanpassing of stopzetting van de subsidie(regeling);

  • conclusies over de effectiviteit van de subsidie (en bijbehorende aanbevelingen) die onvoldoende zijn onderbouwd worden niet gebruikt voor de voortzetting, aanpassing of stopzetting van de subsidie(regeling);

  • de informatievoorziening aan de Tweede Kamer is niet gekleurd: indien de minister in een beleidsreactie een selectie maakt van de resultaten van het onderzoek, dan moet deze selectie een evenwichtig beeld schetsen van die uitkomsten van dat onderzoek.

Overigens kan een evaluatie die niet aan onze normen voldoet, soms toch een onverwacht inzicht geven in de noodzaak van een subsidie. Dat is het geval wanneer de subsidieontvanger daarover wordt bevraagd. Bij toepassing van deze methode is echter het risico groot dat een te rooskleurig beeld ontstaat van de noodzakelijkheid van de subsidie. Een subsidieontvanger zal immers niet snel aangeven dat hij deze subsidie niet nodig had. Daarom is deze methode als enige methode van onderzoek niet aan te raden. Maar als (vrijwel) alle subsidieontvangers aangeven de subsidie niet nodig te hebben om de met de subsidie beoogde activiteiten te zullen verrichten, is het vrij aannemelijk dat er sprake is van een cadeau-effect en dat de subsidie dus niet nodig was.

Begrippen

Doeltreffendheid (= effectiviteit):

Onder doeltreffendheid verstaan we in dit onderzoek de mate waarin de beleidsdoelstelling dankzij de prestaties, waaronder de inzet van beleidsinstrumenten, wordt gerealiseerd (Financiën, 2010c, 70).

Evaluatie

Met «evaluatie» bedoelen we in dit onderzoek «effectenonderzoek ex post».

Effectenonderzoek ex post

In effectenonderzoek ex post worden op een systematische en methodologisch verantwoorde wijze de effecten van beleid in de maatschappij of overheidsorganisatie onderzocht en beoordeeld (Financiën, 2010c, 70).

Effectenonderzoek ex post is één van de twee vormen van evaluatieonderzoek ex post die in de Rijksbegrotingsvoorschriften worden onderscheiden.

Subsidie

In dit onderzoek sluiten we aan bij het subsidiebegrip zoals gedefinieerd in artikel 4:21 van de Awb. We gebruiken hierna het woord «subsidie» voor zowel subsidieregelingen als subsidies met een eenmalig en uniek karakter.

Met «subsidieregelingen» bedoelen we subsidies met een wettelijke grondslag. Niet alle subsidies berusten echter op een wettelijk grondslag. In de Awb (artikel 4:23 lid 3 Awb) zijn vier uitzonderingen benoemd. Met «subsidies met een eenmalig en uniek karakter» bedoelen we subsidies waarvoor één van de volgende drie uitzonderingsgronden op het vereiste van de wettelijke grondslag van toepassing is : spoedeisende subsidies, begrotingssubsidies en incidentele subsidies. De vierde uitzondering geldt (volledig) Europese subsidies, maar die komen niet ten laste van de Nederlandse begroting en vallen daarmee buiten het bereik van dit onderzoek.

BIJLAGE 4 ONDERZOCHTE SUBSIDIES

De hieronder vermelde gegevens zijn overgenomen uit het Subsidieoverzicht Rijk 2010. De ID-nrs zijn de voor elke subsidie unieke identificatienummers die in dit overzicht worden gebruikt.

Naam subsidie	Ministerie[1]	Budget 2010	ID-nr
MATRA/Kleine Plaatselijke activiteitenprogramma (KPA)	BuZa	€ 2 000 000	142
Beleidskader Vakbondsmedefinanciering 2005–2008 (VMF)	BuZa	€ 16 345 000	145
Financieringsmaatschappij voor Ontwikkelingslanden (FMO)	BuZa	€ –	159
Europafonds	BuZa	€ 2 500 000	161
Prins Clausfonds	BuZa	€ 3 403 352	188
Clingendael	BuZa	€ 2 820 000	299
Atlantische Commissie	BuZa	€ 490 000	301
Stabiliteitsfonds	BuZa	€ 28 000 000	302
Kleine en lichte wapens	BuZa	€ –	346
Humanitair ontmijnen	BuZa	€ 10 000 000	345
Seksuele en reproductieve gezondheid en rechten	BuZa	€ 11 700 000	917
PUM	BuZa	€ 10 064 000	1014
Marktontwikkeling	BuZa	€ 32 558 000	1016
MOL-fonds FMO	BuZa	€ 14 500 000	1020
Duurzame economische ontwikkeling	BuZa	€ 4 282 000	1022
Wederopbouw	BuZa	€ 4 000 000	1040
Noodhulp	BuZa	€ 25 000 000	1041
Subsidieregeling starten, groeien overdragen van ondernemingen, Seed capital technostarters	EZ (EL&I)	€ 21 032 000	4
Subsidieregeling starten, groeien overdragen van ondernemingen, Borgstelling MKB (garantie)	EZ (EL&I)	€ 45 000 000	9
Subsidieregeling innoveren, Innovatievouchers	EZ (EL&I)	€ 24 880 000	10
Subsidieregeling sterktes in innovatie, prekwalificatie ESA / programma's	EZ (EL&I)	€ 77 227 000[2]	260
Subsidieregeling sterktes in innovatie, Innovatieprogramma's (exclusief TI's)	EZ (EL&I)	€ 70 000 000	1054
Bijdrage aan diverse instituten, Nederlands Bureau voor Toerisme & Congressen	EZ (EL&I)	€ 16 839 000	1071
Bijdrage aan diverse instituten, Stichting Technische Wetenschappen	EZ (EL&I)	€ 25 919 000	1073
Subsidieregeling sterktes in innovatie, Innovatieprogramma's (TI's)	EZ (EL&I)	€ 77 606 000	739–45 en 1064–1066
Subsidieregeling schippersinternaten	JenG	€ 24 000 000	656
Leerstoelen Universiteit Maastricht «Wetgeving en Wetgevingskwaliteit» en «Europees bestuursrecht»	Justitie (VenJ)	€ 52 000	404
Stichting Geschillencommissies voor Consumentenzaken (De Geschillencommissie)	Justitie (VenJ)	€ 1 307 000	415
Bijdrage Expertisecentrum Forensische Psychiatrie	Justitie (VenJ)	€ 545 000	1007
Haltbureaus/Wet Justitiesubsidies	Justitie (VenJ)	€ 12 572 000	391
Subsidie praktijknetwerken veehouderijen	LNV (EL&I)	€ 400 000	210
Subsidie samenwerking bij innovatieprojecten landbouwondernemingen	LNV (EL&I)	€ 1 016 000	211
Subsidie innovatieprojecten melkveehouderij en intensieve veehouderij	LNV (EL&I)	€ 3 071 000	214
Kaderregeling Technocentra 2006 tot en met 2010 (Wet Fonds economische structuurversterking)	OCW	€ 9 998 000	7
Regeling innovatiearrangement 2006 tot en met 2009	OCW	€ 10 000 000	449
Subsidieregeling Aanvalsplan laaggeletterdheid 2006–2010	OCW	€ 4 000 000	460
Subsidieregeling Huygens Scholarship Programme	OCW	€ 9 750 000	462
Stichting Kennisnet	OCW	€ 21 847 000	868
Bevorderen van internationale oriëntatie en samenwerking in het primair en voortgezet onderwijs	OCW	€ 850 000	884
Regeling voor het aanvragen van een startsubsidie of een subsidie veldinitiatief Passend onderwijs 2009–2011	OCW	€ 850 000	906
Nederlands Filmfonds	OCW	€ 31 762 268	983
Stichting service centrum scholenbouw	OCW/Financiën	€ 500 000[3]	1439
Stichting Nederlandse Organisatie voor Internationale Samenwerking in het Hoger Onderwijs (Nuffic)	OCW	€ 15 210 000	1481
Subsidieregeling milieugerichte technologie; Subsidieprogramma Milieu en Technologie	VROM	€ 4 218 000	288
Subsidieprogramma Verkeersmaatregelen Luchtkwaliteit	VROM	€ 39 054 000	16
Tijdelijke subsidieregeling Stichting Nederland Maritiem Land (NML) 2006–2009	VenW (I&M)	€ 671 000	563
Betere mobiliteit voor morgen	VenW (I&M)	€ 6 000 000	1154
Regeling tot subsidiëring van de Stichting Voorlichtingsbureau Short Sea Shipping gedurende de jaren 2010 tot en met 2012	VenW (I&M)	€ 159 000	1352
Regeling tot subsidiëring van de Stichting Bureau Voorlichting Binnenvaart gedurende de jaren 2010 tot en met 2012	VenW (I&M)	€ 94 000	1354
Subsidieregeling kwaliteit arbeidsverhoudingen	SZW	€ 521 000	70

1 Van ministeries die sinds november 2010 een andere naam hebben gekregen, staat deze nieuwe naam tussen haakjes vermeld.

2 Volgens het Ministerie van EL&I/EZ bedroeg het budget voor PEP slechts € 5,9 miljoen in 2010.

3 De Ministeries Financiën en OCW hebben beide € 500 000 betaald. In het Subsidieoverzicht Rijk 2010 is alleen het bedrag van het Ministerie van OCW opgenomen.

BIJLAGE 5 GEKLEURDE INFORMATIE AAN DE TWEEDE KAMER

1: Subsidie Samenwerking in het Hoger Onderwijs (Nuffic) Onderdeel: Netherlands Education Support Offices (NESO’s), Ministerie van OCW

Een (klein) onderdeel van de subsidie aan het Nuffic betreft de Netherlands Education Support Offices (NESO’s). De NESO’s zijn vertegenwoordigingen van het Nederlandse hoger onderwijs in landen waar de vraag naar hoger onderwijs het aanbod overtreft. Ten tijde van de evaluatie van de subsidieregeling voor deze instellingen waren er tien NESO’s in evenzoveel landen actief. Op 15 oktober 2009 stuurde de minister van OCW zijn beleidsreactie op een evaluatieonderzoek over de NESO’s en een interne evaluatie van het Nuffic, de subsidie-uitvoerder, over deze NESO’s, naar de Tweede Kamer (OCW, 2009).

De minister merkte over de effectiviteit van de NESO’s het volgende op: «Het algemene beeld dat uit de evaluaties naar voren komt is dat het NESO-programma een goed gekozen instrument is voor de generieke promotie van het Nederlandse hoger onderwijs in het buitenland» (p. 2). Het NESO-stelsel is «potentieel een bijzonder waardevol instrument voor het Nederlandse hoger onderwijs en, meer in den brede, de Nederlandse kennissamenleving. De NESO’s vormen een brug tussen Nederland en de NESO-landen, versterken de mogelijkheden voor de internationalisering van het Nederlandse hoger onderwijs en vergroten de mogelijkheden om talentvolle kenniswerkers aan te trekken» (p. 3). De minister onderschrijft deze conclusies. Zijn eindconclusie (p. 5) is dat het programma niet alleen in een duidelijke behoefte voorziet en succesvol is, maar dat met het overnemen van een aantal van de gedane aanbevelingen het NESO-stelsel in de toekomst nog effectiever de Nederlandse instellingen en kenniseconomie van dienst zal zijn.

De minister meldde diverse kanttekeningen bij de effectiviteit van de NESO’s echter niet. Zo noemde hij niet dat uit de evaluatie blijkt dat de meeste NESO’s nog te kort bestaan om nu al van een integraal succes te kunnen spreken (Breimer et al., 2009, p. 16). Hetzelfde beeld komt naar voren uit de evaluatie door het Nuffic: «Bij de beantwoording van de evaluatievragen moet rekening worden gehouden met het feit dat de meeste NESO-kantoren nog niet zo lang bestaan en de meeste NESO’s net met de uitvoering van het programma zijn begonnen. Dat heeft tot gevolg dat nog onvoldoende data beschikbaar zijn. De evaluatie heeft daarom vooral het karakter van een tussenbalans» (Nuffic, 2009, p. 6).

2: Subsidie Atlantische Commissie, Ministerie van BuZa

De Atlantische Commissie geeft voorlichting over trans-Atlantische samenwerking en laat onderzoek doen naar de trans-Atlantische betrekkingen. De minister van BuZa heeft op 5 maart 2010 het evaluatierapport en de beleidsreactie naar de Tweede Kamer verstuurd (BuZa & Defensie, 2010).

De minister heeft alleen de zes positieve hoofdbevindingen uit het rapport weergegeven. De drie bevindingen die minder positief zijn, staan er niet in. «Via de zogenoemde kennisvermenigvuldigers wordt indirect een breder publiek bereikt, maar in welke mate dat gebeurt is op methodologische gronden niet te kwantificeren.» «De Atlantische Commissie heeft veel energie gestoken in de verbetering van het digitale lesmateriaal, maar dit wordt weinig gebruikt in het onderwijs.» «Het oordeel over het tijdschrift Atlantisch Perspectief is gemengd. De artikelen zijn over het algemeen actueel en interessant. De kwaliteit ervan wisselt» (IOB, 2009, 13,14).

3: Subsidie Technologische Top Instituten (TTI’s), Ministerie van EZ (EL&I)

TTI’s hebben als doel om wetenschappelijke excellentie op een coherent onderzoeksgebied, relevant voor het bedrijfsleven, te stimuleren en bij te dragen aan toepassing en internationale aantrekkingskracht. Door het publieke onderzoek op zulke gebieden te concentreren en de invloed van het bedrijfsleven op het vaststellen van de onderzoeksagenda te vergroten, zou het bedrijfsleven strategische kennis vergaren waarmee de innovatiecapaciteit en daarmee de concurrentiepositie wordt verstevigd.

Op 30 januari 2006 stuurde de minister van EZ het rapport en zijn beleidsreactie daarop, naar de Tweede Kamer (EZ, 2006).

De hoofdconclusie uit de aanbiedingsbrief luidde: «Het TTI-programma heeft de start en ontwikkeling van vier succesvolle TTI’s mogelijk gemaakt, die elk op hun eigen wijze in hun eigen (sterk verschillende) omgeving aan de genoemde doelstellingen een positieve bijdrage hebben geleverd.» Deze tekst is vrijwel letterlijk uit het rapport overgenomen.

Een andere conclusie, die in tegenspraak is met de vorige, staat echter niet in de beleidsreactie. «As the objectives of the LTI instruments have not been clearly codified and defined in rather broad terms, the evaluation of whether the instrument has fulfilled its goals is difficult to establish. The interpretation of what constitutes a «good» LTI institute is ambiguous. Therefore, there is no clear yardstick whether an LTI institute complies with the instrument’s intentions» (Technopolis, 2005, p. 54).

De conclusies en de aanbeveling over explicietere doelen en monitoring zijn ook niet de brief opgenomen.

BIJLAGE 6 FOUTEN EN ONDUIDELIJKHEDEN IN «SUBSIDIEOVERZICHT RIJK 2010»

Bij de uitvoering van dit onderzoek zijn we op een aantal fouten en onduidelijkheden in het Subsidieoverzicht Rijk 2010 gestuit. We bespreken ze hier kort, om aan te geven op welke punten de informatiewaarde van het Subsidieoverzicht Rijk 2010 tekortschiet. Daarbij willen we de kanttekening plaatsen dat we alleen zaken vermelden die ons zijn opgevallen bij ons onderzoek naar subsidie-evaluaties, in het bijzonder bij het navragen en opzoeken van aanwezige subsidie-evaluaties en het beoordelen van de kwaliteit daarvan. We hebben niet alle informatie in het Subsidieoverzicht Rijk 2010 gecontroleerd. Ook hebben we niet voor de subsidies waarvan de evaluaties in dit onderzoek betrokken zijn, alle daarover vermelde gegevens in het Subsidieoverzicht Rijk 2010 gecontroleerd.

De beperkte informatiewaarde van het Subsidieoverzicht Rijk 2010 is terug te voeren op twee gebreken. Ten eerste blijkt niet alle informatie die erin staat te kloppen. Ten tweede is de informatie die in het Subsidieoverzicht Rijk 2010 staat op punten onduidelijk en niet zelfstandig leesbaar.

Fouten

Tijdens ons onderzoek zijn wij de volgende acht fouten in het Subsidieoverzicht Rijk 2010 tegengekomen.

1. Niet alle in het Subsidieoverzicht Rijk 2010 vermelde evaluaties waren daadwerkelijk aanwezig bij de ministeries.

2. Het Subsidieoverzicht Rijk 2010 vermeldt ook budgetten die niet onder de subsidiedefinitie van artikel 4:21 van de Awb vallen. Het gaat hierbij onder meer om de hieronder genoemde budgetten.

• Bijdragen aan volkenrechtelijke organisaties (en de programma’s die zij uitvoeren). De Awb is hierbij niet van toepassing, omdat bij dergelijke geldstromen de verhouding tussen de verstrekker en de ontvanger door het volkenrecht wordt beheerst. Dit geldt voor de financiële bijdrage aan het Internationaal Strafhof.

• Financiële verstrekkingen van Nederlandse ambassades aan (rechts-)-personen buiten de EU. In artikel 4 tweede lid van de Kaderwet subsidies Buitenlandse Zaken is geregeld dat dergelijke verstrekkingen geen subsidies zijn. Hiervan is sprake als het gaat om de bijdrage aan «MEFMI Macro economic and Financial Management Institute of Eastern and Southern Africa».

• Bijdragen op grond van de Wet bevordering eigenwoningbezit. Het gaat hier om een aanvullende inkomensvoorziening. Dat de Awb niet van toepassing is, is ook in de Wet bevordering eigenwoningbezit vastgelegd (artikel 6, vierde lid).

• Opdrachten, dat wil zeggen betalingen voor de levering van goederen en diensten. Dit is bijvoorbeeld het geval bij de uitgaven aan «Kenniskringen Visserij», «Ondersteuning Visserij Innovatie Platform (VIP)», «Onderzoek transitie mosselsector en natuurherstel Waddenzee» en «Subsidie Netwerk veelzijdig platteland» van het Ministerie van LNV (nu EL&I).

• Overdracht van het ene departement aan een andere voor een bijdrage aan een agentschap voor een beleidsprogramma. Het gaat om het energiebesparingsprogramma Het Nieuwe Rijden, dat onder verantwoordelijkheid van het Ministerie van VenW werd uitgevoerd door Agentschap NL, een agentschap van het Ministerie van EZ (nu EL&I).

3. Het Ministerie van EZ (nu EL&I) heeft aangegeven dat de hoogte van het subsidiebudget voor de Prekwalificatie ESA Programma’s (PEP) in 2010 niet € 77,2 miljoen bedraagt, zoals nu in het Subsidieoverzicht Rijk 2010 vermeld is, maar € 5,9 miljoen. Bovendien is alleen het deel dat het Ministerie van OCW betaalt voor de subsidie aan de Stichting service centrum scholenbouw in dit overzicht opgenomen (€ 0,5 miljoen), terwijl het even grote deel dat het Ministerie van Financiën betaalt, er niet in staat. Gerelateerd aan het totale subsidiebudget volgens het Subsidieoverzicht Rijk 2010 van € 6 060 miljoen in 2010, en het totale budget van € 725 miljoen volgens het Subsidieoverzicht Rijk 2010 voor subsidies met een evaluatie in de door ons onderzochte periode, is dat een substantiële wijziging. We kunnen niet uitsluiten dat ook de hoogte van de andere, niet door ons onderzochte subsidiebedragen die in het Subsidieoverzicht Rijk 2010 staan genoemd, onjuist zijn.

4. De vermelde begin-, eind- en evaluatiedatum blijken in veel gevallen niet te kloppen. Dit is onder meer problematisch met het oog op het kunnen vaststellen of voldaan wordt aan de wettelijke eis om minimaal eens per vijf jaar subsidies die op een wettelijk voorschrift berusten op effectiviteit te onderzoeken. Er zou hier echter ook sprake kunnen zijn van een onduidelijkheid bij de departementen over wat als begindatum moet worden aangehouden voor subsidies die jaarlijks worden toegekend. Relatief vaak is 1 januari 2010 als begindatum vermeld, ook als subsidies al langer lopen en dus eerder gestart zijn, zoals de subsidies aan de Academie voor Wetgeving (vanaf 2001) en aan de Stichting Geschillencommissie Consumentenzaken (het Ministerie van Justitie subsidieert al minstens sinds 2002). In het geval van de Geschillencommissie, waarbij het gaat om een jaarlijkse subsidietoekenning, heeft het Ministerie van Justitie aangegeven als «begindatum» de begindatum van de betreffende subsidieperiode (te weten het jaar 2010), te hebben ingevuld. Ook blijkt in een aantal gevallen de datum van een tussentijdse wijziging van een subsidieregeling te zijn opgegeven als begindatum.

5. Niet alle subsidies in het Subsidieoverzicht Rijk 2010 blijken te voldoen aan het criterium dat volgens de toelichting bepalend was voor opname in dit overzicht. Volgens de toelichting zijn subsidieregelingen opgenomen waarvoor per 1 januari 2010 of op een later moment in 2010 aanvragen kunnen worden ingediend, en die in 2010 tot uitgaven leiden (naar stand begroting 2010). Daarnaast zijn subsidies en bijdragen opgenomen die, voor zover bekend op 1 januari 2010, in 2010 worden verleend op basis van een kaderwet of begroting (subsidies met een eenmalig of uniek karakter (Financiën, 2010a, p. 3). Niet alle subsidies bleken echter aan dit criterium te voldoen.

• Twee subsidies worden volledig gefinancierd worden door de EU, waarbij er geen sprake is van Nederlandse cofinanciering. Dit betreft de uitgaven vermeld voor «Compensatie voor elektronische merken» en «Compensatie voor kosten I&R centrale databank». Omdat deze subsidies niet ten laste van de Nederlandse begroting komen, horen ze niet thuis in het Subsidieoverzicht Rijk 2010.

• Ook staat er in het Subsidieoverzicht Rijk 2010 een subsidie die pas start in 2011 en doorloopt tot 2015 («Medefinancieringsstelsel 2011–2015» van het Ministerie van BuZa).

6. Soms staat de subsidie bij het verkeerde ministerie (Besluit subsidies investeringen kennisinfrastructuur valt onder het Ministerie van LNV (nu EL&I), niet het Ministerie van VWS).

7. De in het Subsidieoverzicht Rijk 2010 vermelde evaluatie blijkt betrekking te hebben op een specifieke uitkering op hetzelfde beleidsterrein, niet op de subsidieregeling (subsidie «Wet Bodemsanering»).

8. De vermelde vindplaatsen van documentatie blijkt vaak niet te kloppen.

Onduidelijkheden

Als het gaat om onduidelijkheden valt allereerst op dat wat als subsidieregeling of subsidie wordt geteld, verschilt tussen ministeries. Zo blijken ministeries verschillend om te gaan met subsidies die berusten op een kaderwet. Het Ministerie van SZW benoemt bijvoorbeeld alle (incidentele) subsidies die op grond van de Kaderwet SZW-subsidies worden verstrekt apart in het Subsidieoverzicht Rijk 2010, terwijl het Ministerie van VWS dat niet doet en de Subsidieregeling VWS-subsidies als één subsidieregeling telt, hoewel daaronder vele (incidentele) subsidies worden verstrekt. Soms ook wordt een beleidsprogramma als één eenheid geteld, ook al omvat deze twee (aparte) subsidieregelingen (Programma Verkeersmaatregelen Luchtkwaliteit van het voormalige Ministerie van VROM).¹⁸

In het Subsidieoverzicht Rijk 2010 wordt dus zowel specifieke als generieke informatie vermeld, zonder dat dit de lezer wordt duidelijk gemaakt.

In twee gevallen worden subsidies die door twee ministeries gefinancierd worden, als twee aparte subsidies vermeld in het Subsidieoverzicht Rijk 2010. Een verwijzing of toelichting waarin dit duidelijk wordt gemaakt, ontbreekt. Dit geldt voor «Programma Uitzending Managers», gefinancierd door zowel het Ministerie van EZ/EL&I als door het Ministerie van BuZa, en voor «Nederland Maritiem Land», gefinancierd door zowel het Ministerie van EL&I/EZ als door het Ministerie van VenW/IenM. Onduidelijk is wat het uiteindelijke subsidiebudget voor deze twee subsidies is: kunnen hiervoor de budgetten van beide betrokken ministeries worden opgeteld? Hier is het Subsidieoverzicht Rijk dus niet zelfstandig leesbaar.

Soms is onduidelijk in hoeverre de in het Subsidieoverzicht Rijk 2010 vermelde budgetten zijn bestemd voor subsidie-uitgaven. Dit geldt voor twee «gemengde posten» van het Ministerie van BuZa: «Thema integraal waterbeheer (gemengde post)», «Drinkwater en sanitaire voorzieningen (gemengde post)». Navraag leerde ons dat hiermee wordt bedoeld dat de vermelde budgetten niet alleen voor subsidies maar voor anderssoortige financiële bijdragen zijn bestemd, zonder dat dit nader kon worden gespecificeerd.

LITERATUUR

Algemene Rekenkamer (1989). Verslag 1988. Tweede Kamer, vergaderjaar 1988–1989, 21 080, nrs. 1–2. Den Haag: Sdu.

Algemene Rekenkamer (1991). Verslag 1990. Tweede Kamer, vergaderjaar 1990–1991, 22 032, nrs. 1–2. Den Haag: Sdu.

Algemene Rekenkamer (1996). Subsidiebeheer. Tweede Kamer, vergaderjaar 1995–1996, 24 825, nrs. 1–2. Den Haag: Sdu.

Algemene Rekenkamer (2009). Reactie op adviesaanvraag concept-Aanwijzingen voor subsidieverstrekking. Brief aan de minister van Financiën van de Algemene Rekenkamer d.d. 17-09-2009. Kenmerk 9006390 R. Den Haag: Eigen beheer.

Algemene Rekenkamer (2010). Inzicht in belastinguitgaven, specifieke uitkeringen en subsidies. Den Haag: Sdu.

Algemene Rekenkamer (2011). Handreiking voor effectevaluaties van subsidies. Den Haag: Algemene Rekenkamer.

AZ (2009). Regeling van de Minister-President, Minister van Algemene Zaken, van 15 december 2009, nr. 3086451, houdende vaststelling van Aanwijzingen voor subsidieverstrekking. Staatscourant nr. 20306, d.d. 31 december 2009.

Breimer, D.D., C. Boom & E.A.A.M. Broesterhuizen (2009). Evaluatie Neso-programma. Den Haag: eigen beheer.

Bureau Bartels B.V. (2008). Procesevaluatie innovatieregeling intensieve veehouderij. Amersfoort: eigen beheer.

BuZa & Defensie (2010). Navo. Brief van de ministers van Buitenlandse Zaken en van Defensie. Tweede Kamer, vergaderjaar 2009–2010, 28 676, nr. 100. Den Haag: Sdu.

Cook, T.D. & D.T. Campbell (1979). Quasi-experimentation: design and analysis issues for field settings. Boston: Houghton Mifflin Company.

EZ (2006). Vaststelling van de begrotingsstaten van het Ministerie van Economische Zaken (XIII) voor het jaar 2006. Brief van de minister van EZ om de evaluatie van TTI's aan de Tweede Kamer aan te bieden. Tweede Kamer, vergaderjaar 2005–2006, 30 300 XIII, nr. 66. Den Haag: Sdu.

Ferwerda, H.B., I.M.G.G. van Leiden, N.A.M. Arts & A.R. Hauber (2006). Halt: Het Alternatief? De effecten van Halt beschreven. Den Haag: Boom.

Financiën (1987). Miljoenennota 1988; Nota over de toestand van ’s Rijks Financiën. Tweede Kamer, vergaderjaar 1987–1988, 20 200, nr. 1. Den Haag: Sdu.

Financiën (1998a). Subsidieoverzicht rijksoverheid 1998. Brief aan de voorzitter van de Tweede Kamer van de minister van Financiën d.d. 23 februari 1998. Kenmerk 98-BBH/029. Den Haag: Directie Begrotingszaken.

Financiën (1998b). Subsidieoverzicht rijksoverheid 1999. Den Haag: eigen beheer.

Financiën (1999). Subsidieoverzicht rijksoverheid 2000. Brief van de minister van Financiën aan de voorzitter van de Tweede Kamer inzake Subsidie Overzicht Rijksoverheid 2000, kenmerk B/1999/725M, d.d. 21 september 1999. Den Haag: eigen beheer.

Financiën (2000). Subsidieoverzicht rijksoverheid 2001. Den Haag: eigen beheer.

Financiën (2001). Subsidieoverzicht rijksoverheid 2002. Brief van de minister van Financiën aan de voorzitter van de Tweede Kamer inzake Subsidie Overzicht Rijksoverheid 2000, kenmerk BZ/2001–01 217M, d.d. 18 september 2001. Den Haag: eigen beheer.

Financiën (2002). Subsidieoverzicht rijksoverheid 2003. Den Haag: eigen beheer.

Financiën (2003). Nota over de toestand van ’s Rijks Financiën. Brief van de minister van Financiën aan de voorzitter van de Tweede Kamer met de aanbieding van het rapport «Zicht op subsidies». Tweede Kamer, vergaderjaar 2002–2003, 28 600, nr. 65. Den Haag: Sdu.

Financiën (2006a). Instrumentenoverzicht Rijksoverheid. Den Haag: eigen beheer.

Financiën (2006b). Vaststelling van de begrotingsstaat van het Ministerie van Financiën (IXB) voor het jaar 2006. Brief van de minister van Financiën aan de voorzitter van de Tweede Kamer met de aanbieding van de managementsamenvatting van het Instrumentenoverzicht Rijk (IOR). Tweede Kamer, vergaderjaar 2005–2006, 30 300 IXB, nr. 27. Den Haag: Sdu.

Financiën (2009). Brief van de minister van Financiën d.d. 29 april 2009 met de aanbieding van het kader financieel beheer rijkssubsidies. Tweede Kamer, vergaderjaar 2008–2009, 31 865 en 31 031, nr. 5. Den Haag: Sdu.

Financiën (2010a). Bijlage 1 bij Subsidieoverzicht Rijk 2010. Den Haag: eigen beheer.

Financiën (2010b). Brief van de minister van Financiën aan de voorzitter van de Tweede Kamer met de aanbieding van het subsidieoverzicht Rijk (SOR) 2010. Tweede Kamer, vergaderjaar 2009–2010, 32 335, nr. 1. Den Haag: Sdu.

Financiën (2010c). Regeling Rijksbegrotingsvoorschriften 2011, bijlage B. rbv.minfin.nl, geraadpleegd op 7 juni 2011.

Financiën (2010d). Subsidieoverzicht Rijk 2010. Den Haag: eigen beheer.

Financiën (2011a). Aanvullingen op de Rijksbegrotingsvoorschriften in het kader van de plannen voor Verantwoord Begroten. http://rbv.minfin.nl/begroten/Verantwoord-begroten, geraadpleegd op 27 mei 2011.

Financiën (2011b). Brief van de minister van Financiën d.d. 20 april 2011 inzake de verbetering van de verantwoording en begroting, met een voorbeeld subsidiebijlage. Tweede Kamer, vergaderjaar 2010–2011, 31 865, nr. 29. Den Haag: Sdu.

Financiën (2011c). Brief van de minister van Financiën d.d. 22 maart 2011 met voorstellen voor de verbetering van de verantwoording en begroting. Tweede Kamer, vergaderjaar 2010–2011, 31 865, nr. 26. Den Haag: Sdu.

Financiën & Justitie (1993). Rapportage over het geïntegreerd subsidiebeleid en aanbieding subsidie-overzicht. Tweede Kamer, vergaderjaar 1992–1993, 22 150, nr. 11. Den Haag: Sdu.

Financiën & Justitie (1993a). Brief over het geïntegreerd subsidiebeleid. Tweede Kamer, vergaderjaar 1992–1993, 22 150, nrs. 1 en 4. Den Haag: Sdu.

Financiën & Justitie (1993b). Rapportage over het geïntegreerd subsidiebeleid en aanbieding subsidie-overzicht. Tweede Kamer, vergaderjaar 1992–1993, 22 150, nr. 11. Den Haag: Sdu.

Informateur (2010). Kabinetsformatie 2010. Brief van de informateur aan de Tweede Kamer, d.d. 7 oktober 2010 ter aanbieding van zijn eindverslag alsmede het regeerakkoord van VVD en CDA, het gedoogakkoord van VVD, PVV en CDA en de bijbehorende analyse van het Centraal Planbureau. Tweede Kamer, vergaderjaar 2010–2011, 32 417, nr. 15. Den Haag: Sdu.

IOB (2009). Evaluatie van de Atlantische Commissie. Den Haag: Sdu.

Nuffic (2009). Tussenbalans: Interne evaluatie naar de doeltreffendheid en doelmatigheid van het programma betreffende de Netherlands Education Support Offices. Den Haag: Nuffic.

OCW (2009). Hoger Onderwijs-, Onderzoek- en Wetenschapsbeleid; Vaststelling van de begrotingsstaten van het Ministerie van Onderwijs, Cultuur en Wetenschap (VIII) voor het jaar 2010. Brief van de minister van Onderwijs, Cultuur en Wetenschap over de evaluatie van het programma rondom de Netherlands Education Support Offices (Neso’s). Tweede Kamer, vergaderjaar 2009–2010, 31 288 en 32 123 VIII, nr. 69. Den Haag: Sdu.

Ouden, W. den, M.J. Jacobs & N. Verheij (2004). Subsidierecht. Deventer: Kluwer.

Technopolis (2005). Evaluation Leading Technological Institutes. Amsterdam: eigen beheer.

Tweede Kamer (1996). Subsidiebeheer en Rechtmatigheidsonderzoek 1995. Verslag van een algemeen overleg. Tweede Kamer, vergaderjaar 1996–1997, 24 825 en 24 830, nr. 3. Den Haag: Sdu.

Tweede Kamer (1998). Van uitgaven naar kosten; interdepartementale beleidsonderzoeken 1997. Verslag van een algemeen overleg. Tweede Kamer, vergaderjaar 1998–1999, 25 257 en 25 509, nr. 3. Den Haag: Sdu.

Tweede Kamer (2000). Brief van de voorzitter van de commissie voor de Rijksuitgaven aan de minister van Financiën inzake de wijze van informatie-uitwisseling over subsidies. Kenmerk BZ/2000/1607 I (Financiën), d.d. 22 november 2000. Den Haag: Sdu.

Tweede Kamer (2002). Nota over de toestand van ’s Rijks Financiën. Motie van het lid Van As over het doorlichten van rijkstaken (zoeklichtactie). Tweede Kamer, vergaderjaar 2002–2003, 28 600, nr. 51. Den Haag: Sdu.

Tweede Kamer (2003a). Nota over de toestand van ’s Rijks Financiën. Verslag van een Algemeen Overleg over het rapport «Zicht op subsidies» en het verslag van het schriftelijk overleg hierover. Tweede Kamer, vergaderjaar 2003–2004, 29 200, nr. 47. Den Haag: Sdu.

Tweede Kamer (2003b). Nota over de toestand van ’s Rijks Financiën. Motie van het lid Van As om alle bestaande subsidies en subsidieregelingen te voorzien van een einddatum in zoverre dat nog niet is gebeurd, vergaderjaar 2003–2004, 29 200, nr. 40. Den Haag: Sdu.

Tweede Kamer (2006). Evaluatie VBTB. Verslag van een algemeen overleg over onder meer het Instrumentoverzicht van het Rijk. Tweede Kamer, vergaderjaar 2005–2006, 29 949, nr. 41. Den Haag: Sdu.

Tweede Kamer (2009). Verbetering verantwoording en begroting. Motie van het lid Weekers om in het in het Instrumentenoverzicht Rijk dat in 2010 verschijnt, een beoordeling op doelmatigheid en doeltreffendheid van de verschillende subsidieregelingen op te nemen. Tweede Kamer, vergaderjaar 2009–2010, 31 865, nr. 14. Den Haag: Sdu.

Tweede Kamer (2010). Verbetering verantwoording en begroting. Verslag van een algemeen overleg over onder meer het Kader financieel beheer rijkssubsidies. Tweede Kamer, vergaderjaar 2009–2010, 31 865, nr. 17. Den Haag: Sdu.

Tweede Kamer (2011). Verbetering verantwoording en begroting. Verslag van een algemeen overleg over diverse stukken inzake Verantwoord Begroten. Tweede Kamer, vergaderjaar 2010–2011, 31 865, nr. 31. Den Haag: Sdu.

---

1 Het begrip «subsidie» is in bijlage 3 verder toegelicht.

2 Binnen deze werkwijze achtte de minister van Financiën zichzelf verantwoordelijk voor de samenstelling van het overzicht, de helderheid van de gebruikte definities en het uitvoeren van plausibiliteitschecks op de aangeleverde informatie. De departementen waren verantwoordelijk voor het aanleveren van de gevraagde informatie over hun subsidies en de juistheid van die informatie.

3 Doeltreffendheid is een synoniem van effectiviteit. In dit rapport gebruiken we beide begrippen.

4 In bijlage 3 is de selectie meer in detail beschreven. Op grond van het Subsidieoverzicht Rijk 2010 is te berekenen dat de door ons onderzochte subsidies een budget voor 2010 vertegenwoordigen van € 725 miljoen, maar uit ons onderzoek blijkt dat er enkele fouten in de budgetten zitten, waardoor het werkelijke bedrag op € 654 miljoen uitkomt.

5 Een belangrijke kanttekening bij dit bedrag is dat meer dan de helft van dit bedrag, € 31,7 miljoen, subsidiegelden uit het Filmfonds betreft. Van de Filmfondssubsidies is maar een zeer beperkt deel geëvalueerd. Van het grootste deel van het fonds is niet onderzocht of het effectief is. De conclusie «niet effectief» heeft dus slechts betrekking op een klein deel (hooguit enkele miljoenen euro’s) van de € 31,7 miljoen.

6 Op dit moment betreft dit 45 subsidies.

7 De vraag of het doel is gerealiseerd, is niet identiek aan de vraag of het beleid effectief is. Voor die laatste vraag moet nog worden vastgesteld welk deel van die doelrealisatie is veroorzaakt door het ingezette beleid.

8 Dit betrof een evaluatieonderzoek naar de effecten van HALT (Ferwerda et al., 2006).

9 «MATRA» staat voor maatschappelijke transformatie.

10 Het ontbreken van een heldere exitstrategie speelt uiteraard minder voor subsidieregelingen met een tijdelijk karakter of subsidieregelingen die deel uitmaken van Europees beleid.

11 Met deze 36 evaluaties, 68% van het totale aantal, is 77% van het door ons onderzochte subsidiebudget voor 2010 gemoeid. Dit betekent dat met de subsidies waarvan de resultaten van de effectevaluaties aan de Tweede Kamer zijn verstrekt gemiddeld iets meer geld gemoeid is dan met de subsidies waarvoor dit niet is gebeurd.

12 In dit overzicht staan subsidies van alle ministeries, behalve van Algemene Zaken, omdat dat ministerie geen subsidies verstrekt.

13 Van de ministeries van Defensie en VWS zijn door deze selectiewijze geen subsidie-evaluaties voor dit onderzoek geselecteerd.

14 In bijlage 4 staat een overzicht van de onderzochte subsidies, op www.rekenkamer.nl staat een overzicht van de onderzochte evaluaties.

15 Niet alle subsidies berusten op een wettelijke grondslag. Uitzonderingen zijn er voor (artikel 4:23 lid 3 Awb): (1) subsidies waarvoor binnen een jaar een wettelijke regeling wordt opgesteld, (2) EU-subsidieprogramma’s, (3) subsidies waarvan in de begroting zowel de subsidieontvanger als het maximaal te verlenen subsidiebedrag is vermeld («begrotingssubsidie») en (4) incidentele subsidies met een klein aantal subsidieontvangers. Overigens hebben bestuursorganen op basis van artikel 4:23 lid 4 Awb wel de verplichting om jaarlijks een openbaar verslag te publiceren over de verstrekking van spoedeisende en incidentele subsidies. Dat geldt niet voor de EU-subsidies en de begrotingssubsidies waarvan de wetgever aanneemt dat «de openbaarheid al langs andere weg is verzekerd» (Den Ouden et al., 2004, 38).

16 De score op dit doel bij de doelgroep wordt niet alleen vergeleken met de score vóór invoering van de subsidie (is er iets veranderd na de invoering?), maar ook met die van een vergelijkbare «controlegroep» die geen subsidie heeft ontvangen (wijkt deze verandering af van de autonome ontwikkeling?). Volgens Cook en Campbell (1979) vormt dit het minimumniveau waarmee op verantwoorde wijze conclusies kunnen worden getrokken over de effectiviteit van een interventie.

17 Hoewel belanghebbenden de neiging zullen hebben om de noodzaak van de subsidie te hoog in te schatten, kan deze methode inzicht geven in eventueel «freeridergedrag», namelijk als zowel subsidieontvangers als afgewezenen aangeven de subsidie niet nodig te hebben gehad voor het gewenste gedrag.

18 Onder het Programma Verkeersmaatregelen Luchtkwaliteit vallen vijf subsidieprogramma’s, ondergebracht in twee regelingen: de «Subsidieregeling emissieverminderende voorzieningen voor voertuigen» en de «Subsidieregeling voertuigen met een emissiearme dieselmotor en recht op teruggaaf BPM».