32 637 Bedrijfslevenbeleid

Nr. 45 BRIEF VAN DE MINISTER VAN ECONOMISCHE ZAKEN

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 13 december 2012

In mijn brief van 23 november 2012 heb ik u het eindrapport «Durf te meten» van de Commissie Theeuwes toegezonden (Kamerstuk 32 637, nr. 44). De publicatie van dit rapport past in een reeks van activiteiten die het afgelopen jaar in gang zijn gezet om te komen tot een adequate monitoring en effectmeting van het bedrijvenbeleid.¹ Het eindrapport van de Commissie Theeuwes geeft concrete en bruikbare adviezen voor de effectmeting van het bedrijvenbeleid. In de Commissie Theeuwes is de in Nederland aanwezige expertise op het gebied van effectmeting bijeengebracht door de deelname van wetenschappers, het Centraal Planbureau, de Algemene Rekenkamer (als toehoorder), het Centraal Bureau voor de Statistiek, AgentschapNL en het ministerie zelf. In het rapport geeft de Commissie Theeuwes het departement advies over evaluatieontwerpen voor zes specifieke beleidsinstrumenten². Daarnaast bevat het rapport een zevental algemene aanbevelingen over de wijze waarop de effecten van beleid in de toekomst nog beter zichtbaar kunnen worden gemaakt. Het ontbreken van inzicht in de effecten van het beleid was het voornaamste kritiekpunt van de Algemene Rekenkamer in haar rapport over het innovatiebeleid.³ Dit rapport van de Algemene Rekenkamer vormde de aanleiding voor het installeren van de Commissie Theeuwes.

Ik ben de Commissie Theeuwes zeer erkentelijk voor haar gedegen en zeer bruikbare advies. Eerst zal in algemene zin worden ingegaan op hoe ik vervolg zal geven aan de adviezen over de voorgestelde evaluatiedesigns. Daarna volgt mijn reactie op de algemene aanbevelingen van de commissie.

Reactie op de geadviseerde evaluatieontwerpen

Allereerst laat het rapport van de Commissie Theeuwes nog eens zien dat effecten van beleid op verschillende niveaus kunnen worden gemeten en zich op opeenvolgende momenten in de tijd laten zien. Figuur 1 geeft dat schematisch weer.

Figuur 1: input, output, outcome: een voorbeeld

Neem bijvoorbeeld de WBSO. Hier heeft belastingaftrek van R&D-loonkosten (input van beleid) tot doel additionele private R&D-uitgaven bij bedrijven (output van beleid) uit te lokken. Uit eerder uitgevoerde econometrische evaluaties blijkt dat de WBSO dit doel ook verwezenlijkt.⁴ Het rapport van de Commissie Theeuwes gaat vooral over het meten van het directe effect van beleid, zoals in dit voorbeeld beschreven. Het vaststellen van tweede- en derde-orde effecten (outcome) van beleid (bijvoorbeeld op de innovativiteit van de onderneming of op de economische groei en werkgelegenheid) is moeilijker. Hierbij moet worden teruggevallen op de meer algemene economische literatuur over de relatie tussen bijvoorbeeld R&D, innovatie en economische groei. Ook zijn de maatschappelijke gevolgen van beleid pas na een reeks van jaren te zien. Dit betekent overigens niet dat niets gezegd kan worden over deze (outcome) effecten van beleid. Uit algemeen economisch onderzoek is immers bekend dat een toename van de private R&D-uitgaven (zoals die bijvoorbeeld wordt gerealiseerd met de WBSO), een positieve bijdrage levert aan de economische groei.⁵ Effectmetingen richten zich vaak noodgedwongen primair op het meten van de directe effecten van beleid, terwijl algemeen economisch onderzoek informatie geeft over de invloed daarvan op economie en maatschappij. Deze manier van effectmeting is ook de internationaal gangbare praktijk.

In de huidige praktijk worden beleidsevaluaties in opdracht van het Ministerie van Economische Zaken uitgevoerd door onafhankelijke onderzoeksbureaus; hierbij is een breed scala aan evaluatiemethodes toegepast. De tot nu toe toegepaste methodes variëren van kwantitatieve econometrische evaluaties (WBSO) en experimenten met loting (Innovatievouchers) tot meer kwalitatieve evaluaties (Innovatieprogramma’s).

Het rapport van de Commissie Theeuwes bevat adviezen over hoe de directe effecten van beleid kunnen worden achterhaald. Het rapport bevat voor zes bestaande beleidsinstrumenten gerichte adviezen over het evaluatieontwerp. Deze ontwerpen zullen worden benut als kader en uitgangspunt bij het uitbesteden van het desbetreffende evaluatieonderzoek. Bij de meeste beleidsinstrumenten blijken mogelijkheden te liggen voor het toepassen van een evaluatieopzet op basis van een zogenoemd «natuurlijk experiment». Bij natuurlijke experimenten ontstaan groepen van vergelijkbare bedrijven, waarbij de ene groep wel en de andere groep geen gebruik heeft gemaakt van een bepaalde beleidsinzet. Door te werken met controlegroepen zijn de causale effecten tussen beleidsinstrument en beleidsresultaat beter meetbaar te maken. Ik onderschrijf het belang van het toepassen van experimentele onderzoeksmethoden omdat het wetenschappelijk bezien de beste manier is om de directe beleidseffecten te kwantificeren. Hiernaast zullen enquêtes, als complementaire methode aan de statistische methoden, onderdeel van evaluaties moeten blijven uitmaken. De Commissie Theeuwes geeft terecht aan dat enquêtes belangrijke additionele informatie kunnen opleveren over de precieze werking van het instrument en de ervaringen van de gebruikers.

Het realiseren van een zo optimaal mogelijk evaluatieontwerp stelt vanzelfsprekend zeer hoge eisen aan de beschikbare gegevens- en dataverzameling, waardoor wellicht niet elk evaluatieontwerp in de praktijk haalbaar zal blijken te zijn. Voorts liggen aan de evaluatieontwerpen vaak verschillende methoden ten grondslag, met uiteenlopende veronderstellingen. Zoals hierboven aangeven, zullen de voorgestelde evaluatieontwerpen voor de zes beleidsinstrumenten door het Ministerie van Economische Zaken als uitgangspunt en kader worden gehanteerd bij de uitbesteding van deze en toekomstige evaluatieonderzoeken aan externe en onafhankelijke onderzoeksbureaus. In de praktijk betekent dit dat onderzoeksbureaus expliciet worden gevraagd de uiteindelijke vormgeving van het evaluatiedesign en de daarbij te maken keuzes te onderbouwen. Voor de zes instrumenten die in het rapport behandeld zijn, zullen onderzoeksbureaus concreet moeten aangeven hoe het geadviseerde evaluatieontwerp zo goed mogelijk gerealiseerd kan worden. Hiermee is al een begin gemaakt bij de recent gestarte evaluatie van het Innovatiekrediet. Deze evaluatie is gestart op basis van de in het rapport geadviseerde evaluatieontwerpen. Voor de evaluatie van het «Bewijs van Goede Dienst» zijn inmiddels voorbereidingen op basis van het advies gestart. De evaluaties van de overige instrumenten waarvoor een evaluatieadvies is uitgebracht, staan gepland in de periode 2015–2017.

De adviezen van de Commissie Theeuwes hebben specifiek betrekking op het bedrijvenbeleid en zullen daar als eerste worden toegepast. Uiteraard zijn de algemene adviezen van de Commissie Theeuwes ook van belang voor beleidsvelden buiten het bedrijvenbeleid. De toepassingsmogelijkheden buiten het bedrijvenbeleid zullen worden verkend.

De adviezen van de commissie hebben vooral betrekking op het meten van de directe effecten van beleidsinstrumenten, aangezien deze het meest robuust in kaart kunnen worden gebracht. Ik wees er al eerder op dat het meten van «outcome»-effecten lastig is. De Commissie Theeuwes geeft aan dat bij evaluaties de realiteitszin op dit punt niet uit het oog moet worden verloren. De invloed van een beleidsinstrument «verwatert» naarmate deze effecten verder afliggen van het directe effect van het eigenlijke instrument. Het meten van tweede-orde-effecten, bijvoorbeeld op de omzet met innovatieve producten, is pas mogelijk wanneer voldoende en kwalitatief goede data over een langere periode beschikbaar zijn. Bovendien moet tevens een goede controlegroep voorhanden zijn, zoals dit het geval is bij het opzetten van een natuurlijk of een sociaal experiment. Een complicerende factor daarbij is verder dat experimenten vaak noodgedwongen een korte tijdshorizon hebben, terwijl beleidseffecten zich pas na een langere tijdsperiode kunnen laten zien. Voorts kan het effect van een maatregel zich versterken naarmate een beleidsimpuls langer wordt volgehouden. Een stabiele en over een reeks van jaren volgehouden tijdshorizon is immers voor bedrijven belangrijk bij het nemen van investeringsbeslissingen. Het is dus zaak de factor «tijd» adequaat mee te nemen bij evaluaties en beleidsexperimenten.

Het evalueren van de uiteindelijke maatschappelijke en macro-economische effecten van een instrument (de derde-orde-effecten) voor de economie als geheel is eveneens niet makkelijk. Allereerst vanwege de invloed van exogene factoren, zoals de conjunctuur, internationale economische ontwikkelingen of de situatie op de kapitaalmarkt. Dergelijke ontwikkelingen beïnvloeden de bedrijfsprestaties en zijn met beleidsinstrumenten niet of nauwelijks te beïnvloeden. Een andere complicatie betreft ook hier de factor «tijd». Doorwerking van de effecten van beleid neemt vaak langere tijd in beslag; extra R&D vertaalt zich bijvoorbeeld niet direct in meer innovatie en deze innovatie vertaalt zich niet direct in meer werkgelegenheid of economische groei. Het feit dat effecten op hogere niveaus moeilijk zijn toe te schrijven aan een beleidsinstrument, maakt effectmeting op outputniveau en ook de monitoring van de voortgang van het beleid des te belangrijker.

Ook aan het evalueren van een integrale beleidsaanpak, zoals die van het topsectorenbeleid, zitten methodologische grenzen, zo blijkt zowel uit het rapport van de Commissie Theeuwes als uit de internationale ervaringen op dit terrein. Controlegroepen zijn in dit geval lastig te construeren, publiek-private samenwerking maakt publieke invloed lastig te onderscheiden van private inspanningen en bijvoorbeeld de topsectorenaanpak behelst vele beleidsfacetten die niet geïsoleerd kunnen worden voor een robuuste effectmeting. Het meten van integrale beleidsprogramma’s staat nog in de kinderschoenen en dat is de reden dat het Ministerie van Economische Zaken participeert in internationale initiatieven op dit terrein (o.a. de OESO «expert group on industrial policy») die tot doel hebben de effecten van beleidsprogramma’s en integraal beleid beter in kaart te brengen.

Omdat de resultaten van een goede meting van de gerealiseerde effecten van beleid pas na enige jaren beschikbaar zijn, maakt het Ministerie van Economische zaken ook veel werk van een goede monitoring van de voortgang van het bedrijvenbeleid. Effectmeting en monitoring kunnen niet zonder elkaar. Om goed te kunnen evalueren is het noodzakelijk om vooraf duidelijke doelen en indicatoren te formuleren die kunnen worden gemeten en gevolgd in de loop der tijd. Het rapport «Bedrijvenbeleid in Cijfers 2012» van AgentschapNL, dat gelijktijdig met het rapport van de Commissie Theeuwes naar uw Kamer is verstuurd, maar ook de eerder aan u aangeboden «Monitor Topsectoren» van het CBS zijn daar voorbeelden van. Ze vormen de basis voor de voortgangsrapportage over de topsectoren die jaarlijks in september naar uw Kamer wordt gestuurd.

Reactie op de algemene aanbevelingen

De commissie geeft zeven algemene aanbevelingen om de effecten van beleid in de toekomst beter zichtbaar te kunnen maken. Deze aanbevelingen zijn weergegeven in onderstaande tabel. Per aanbeveling wordt aangegeven hoe het Ministerie van Economische Zaken hier invulling aan gaat geven.

Box Reactie Ministerie per aanbeveling
Aanbeveling commissie	Reactie Ministerie
1. Werk voor elk beleidsinstrument ex ante de beleidstheorie uit, waarin per instrument een meetbaar doel wordt geformuleerd en wordt ingegaan op de economische legitimatie van de overheidsrol.	Voor veel bedrijfsleveninstrumenten van het Ministerie van Economische Zaken is deze praktijk al gerealiseerd. Om de ex ante onderbouwing van beleid verder te verankeren zal het ministerie voor elk nieuw beleidsinstrument de beleidstheorie en legitimatie van het instrument uitwerken en meetbare doelen formuleren. Daarover zal worden gerapporteerd in de beleidsbrief waar het instrument voor het eerst in uitgewerkte vorm wordt gepresenteerd. Ook voor bestaande instrumenten zal hierover voortaan in relevante rapportages worden gerapporteerd.
2. De werkgroep beveelt aan om reeds in de ontwikkelingsfase van nieuwe beleidsinstrumenten een evaluatieontwerp op te stellen waarin wordt aangegeven hoe de effecten van het instrument in de toekomst kunnen worden geëvalueerd.	Het ministerie zal bij de ontwikkeling van nieuw beleid actief evaluatiedeskundigen betrekken voor het opstellen van het evaluatieontwerp.
3. Om het inzicht in de effectiviteit van instrumenten verder te vergroten beveelt de werkgroep aan om bij de introductie van nieuwe beleidsinstrumenten waar mogelijk te werken met sociale experimenten op basis van gewogen loting.	De voordelen van het werken met sociale experimenten op basis van gewogen loting voor het meten van effecten zijn evident. Al zijn er ook beperkingen: zo moeten de effecten wel op redelijke termijn waarneembaar zijn en zowel juridisch als bestuurlijk uitvoerbaar zijn. Ik ben, binnen deze grenzen, voornemens bij nieuwe beleidsinstrumenten het gebruik van een sociaal experiment te bevorderen. Als terugvaloptie zie ik de mogelijkheid om bij de uitrol van grotere instrumenten variatie te creëren om zo goede voorwaarden te scheppen voor toepassing van een natuurlijk experiment. Bij de presentatie van een nieuw beleidsinstrument zal concreet worden aangegeven welke afweging is gemaakt.
4. Voordat instrumenten grootschalig worden uitgerold is het aan te bevelen om een kleinschalige pilot met experimentele opzet te overwegen. Daarbij moet een realistisch evaluatiemoment worden gekozen, zodat in ieder geval de directe effecten in kaart kunnen worden gebracht.	Het ministerie zal ruimte vrijmaken om kleinschalige beleidsexperimenten (sociaal dan wel natuurlijk experiment) mogelijk te maken, zodat met beleid kan worden geëxperimenteerd. De kosten van een dergelijk experiment moeten wel in relatie staan tot het beoogde budgettaire beslag van een regeling.
5. a. Databestanden van AgNL (zoals Innovatiekrediet en WBSO), CBS en Belastingdienst zoveel mogelijk te koppelen en de resultaten daarvan zoveel mogelijk te ontsluiten via de website www.volginnovatie.nl. Dit is in lijn met het Open Databeleid en draagt bij aan een betere verantwoording en transparantie van het beleid. b. Dat AgNL niet alleen toegewezen maar ook afgewezen aanvragen actief gaat volgen met betrekking tot het verdere verloop van ingediende voorstellen/ projecten. c. Tijdens evaluaties zowel onder toegewezen als afgewezen aanvragers enquêtes uit te zetten. Zonder gegevens over de controlegroep van niet-gebruikers is het lastig overtuigend bewijs voor de effectiviteit te vinden. d. Met een positieve financiële prikkel te werken om de respons onder (afgewezen) aanvragers te vergroten (bijvoorbeeld een kleine geldelijke beloning voor het aanleveren van een ingevulde enquête).	Een groot deel van deze aanbeveling is al bestaande praktijk. Zo zijn voor de WBSO-evaluatie AgNL-cijfers gekoppeld aan CBS-cijfers en wordt al veel informatie ontsloten via www.volginnovatie.nl. Aan verdergaande ontsluiting van cijfers wordt gewerkt, uiteraard binnen de grenzen van wat juridisch en privacytechnisch haalbaar is. Ook het volgen van afgewezen aanvragen zal in de toekomst verbeterd worden, zonder onnodig extra administratieve lasten voor het bedrijfsleven te creëren. Onderzoeksbureaus die enquêtes uitvoeren zullen worden aangespoord maatregelen te nemen om de respons te vergroten.
6. De werkgroep beveelt aan om op basis van de aanpak gehanteerd in dit rapport de effecten in kaart te brengen van de overige (grote) beleidsinstrumenten van zowel het bedrijvenbeleid (zoals de Innovatiebox) als van de andere beleidsterreinen van het ministerie.	Het rapport van de werkgroep vormt voortaan de grondslag en het kader voor de effectmeting van het gehele bedrijvenbeleid. Er wordt verkend hoe daarbuiten de adviezen van de werkgroep kunnen worden toegepast.
7. De werkgroep beveelt aan om instrumenten met een vergelijkbaar beleidsdoel zoveel mogelijk gezamenlijk te evalueren.	Het ministerie zal instrumenten met een vergelijkbaar doel zoveel mogelijk tezamen evalueren. In 2013 gebeurt dat al bij de evaluatie van Eureka en Eurostars. In 2016 zal dat gebeuren bij RDA en WBSO. Het ministerie streeft er ook naar om de GO en de BMKB gezamenlijk te evalueren.

Conclusie

Het rapport toont aan dat er mogelijkheden zijn om de meting van de directe effecten van beleid verder te verbeteren en in beeld te brengen door meer te werken met controlegroepen; onder andere door gebruik te maken van natuurlijke en eventueel sociale experimenten. Daarnaast blijven enquêtes belangrijk voor additionele informatie over de precieze werking van instrumenten en de ervaringen van gebruikers. Het meten van de effecten van beleidsinstrumenten op hogere beleidsdoelen blijft bij de huidige stand van de wetenschap lastig, zo blijkt. Naast effectmeting blijft de «monitoring» van de voortgang van het beleid onontbeerlijk. Het Ministerie van Economische Zaken zal de aanbevelingen van de Commissie Theeuwes op de beschreven manier voortvarend ter hand nemen. Ik hoop en verwacht dat met deze inspanningen en met deze reactie op de aanbevelingen van de Commissie Theeuwes in de toekomst de concrete effecten en opbrengsten van het bedrijvenbeleid verder zichtbaar zullen worden.

De Minister van Economische Zaken, H.G.J. Kamp

---

1 Zie Kamerstuk 32 637 nr. 43 d.d. 16 oktober 2012

2 Innovatiekredieten van het Innovatiefonds MKB+, Research en Development Aftrek, Bewijs van Goede Dienst-gemeenten, Centra voor Innovatief Vakmanschap, Innovatieprestatiecontracten en Topconsortia voor Kennis en Innovatie (TKI) en TKI-toeslag.

3 Zie Kamerstuk 33 009, nr. 1 d.d. 28 september 2011

4 Zie Kamerstuk 32 637 nr. 32 d.d. 2 april 2012 en Kamerstuk 30 800, nr. 51 d.d. 1 mei 2007.

5 Zie bijvoorbeeld B.H. Hall, J. Mairesse en P.A. Mohnen (2009), Measuring the returns to R&D, National Bureau of Economic Research, Working Paper, no. 15 622, Cambridge en P. Donselaar (2011), Innovatie en productiviteit: het Solow-residu ontrafeld, Proefschrift, Erasmus Universiteit Rotterdam, Rotterdam.