29 237 Afrika-beleid

Nr. 141 BRIEF VAN DE STAATSSECRETARIS VAN BUITENLANDSE ZAKEN

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 26 oktober 2011

In 2009 heeft de voormalige minister voor Ontwikkelingssamenwerking het Panel van Advies ingesteld om te adviseren over het gebruik en de bruikbaarheid van IOB evaluaties. Dit panel heeft tot taak middels gevraagde en ongevraagde adviezen de bruikbaarheid en het gebruik van evaluatiestudies op het terrein van Ontwikkelingssamenwerking te bevorderen.

Op verzoek van de Kamer is besloten dat het Panel mij zal adviseren, en via mij de ambtelijke leiding en directeur IOB. De adviezen, die door het Panel in volledige onafhankelijkheid worden opgesteld, zijn openbaar.

In het eerste advies¹ bespreekt het Panel van Advies de bruikbaarheid en het gebruik van IOB-evaluaties en geeft dienaangaande een aantal aanbevelingen.

Aangehecht treft u aan het eerste advies en mijn reactie hierop (zie bijgaand).

Ik hoop u hiermee voldoende te hebben geïnformeerd.

De staatssecretaris van Buitenlandse Zaken,

H. P. M. Knapen

Reactie op Eerste Advies van het IOB Panel van Advies

Het eerste advies van het Panel van Advies (PvA) over de bruikbaarheid en het gebruik van evaluatiestudies op het terrein der Ontwikkelingssamenwerking bevat voor het ministerie van buitenlandse zaken een aantal nuttige en bruikbare suggesties en aanbevelingen.

Conform de opdracht voor het Panel (TK, 2007–08, 29 237 nr. 85 en 99) zijn de adviezen ten aanzien van het gebruik van evaluaties via de staatssecretaris gericht aan de DGIS leiding, en de adviezen ten aanzien van de bruikbaarheid zijn via staatssecretaris gericht tot de directeur IOB. De staatssecretaris heeft de aanbevelingen uit het eerste advies met de DGIS leiding en de IOB directeur besproken.

Het PvA analyseert het gebruik van IOB evaluaties door verschillende doelgroepen (politiek, wetenschap, pers, overheid, e.a.). De analyse bevestigt de brede belangstelling en intensieve benutting in de sectoren overheid, OS-uitvoering, kennisplatforms en wetenschap, maar signaleert een beperkte belangstelling van de zijde van de medefinancieringsorganisaties, welke wellicht te verklaren is vanuit de minder geprononceerde traditie van resultaatmanagement in deze sector. Het gebruik door (interne) beleidsafdelingen blijft enigszins onderbelicht, terwijl juist de deelname van beleidsmedewerkers aan referentiegroepen tot belangrijke leereffecten kan leiden.

Het eerste advies dringt aan op een explicitering van de mogelijke gebruiksgroepen van IOB evaluaties. Ten behoeve van de verantwoordingsfunctie (conform de rijksbrede Regeling Evaluatie en Prestatiemeting; RPE) worden alle rapporten aan het parlement aangeboden. Het bedienen van mogelijke andere opdrachtgevers vraagt om een verbreding van IOB mandaat en budget. Hierover zal in het kader van de notitie BZ evaluatiebeleid nader worden gesproken.

Het PvA adviseert om in ieder geval de relatie tussen IOB en de wetenschap te verbeteren. Dit betreft zowel het explicieter gebruik van wetenschappelijke inzichten in evaluatiestudies, als het verspreiden van IOB resultaten in wetenschappelijke kring. Dit advies wordt overgenomen in het kader van het streven naar grotere transparantie over de resultaten van het Nederlandse OS-beleid.

Ten aanzien van de bruikbaarheid van BZ evaluaties stelt het PvA dat – naast de reeds gehanteerde kwaliteitscriteria – ook de probleemgerichtheid van het onderzoek en de afbakening van het evaluatieobject van centraal belang zijn. Bij de opstelling van de evaluatieprogrammering en de vaststelling van de Terms of Reference van elk onderzoekstraject wordt rekening gehouden met behoeften van de beleidsmakers. Scherpere afbakening van het onderzoeksobject wordt soms bemoeilijkt door de brede formulering van de operationele beleidsdoelstellingen. IOB probeert de procesevaluaties te beperken ten gunste van meer robuuste impactstudies. Daarnaast wordt door het uitvoeren van systematische reviews (op basis van afgeronde evaluaties) bijgedragen aan beleidsmatige overzichten op prioritaire terreinen ter ondersteuning van stafdirecties.

Het PvA heeft 7 IOB evaluaties die zijn uitgebracht in de periode 2008–10 nader bestudeerd op de aspecten: (a) evaluatieobject en probleemstelling; (b) literatuurgebruik; en (c) opzet en onderzoeksmethoden. Het PvA beveelt aan om tijdig een scherp oordeel te vellen over de mate van evalueerbaarheid, ofwel bij te dragen aan het versterken hiervan door de verzameling van baseline gegevens in te bouwen in lopende en nieuwe programma's en projecten. IOB is het daarmee volledig eens, en heeft recentelijk de toetsing op evalueerbaarheid van enkele programma’s uitgevoerd. De verantwoordelijkheid voor het doen verrichten van baseline studies behoort in eerste aanleg thuis bij de directies/posten en subsidieontvangers.

Ten aanzien van het literatuurgebruik beveelt het PvA aan om in evaluatiestudies meer gebruik te maken van aanvullende gezaghebbende internationale wetenschappelijke bronnen ter versterking van de geloofwaardigheid. Dit wordt onderschreven. In recente IOB impactstudies wordt daartoe ook samengewerkt met (inter)nationale wetenschappelijke instellingen.

Het PvA wijst erop dat in sommige evaluaties te veel nadruk wordt gelegd op de verantwoording van de middelenbesteding, dat zou kunnen leiden tot een «bias» naar grotere projecten welke ten koste gaat van bredere leereffecten. IOB is zich bewust van dit dilemma en heeft daarom in enkele thematische evaluaties (bv. capaciteitsontwikkeling; conflictpreventie) expliciet leerdoelen ingebouwd. Daarnaast worden – veelal op verzoek van directies – ook enkele kleine programma's met een korte doorlooptijd geëvalueerd (bv. Suriname twinning; Noodhulp Haïti).

Het PvA pleit voor het verrichten van meer vergelijkend onderzoek en in sommige gevallen voor ex-ante evaluaties van beleid. Op deze punten wijst IOB op haar geldende mandaat waarin onderzoek naar doelmatigheid en doeltreffendheid centraal staat. IOB heeft haar inzet op synthesestudies rondom prioritaire beleidsterreinen (SRGR, voedselzekerheid) reeds geïntensiveerd, en zal in de uitvoering van thans lopende studies (bv. private sectorontwikkeling; mensenrechtenbeleid) zoveel mogelijk rekening houden met recente beleidsaanpassingen.

Tenslotte doet het PvA enkele praktische suggesties ter versterking van het gebruik van evaluaties. Van alle rapporten wordt een korte nieuwsbrief uitgebracht met de belangrijkste resultaten en lessen, terwijl van grote of complexe studies een publieksvriendelijke versie wordt gepubliceerd (bv. Nigeria schuldverlichting, Paris Declaration evaluatie). Voorts zal extra aandacht worden gegeven aan de communicatie rondom afgeronde evaluaties op bijeenkomsten en in presentaties aan specifieke doelgroepen (BZ staf, NGO´s, symposia, publiek). De aanpassing van de website met een toegankelijk overzicht van de evaluatiestudies heeft hoge prioriteit.

Ter completering van de samenstelling van het PvA benoemt de staatssecretaris prof dr. H.Opschoor tot 4de lid van het Panel van Advies. Professor Opschoor is (milieu)econoom en emeritus professor aan het ISS en de Vrije Universiteit.

---

1 Ter inzage gelegd bij het Centraal Informatiepunt Tweede Kamer.