34 952 Investeren in Perspectief – Goed voor de Wereld, Goed voor Nederland

Nr. 145 BRIEF VAN DE MINISTER VAN BUITENLANDSE HANDEL EN ONTWIKKELINGSSAMENWERKING

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 28 oktober 2021

Met deze brief gaat het kabinet in op de motie van het lid Van der Lee (Kamerstuk 35 830 XVII, nr. 7) over het uitwerken van een plan om de kwaliteit van evaluaties en de cultuur van leren omtrent ontwikkelingssamenwerking verder te bevorderen.

Zoals eerder aan uw Kamer is aangegeven in antwoord op vragen van het lid Paul¹, deelt het kabinet de overwegingen in de motie. De kwaliteit en effectiviteit van ontwikkelingssamenwerking is in belangrijke mate afhankelijk van gedegen evaluatieonderzoek naar de doeltreffendheid (effectiviteit) en doelmatigheid van beleid en maatregelen. Zonder kennis over wat in welke context wel en niet werkt is geen evidence-based inzet mogelijk op duurzame armoedebestrijding, de verbetering van de positie van vrouwen of klimaatverandering.

Ook deelt het kabinet daarbinnen het belang van op impact gerichte evaluaties, gericht op de effecten van beleid: beleidsevaluaties moeten in de eerste plaats bijdragen aan kennis over de al dan niet effectieve werking van beleidsinterventies. Juist op dit aspect zien de in de motie genoemde ontwikkelingseconomen ruimte voor verbetering. Om leren mogelijk te maken, stellen zij, zijn betere impact-evaluaties vereist, met een andere evaluatiestrategie – een die gericht is op het verkrijgen van inzicht in causale verbanden en onderliggende mechanismen. Zij verwijzen naar Nobelprijswinnaar uit 2019 Duflo, die met behulp van kwantitatief experimenteel onderzoek de effectiviteit van ontwikkelingsprojecten en -programma’s heeft onderzocht.

Het perspectief van deze zogeheten «gouden standaard»-evaluaties is met name voor goed af te bakenen interventies inderdaad groot, hoewel de methodologische eisen hoog liggen. Wat dat betreft is het treffend dat dit jaar de Nobelprijs is uitgereikt voor natuurlijk experimenteel effectonderzoek. Vanuit het ministerie is de laatste jaren dan ook vraag naar beide soorten evaluaties, ook om op het niveau van de aan de rijksbegroting gekoppelde Strategische Evaluatie Agenda (SEA) betekenisvolle uitspraken te kunnen doen over de kosteneffectiviteit van ontwikkelingssamenwerking. Ik verwijs in dit verband naar het onderzoek «Less Pretension, More Realism», uitgevoerd door de Directie Internationaal onderzoek en Beleidsevaluatie (IOB), waarin werd geconcludeerd dat de onderliggende individuele projectevaluaties van betrokken NGO’s op dit punt niet altijd van voldoende kwaliteit waren.

Een belangrijke aanbeveling die daarbij is gedaan luidt dat het belangrijk is om al in de ontwikkelfase van beleidsmaatregelen goed na te denken over hoe de eindevaluatie in te richten om impact te kunnen vaststellen en om de daarvoor benodigde data al vanaf de start van de uitvoering te verzamelen. Daarbij past het benutten van de mogelijkheden tot (natuurlijk) experimenteel evaluatieonderzoek. De opvolging die het kabinet aan deze en andere aanbevelingen heeft gegeven zijn met uw Kamer gedeeld.²

Overigens is het niet altijd zinvol of zelfs mogelijk om beleid volgens de «gouden standaard» van (natuurlijk) experimenteel onderzoek te evalueren. Het kan bijvoorbeeld te vroeg zijn om effecten te kunnen vaststellen of er kan behoefte zijn aan een evaluatie die moet bijdragen aan het beter leren uitvoeren van een project of programma. Daarom is een kennis- of leeragenda belangrijk: ook evaluaties van beleidsuitvoering en evaluaties gericht op intermediaire effecten kunnen immers aansluiten op leerdoelen. Er is, met andere woorden, geen een-op-een relatie tussen bijdragen aan beleidsgericht leren en het uitvoeren van impact-evaluaties.

Naast leren is ook het afleggen van verantwoording over beleid en bestede middelen een legitiem doel van beleidsevaluatie. Een gerichtheid op «wat te evalueren en hoe vaak» is daarmee volgens het kabinet zonder meer zinvol. Daarbij past inderdaad, conform de comptabele wet- en regelgeving, dat de Tweede Kamer periodiek inzicht wordt geboden in de manier waarop het kabinet streeft en succesvol is naar een kosteneffectieve inzet van de middelen voor ontwikkelingssamenwerking. Bij beleid dat in een complexe en voortdurend veranderende context wordt uitgevoerd past dat daarbij ook verantwoording wordt afgelegd over hoe er gestreefd is naar «lerend beleid».

De operatie Inzicht in Kwaliteit en de SEA bieden een goede basis voor het door uw Kamer gevraagde plan. Dat geldt ook voor de initiatieven die de afgelopen jaren op het ministerie worden ontplooid:

• Op instigatie van de Academie voor Internationale Betrekkingen (AIB) wordt gewerkt aan het verbinden van de diverse leer- en ontwikkeldoelen van het Ministerie van Buitenlandse Zaken – hiertoe zal o.a. een Adviesraad Leren en Ontwikkelen worden opgericht;

• Departement-breed loopt een pilot met «kennismanagement scans» – daarbij worden verbeteringen geïdentificeerd die meer kennis-gedreven manieren van werken mogelijk maken;

• Beide bovenstaande initiatieven vergen inzicht de mate waarin ontwikkelingssamenwerkingsprogramma’s «evidence-based» zijn, met andere woorden: welke evidentie uit evaluatieonderzoek bestaat voor bewezen, aannemelijke of plausibele effectiviteit;

• De nieuwe managementleergang legt meer nadruk op adaptief management en leren. Binnen het Directoraat Generaal Internationale Samenwerking (DGIS) is extra expertise aangetrokken om medewerkers te ondersteunen op het gebied van «Monitoring, Evaluatie en Leren» (MEL). Het ministerie heeft ook een MEL-werkagenda voor de volgende jaren ingericht;

• In het nieuwe beleidskader Versterking Maatschappelijk Middenveld (VMM) wordt, als onderdeel van verbeterde monitoring en evaluatie, een nul-situatie vastgelegd;

• Voor het evalueren en leren van OS-programma’s is een raamovereenkomst afgesloten met organisaties die door IOB zijn beoordeeld op hun methodologische kwaliteiten;

• IOB heeft recentelijk haar kwaliteitscriteria voor individuele evaluaties aangescherpt.

In het kader van de SEA zal op basis van deze lopende initiatieven de komende tijd een strategische, op zowel leren als verantwoording gerichte aanpak van de evaluatie van OS worden opgesteld om de kwaliteit van evaluaties en de cultuur van leren verder te bevorderen. Daarbij kunnen de lessen over de mogelijkheden en onmogelijkheden van impact-evaluaties worden verzilverd. Te denken valt aan:

• Het beter structureren en organiseren van ex ante onderzoek. Door systematisch ex ante vragen te agenderen tijdens de formulering van de SEA, kan dit soort onderzoek via de SEA een goede plek krijgen in de beleidscyclus. Daarbij zal worden nagegaan hoe bij de toets die het departement gebruikt om te bepalen of een nieuwe activiteit in behandeling kan worden genomen (de zgn. Quality@Entry-toets), meer rekening kan houden met lessen uit het verleden;

• Het ontwikkelen van een strategie voor ex-post evaluaties van programma’s op langere termijn: wat is mogelijk, wat is relevant, hoeveel middelen zijn nodig (het beschikbaar stellen van voldoende financiële middelen voor evaluatieonderzoek, ook na de afronding van programma’s, is soms een knelpunt).

Voor het zomerreces van 2022 zal uw Kamer nader geïnformeerd worden over de uitwerking van de voorgestelde strategische aanpak. Het is daarbij van belang om voor de implementatie voldoende tijd te nemen: de weerbarstige en veranderlijke contexten waarin ontwikkelingssamenwerking opereert enerzijds, en een flink aantal reeds lopende verandertrajecten anderzijds, dwingen tot een verantwoorde, gefaseerde aanpak.

Tot slot: het Development Assistance Committee van de OESO heeft het Ministerie van Buitenlandse Zaken uitgenodigd om de strategie voor het stimuleren van een interne resultaat- en leercultuur toe te lichten tijdens de jaarlijkse bijeenkomst van haar «Results Community». Internationaal is de Nederlandse ervaring een voorbeeld voor donorlanden bij de ontwikkeling van een resultaatgerichte en lerende organisatie. De motie vormt een belangrijke stimulus om deze positie verder uit te bouwen.

De Minister voor Buitenlandse Handel en Ontwikkelingssamenwerking, Th.J.A.M. de Bruijn

---

1 Aanhangsel Handelingen II 2020/21, nr. 3314

2 Kamerstuk 32 605, nr. 218