Vragen van het lid Paul (VVD) aan de Minister voor Buitenlandse Handel en Ontwikkelingssamenwerking over het bericht «Wetenschappers: Overheid weet niet welke ontwikkelingshulp werkt» (ingezonden 25 mei 2021).

Antwoord van Minister Kaag (Buitenlandse Zaken) (ontvangen 24 juni 2021).

Vraag 1

Deelt u de mening dat we moeten kunnen garanderen dat het belastinggeld dat we aan ontwikkelingssamenwerking besteden, optimaal wordt aangewend?¹ En dat dit leidt tot de gewenste resultaten en impact en niet in bodemloze putten verdwijnt? En als u het hier inderdaad mee eens bent, hoe verklaart u dan dat we blijkens het artikel in Trouw nog steeds niet of nauwelijks zicht hebben op welke ontwikkelingshulp wel of niet werkt?

Antwoord 1

Ja. Het kabinet deelt deze meningen. Daarom zet het kabinet de goede gewoonte, waarbij binnen Ontwikkelingssamenwerking intensief wordt geëvalueerd om zicht te krijgen op wat wel en niet werkt, onverminderd voort.

De eisen die aan een evaluatie van OS-projecten worden gesteld verschillen naar gelang:

• de aard van het project (standaard noodhulpprogramma’s vereisen andere evaluatiemethoden dan bijv. de versterking van maatschappelijke organisaties).

• de financiële omvang (voor programma’s boven de EUR 5 miljoen is een onafhankelijke eindevaluatie volgens een vast protocol verplicht).

• de leerbehoefte (een pilot project vereist een andere aanpak dan een al vele keren bewezen interventie).

Het betrekken van wetenschappers is één manier die gebruikt wordt voor het uitvoeren van evaluaties. Daarnaast zijn er raamovereenkomsten voor het selecteren van consultancy bedrijven en onderzoeksinstellingen die gespecialiseerd zijn OS-evaluaties. Er is ook de directie Internationaal Onderzoek en Beleidsevaluatie (IOB), de onafhankelijke interne evaluatiedienst van BZ die eigen evaluatiedeskundigen in dienst heeft.

In het artikel wordt veel aandacht besteed aan nulmetingen en het werken met controlegroepen. Dat is een methode die vooral bij impactevaluaties gebruikt wordt. Het is ook een complexe en dure methode, die vooral zinvol is bij grote programma’s, waar belangrijke vragen over de effectiviteit nog niet beantwoord zijn. Wat de meest geschikte evaluatiemethodologie is, wat de evaluatievragen zijn, en wat het mag kosten, wordt altijd bepaald in overleg tussen BZ, de uitvoerende partners, en de organisatie of onderzoeker(s) die de evaluatie uitvoert. Een recent voorbeeld is het nieuwe beleidskader Versterking Maatschappelijk Middenveld (VMM). Hier is 2% van het budget gereserveerd voor monitoring, evalueren en leren (MEL). Als onderdeel van de monitoring en evaluatie hiervan wordt een nul-situatie vastgelegd en zijn er referentiegroepen met onder meer leden uit de wetenschappelijke wereld betrokken. De mogelijkheid om gebruik te maken van controlegroepen (die niet meeprofiteren van een programma) hangt af van de aard en context van de ontwikkelingsprojecten.

Vraag 2

Bent u eveneens van mening dat ontwikkelingssamenwerking erop gericht moet zijn arme landen te helpen, waar mogelijk, toe te groeien naar zelfstandigheid in plaats van eindeloos aan het «OS-infuus» te blijven hangen? En zo ja, hoe verhoudt dit zich dan tot het feit dat Nederland door gebrek aan adequaat evaluatiemateriaal hier nauwelijks op kan sturen?

Antwoord 2

Ja, ontwikkelingssamenwerking is erop gericht om arme landen te laten toegroeien naar een situatie waarin officiële ontwikkelingsfinanciering (ODA) niet meer of veel minder nodig is. Die beweging heeft zich de afgelopen decennia ook in grote delen van de wereld voltrokken en hebben we samen met andere donoren ondersteund: tientallen ontwikkelingslanden die in de vorige eeuw nog een fors deel van hun BNI aan ODA ontleenden, hebben inmiddels een hoger ontwikkelingsniveau bereikt, en alternatieve financieringsbronnen aangeboord, waardoor ODA een bescheidener rol speelt. Extreme armoede is op veel plekken teruggedrongen, terwijl onderwijs, gezondheidszorg en levensverwachting sterk zijn verbeterd. Met die structurele verbeteringen is ook de geografische focus van het Nederlandse OS-beleid geleidelijk verschoven: terwijl eerder landen als India, Vietnam, Indonesië, Zuid-Afrika en Latijns-Amerikaanse landen prominent figureerden op de bilaterale landenlijst, ligt het geografische zwaartepunt van het huidige beleid op de arme en fragiele focusregio’s Sahel, Hoorn van Afrika, Midden-Oosten & Noord-Afrika.

Zoals hierboven al aangegeven, kan Nederland bij de uitvoering van het beleid putten uit rijke nationale en internationale bronnen van ervaring en kennis over hoe OS-middelen het beste kunnen worden ingezet. Naast eigen evaluaties en de over vele jaren opgebouwde kennis bij IOB, gaat het bijvoorbeeld om het veelomvattende onderzoek van de Wereldbank (de «kennisbank» op OS-gebied) en om gebundelde internationale kennis en meta-analyses zoals het ReCom programma van VN-universiteit UNU-Wider.

Niettemin blijft goed evalueren en daarvan leren een cruciaal onderdeel van elke activiteit, al was het maar omdat context-specifieke factoren sterk bepalend kunnen zijn voor het resultaat van projecten en programma’s.

Vraag 3

Deelt u de mening dat het een slechte zaak is dat na decennia van ontwikkelingswerk het nog altijd niet duidelijk is welke projecten wel of niet werken, zoals zestien wetenschappers van tien Nederlandse instellingen in het artikel in Trouw stellen? En als uw antwoord bevestigend is, waarom is er in de afgelopen jaren dan niet meer werk gemaakt van doelgerichte rapportages die duidelijk maken of ontwikkelingsprojecten wel of niet hebben gewerkt zodat kennis wordt opgebouwd en er actief gestuurd kan worden om met ons ontwikkelingsgeld het gewenste resultaat te boeken?

Antwoord 3

Er is in de afgelopen jaren internationaal juist erg veel en systematisch bewijs verzameld over wat wel en niet werkt op het gebied van ontwikkelingssamenwerking. Als een bepaald type project in één gebied werkt, betekent dat uiteraard niet automatisch dat een vergelijkbare interventie ook in een andere context effectief is. En als een bepaalde interventie eind vorige eeuw succesvol was, wil dat niet zeggen dat dat vandaag de dag, in inmiddels sterk gewijzigde contexten, nog steeds het geval zal zijn. Om uitspraken te kunnen doen over «welk soort projecten werkt of niet» moet daarom alle bewijs systematisch worden bestudeerd. Dit gebeurt over het algemeen middels zgn. systematic reviews, waarbij een groot aantal (impact-)evaluaties van vergelijkbare interventies nauwkeurig wordt geanalyseerd.

Via IOB draagt het ministerie actief aan bij aan het ontsluiten van dergelijke belangrijke inzichten. Op korte termijn publiceert IOB bijvoorbeeld een review van 368 onderzoeken op het gebied van Seksuele en Reproductieve Rechten en Gezondheid (SRGR). Ook is IOB momenteel betrokken bij een systematic review op het gebied van het aanpakken van jeugdwerkloosheid.

Uiteraard zoekt het kabinet voortdurend naar verbetering. Op dit moment is dat bijvoorbeeld de in het antwoord op vraag 1 genoemde financiële reservering voor MEL onder het VMM-beleidskader. Deze beoogt enerzijds de vertaling van politieke besluiten in beleidsinstrumenten beter te baseren op bestaande kennis, en anderzijds om de vele geleerde lessen uit de praktijk beter te communiceren en te verankeren in nieuw beleid en uitvoering.

Overigens zijn het niet alleen evaluaties en onderzoeken die leiden tot bijstelling van beleid en beleidsuitvoering. Deze zijn regelmatig ook het gevolg van politieke keuzes, die een ander fundament onder beleid en uitvoering kunnen leggen.

Vraag 4

Wat gaat u doen met de oproep van de in vraag 3 genoemde wetenschappers? Welke acties gaat u nemen om beter zicht te krijgen op welke ingrepen in arme landen daadwerkelijk helpen en hiermee te zorgen voor een betere besteding van ons belastinggeld?

Antwoord 4

Binnen ontwikkelingssamenwerking wordt intensief en op verschillende niveaus geëvalueerd. De beleidsdoorlichtingen en (impact-)evaluaties van IOB worden voorzien van een beleidsreactie waarin wordt ingegaan op bevindingen en aanbevelingen en met de Kamer gedeeld. De wijze waarop aan de beleidsreactie gevolg wordt gegeven wordt intern gemonitord. Daarbij is sinds vorig jaar extra capaciteit bij DGIS aangetrokken om medewerkers te ondersteunen op het gebied van Monitoring, Evaluatie en Leren (MEL). Deze MEL experts zorgen voor dagelijks advies en coördinatie en daarmee voor een versterking van MEL binnen het departement. Onder meer zijn MEL-uitgangspunten geformuleerd die leren en sturen op basis van behaalde resultaten centraal stellen, en zijn bijbehorende thematische leeragenda’s ontwikkeld, waarin onder meer aandacht voor adaptief management.

Het ministerie heeft daarmee een MEL werkagenda voor de volgende jaren. In de eerste fase ligt de nadruk op het uitwerken en actualiseren van interne MEL richtlijnen voor het beheer van programma’s; adaptief programma- en portfoliomanagement in de snel veranderende context van veel partnerlanden; een MEL trainingsaanbod voor medewerkers; en het opzetten van een MEL Community of Practice waarin medewerkers uit Den Haag en van ambassades, van uitvoerende partners en van andere donoren ervaringen kunnen uitwisselen en van elkaar kunnen leren.

Vraag 5

Waarom is er niet meer gedaan met de kritische kanttekeningen van de Algemene Rekenkamer die in de afgelopen tien jaar veelvuldig heeft geconstateerd dat er op het vlak van ontwikkelingssamenwerking zwakke punten zitten in het meten van resultaten in het veld? En wat gaat u hier de komende tijd verder aan doen?

Antwoord 5

Het kabinet heeft de aanbevelingen van de Algemene Rekenkamer ter harte genomen en er is de afgelopen jaren veel gedaan om de resultaatmeting in het veld te verbeteren. Zo is het systeem van resultaatmeting op het ministerie gemoderniseerd met behulp van een resultatenapplicatie waarin resultaten worden geregistreerd. Dit leidt jaarlijks tot de resultatenrapportage en de cijfers voor de indicatoren die in de memorie van toelichting bij de BHOS-begroting zijn opgenomen. BZ is daarnaast één van de weinige donorlanden die de internationale open data standaard IATI verplicht heeft gesteld voor uitvoerende partners. Het betekent dat zij details van alle projecten die Nederland financiert online moeten zetten, inclusief resultaatgegevens.

Tijdens de hele projectcyclus ligt de nadruk op resultaatgerichtheid. Dat begint al voor de beoordeling van projectvoorstellen, en omvat onder andere voorwaarden aan uitvoerende organisaties over specifiek en meetbaar rapporteren. Bij evaluaties wordt ter plekke geverifieerd of gerapporteerde resultaten ook daadwerkelijk zijn geboekt.

Resultaatmeting kan natuurlijk altijd meer en beter, maar hierbij lopen we ook aan tegen praktische beperkingen. Het is vaak ingewikkeld en tijdrovend (en dus kostbaar) om 1 op 1 aan te tonen dat een resultaat is bereikt met een Nederlandse bijdrage (bijvoorbeeld bij multi-donor activiteiten, of bij het meten van maatschappelijke veranderingen). Het gevolg is dat bij kleine projecten de kosten van volledige resultaatmonitoring en impactmeting soms niet in verhouding zouden staan tot de omvang van het project en daarom niet gerechtvaardigd zijn.

Daarnaast zijn er ook praktische problemen die resultaatmeting moeizaam of zelfs (tijdelijk) onmogelijk kunnen maken zoals bij projecten in conflictgebieden.

Vraag 6

Wat is de rol van de Directie Internationaal Onderzoek en Beleidsevaluatie (IOB) op dit gebied? Zou de IOB niet strakker moeten monitoren en erop sturen dat ontwikkelingsprojecten anders worden geëvalueerd zodat we scherp(er) zicht krijgen op de effectieve besteding van ons ontwikkelingsgeld?

Antwoord 6

IOB voert complexe, vernieuwende en strategische evaluaties en beleidsdoorlichtingen uit, overigens niet alleen op het terrein van ontwikkelingssamenwerking, maar op alle beleidsterreinen van het Ministerie van Buitenlandse Zaken. Sinds 2019 wordt één jaar na het verschijnen van een beleidsdoorlichting of belangrijke studie samen met het betreffende DG gekeken hoe de geleerde lessen en aanbevelingen zijn gebruikt.

Soms verricht IOB zelf impact-evaluaties, zoals op de thema’s drinkwater, hernieuwbare energie en voedselzekerheid. Steeds vaker maakt IOB gebruik van belangrijke, internationaal beschikbare kennis over wat wel en niet werkt (zie ook het antwoord op vraag 3).

Beleidsdirecties zijn zelf verantwoordelijk voor het (laten) evalueren van de programma’s die zij beheren. Dit is belangrijk omdat vooral dààr moet worden geleerd van de uitkomsten van evaluaties. Deze evaluaties worden uitgevoerd door externe partijen. Het ministerie heeft hiervoor een raamovereenkomst voor evaluaties afgesloten met een 17-tal organisaties die door IOB zijn beoordeeld op hun methodologische kwaliteiten. IOB adviseert directies bij hun evaluaties en neemt vaak ook deel aan de referentiegroep om toe te zien op de (methodologische) kwaliteit en de onafhankelijkheid. IOB verzorgt ook cursussen om de evaluatiecapaciteit binnen het departement te versterken.

IOB heeft de laatste jaren aandacht gevraagd voor de kwaliteit van evaluaties, met name die onder de verantwoordelijkheid van uitvoerende organisaties worden uitgevoerd. Een recent voorbeeld hiervan is de evaluatie «Less Pretension, More Realism» waarin 36 projecten uit twee programma’s gericht op stabiliteit en wederopbouw werden geëvalueerd. Een van de conclusies uit deze IOB evaluatie was dat de onderliggende individuele projectevaluaties niet altijd van voldoende kwaliteit waren. Een belangrijke aanbeveling die IOB daarbij deed is dat het al in de ontwikkelingsfase van een project belangrijk is om goed na te denken over hoe de eindevaluatie in te richten en de daarvoor benodigde data al gedurende de uitvoering te verzamelen.

Zelf heeft IOB daartoe haar kwaliteitscriteria voor individuele evaluaties aangescherpt. In het recent gestarte Power of Voices programma van het ministerie zijn deze criteria bovendien in de beschikkingen opgenomen. Daarnaast ondersteunt IOB de al genoemde MEL processen die moeten leiden tot thematische kennisagenda’s en meer strategische, kwalitatief betere, en op leren gerichte evaluaties.

---

1 Trouw, 20 mei 2021, «Wetenschappers: Overheid weet niet welke ontwikkelingshulp werkt», https://www.trouw.nl/economie/wetenschappers-overheid-weet-niet-welke-ontwikkelingshulp-werkt~bbfbbff9/?referrer=https%3A%2F%2Fwww.google.nl%2F