31 933 De rol van maatschappelijke organisaties bij ontwikkelingssamenwerking

Nr. 18 BRIEF VAN DE STAATSSECRETARIS VAN BUITENLANDSE ZAKEN

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 25 januari 2012

Hierbij bied ik u de recent afgeronde evaluatiestudie aan van de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) naar de methodische kwaliteit van programma-evaluaties in het Medefinancieringsstelsel I (MFS-I 2007–2010)¹.

IOB heeft sinds 2003 toezicht uitgeoefend op de methodische kwaliteit van programma-evaluaties uitgevoerd in het kader van het Medefinancierings programma-breed (MFP-b) en dit later voortgezet onder het Medefinancieringsstelsel-I (MFS-I). In het voorliggende rapport «De methodische kwaliteit van programma-evaluaties in het Medefinancieringsstelsel I (2007–2010)» constateert IOB dat er gedurende de subsidieperiode 2007–2010 verbeteringen zijn opgetreden in de evaluatiekwaliteit (dus MFS-I t.o.v. MFP-b). Het sinds 2003 uitgevoerde toezicht en de advisering door IOB over de evaluatiekwaliteit hebben een aantoonbaar leereffect gehad. IOB signaleert ook dat op een aantal onderdelen van de validiteit en betrouwbaarheid van de onderzochte programma-evaluaties nog kwaliteitsverbetering noodzakelijk is. De bruikbaarheid van de evaluatie-uitkomsten voor de gebruikers bij MFS-organisaties is over het algemeen goed.

In deze brief ga ik graag in op de bevindingen uit het rapport en licht ik toe welke veranderingen zijn aangebracht in de monitoring en evaluatie architectuur van MFS-II.

Ik verwelkom het leereffect dat is uitgegaan van het IOB-toezicht sinds 2003 en ben blij te kunnen constateren dat evaluaties van organisaties die al langer onder dit toezicht vallen, beter scoren dan die van de organisaties die relatief nieuwkomer zijn.

De nieuwe monitoring- en evaluatierichtlijnen voor MFS-II (2011–2015), zullen, naar mijn overtuiging, leiden tot verbeterd inzicht in de effectiviteit van de MFS-programma’s.

Bevindingen methodische kwaliteit programma-evaluaties 2007–2010

In het voorliggende rapport heeft IOB de methodische kwaliteit van de programma-evaluaties die in de periode 2007 t/m 2010 werden verricht, getoetst aan de kwaliteitscriteria ontleend aan de Regeling Prestatiegegevens en Evaluatieonderzoek (RPE 2006).

Aan de 72 onderzochte evaluaties zijn in totaal 1440 beoordelingsscores toegekend. Twee derde van de beoordelingsscores is positief. De resterende scores (een derde) laten in mindere of meerdere mate te wensen over (scores matig of slecht). Deze tekortkomingen betreffen vooral de validiteit en betrouwbaarheid.

Ten aanzien van de validiteit spreekt IOB zijn waardering uit voor het feit dat opdrachtgevers van programma-evaluaties een behoorlijke voorstelling hebben van wat ze onderzocht willen hebben. Dit blijkt uit positieve scores voor de operationalisering van probleemstellingen in onderzoeksvragen. Verbetering behoeft, volgens IOB, de reconstructie van de interventielogica met bijbehorende definiëring van resultaatniveaus.

Over de betrouwbaarheid constateert IOB dat de meest positieve waardering de onafhankelijkheid van de onderzoekers betreft, waarvan het belang wordt benadrukt in de RPE. Daarentegen is er nogal eens sprake van een tekortschietende aandacht voor de representativiteit van de onderzochte activiteiten met consequenties voor de generaliseerbaarheid van bevindingen.

De bruikbaarheid van de evaluaties voor de organisaties zelf wordt door IOB over het algemeen positief beoordeeld. Zo worden onderzoeksvragen over het algemeen redelijk tot goed beantwoord en zijn bevindingen bruikbaar voor medewerkers bij MFS-organisaties.

Het samenvattend oordeel van de zijde van IOB luidt dat, hoewel er verbeteringen zijn opgetreden in de evaluatiekwaliteit, de kwaliteit op kritische onderdelen nog teveel tekort schiet om er een gefundeerd oordeel op te kunnen baseren over de effectiviteit van de geëvalueerde programma’s in termen van bereikte resultaten.

Reactie

Ik ben blij dat IOB spreekt van verbeteringen van de kwaliteit van programma-evaluaties bij langdurig toezicht. Matig tot slechte scores komen vooral voor bij organisaties die in het kader van MFS-I voor het eerst onder het toezicht van de IOB vielen en die hun evaluaties gebundeld en veelal pas tegen het einde van de subsidieperiode hebben aangeleverd. Dat ook deze organisaties hun voordeel hebben gedaan met IOB-toezicht blijkt uit de afdoende kwaliteit van het monitoringprotocol dat zij voor het MFS-II-programma ontwikkelden en door de keuze voor deelname aan de gezamenlijke evaluatie (zie verder).

Het rapport van IOB geeft een evenwichtig beeld over de methodische kwaliteit van programma-evaluaties dat ik onderschrijf. Een substantieel en groeiend deel van de uitgevoerde programma-evaluaties laat een overwegend positieve score zien. De slechte scores zijn geconcentreerd bij een relatief beperkt aantal organisaties dat relatief kort met IOB in gesprek was over evaluatie aanpak. Met IOB ben ik van mening dat er ten behoeve van de oordeelsvorming over de effectiviteit van de uitgevoerde programma’s behoefte is aan verbetering van de evaluatiekwaliteit. Daartoe heb ik in het MFS-II een aantal maatregelen genomen.

Verbeterslag onder MFS-II (2011–2015)

De aanbevelingen zoals door IOB gedaan in de beperkte beleidsdoorlichting MFS 2007–2010 «Maatgesneden monitoring, het verhaal achter de cijfers» van april 2009 hebben ten grondslag gelegen aan de opzet van monitoring- en evaluatierichtlijnen voor MFS-II 2011–2015. Onder MFS-II (2011–2015) is de maatgesneden monitoring losgelaten en is gekozen voor een systeem waarbij alle organisaties jaarlijks monitoren en rapporteren over onderling vergelijkbare resultaatgebieden binnen een door het ministerie ontwikkeld kader. Dit zal een verbeterde validiteit van de evaluaties opleveren, doordat er in alle gevallen gerapporteerd en geëvalueerd wordt over de met de programma’s beoogde resultaten. Bovendien neemt de vergelijkbaarheid tussen programma’s en de inzichtelijkheid van de verantwoording toe en daarmee de representativiteit van de onderzochte programma’s. Daarnaast zullen 19 (van de in totaal 20) MFS-II allianties gezamenlijk hun MFS-II programma’s evalueren. De gekozen methodologie voor deze gezamenlijke evaluatie voldoet volgens IOB aan de kwaliteitseisen voor evaluaties. Naar verwachting zal de gezamenlijke evaluatie het mogelijk maken om valide, betrouwbare en bruikbare conclusies te trekken over de effectiviteit van de programma’s. Dit levert unieke mogelijkheden op voor onderlinge uitwisseling van geleerde lessen tussen de MFS-II allianties.

Voor alle duidelijkheid merk ik op dat verantwoording van organisaties uit verschillende elementen is opgebouwd. Jaarlijks overleggen de organisaties een inhoudelijk (op basis van bovengenoemde monitoring) en financieel verslag over het uitgevoerde programma. Tevens vinden monitoringbezoeken plaats aan het veld. De verkregen informatie wordt besproken tijdens het jaarlijks te voeren beleidsoverleg tussen de organisatie en het ministerie.

Ten slotte zijn er de programma-evaluaties om de effectiviteit van de programma’s te vergroten, die zowel dienen om te kunnen verantwoorden als te leren.

Ten slotte

Graag complimenteer ik IOB met het bereikte resultaat: enerzijds met het gedegen en bruikbare evaluatierapport, anderzijds met de geboekte resultaten van langdurig IOB-toezicht op de kwaliteit van programma-evaluaties van de onderzochte organisaties. Met de opzet van de MFS-II architectuur en de daarbinnen geïnitieerde evaluaties wordt de ingezette verbeterslag in de kwaliteit van de verantwoording van subsidiemiddelen gecontinueerd.

De staatssecretaris van Buitenlandse Zaken, H. P. M. Knapen

---

1 Ter inzage gelegd bij het Centraal Informatiepunt Tweede Kamer.