29 754 Terrorismebestrijding

Nr. 471 BRIEF VAN DE MINISTER VAN JUSTITIE EN VEILIGHEID

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 30 oktober 2018

Hierbij bied ik uw Kamer het onderzoeksrapport «Counterterrorism evaluation, taking stock and looking ahead» aan¹. Het rapport is opgesteld door RAND Europe in opdracht van het Wetenschappelijk Onderzoeks- en Documentatie Centrum (WODC). Ik dank de onderzoekers voor hun grondige en inzichtelijke studie naar zowel Nederlandse als buitenlandse evaluaties van contraterrorisme (CT)-beleid. Dit rapport kan een bijdrage leveren aan de verdere ontwikkeling van CT-evaluaties en daarmee aan de ontwikkeling van het CT-beleid.

Belang van evalueren

De noodzaak tot evalueren is evident, want wat mij betreft vormen onderzoek en evaluatie een onlosmakelijk onderdeel van beleidscycli. Daarbij is het niet alleen belangrijk om te evalueren achteraf, maar juist ook tijdens de beleidsuitvoering, zodat eventueel kan worden bijgestuurd in beleid en maatregelen.

Om die reden is in het recente verleden vanuit mijn departement en in samenwerking met de ketenpartners geïnvesteerd in evaluaties. Zo is de Contra Terrorisme Strategie 2011–2015 geëvalueerd door de Universiteit van Utrecht² en is het Actieprogramma Integrale Aanpak Jihadisme geëvalueerd door de Inspectie Veiligheid en Justitie.³

Bij de uitvoering van deze eerdere evaluaties, is men gestuit op een aantal gelijkluidende knelpunten als die in het onderzoek van Rand zijn geïdentificeerd. De belangrijkste daarvan is dat effectonderzoek bij contraterrorismebeleid lastig blijkt. Causaliteit is bijna niet aan te tonen als gevolg van een gebrek cases, controlegroepen en vanwege de complexe dynamiek van het beleidsterrein.

De CT-strategie 2016–2020 zal ook geëvalueerd worden. De lessen uit het nu voorliggende onderzoek worden daar in meegenomen.

Toelichting opzet rapport

Zoals het rapport van RAND Europe aangeeft, heeft het CT-beleid in de afgelopen jaren een hele ontwikkeling doorgemaakt. Waar het beleid en de maatregelen aanvankelijk vooral waren gericht op het voorkomen van aanslagen zoals die op 11 september 2001 in de Verenigde Staten, is de overheid zich na verloop van tijd meer gaan richten op een zogenaamde «brede benadering» van de problematiek. In dit kader kwam er meer aandacht voor het versterken van de weerbaarheid tegen gewelddadig extremistische ideologieën en het aan de wortel aanpakken van gewelddadig extremisme. Dit wordt ook wel preventie en tegengaan van gewelddadig extremisme genoemd (PCVE).

Nederland heeft in de afgelopen jaren beperkt te maken gehad met terrorisme of gewelddadig extremisme. In hoeverre maatregelen en beleid succesvol bijdragen aan het tegengaan van terrorisme en gewelddadig extremisme probeert de regering inzichtelijk te maken middels evaluaties van beleid.

Het onderzoek van Rand Europe richt zich op twee aspecten. Allereerst biedt het onderzoek inzicht in de wijze waarop binnen- en buitenlandse evaluaties van beleid gericht op CT en PCVE in de afgelopen vijf jaar zijn opgezet en uitgevoerd. Ten tweede brengt het onderzoek op basis van de analyse van de geïnventariseerde evaluaties enkele lessen voort ten aanzien van het evalueren van CT- en PCVE-beleid.

Wijze van evalueren

Uit het onderzoek blijkt dat de evaluaties die zijn gedaan niet volgens een vast stramien zijn uitgevoerd. Er zijn evaluaties die zich richten op de effecten van CT- en PCVE-programma’s of initiatieven op individuen, groepen of de sociale omgeving en er zijn evaluaties die zich richten op de effecten van beleid en/of strategieën. Sommige evaluaties richten zich specifiek op alleen CT- of alleen PCVE-maatregelen, terwijl anderen beide combineren.

In de meeste geïnventariseerde evaluaties kunnen geen robuuste uitspraken worden gedaan over de relatie tussen de interventies en de geobserveerde effecten. Door het ontbreken van een nulmeting en een «counterfactual» (zoals een controlegroep) kan niet worden vastgesteld of de opgetreden verandering heeft plaatsgevonden als gevolg van de interventie. Of er dus sprake is van een causale relatie is ongewis. Ten aanzien van de overgrote meerderheid van de geïnventariseerde evaluaties geldt dat überhaupt geen evaluatiekader, scoringssysteem of indicatoren worden toegepast die de voortgang, de implementatie en de effecten van de maatregelen bijhouden.

Lessen

Het onderzoeksrapport leert dat het complexe karakter van CT- en PCV-maatregelen gevolgen heeft voor de evaluatie ervan. Hierbij kan worden gedacht aan het ontbreken van een brede consensus over de definities van de begrippen die horen bij CT en PCVE en de uitdagingen die dit met zich meebrengt voor evaluatieonderzoek. Daarnaast blijkt het volgens de onderzoekers moeilijk om veiligheidsbelangen af te wegen tegen andere belangen. Bovendien is het landschap van belanghebbenden complex en is de kennis over de maatregelen die worden geëvalueerd beperkt.

Ook van belang zijn onder andere het gebrek aan criteria voor het meten van de effectiviteit van de maatregelen op de lange termijn. Daarnaast blijkt het lastig om sociale normen en verwachtingen meetbaar te maken. Zo is het bijvoorbeeld mogelijk dat deelnemers aan een programma behalve door de interventie zelf ook door veranderingen in hun sociale omgeving worden beïnvloed. Daarnaast bestaat er een gebrek aan robuuste methoden om te meten in hoeverre doelgroepen zijn blootgesteld aan interventies, zoals de mate waarin zij iets hebben meegekregen van een bewustwordingscampagne.

De onderzoekers stellen dat er moeilijkheden ontstaan bij het evalueren van maatregelen indien daarbij geen gebruik wordt gemaakt van een «theory of change» of interventielogica waarin de logische oorzaak-gevolgketen van de beoogde (en verwachte) effecten uiteen wordt gezet. Ook geven veel geïnventariseerde evaluaties volgens de onderzoekers blijk van moeite met het isoleren van de effecten van beleid, een programma of een ander type interventie en dus met het garanderen dat deze alleen kunnen worden toegedicht (geattribueerd) aan de interventie. Bovendien blijkt het gebruik van onderzoeksmethoden die de meest valide en betrouwbare resultaten beloven, zoals «(quasi) gerandomiseerd onderzoek met een controlegroep en longitudinale studies, volgens de onderzoekers moeilijk te verenigen met de beleidspraktijk van CT en PCVE.

Tevens benoemen de onderzoekers enkele praktische knelpunten bij de uitvoering van evaluaties, zoals een gebrek aan financiële middelen, tijd en expertise.

Aanbevelingen

Bovenstaande conclusies leiden tot een aantal aanbevelingen. Zo stellen de onderzoekers om te blijven investeren in het (laten) evalueren van CT- en PCVE-maatregelen. Ze geven aan dat het verkrijgen van inzicht in de effectiviteit van beleid tijd, expertise, vaardigheden, mankracht en dus financiële middelen vergt. Ook moet geïnvesteerd blijven worden in onderzoek gericht op de inventarisatie en analyse van dit type evaluaties.

Daarbij is het wel van belang dat voldaan wordt aan vereisten van kwaliteit en robuustheid. Hierbij kan worden gedacht aan het verzamelen en analyseren van empirische data over de implementatie en de effecten van de maatregel in kwestie, het gebruik van verschillende methodologieën en het op een adequate manier betrekken van belanghebbenden bij het onderzoek. Om deze kwaliteitsslag te kunnen maken, zullen evaluatoren meer transparantie en duidelijkheid moeten bieden in het rapporteren over de evaluatiemethoden die worden gebruikt. Hun opdrachtgevers moeten daarvoor dan wel de gelegenheid geven.

De onderzoekers geven aan dat waar mogelijk (quasi-) experimentele evaluatieontwerpen moeten worden aangemoedigd. Ook wordt aanbevolen om in toekomstig onderzoek naar de evaluatiepraktijk binnen de CT- en PCVE-beleidsterreinen een nadruk te leggen op het ontwikkelen van nieuwe evaluatieontwerpen, -methodes en analytische kaders, om zo de CT- en PCVE-evaluaties theoretisch beter te onderbouwen en robuuste uitspraken over causaliteit mogelijk te maken.

De onderzoekers geven aan dat belangrijke informatie en gegevens beter beschikbaar moeten komen voor evaluatieonderzoek, ook als deze informatie mogelijk gevoelig of vertrouwelijk is. Deze situatie kan worden verbeterd door (1) het creëren van mogelijkheden voor onderzoekers om op een veilige en vertrouwelijke wijze toegang te krijgen tot gevoelige informatie over CT en PCVE-initiatieven; (2) het verbeteren van de mogelijkheden voor het delen en uitwisselen van gegevens tussen onderzoekers; en (3) regelmatig nulmetingen uit te voeren en gegevens te verzamelen over de implementatie en uitkomsten van de maatregelen.

Vervolg

Ik onderschrijf de aanbeveling van de onderzoekers dat blijvend geïnvesteerd moet worden in het (laten) evalueren van CI- en PCVE-maatregelen. Juist vanwege het veranderlijke karakter van de dreiging, vind ik het van belang dat continue moet worden bezien of de maatregelen die worden ingezet gelijke pas houden met de aard van de dreiging.

De beleidsmaatregelen op het gebied van CT en PCVE in Nederland zijn voor een belangrijk deel gebaseerd op de nationale CT Strategie 2016–2020⁴. Zoals gebruikelijk, vindt in 2019 een uitgebreide evaluatie plaats, die als input kan dienen bij het vormgeven van de nieuwe CT Strategie. In die evaluatie neem ik de aanbevelingen die de onderzoekers van RAND Europe doen, mee.

Tevens zal ik het onderzoek onder de aandacht brengen bij onze Europese en internationale partners op het gebied van terrorismebestrijding. Ook in internationaal verband is het belangrijk om evaluatieonderzoeken met elkaar te delen en elkaar te informeren over casuïstiek.

Ik wil de geleerde lessen uit het onderzoek van RAND Europe echter breder implementeren dan alleen in het beleid op het gebied van CT en PVCE.

Ik stimuleer de partners in het veiligheidsnetwerk op verschillende nationale veiligheidsonderwerpen om te evalueren en ter ondersteuning van dit beleidsvoornemen stel ik eind 2019 een handreiking beschikbaar die hiertoe praktische handvatten biedt.

Elementen die door de onderzoekers van RAND Europe worden genoemd, die ik in de handreiking wil meenemen, zijn:

• het inzetten op een brede consensus over de definitie van essentiële begrippen;

• het aansluiten bij de wetenschappelijke inzichten over het valide en betrouwbaar evalueren van beleid;

• het transparant maken van de diverse belangen, om die vervolgens te kunnen afwegen;

• adequate operationaliseringen en indicatoren voor effectmetingen van beleid;

Een lastig onderwerp in de beleidsevaluatie, dat ook door de onderzoekers van RAND Europe wordt genoemd, is het delen van vertrouwelijke informatie. Ik ga dat onderwerp in mijn afstemming met de ketenpartners adresseren en inzetten op een oplossing voor het kunnen delen van (vertrouwelijke) informatie, bijvoorbeeld door middel van compartimentering.

Indien daartoe noodzaak blijkt, moet binnen het evaluatiekader ook ruimte zijn voor diepgaandere vergelijkende analyse.

De handreiking kan worden toegepast binnen de evaluatie van de CT Strategie in 2019. Ik maak bij het vaststellen van dit kader niet alleen dankbaar gebruik van de inzichten van RAND Europe, maar ik beoog mij daarin ook te laten bijstaan door het WODC.

Het is mijn ambitie om beleidsevaluatie breed te verankeren en te bewerkstelligen dat in toekomstige beleidsevaluaties robuuste uitspraken mogelijk zijn over de effectiviteit en efficiëntie van beleid, waaronder dat op het gebied van CT en PVCE.

De Minister van Justitie en Veiligheid, F.B.J. Grapperhaus

---

1 Raadpleegbaar via www.tweedekamer.nl

2 Kamerstuk 29 754, nr. 391

3 Kamerstuk 29 754, nr. 432

4 Kamerstuk 29 754, nr. 391