24 587 Justitiële Inrichtingen

Nr. 753 BRIEF VAN DE MINISTER VAN JUSTITIE EN VEILIGHEID

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 12 november 2019

In de technische briefing aan de vaste commissie voor Justitie en Veiligheid op 1 oktober jl. over het Prognosemodel Justitiële Ketens (PMJ) hebben leden van uw Kamer gevraagd naar een overzicht van de evaluaties van dit model en de voorlopers daarvan (Jukebox 1 en 2). Zoals toegezegd tijdens de briefing wil ik langs deze weg de Kamer hierover informeren.

Korte voorgeschiedenis

In 1989 zijn voor het eerst prognoses opgesteld voor de intramurale sanctiecapaciteit. In de periode 1989–1996 vond deze exercitie vierjaarlijks plaats onder leiding van een ambtelijke projectgroep. In 1997–1998 heeft de werkgroep «Prognose sanctiecapaciteit» de organisatie van prognoses onderzocht en een prognose gemaakt voor de intra- en extramurale sanctiecapaciteit. In opdracht van de werkgroep is het Jukebox 1 model ontwikkeld. Dit model bevat geregistreerde criminaliteit, ophelderingen, schuldigverklaringen, capaciteitsbehoefte gevangeniswezen en taakstraffen voor meerderjarigen. Al bij de ontwikkeling van het Jukebox-model werd opgemerkt (Werkgroep Prognose Sanctiecapaciteit, 1997, bijlage 3.1, p. 5)¹:«Overigens is het duidelijk dat, qua voorspelkracht, van geen enkel model wonderen zijn te verwachten.»

In 2001 wordt het model uitgebreid met een module voor minderjarigen (Jukebox-2). In 2003 is het model uitgebreid naar vrijwel de gehele veiligheidsketen en kreeg het de huidige naam Prognosemodel Justitiële Ketens (PMJ). In 2004 is het model uitgebreid met civiele rechtspraak, bestuursrechtspraak en rechtsbijstand in civielrechtelijke en bestuursrechtelijke zaken. Sindsdien zijn er geen grote uitbreidingen of wijzigingen geweest. Wel zijn er gaandeweg kleinere justitieonderdelen toegevoegd. Ook zijn er belangrijke wijzigingen binnen het justitieveld doorgevoerd in het model, zoals onder andere de geleidelijke overheveling van civiele plaatsen in de JJI naar VWS (2008–2010), de invoering van de OM-strafbeschikking (rond 2010), het recht op een advocaat voorafgaande aan het verhoor (Salduz), de introductie van werkomgevingen bij het OM (2018), etc.

Overzicht van evaluaties

Hoewel de naam en omvang van het model in de loop der jaren is veranderd, is de methodiek sinds 1998 niet wezenlijk veranderd. Daarom zijn de conclusies van eerdere evaluaties tot op zekere hoogte ook nog geldig voor de huidige versie van het model. Sommige evaluaties hebben betrekking op het model, andere op het proces eromheen. Een deel van deze evaluaties zijn ook destijds aan de Tweede Kamer aangeboden. Hieronder staat een overzicht van alle evaluaties. Achteraan tussen haakjes staat op welk model de evaluatie betrekking heeft:

• KPMG/BEA (1998). «De plausibiliteit van het prognosemodel sanctiecapaciteit». Hoofddorp: KPMG/BEA. (Jukebox 1);

• Theeuwes, J.J.M. en J.M. de Winter (1998). «Econometrische evaluatie prognose sanctiecapaciteit». Amsterdam: Stichting voor Economisch Onderzoek. (Jukebox 1);

• Spapens, A.C., Hoogeveen, C.E. &. Tits, M. van (2001). «Evaluatie van het model Jukebox 2. Plausibiliteit van de variabelen en verklaringsrelaties in het model». Tilburg: IVA. (Jukebox 2);

• Bomhoff, E.J., Voort van der Kleij, G.T. van der, Sadiraj, K. (2002). «Tekort aan cellen». Breukelen: NYFER. (Jukebox 1);

• DSRS (2002). «Prognoses sanctiecapaciteit. Evaluatie van het proces». Den Haag: Ministerie van Justitie, Directoraat-Generaal Preventie, Jeugd en Sancties, Directie Sancties, Reclassering en Slachtofferzorg. (Jukebox 1 en 2);

• Biermans, M., Leeuwen, M. van (2003).»SWOT-analyse modellen Veiligheidsketen». (Jukebox 1 en 2 en andere modellen die niet bij het WODC zijn ondergebracht, i.h.b. strafrechtketenmodel (bij DFEZ), TBS-model (bij DJI), Vreemdelingenketenmodel (bij PCV), SDS-model (bij DAJS));

• Goudriaan, R. (2004). «Beoordeling prognosemodel voor de veiligheidsketen». Den Haag: APE. (PMJ-strafrecht);

• Felsö, F., Scheele, D., Bremer, S., Baarsma, B. (2006). «Evaluatie Prognosemodellen Justitiële Ketens: Civiel en Bestuur». Amsterdam: SEO. (PMJ civiel en bestuur);

• Bont, P.F.H., Homburg, G.H.J., Rij, C. van (2009). «Evaluatie PMJ-systeem: van beleidsneutraal naar beleidsrijk». Amsterdam: Regioplan. (PMJ);

• Moolenaar, D.E.G., Tulder, F.P. van, Gammeren-Zoeteweij, M. van (2009). «Terug naar de toekomst. Het beroep op Justitie, 1997–2007: raming en realisatie». Den Haag: WODC/Rvdr, cahier 2009–6. (PMJ);

• Everhardt, T., Vonk, J., Wilms, P. (2016). «Review PMJ ramingen. Second opinion van de beleidsneutrale ramingen». Den Haag: APE. (PMJ);

• Moolenaar, D.E.G, Tulder, F.P. van, Decae, R., Smit, P.R., Diephuis, B. (2018) Terug naar de toekomst II. Het beroep op justitiële voorzieningen 2008–2017: raming en realisatie.» Den Haag: WODC/Rvdr, cahier 2018–6. (PMJ).

De conclusie van de meest recente externe evaluatie van Everhardt et al. (2016) luidde dat «er geen aanwijzingen zijn dat het model fundamenteel zou moeten worden herzien vanwege nieuwe econometrische en/of criminologische inzichten. (...) Het model zit econometrisch goed in elkaar.» Wel adviseerden zij om de analyse van de voorspelfouten uit 2009 te herhalen en de mogelijkheid van hoogfrequente data te onderzoeken. Het resultaat daarvan is te lezen in Moolenaar et al. (2018). Zij concluderen:

• Er is geen sprake van structurele overschatting. Wel heeft het PMJ-model de neiging om toekomstige trends conservatief in te schatten. Dat wil zeggen dat bij een opwaartse trend het model doorgaans de groei minder sterk inschat dan feitelijk het geval zal zijn, terwijl bij een neerwaartse trend het model de daling minder sterk zal inschatten dan feitelijk het geval zal zijn.

• De voorspelfouten van PMJ zijn tot en met het eerste of tweede begrotingsjaar (drie tot vier jaar vooruit) kleiner of vrijwel gelijk aan die van alternatieve eenvoudige tijdreeksmodellen. Daarna is het beeld diffuus.

• Het PMJ-model voorspelt geen breuken in tijdreeksen.

• De kwaliteit van de ramingen van beleidseffecten is twijfelachtig.

• Het PMJ heeft als voordeel dat het de samenhang bevordert tussen de ramingen van diverse onderdelen van de justitiële keten, en dat het simulaties van bepaalde beleidseffecten en van snel wijzigende economische omstandigheden mogelijk maakt.

• Het gebruik van hoogfrequente data (bv. kwartaaldata) heeft als voordeel dat er meer recente meetpunten zijn die het model mogelijk robuuster maken. Het nadeel is echter dat met de introductie van kwartaalcijfers ook seizoenseffecten worden geïntroduceerd. Dit stelt specifieke eisen aan de modellering en vergt een ingrijpende aanpassing van het model. Het is dus geen kwestie van het huidige model op kwartaaldata draaien. Bovendien is het onzeker of kwartaalcijfers wel beschikbaar zijn voor alle onderdelen van het model, met name voor de exogene factoren.

Het volledige model is gepubliceerd in bijlage 4 van Moolenaar et al (2018). Naast een forse dosis domeinkennis is ook wiskundige en statistische kennis vereist om alle details te kunnen begrijpen. Voor de achtergrondfactoren maakt het PMJ grotendeels gebruik van openbare databronnen, die door iedereen te raadplegen zijn. De gebruikte data voor de te voorspellen justitieonderdelen zijn geaggregeerde data afkomstig van de desbetreffende justitieonderdelen, die niet privacy gevoelig zijn en dus opvraagbaar bij het WODC.

De Minister van Justitie en Veiligheid, F.B.J. Grapperhaus

---

1 Werkgroep Prognose Sanctiecapaciteit (1997). Prognose Sanctiecapaciteit: Herijking methodieken. Den Haag: Ministerie van Justitie / Werkgroep Prognose Sanctie-capaciteit.