31 300
Monitoring verwerving Joint Strike Fighter

nr. 12
BRIEF VAN DE ALGEMENE REKENKAMER

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 17 april 2009

Hierbij bieden wij u de op 17 april 2009 vastgestelde brief aan met onze observaties over de kandidatenvergelijking vervanging F-16 (zie bijlage).

Op 6 april 2009 is de conceptbrief, na voltooiing van ambtelijk overleg, voor een bestuurlijke reactie naar de staatssecretaris van Defensie en de minister van Economische Zaken gezonden. De staatssecretaris van Defensie reageerde op 15 april 2009. Bijgaand treft u naast onze brief ook de reactie van de staatssecretaris van Defensie aan.

Naar aanleiding van deze reactie hebben wij de term «voorbehoud» uit onze conceptbrief vervangen door de term «deels inherente beperking». Wij delen de opvatting van de staatssecretaris dat de rolverdeling tussen de auditdiensten, RAND Europe en hemzelf een verschil in verantwoordelijkheden weerspiegelt.

Wij tekenen hierbij aan dat de inhoud en juistheid van de informatie, op basis waarvan de staatssecretaris zijn conclusie trekt, niet is onderzocht door RAND en de auditdiensten.

Algemene Rekenkamer

drs. Saskia J. Stuiveling,

president

dr. Ellen M.A. van Schoten RA,

secretaris

BIJLAGE

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 17 april 2009

De Algemene Rekenkamer monitort de stand van zaken rond de verwerving van de Joint Strike Fighter (JSF) in het kader van het project «vervanging F-16».

Op 4 maart 2009 hebben wij in antwoorden op Kamervragen over ons rapport Monitoring verwerving Joint Strike Fighter; stand van zaken oktober 2008 aangegeven dat wij naar aanleiding van de openbare stukken van plan waren enkele observaties over de kandidatenvergelijking van het project vervanging F-16 in een brief naar de Tweede Kamer te sturen.¹ Met deze brief geven wij uitvoering aan dit voornemen. Een afschrift van de brief zenden wij per gelijke post aan de staatssecretaris van Defensie en aan de minister van Economische Zaken.

Wij hebben onze observaties op 6 april 2009 voor een reactie voorgelegd aan de staatssecretaris van Defensie en aan de minister van Economische Zaken. De staatssecretaris van Defensie reageerde op 15 april 2009 op onze brief met een afschrift aan de minister van Economische Zaken. De reactie van de staatssecretaris van Defensie is als bijlage opgenomen bij deze brief.²

1 Openbare stukken kandidatenvergelijking

Onze observaties in deze brief hebben uitsluitend betrekking op openbare stukken over de kandidatenvergelijking. Meer in het bijzonder betreft dit de drie openbare stukken die de staatssecretaris van Defensie op 18 december 2008 naar de Tweede Kamer stuurde:³

• De actualisering van de kandidatenvergelijking project vervanging F-16 door het Ministerie van Defensie in samenwerking met de Nederlandse Organisatie voor Toegepast-Natuurwetenschappelijk Onderzoek (TNO) en het Nationaal Lucht- en Ruimtevaartlaboratorium (NLR);

• De evaluatie van de kandidatenvergelijking door de firma RAND in The Netherlands F-16 Comparative Analysis. An Evaluation of the Process;

• Een gezamenlijke audit door de auditdiensten van de Ministeries van Defensie en Economische Zaken naar de werkzaamheden van het Ministerie van Defensie en van de firma RAND in het Assurancerapport inzake de audit naar de kandidatenevaluatie vervanging F-16.

Daarnaast verwijzen wij in deze brief naar enkele openbare stukken waarin mededelingen worden gedaan over de kandidatenvergelijking. Wij benadrukken dat wij geen onderzoek hebben gedaan naar de kwaliteit van de door de diverse organisaties uitgevoerde werkzaamheden ten behoeve van de rapporten.

Bij de drie genoemde openbare stukken over de kandidatenvergelijking is sprake van een trapsgewijze benadering. Het proces van de kandidatenvergelijking van het Ministerie van Defensie is op verzoek van de Tweede Kamer getoetst door de firma RAND. De auditdiensten van de ministeries van Defensie en Economische Zaken hebben zich vervolgens ook gericht op het proces van de kandidatenvergelijking, inclusief de wijze waarop de firma RAND zijn opdracht heeft uitgevoerd. In gesprekken met de vaste Kamercommissie voor Defensie eind 2008 en begin 2009 hebben wij het belang van de rol en positie van de auditdiensten ten opzichte van de Algemene Rekenkamer en de Tweede Kamer benadrukt, vooral waar het gaat over de informatievoorziening over grote projecten.

2 Beperkingen en onzekerheden bij de procesevaluaties van de firma RAND en de auditdiensten

De procesevaluatie door de firma RAND

De firma RAND schrijft in haar rapport dat het Ministerie van Defensie de opdracht heeft gegeven om het proces van de kandidatenvergelijking te evalueren: «RAND Europe was commissioned to provide an independent, overall evaluation of the CA process.¹ In particular, RAND Europe was asked to evaluate the transparency and objectivity of the CA process.»

Dit is een belangrijke beperking omdat de firma RAND daarmee aangeeft dat zij niet gekeken heeft of de in de kandidatenvergelijking gehanteerde informatie juist en volledig was. Verder merken wij op dat de firma RAND wijst op een aantal, deels inherente, beperkingen² bij belangrijke aspecten betreffende de kandidatenvergelijking, zoals blijkt uit onderstaand overzicht.

Voorbeelden van aspecten uit de kandidatenvergelijking waarbij de firma RAND wijst op een aantal, deels inherente, beperkingen³

• Kosten: «There are inherent constraints and challenges of conducting LCC analysis⁴ based on nonbinding responses to the questionnaire. Additionally, cost data provided by the candidate suppliers was uncertain since candidates are still under development and the candidate suppliers themselves cannot be sure of future costs. Validation of such cost data is challenging and has inherent uncertainties, which complicated the analysis of LCC.»

• Tijd: «Furthermore, the CA was directed to reach conclusions within a relatively short period of time, which was reduced due to late delivery and incomplete responses by suppliers.»

• Kennis: «The NL MoD⁵ has less detailed knowledge about Advanced F-16 and Gripen NG than about F-35.The MoD has been a partner in the multi-national development programme for the F-35 since 2002. As a consequence, it is inevitable that the MoD has a much greater level of knowledge and understanding about the capabilities, risks and opportunities of the F-35 aircraft than about either the Advanced F-16 or the Gripen NG aircraft.»

• Kwaliteit, kosten en levertijd: «The CA only assessed quality, cost and delivery timeline. In accordance with the coalition agreement, there are a number of other factors which, although likely to be considered in a final decision on F-16 replacement, were explicitly excluded from the CA. Those considerations may include environmental factors, foreign relations, and broader political concerns. An assessment of potential industrial factors is being conducted by the Ministry of Economic Affairs. (_) The CA assessed each of the three aspects discretely (quality, cost and delivery). It did not consider all opportunities to trade between these three aspects.»

De staatssecretaris van Defensie geeft in zijn brief van 18 december 2008 aan: «de firma RAND concludeert in haar rapport dat de kandidatenvergelijking transparant en objectief is uitgevoerd en dat de zes deelrapporten de uitkomsten van de vergelijking accuraat weergeven».

De procesevaluatie door de auditdiensten

De auditdiensten doen, net als de firma RAND, alleen uitspraken over het proces van de kandidatenvergelijking. Dit is een belangrijke beperking omdat de auditdiensten aangeven dat zij niet gekeken hebben of de in de kandidatenvergelijking gehanteerde informatie juist en volledig was.

De staatssecretaris van Defensie maakte in de twee brieven aan de Tweede Kamer over de werkzaamheden van de auditdiensten niet expliciet melding van het feit dat het onderzoek van de auditdiensten gericht is op het proces van de kandidatenvergelijking.¹ Zoals uit onderstaand overzicht blijkt, schrijven de auditdiensten dat aan het kandidatenvergelijkingsproces en aan het onderzoek, deels inherente, beperkingen en onzekerheden verbonden zijn.

Beperkingen en onzekerheden uit het assurancerapport

«Inherent aan het proces van de kandidatenvergelijking zijn de volgende beperkingen en onzekerheden verbonden:

• Bij de evaluatie is gebruik gemaakt van niet bindende informatie van de fabrikanten.

• In de gehanteerde methodologie is onderkend dat elke methodiek subjectieve elementen omvat.

• De vergelijking betreft de kwaliteit van vliegtuigen die nog niet zijn uitontwikkeld en pas over een aantal jaren leverbaar zijn. Dat betekent dat er sprake is van een inherent ontwikkelrisico dat de kwaliteit niet of op een later tijdstip dan wel tegen hogere kosten kan worden gerealiseerd.

Bij ons onderzoek zijn de volgende beperkingen en onzekerheden van toepassing:

• Ons onderzoek richt zich op het proces van de kandidatenevaluatie en niet op de inhoud en juistheid van de daarbij gebruikte informatie.

• Er is sprake van toekomstgerichte informatie. Deze informatie is naar zijn aard subjectief en is gebaseerd op schattingen en veronderstellingen. Omtrent de realiseerbaarheid kunnen wij geen uitspraak doen.»

Wij stellen vast dat de beperkingen en onzekerheden uit hetassurancerapport mede betrekking hebben op de drie aspecten kwaliteit, prijs/levensduurkosten en levertijd² en op het antwoord op de centrale vraag van het onderzoek van de auditdiensten.

De centrale vraag van het onderzoek van de auditdiensten luidt:

«Heeft Defensie conform haar toezeggingen aan de Tweede Kamer de actualisering van de kandidatenvergelijking op een dusdanige wijze uitgevoerd voor wat betreft de aspecten kwaliteit, prijs/levenscyclus kosten en levertijd dat de besluitvorming omtrent de beoogde opvolger van de F-16 op basis van de uitkomsten van dit proces op een verantwoorde wijze tot stand kan komen?»

Om antwoord op de centrale vraag te kunnen geven is het volgens ons van belang dat de auditdiensten in hun rapport duidelijk aangeven waar de besluitvorming aan moet voldoen om «op verantwoorde wijze» tot stand te komen. De auditdiensten hebben dit sleutelbegrip uit de centrale vraag niet geoperationaliseerd en gedefinieerd.

Voor de eerste twee deelvragen «Sluit de gehanteerde methode aan bij die van 2001–2002?» en «Heeft Defensie bij de kandidatenvergelijking kunnen voortbouwen op de uitkomsten van de evaluatie uit 2001–2002?» geven de auditdiensten het volgende antwoord voor de aspecten kwaliteit, prijs/levensduurkosten en levertijd:

• Kwaliteit: «Op deze wijze is de oorspronkelijke inputgerichte benadering van 2001 in de loop van de tijd uitgebouwd tot de huidige outputgerichte vergelijking, die uit het oogpunt van een vergelijking van de gewenste operationele kwaliteiten duidelijk een verbetering en verbreding geeft ten opzichte van de in 2001–2002 gehanteerde benadering. Hierdoor konden de (vele) data uit 2001–2002 dan ook niet meer vergeleken worden met de huidige evaluatie»

• Prijs/levensduurkosten: «Voor het aspect prijs/levensduurkosten is evenals in 2001–2002 de FEL-SALDO-methode gehanteerd. Het voortbouwen op de evaluatie van 2001–2002 is, zoals aangegeven in de methodologie, zeer beperkt mogelijk om de volgende redenen:

– Verouderde aannames waardoor een update noodzakelijk is;

– Hernieuwde operatie- en onderhoudsconcepten;

– Verouderde (onderliggende) systemen.»

• Levertijd: «In de kandidatenvergelijking van 2001–2002 was dit aspect niet specifiek benoemd, maar onderdeel van een brede risico-inventarisatie.»

Wij constateren op basis van de bovenstaande opmerkingen van de auditdiensten dat de kandidatenvergelijkingen door het Ministerie van Defensie uit 2001–2002 en uit 2008 in belangrijke mate niet vergelijkbaar zijn.

Daarnaast merken wij bij deze twee deelvragen met de auditdiensten op dat zaken uit de kandidatenvergelijking 2001–2002 niet expliciet zijn meegenomen door het Ministerie van Defensie in de kandidatenvergelijking uit 2008, zoals program management en program risk, quality assurance, ARBO en milieu. De auditdiensten geven verder aan dat het Ministerie van Defensie in het kader van de kandidatenvergelijking 2001–2002 specifieke vragen stelde aan de betrokken fabrikanten omtrent het onderwerp geluid. In de kandidatenvergelijking van 2008 stelde het Ministerie van Defensie hierover geen vragen.

De auditdiensten geven in het assurancerapport niet aan of de beslissing van het Ministerie van Defensie om onderwerpen in de kandidatenvergelijking van 2008 niet mee te nemen, voldoet aan normen die de auditdiensten hanteren bij hun procesevaluatie: traceerbaar en transparant.

Voor de deelvraag «Zijn de gehanteerde methodiek en wegingsfactoren op een juiste en objectieve wijze tot stand gekomen in overeenstemming met 2001–2002?» merken wij op dat de auditdiensten in hun antwoord niet ingaan op de «juiste en objectieve wijze van totstandkoming» van de gehanteerde methodiek en wegingsfactoren. Zij geven in het antwoord alleen aan welke organisaties betrokken zijn geweest bij de voorbereiding en uitwerking van de methodologie en beschrijven een aantal kenmerken van de methodologie.

Voor de deelvraag «Is de vergelijking van de kandidaten op de aspecten kwaliteit, prijs en levertijd op een onbevooroordeelde, navolgbare en transparante wijze uitgevoerd?», geven de auditdiensten aan: «In de voorbereidingsfase van de kandidatenvergelijking is de basis gelegd voor een onbevooroordeelde, navolgbare en transparante uitvoering van de kandidatenvergelijking in de uitvoeringsfase. Aan de hand van onze waarnemingen stellen wij vast dat het uitvoeringsproces conform de opgestelde methodologie is verlopen.»

Wij merken op dat de auditdiensten met dit antwoord alleen aangeven dat het uitvoeringsproces van de kandidatenvergelijking conform de opgestelde methodologie is verlopen. Zij geven geen antwoord op de vraag of de vergelijking van de kandidaten op de aspecten kwaliteit, prijs en levertijd op een onbevooroordeelde, navolgbare en transparante wijze is uitgevoerd.

3 Kandidatenvergelijking vervanging F-16 door het Ministerie van Defensie

De staatssecretaris van Defensie gaf in zijn brief van 18 december 2008 aan dat de JSF in 2001 naar voren kwam als «het beste toestel voor de beste prijs». Tevens informeerde hij de Tweede Kamer in deze brief over de gehanteerde methodiek bij en de chronologie van de kandidatenvergelijking op de hoofdaspecten kwaliteit, levertijd en prijs. De staatssecretaris kwam vervolgens op basis van de kandidatenvergelijking tot de volgende conclusie: «De F-35 is het beste multi-role gevechtsvliegtuig om te voldoen aan de Nederlandse eisen. In tegenstelling tot de andere kandidaattoestellen kan de F-35 omstreeks 2015 alle zes hoofdmissies zonder meer succesvol uitvoeren en is de operationele beschikbaarheid het grootst. Daarnaast liggen de investeringskosten voor de F-35 het laagst en zijn de totale levensduurkosten naar verwachting het laagst. De Gripen NG en de Advanced F-16 ontlopen elkaar niet veel qua prijs en kwaliteit. Bovendien kan de levering van de F-35 goed worden ingepast in de gewenste Nederlandse invoerreeks. Tot slot kent het F-35 programma de minste risico’s betreffende operationele kwaliteiten, financiën en (door-)ontwikkeling in vergelijking met de twee andere kandidaten.»

Het Ministerie van Defensie schreef in het persbericht bij de openbare stukken dat de kandidatenvergelijking een vervolg is op de kandidatenvergelijking uit 2001, «(...) waarbij de JSF ook als beste toestel voor de beste prijs uit de bus kwam».¹

De conclusie van de auditdiensten over het proces van de kandidatenvergelijking, inclusief de werkzaamheden van de firma RAND, luidt:

«De huidige outputgerichte benadering is weliswaar een andere dan de (initieel) inputgerichte welke is gehanteerd in 2001–2002, maar geeft mede uit het oogpunt van een vergelijking van de gewenste operationele kwaliteiten, een verbetering en verbreding ten opzichte van de in 2001–2002 gehanteerde benadering.

Met inachtneming van de beperkingen en onzekerheden in hoofdstuk 2, is het proces voor wat betreft de aspecten kwaliteit, prijs/levensduurkosten en levertijd zodanig uitgevoerd dat op grond daarvan besluitvorming op verantwoorde wijze tot stand kan komen.

De vergelijking voor het aspect prijs/levensduur is gericht op toekomstige uitgaven en uitgevoerd conform de FEL-SALDO-methodiek. De uitkomsten van het proces van de LCC zijn onvoldoende onderscheidend om tot een rangorde te komen als gevolg van inherente onzekerheden in de gehanteerde data en dienen derhalve als indicatief te worden beschouwd.»

4 Conclusie

Bij de kandidatenvergelijking uit 2008 was sprake van een trapsgewijze benadering. Het Ministerie van Defensie voerde in samenwerking met TNO en NLR de kandidatenvergelijking uit. De firma RAND evalueerde het kandidatenvergelijkingsproces. Tot slot evalueerden de auditdiensten ook het proces van de kandidatenvergelijking, inclusief de werkzaamheden van de firma RAND.

Wij constateren dat de firma RAND wijst op, deels inherente, beperkingen bij een aantal belangrijke aspecten uit de kandidatenvergelijking. Ook de auditdiensten wijzen in hetassurancerapport op, deels inherente, beperkingen en onzekerheden.²

Wij stellen tevens vast dat de beperkingen en onzekerheden die de firma RAND en de auditdiensten beschrijven mede betrekking hebben op de drie kernaspecten uit de kandidatenvergelijking (prijs, kwaliteit en levertijd) en op het antwoord van de auditdiensten op de centrale vraag uit het assurancerapport.

In de kandidatenvergelijking uit 2001 kwam de JSF volgens de staatssecretaris van Defensie naar voren als «het beste toestel voor de beste prijs.» Op 18 december 2008 kwam de staatssecretaris tot de conclusie: «De JSF is het beste multi-role gevechtsvliegtuig om te voldoen aan de Nederlandse eisen.»

Wij concluderen dat de staatssecretaris een feitelijke conclusie trekt die verder strekt dan de procesconclusie uit het assurancerapport van de auditdiensten.

Algemene Rekenkamer

drs. Saskia J. Stuiveling,

president

dr. Ellen M.A. van Schoten RA,

secretaris

---

1 Tweede Kamer, vergaderjaar 2008–2009, 31 300, nr. 8, antwoord op vraag 2.

2 De stukken zijn tevens te vinden in ons dossier Monitoring verwerving Joint Strike Fighter op de website; De brief van 15 april 2009 is ter inzage gelegd bij het Centraal Informatiepunt van de Tweede Kamer der Staten-Generaal www.rekenkamer.nl/jsf.

3 Tweede Kamer, vergaderjaar 2008–2009, 26 488, nr. 131.

1 Comparative Analysis process.

2 Gewijzigd naar aanleiding van de brief van de staatssecretaris van Defensie d.d. 15 april 2009 van «voorbehoud» in «deels inherente beperkingen».

3 Zie voetnoot 2, pagina 2.

4 Life Cycle Costs.

5 Ministry of Defence.

1 Tweede Kamer, vergaderjaar 2007–2008, 26 488, nrs. 89 en nr. 120.

2 In het coalitieakkoord van 7 februari 2007 is afgesproken dat het kabinet in 2010 een besluit aan de Tweede Kamer zal voorleggen over de vervanging van de F-16 op basis van een vergelijking van de prijs, kwaliteit en levertijd van de JSF (F-35) en mogelijke andere toestellen.

1 JSF scoort beste in kandidatenvergelijking, DV&C 2008 197, 18 december 2008.

2 Zie voetnoot 2, pagina 3.