35 925 X Vaststelling van de begrotingsstaten van het Ministerie van Defensie (X) voor het jaar 2022

Nr. 90 BRIEF VAN DE MINISTERS VAN BUITENLANDSE ZAKEN EN VAN DEFENSIE

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 17 juni 2022

Namens het kabinet danken de Minister van Buitenlandse Zaken en de Minister van Defensie de gezamenlijke commissie van de Adviesraad Internationale Vraagstukken (AIV) en de Commissie van Advies inzake Volkenrechtelijke Vraagstukken (CAVV) voor hun advies Autonome wapensystemen: Het belang van reguleren en investeren.¹ Hiermee wordt het advies uit 2015 Autonome wapensystemen: de noodzaak van betekenisvolle menselijke controle geactualiseerd (Bijlage bij Kamerstuk 34 300 X, nr. 21).

In het nieuwe advies beschouwen de AIV en CAVV technologische ontwikkelingen op het gebied van kunstmatige intelligentie, robotica en kwantumtechnologie in relatie tot de ontwikkeling en inzet van autonome wapensystemen in de geopolitieke context. Verschillende grootmachten investeren fors in de ontwikkeling van nieuwe technologieën en autonome wapensystemen. De AIV en CAVV erkennen dat het voor een adequaat toegeruste krijgsmacht en vanuit het veiligheidsperspectief noodzakelijk is dat Nederland zelf beschikt over gedeeltelijk autonome wapensystemen. Zulke wapensystemen bieden relevante militaire voordelen: ze zijn over het algemeen preciezer, sneller en veiliger. Een voorbeeld van een situatie waarbij autonome wapensystemen voordelen bieden, is de dreiging van hypersone raketten, omdat de menselijke reactiesnelheid te traag is om daar bijtijds op te reageren. Naast de voordelen benadrukken de AIV en CAVV ook de risico’s van autonome wapensystemen, waaronder het gevaar van misbruik door bepaalde staten en niet-statelijke actoren en dat het gebruik van autonome wapensystemen naar verwachting leidt tot een verlaging van de drempel tot geweldgebruik. Daarnaast wijzen de AIV en CAVV op de toenemende snelheid van technologische innovatie en de toonaangevende rol die de industrie daarbij speelt. Daarom menen de AIV en CAVV dat het noodzakelijk is om te komen tot nadere regulering en zij presenteren hiervoor verschillende opties. Ook beschouwen zij het politieke en maatschappelijke debat en de juridische en ethische aspecten, met oog voor de voor- en nadelen van het gebruik van autonome wapensystemen. De AIV en CAVV benadrukken in hun advies het belang van zowel reguleren als investeren en doen tien aanbevelingen aan het kabinet. In de voorliggende reactie zal het kabinet puntsgewijs de aanbevelingen appreciëren en de hernieuwde inzet toelichten.

Internationale context: GGE LAWS en CCW

Alvorens in te gaan op de tien aanbevelingen, volgt eerst een appreciatie van de discussies en conclusies van de Group of Governmental Experts on Lethal Autonomous Weapon Systemens (hierna: GGE LAWS) en de Convention on Certain Conventional Weapons (hierna: CCW). Het forum voor internationale besprekingen en onderhandelingen over autonome wapensystemen is de GGE LAWS, die vergadert onder mandaat van de verdragspartijen van de CCW. Deze gesprekken vinden sinds 2014 plaats onder de CCW en sinds 2017 in de GGE LAWS. De GGE komt een aantal keer per jaar bijeen.

Binnen de internationale discussie zijn ruwweg vier groepen landen te onderscheiden:

• 1. Landen die vinden dat het huidig internationaal recht volstaat en die geen voorstander zijn van verdere maatregelen.

• 2. Landen die bepleiten dat het bestaande internationaalrechtelijke kader verduidelijkt moet worden en (nog) niet bereid zijn om een eventueel verbod en positieve verplichtingen te omarmen of zich hierover uit te spreken. Nederland behoorde lange tijd tot deze groep.

• 3. Landen die pleiten voor negatieve verplichtingen, bijvoorbeeld in de vorm van een verbod op volledig autonome wapensystemen, en positieve verplichtingen voor autonome wapensystemen die wel toelaatbaar zijn.

• 4. Landen die voorstander zijn van een nieuw internationaal verbod op een groot aantal autonome wapensystemen en vergaande verplichtingen voor autonome wapensystemen die wel zijn toegestaan.

Tot op heden bestaat er geen overeenstemming over een internationale definitie van een «autonoom wapensysteem», noch over het onderscheid tussen volledige en gedeeltelijke autonomie.² Over het gebruik en de inhoud van de term «betekenisvolle menselijke controle», die centraal staat in het adviesrapport, bestaat ook geen consensus. Andere termen die zijn gebruikt zijn onder meer sufficient human control, appropriate human control, human judgement en responsible governance. Verder bestaat er geen overeenstemming over de noodzaak van een verbod op (volledig) autonome wapensystemen. Verschillende keren is de suggestie gedaan om over te gaan tot het opstellen van een politieke verklaring of een code of conduct in plaats van een nieuw protocol bij de CCW. Op dit moment is het nog niet duidelijk welke kant het proces op zal gaan.

Gelet op de complexe besluitvorming binnen de CCW, die consensus vergt, groeit de roep van een aantal staten en maatschappelijke organisaties om op zoek te gaan naar een ander forum, zoals ook is gebeurd met de regulering van anti-personeelsmijnen en clustermunitie. Gezien het strategische belang van autonome wapensystemen hebben veel CCW-lidstaten op dit moment nog weinig animo om een dergelijk proces op te starten, waaronder militaire grootmachten. Zonder deze landen is het zeer de vraag of een nieuw protocol of verdrag over autonome wapensystemen effectief kan zijn.

Het kabinet blijft inzetten op voortgang in CCW-verband, omdat alle relevante spelers op het gebied van autonome wapensystemen daarin zijn vertegenwoordigd en de afgelopen jaren is gebleken dat ondanks het gecompliceerde krachtenveld binnen de GGE voortgang kan worden gemaakt. De meest tastbare resultaten van de GGE LAWS zijn de overeengekomen elf «Guiding Principles».³ Aan de hand van deze guiding principles is in de jaren daarna verder gewerkt aan het verduidelijken van de bestaande operationele en normatieve kaders ten aanzien van het gebruik en de ontwikkeling van autonome wapensystemen. Ook is overeenstemming bereikt over de noodzaak an sich om het oordeelvermogen van de mens te behouden en is voortgang geboekt over hoe dit kan worden geoperationaliseerd.

De Verdragspartijen van de CCW hebben tijdens de zesde Toetsingsconferentie van de CCW in december 2021 besloten om de besprekingen in de GGE in 2022 voort te zetten. Het kabinet zal daarbij het nieuwe advies van de AIV en CAVV en de kabinetsreactie daarop als uitgangspunt nemen voor de verdere ontwikkeling van het Nederlandse beleid inzake autonome wapensystemen.

Aanbeveling 1: «Besteed meer aandacht aan de ontwikkelingen op het gebied van autonome wapensystemen.»

Nieuwe technologieën en de relatie tot het nationale en internationale veiligheidsbeleid hebben de aandacht van het kabinet. Om de kennisbasis te onderhouden en te versterken, investeert Defensie met veiligheidspartners in meerjarige onderzoeksprogramma’s en experimenten om de werking van autonome wapensystemen binnen juridische en ethische kaders te beproeven. Ook financiert o.a. Defensie onderzoeksfaciliteiten bij strategische partners en wordt er actief ingezet op internationale samenwerking (zie ook de reacties op aanbevelingen 6 en 9). Voor de nationale veiligheid is het van groot belang om zowel op civiel als militair vlak alle ontwikkelingen op het gebied van autonome wapensystemen te blijven volgen, tijdig te experimenteren met nieuwe middelen en inzet, en aangehaakt te blijven bij internationale discussies.

Het kabinet neemt aanbeveling 1 over en zal op politiek, diplomatiek, technisch en financieel gebied voortdurend en intensief aandacht blijven besteden aan de ontwikkelingen op het gebied van autonome wapensystemen en zich, waar mogelijk en opportuun, inzetten voor verdere regulering. Bij de behandeling van de overige aanbevelingen komt de inzet van het kabinet uitgebreider aan de orde.

Aanbeveling 2: «Streef actief naar een verbod op volledig autonome wapensystemen.»

De AIV en CAVV maken in hun advies een onderscheid tussen volledig autonome wapensystemen, die volgens de AIV en CAVV expliciet verboden moeten worden, en gedeeltelijk autonome wapensystemen die toelaatbaar zijn mits deze onder betekenisvolle menselijke controle staan. Volgens de AIV en de CAVV zijn er verschillende opties om tot nadere regulering te komen voor zowel volledig als gedeeltelijk autonome wapensystemen, zoals een nieuw protocol bij de CCW. Het gaat hierbij niet om het ontwikkelen van nieuwe rechtsregels, maar primair om een concretisering van bestaande rechtsregels.

Het kabinet neemt aanbeveling 2 volledig over en zal zich in internationaal verband inspannen voor een verbod en de concretisering van de regels die van toepassing zijn op de inzet van autonome wapensystemen, bijvoorbeeld in een protocol bij de CCW. Daarbij is het van belang oog te hebben voor het complexe internationale krachtenveld. De definitie en afbakening van een verbod luistert nauw. Voor het kabinet is het kerndoel van een verbod het behoud van het oordeelsvermogen van de mens bij inzet van een wapensysteem. Het is dan ook van belang om een algemeen onderscheid te maken tussen autonome wapensystemen die wel conform het bestaande internationale recht kunnen worden ontwikkeld en ingezet, en autonome wapensystemen waarbij dat niet mogelijk is. Er moet gewaakt worden voor een te ruime definitie zodat bestaande systemen die belangrijk zijn voor onze nationale veiligheid, zoals de Goalkeeper en de Patriot, niet onder het verbod zouden kunnen vallen. Een te krappe definitie zou er in de praktijk toe kunnen leiden dat het verbod weinig effect heeft. Voor de haalbaarheid en effectiviteit van het verbod is het tevens van belang dat de staten die actief zijn op het gebied van de ontwikkeling van autonome wapensystemen zich daarbij aansluiten. Ook moet Defensie samen met bondgenoten onderzoek kunnen doen naar volledige autonome wapensystemen die in gebruik kunnen zijn of worden genomen door potentiële tegenstanders. Defensie moet kennis hebben van de systemen van potentiële tegenstanders, ook als dat volledig autonome wapensystemen zijn die niet verenigbaar zijn met het internationale recht.

Aanbeveling 3: «Wees actiever in het ontwikkelen van internationale regulering voor de ontwikkeling, de aanschaf en de inzet van gedeeltelijk autonome wapensystemen.»

Voor de appreciatie van aanbeveling 3 verwijst het kabinet naar de reactie op aanbeveling 5. Beide aanbevelingen hangen nauw met elkaar samen, omdat aanbeveling 5 het concept van betekenisvolle menselijke controle als uitgangspunt benoemt voor de verdere regulering waartoe in aanbeveling 3 wordt opgeroepen.

Aanbeveling 4: «Roep staten op de uit artikel 36 van het Eerste Additionele Protocol van de Geneefse Conventie volgende verplichting tot weapon reviews, uit te voeren dan wel in hun nationale wetgeving op te nemen.»

De AIV en CAVV concluderen dat een staat verplicht is te bepalen of een wapensysteem kan worden ingezet conform het internationaal recht. Geadviseerd wordt om staten te bewegen hiervoor nationale wetgeving aan te nemen en in te zetten op verplichte openbaarmaking van de uitkomst van dergelijke weapon reviews. Het kabinet neemt deze aanbeveling ten dele over.

Zoals het kabinet eerder uiteenzette,⁴ roept Nederland staten al op tot het invoeren van een procedure ter implementatie van artikel 36 van het Eerste Aanvullende Protocol bij de Verdragen van Genève (API), zoals de Nederlandse Adviescommissie Internationaal Recht en Conventioneel Wapengebruik (AIRCW). Nederland heeft hierover in EU- en in VN-verband kennis gedeeld en zal dit blijven doen. Nederland pleit ervoor dat landen hun weapon review proces transparant inrichten en uitvoeren en de uitkomsten waar mogelijk internationaal delen. Een verplichte volledige openbaarmaking acht het kabinet onverstandig vanwege belangen van staatsveiligheid of commerciële vertrouwelijkheid. Om ook voor het overige geen onnodige drempels op te werpen voor landen bij het opzetten van een artikel 36 procedure, hecht het kabinet er eveneens waarde aan dat staten zelf kunnen bepalen hoe zij voldoen aan de verplichting van artikel 36 API: door verankering in nationale wetgeving of op een andere wijze.

In Nederland toetst de AIRCW nieuwe middelen en strijdmethoden aan het internationaal recht. De Minister van Defensie besluit op basis van het advies al dan niet goedkeuring te verlenen voor gebruik door de krijgsmacht. De AIRCW publiceert de adviezen online, met inachtneming van bedrijfsvertrouwelijke en operationele aspecten. Het kabinet zal een wettelijke verankering van de AIRCW verkennen. De oproep van de AIV en CAVV om de rol van de AIRCW te versterken door toevoeging van een coördinerende taak in het overleg tussen overheid, bedrijfsleven en kennisinstellingen vertroebelt, naar oordeel van het kabinet, de eigenlijke taak van de AIRCW. De AIRCW is primair belast met een juridische toets, terwijl de coördinatie van overleg met belanghebbenden meer beleidsmatig van aard is.

Aanbeveling 5: «Houd vast aan het concept van betekenisvolle menselijke controle (meaningful human control – MHC) als uitgangspunt voor de regulering van gedeeltelijk autonome wapensystemen.»

In aanbeveling 3 adviseren de AIV en CAVV dat het kabinet actiever moet zijn in het ontwikkelen van internationale regulering voor de ontwikkeling, de aanschaf en de inzet van gedeeltelijk autonome wapensystemen. In aanbeveling 5 wordt daaraan toegevoegd dat het concept van betekenisvolle menselijke controle het uitgangspunt moet zijn bij de regulering van gedeeltelijk autonome wapensystemen.

De AIV en CAVV doen verschillende voorstellen voor de wijze waarop betekenisvolle menselijke controle kan worden belegd en ingevuld. Het kabinet volgt de lijn van de AIV en CAVV dat het bij betekenisvolle menselijke controle feitelijk «gaat om het oordeelsvermogen van de mens bij de inzet van een wapensysteem». Dat oordeelsvermogen is in het bijzonder van belang omdat het humanitair oorlogsrecht (onder andere) de plicht tot het maken van onderscheid, het nemen van voorzorgsmaatregelen en het toepassen van de proportionaliteitsregel oplegt aan de persoon die een aanval plant, het besluit daartoe neemt of dat besluit uitvoert. Menselijke controle is volgens het kabinet noodzakelijk om het oordeelsvermogen van de mens voor wapensystemen met autonome kenmerken te behouden, zodat deze conform het internationaal recht kunnen worden gebruikt, bijvoorbeeld om te beoordelen of een persoon of object een bijzondere bescherming geniet onder het humanitair oorlogsrecht.

Het kabinet ziet de door de AIV en CAVV opgestelde criteria voor de uitoefening van menselijke controle, bijvoorbeeld ten aanzien van het type doelwit, de duur van het gebruik van een autonoom wapen, de geografische reikwijdte, de omstandigheden en randvoorwaarden voor een goede mens-machine interactie als goede uitgangspunten voor regulering. De uiteindelijk vereiste mate van menselijke controle en te hanteren criteria hangen vooral af van de operationele context.⁵ Een verdedigingssituatie tegen een inkomende raket op open zee behoeft bijvoorbeeld andere limieten en mate van menselijke controle dan een chaotische gevechtssituatie in een dichtbevolkt gebied. Het vaststellen van de mate van vereiste menselijke controle zal dus per situatie verschillen. In dit verband omarmt het kabinet op dit moment geen specifieke definitie voor betekenisvolle menselijke controle, omdat dit vanwege dezelfde redenen als vermeld onder aanbeveling 2 tekort zou doen aan de complexiteit van de discussie.

Het kabinet merkte in de introductie van deze brief al op dat autonome wapensystemen noodzakelijk zijn voor een adequaat toegeruste krijgsmacht. Om op een verantwoorde wijze met deze systemen om te gaan moeten vooraf de benodigde politieke, operationele, juridische en morele afwegingen worden gemaakt. Dit geldt niet alleen voor zaken als ontwikkeling, aanschaf en toetsing, maar ook voor opleiding en training van personeel.

Menselijke controle kan dus in verschillende fases van de levenscyclus van een wapen worden ingericht en aanwezig zijn. Hierbij kunnen ook verschillende actoren betrokken zijn, zoals bedrijven en kennisinstituten in de ontwikkelingsfase. Het Ministerie van Buitenlandse Zaken en het Ministerie van Defensie voeren geregeld overleg met maatschappelijke instellingen en onderzoeksinstanties om te bespreken hoe zij tegen de discussie over betekenisvolle menselijke controle aankijken en nemen adviezen, waar mogelijk, mee bij de besluitvorming.

Het kabinet heeft ook meerdere onderzoeken naar autonome wapensystemen en betekenisvolle menselijke controle gefinancierd.⁶

Het kabinet neemt aanbeveling 3 en 5 over en zal zich internationaal inzetten om het behoud van het oordeelsvermogen van de mens bij de inzet van wapensystemen verder te ontwikkelen en verankeren.

Mensenrechten

Het advies beschouwt ook het gebruik van gedeeltelijk autonome wapensystemen in vredestijd en de daarbij relevante bepalingen op het gebied van mensenrechten. Het kabinet kan zich vinden in de analyse van de AIV en CAVV dat het rechtsregime van de mensenrechten van toepassing is op het gebruik van dodelijk geweld buiten een situatie van gewapend conflict. Tijdens de GGE LAWS heeft Nederland het belang onderstreept van mensenrechten als relevant rechtsregime voor de mogelijke inzet van wapensystemen met autonome kenmerken. Het kabinet onderschrijft dat het rechtsregime van de mensenrechten stringentere eisen stelt aan het toepassen van dodelijk geweld voor rechtshandhavingsdoeleinden dan het rechtsregime van het humanitair oorlogsrecht dat doet voor gevechtshandelingen.

Ten aanzien van het recht op privéleven wijzen de AIV en CAVV op het belang van adequate data governance bij het gebruik van big data in systemen die opereren op basis van kunstmatige intelligentie. De AIV en CAVV raden het kabinet aan om het toezicht op data te verbeteren en om meer te investeren – zowel financieel als met capaciteit – in de ontwikkeling van kunstmatige intelligentie, robotica, kwantum computing en verantwoord datagebruik. Het kabinet erkent het belang van goede data governance, ook binnen de krijgsmacht. Defensie beschouwt data als een strategische asset. Een structureel ingerichte data governance en duidelijke kaders en richtlijnen rondom data management zijn daarom cruciaal.

Aansprakelijkheid

Het kabinet en de AIV en CAVV onderstrepen het belang van duidelijke belegging van de verantwoordelijkheid bij de ontwikkeling en inzet van autonome wapensystemen. Ten aanzien van staatsaansprakelijkheid geldt dat staten op basis van internationaal recht aansprakelijk kunnen worden gesteld voor onrechtmatige handelingen van door hen gebruikte wapensystemen met autonome kenmerken. De AIV en CAVV doen in het advies de suggestie om een vorm van strikte staatsaansprakelijkheid te overwegen, gelet op het relatief risicovolle karakter van het gebruik van wapensystemen met autonome kenmerken in conflictsituaties. Het kabinet onderschrijft dat op dit moment een dergelijke vorm van aansprakelijkheid geen onderdeel uitmaakt van het bestaande internationaal recht inzake staatsaansprakelijkheid. Momenteel voert SIPRI, met medefinanciering van Nederland, een onderzoek uit naar aansprakelijkheid. Het kabinet zal de mogelijkheden voor staatsaansprakelijkheid verder verkennen en onderdeel maken van de Nederlandse inbreng.

In aanvulling op het gestelde in het advies over individuele aansprakelijkheid merkt het kabinet op dat de vervolging van internationale misdrijven primair een taak is van het nationale rechtssysteem, waarbij vervolging door het Internationaal Strafhof als achtervang dient. In voorkomend geval kunnen individuen of rechtspersonen die een rol spelen gedurende de levenscyclus van autonome wapensystemen conform de nationale rechtsregels civielrechtelijk aansprakelijk worden gesteld of strafrechtelijk worden vervolgd.

Aanbeveling 6: «Werk samen met EU-partners, de Verenigde Staten, het Verenigd Koninkrijk, en andere NAVO-bondgenoten om te komen tot een gezamenlijke ontwikkeling en productie van gedeeltelijk autonome systemen (waarbij betekenisvolle menselijke controle goed is belegd), exportcontrole en een investeringsscreening ten aanzien van dual-use technologieën.»

Gezamenlijke ontwikkeling en innovatie

De NAVO zet in op het behoud van de technologische voorsprong («maintaining a technological edge») van het bondgenootschap. Nederland onderstreept vanuit het oogpunt van (nationale) veiligheid deze inzet, die binnen het NAVO-bondgenootschap breed gedeeld wordt en gekoppeld is aan een hoog ambitieniveau. In NAVO-verband wil Nederland de implementatie van de NATO Emerging & Disruptive Technologies Roadmap (EDTR, 2019) actief ondersteunen. De EDTR moedigt NAVO-landen aan om in hun gezamenlijke en nationale onderzoekprogramma’s meer accent te leggen op onderzoek en ontwikkeling van deze technologieën. Nederland gaat onder andere gericht bijdragen aan het gemeenschappelijk werkprogramma van de NATO Science & Technology Organisation (STO), zoals op het terrein van kunstmatige intelligentie en autonome wapensystemen.

In EU-verband is het Europees Defensiefonds (EDF) een steeds belangrijker instrument voor gezamenlijk defensieonderzoek en capaciteitenontwikkeling van de lidstaten. Nederland zet dan ook in op verdere ontwikkeling en benutting van het EDF voor Defensie, kennisinstellingen en defensiebedrijven. Nederland acht een bijdrage te kunnen leveren op het gebied van de ontwikkeling van autonome systemen en onderschrijft het belang van betekenisvolle menselijke controle in de besluitvormingsketen. De Europese Commissie ziet toe op de ethische evaluatie van de projectvoorstellen. Het EDF verleent geen financiële steun aan acties met betrekking tot producten en technologieën waarvan het gebruik, de ontwikkeling of de productie krachtens internationaal recht verboden is. Acties voor de ontwikkeling van dodelijke autonome wapens die niet de mogelijkheid bieden om een zinvolle menselijke controle uit te oefenen over besluiten in verband met de selectie en inzet ervan bij aanvallen die op mensen gericht zijn, komen evenmin in aanmerking voor steun uit het fonds. Naast het EDF heeft Nederland in algemene zin ook veel bilaterale samenwerkingen op gebied van innovatie en ontwikkeling met diverse landen waaronder Canada, Duitsland, Frankrijk, Noorwegen, het Verenigd Koninkrijk, de Verenigde Staten en Zweden.

Ondanks het grote belang dat het kabinet hecht aan samenwerking met bondgenoten, plaatst het kabinet de kanttekening dat het onwenselijk is om voor bepaalde technologieën en systemen, zowel qua kennis als industriële en operationele capaciteiten, volledig afhankelijk te zijn van een andere mogendheid, zelfs als dat een bondgenoot is.⁷ In het kader van de eigen soevereiniteit en de bescherming van de nationale veiligheid kunnen dus andere afwegingen gemaakt worden.

Exportcontrole en investeringsscreening

Nauwe samenwerking met EU-lidstaten bij de voorbereiding, implementatie en uitvoering vormt de kern van het Nederlandse exportcontrolebeleid. Net als andere militaire goederen zijn wapensystemen met autonome kenmerken onderhevig aan de strikte toetsing van de acht criteria van het EU Gemeenschappelijk Standpunt inzake wapenexport.⁸ Op de uitvoer van dual-use technologie en goederen is de EU dual-use verordening van toepassing.⁹ De controlelijst van deze verordening wordt samengesteld op basis van consensusbesluiten in de vier exportcontroleregimes. Op het gebied van autonome wapensystemen zijn het Wassenaar Arrangement en het Missile Technology Control Regime de aangewezen regimes. Vanuit de controlelijsten van deze regimes is technologie en software, gerelateerd aan potentiële overbrengingsmiddelen van massavernietigingswapens en/of conventionele wapensystemen reeds vergunningplichtig en daarmee gecontroleerd door de dual-use verordening, ongeacht het niveau van autonomie.

Er zijn ook verschillende initiatieven om nationale veiligheidsrisico’s als gevolg van investeringen beheersbaar te maken. Momenteel wordt er gewerkt aan een sectorspecifieke investeringstoets op de defensie-industrie.¹⁰ In de zomer van 2021 is daarnaast het wetsvoorstel Veiligheidstoets investeringen, fusies en overnames (Vifo) aangeboden aan de Tweede Kamer. Vifo heeft tot doel risico's voor de nationale veiligheid als gevolg van investeringen, fusies, overnames van vitale aanbieders en bedrijven die actief zijn op het gebied van sensitieve technologie beheersbaar te maken. Voor de categorie sensitieve technologie wordt onder andere verwezen naar de geldende Europese exportcontrolekaders op het gebied van militaire goederen en goederen voor tweeërlei gebruik. Op basis van de EU screeningsverordening wisselen lidstaten informatie uit over directe buitenlandse investeringen die raken aan de nationale veiligheid of openbare orde.¹¹ Binnen de Trade and Technology Council werkt de EU ook met de VS samen op het gebied van investeringstoetsing.

Breed overleg tussen overheden, industrie en kennisinstellingen

De AIV en CAVV bevelen het kabinet ook aan om zowel binnen de EU als binnen de NAVO in te zetten op structureel overleg tussen overheden, kennisinstellingen en het bedrijfsleven om gezamenlijk de industriële, juridische en ethische aspecten van autonome wapensystemen adresseren. Het kabinet is op meerdere vlakken binnen de EU en NAVO al aanjager van initiatieven hierop en neemt ook eigen initiatieven.

Nederland neemt actief deel aan de invulling van het EU strategische proces over het verantwoordelijk gebruik van AI in een militaire context en zal waar mogelijk, de juridische en ethische aspecten van autonome wapensystemen blijven agenderen en onderzoeken. Ook acht Nederland het noodzakelijk dat militair gebruik van AI hoger op de mondiale agenda komt en neemt daartoe het initiatief door een internationale conferentie te organiseren. Hoewel het vorm te geven initiatief meer omvat dan autonome wapensystemen, zal Nederland het AIV/CAVV advies en de opkomst van autonome wapensystemen waar mogelijk betrekken. Over de conferentie en het opbouwen van een politieke agenda wordt uw Kamer separaat geïnformeerd.

Zoals hierboven is toegelicht neemt het kabinet aanbeveling 6 grotendeels over en zijn sommige aspecten al onderdeel van staand beleid. Nederland benut actief de mogelijkheden voor samenwerking met bondgenoten, het bedrijfsleven en andere partners bij de ontwikkeling en productie van autonome systemen (waarbij betekenisvolle menselijke controle goed is belegd), exportcontrole en een investeringsscreening ten aanzien van dual-use technologieën.

Aanbeveling 7: «Stimuleer NAVO-bondgenoten om gezamenlijk een belangrijke rol te spelen in het nastreven van interoperabiliteit en standaardisatie op het gebied van disruptieve technologie en gedeeltelijk autonome systemen.»

Zoals de NAVO ook zelf benadrukt zijn interoperabiliteit en standaardisatie randvoorwaarden voor effectief militair optreden. Nederland gaat nog sterker pleiten voor interoperabiliteit en standaardisatie zodat we optimaal samen kunnen werken. NAVO- en ook EU-processen moeten op elkaar zijn afgestemd zodat capaciteitsontwikkeling en investeringen maximaal renderen. Nederland verwelkomt dan ook het voornemen van de secretaris-generaal van de NAVO, Jens Stoltenberg, voor een Defence Innovation Initiative ter bevordering van interoperabiliteit en als een katalysator voor trans-Atlantische samenwerking op defensie-innovatie, specifiek op het terrein van disruptieve technologieën. Ook de NATO STO speelt hier een belangrijke rol. Binnen de STO werken zo’n 5000 wetenschappers aan gemeenschappelijke onderzoeksprogramma’s op gebied van disruptieve technologieën. Het kabinet benadrukt dat de toepassing van disruptieve technologieën een langdurige inspanning vergt, zowel qua technologieontwikkeling als het verzekeren van interoperabiliteit en het streven naar standaardisatie.

Ook levert de NAVO een belangrijke bijdrage aan de discussie over nieuwe technologieën en bevordert daarbij een coherente benadering tussen bondgenoten. Nederland blijft, net zoals bij de totstandkoming van de EDTR, binnen de NAVO om aandacht vragen voor de wapenbeheersingsaspecten van nieuwe technologieën. Dat laat onverlet dat Nederland de toepassing van nieuwe technologieën in het militaire domein, in lijn met het NAVO-beleid, noodzakelijk acht om «technological edge» te behouden. Daarbij blijft handhaving van betekenisvolle menselijke controle op autonome wapensystemen vanzelfsprekend het uitgangspunt.

Aanbeveling 8: «Maak het concept van explainable AI (kunstmatige intelligentie die uitlegbaar is) tot uitgangspunt van het Nederlandse beleid bij ontwikkeling, aanschaf en gebruik van gedeeltelijk autonome wapensystemen.»

Volgens de Wetenschappelijke Raad voor Regeringsbeleid (WRR) is kunstmatige intelligentie een systeemtechnologie die ons leven fundamenteel gaat veranderen.¹² De overheid zou kaders moeten scheppen waarbinnen AI zich ten goede kan ontwikkelen. De oproep van de AIV en CAVV dat kunstmatige intelligentie die ten grondslag ligt aan gedeeltelijk autonome wapensystemen uitlegbaar moet zijn, past dan ook binnen de Rijksbrede opgave op het gebied van AI. Concreet gesteld betekent dit dat onderliggende wiskundige modellen en data die daaraan ten grondslag liggen te alle tijden traceerbaar en uitlegbaar moet zijn. Daarnaast moet in de gehele besluitvormingsketen duidelijk zijn waar en hoe de betekenisvolle menselijke controle is belegd en wie waarvoor verantwoordelijk is. De AIV en CAVV adviseren dat de krijgsmacht hierin getraind wordt.

Het kabinet omarmt deze aanbeveling en verwijst in dit kader in zijn algemeenheid naar de kabinetsreactie op het advies van de WRR dat naar verwachting in het najaar verschijnt en richtinggevend zal zijn op dit terrein. Op militair vlak heeft Defensie deze onderwerpen als expliciet aandachtsveld aangemerkt. Rollen, verantwoordelijkheden en besluitvorming op gebied van AI moeten beter ingebed worden in de organisatie. Defensie ontwikkelt al normenkaders en ontwerprichtlijnen om de werking van een algoritme, de gemaakte keuzes, de valideerbaarheid en de implementatie en het gebruik ervan te documenteren. Ook is het uitgangspunt reeds dat algoritmen middels een audit toetsbaar zijn aan normen en een verificatiekader. Aan te schaffen commercieel ontwikkelde toepassingen moeten voldoen aan de kaders en richtlijnen van Defensie. Om de hiervoor benodigde kennisbasis te ontwikkelen, worden met kennisinstellingen onderzoeksprogramma’s uitgevoerd, waaronder naar man-machine-teaming en naar methoden voor verificatie van autonome systemen. Tevens wordt in meerdere NATO-STO activiteiten samengewerkt met internationale kennisinstellingen.¹³ Ook zal Defensie het personeelsbeleid moeten ontwikkelen en aanpassen op het werken met AI. De behoefte aan opleiding en training op alle niveaus wordt onderkend. Defensie geeft hieraan concrete invulling door o.a. een masterclass Data en Cyber voor de Defensietop en een algemene leergang Data.

Aanbeveling 9: «Maak afspraken met het bedrijfsleven en wetenschappelijke instellingen over de ontwikkeling en aanbesteding van gedeeltelijk autonome wapensystemen.»

De AIV en CAVV onderschrijven het belang van mens-machine-interactie om nader invulling te kunnen geven aan het begrip betekenisvolle menselijke controle. Daarbij moet breder gekeken worden dan enkel het moment van inzet van een autonoom wapen. De AIV en CAVV beargumenteren dat de ethische afwegingen en juridische criteria in de ontwerpfase van het wapensysteem vorm moeten krijgen. Met ontwikkelaars en fabrikanten zouden volgens de AIV en CAVV afspraken gemaakt moeten worden over de controleerbaarheid van cruciale criteria. De AIV en CAVV adviseren voorts de bevordering, door de overheid, van een cultuur van gedeelde verantwoordelijkheid en wijst ook op de uitgangspunten van verantwoord ondernemen. Ten slotte wordt gesteld dat de overheid concrete richtlijnen, verificatietools en certificeringen moet ontwikkelen. Zoals in de reactie onder aanbeveling 8 is aangegeven wordt samen met (inter)nationale partijen kennis op dit gebied opgebouwd. Ook werkt de Nederlandse Defensie Academie aan een systeem voor verificatie, validatie en accreditatie. Het kabinet onderschrijft aanbeveling 9 en verwijst verder naar de reactie onder aanbevelingen 6 en 8.

Aanbeveling 10: «Actualiseer dit advies.»

Het kabinet neemt tenslotte aanbeveling 10 over en zal om actualisering van dit advies verzoeken bij een volgend sleutelmoment.

Conclusie

Deze kabinetsreactie vormt het nieuwe uitgangspunt van de beleidspositie van het kabinet inzake autonome wapensystemen. Zoals hierboven door het kabinet is uiteengezet, neemt het kabinet de aanbevelingen van de AIV en CAVV grotendeels over. Het kabinet acht gedeeltelijk autonome wapensystemen onmisbaar voor een technologisch hoogwaardige krijgsmacht ten behoeve van de verdediging van Nederland en het bondgenootschappelijk grondgebied. Het gebruik en de proliferatie van onbemande en autonome wapensystemen neemt zowel bij bondgenoten als opponenten toe. Dit beeld wordt bevestigd tijdens recente en actuele conflicten. Het gebruik van dergelijke systemen leidt tot kortere reactietijden en toenemende onvoorspelbaarheid van de dreiging. De verdediging hiertegen vraagt om informatie gestuurd optreden, verregaande automatisering en interoperabiliteit binnen de NAVO. Ook neemt het belang toe dat eenheden en vitale infrastructuur zichzelf kunnen beschermen tegen deze dreigingen, zodat vrijheid van handelen behouden blijft. Omgekeerd bieden onbemande en autonome wapensystemen een grote meerwaarde aan de informatiepositie en de escalatiedominantie van de krijgsmacht. Het kabinet onderkent met de AIV en CAVV ook de risico’s en nadelen van deze systemen. Ten behoeve van de (inter)nationale veiligheid zal het kabinet de razendsnelle ontwikkelingen op het gebied van autonome wapensystemen nauwgezet blijven volgen, waarbij het kabinet zich in internationaal verband hard zal blijven maken voor de verantwoorde ontwikkeling en gebruik van autonome wapensystemen. Om dit te waarborgen onderstreept het kabinet het belang om bestaande rechtsregels te concretiseren. Uitgangspunt is dat autonome wapens conform het internationaal recht gebruikt dienen te worden en dat het oordeelsvermogen van de mens bij de inzet van autonome wapensystemen behouden blijft. Wapensystemen die niet conform het internationaal recht gebruikt kunnen worden, moeten expliciet verboden worden, bijvoorbeeld middels een protocol bij de CCW. Tot slot zal het kabinet een breed en open gesprek over autonome wapensystemen blijven voeren met kennisinstituten, het maatschappelijk middenveld, overheidsinstanties, het parlement en de industrie.

De Minister van Buitenlandse Zaken, W.B. Hoekstra

De Minister van Defensie, K.H. Ollongren

---

1 Advies No. 97 AIV / No. 26 CAVV, «De noodzaak van betekenisvolle menselijke controle», oktober 2015.

2 Anders dan de AIV en CAVV stellen, wordt in het internationaal discours met de term Lethal Autonomous Weapon Systems niet noodzakelijkerwijs een lethaal en volledig autonoom wapensysteem aangeduid.

3 CCW/MSP/2019/9 Annex 3.

4 Kabinetsreactie juli 2021 op initiatiefnota van Kamerlid Belhaj, zie Kamerstuk 35 848, nr. 3.

5 «Position on Autonomous Weapon Systems», ICRC, 12 mei 2021; «Limits of autonomy», ICRC/SIPRI (2020).

6 Ibid. «Autonomous Weapon Systems and International Humanitarian Law», SIPRI, «Identifying Limits and the Required Type and Degree of Human–Machine Interaction», juni 2021; M. Ekelhof, «The Distributed Conduct of War: Reframing Debates on Autonomous Weapons, Human Control and Legal Compliance in Targeting», 2019; Meerdere UNIDIR studies, zie https://www.unidir.org/projects/artificial-intelligence-and-weaponization-increasingly-autonomous-technologies.

7 Ministerie van Defensie: Strategische Kennis- en Innovatieagenda 2021–2025, dec. 2020. (Bijlage bij Kamerstuk 35 570 X, nr. 32).

8 https://eur-lex.europa.eu/legal-content/NL/TXT/HTML/?uri=CELEX:02008E0944-20190917&from=EN.

9 https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A02021R0821-20220107.

10 Nederland heeft op dit moment al drie sectorspecifieke investeringstoetsen voor de telecom-, gas-, en elektriciteitssector.

11 Verordening (EU) 2019/452 tot vaststelling van een kader voor de screening van buitenlandse directe investeringen in de Unie.

12 Wetenschappelijke Raad voor het Regeringsbeleid; Opgave AI. De nieuwe systeemtechnologie, 2021 (Bijlage bij Kamerstuk 26 643, nr. 805).

13 O.a. Human Systems Integration for Meaningful Human Control over AI-based systems (HFM-330) en Robustness and Accountability in Machine Learning Systems (IST-169), te raadplegen via: https://www.sto.nato.int/Pages/activitieslisting.aspx.