Een ziekenhuis ligt onder vuur. Robots worden ingezet met de opdracht de frontlinie terug te dringen zodat medisch personeel het gebouw kan evacueren. De robots identificeren de strijders, patiënten en het medisch personeel. Ze openen het vuur op de vijandige troepen en dekken de hulpverleners terwijl ze de gewonden in ambulances laden en overbrengen naar veilig terrein.
Een dal verderop kapen strijders een ambulance. Noodgedwongen laden artsen hun patiënten over in een jeep die de strijders hebben achtergelaten. Vanuit de buitgemaakte ambulance openen de strijders het vuur op de artsen. De robots die de opdracht hebben het medisch konvooi te beschermen identificeren een ambulance in gevecht met een vijandig voertuig. Een van de robots lanceert een raket. Alle artsen, verplegers en patiënten komen om in de explosie.
Dit scenario zou zomaar waarheid kunnen worden als de conclusies van het adviesrapport Autonome Wapensystemen door de regering worden opgevolgd. Waar bij drones nog iemand in Arizona met een joystick in de hand bepaalt of de raket wordt afgeschoten, identificeren en executeren autonome wapens zelfstandig hun targets zonder tussenkomst van mensen. Eenmaal op het slagveld zijn mensen ‘out of the loop’ van besluitvorming. In hoeverre is het gebruik van zulke autonome wapensystemen toelaatbaar? Volgens het Kabinet voor zover er ‘betekenisvolle menselijke controle’ mogelijk is.
In het rapport Autonome wapensystemen: de noodzaak van betekenisvolle menselijke controle van de commissie Advies Internationale Vraagstukken (AIV) wordt menselijke controle in de zogenaamde ‘wider loop’ geplaatst. Dit betekent dat, ondanks dat mensen geen invloed meer hebben op de beslissingen van het autonome wapen op het slagveld, de menselijke controle wordt gelegd bij de programmeurs die het systeem hebben ontworpen en bij de commandant die het wapensysteem inzet. Op deze manier zit er altijd een mens in de ‘wider loop’ en is het systeem ‘niet volledig autonoom’. Zo concludeert dit officiële adviesorgaan van de regering en Staten-Generaal, met prominente leden als de ex-ministers Jaap de Hoop Scheffer, Ernst Hirsch Ballin en Joris Voorhoeve. Het Kabinet heeft in zijn reactie op het advies de AIV-terminologie overgenomen. Wapensystemen waarbij sprake is van een human in the wider loop, vallen volgens de adviescommissie al voldoende onder het huidige humanitaire en militaire recht. Verdere wetswijzigingen om de huidige ‘semi’ autonome systemen te reguleren zijn volgens het rapport dus niet nodig. Het rapport classificeert een wapensysteem pas als volledig autonoom wanneer ‘een wapen zou beschikken over lerend vermogen, zelf gedragsregels zou kunnen formuleren en zich zelfstandig kan aanpassen aan veranderingen in zijn omgeving, dan zou men kunnen spreken van wapens waarbij de mens beyond the wider loop is […]’. Systemen die aan deze definitie voldoen behoren nog comfortabel tot de science fiction. Het Kabinet wijst in haar reactie de fictionele systemen wel al ‘bij voorbaat’ af.
‘Als burger ben ik bezorgd, maar als informaticus ben ik geschokt.’ Professor computerwetenschappen aan de Vrije Universiteit Frank van Harmelen viel stijl achterover toen hij het AIV-advies las. ‘Denken dat je tijdens het programmeren de complexiteit van het slagveld zo goed kunt voorzien dat je de beslissingen van een wapensysteem van tevoren al kunt uittekenen en kunt spreken van ‘human in the loop’ is pertinent onjuist.’
De computerdeskundige heeft zowel met nationale en internationale collega’s over het rapport gesproken en ook zij delen zijn bezorgdheid. Volgens van Harmelen kunnen informatici in de programmeerfase anticiperen op, om met Donald Rumsfeld te spreken, de ‘known unknowns’. Dit betekent dat je als programmeur een systeem kunt instellen op alle situaties die je kunt voorzien: als er kinderen in de buurt zijn, dan niet schieten. Als er een rood kruis op een dak geschilderd staat, niet schieten. Maar er blijven altijd zogenaamde ‘unknown unknowns’ die tijdens het programmeren onmogelijk zijn te voorzien. ‘Die ‘wider loop’ is slechts geschikt voor het bepalen van de ‘rules of engagement’, maar totaal ongeschikt voor het nemen van de uiteindelijke verantwoordelijkheid bij beslissingen over leven en dood. ‘Elke techneut had je kunnen vertellen dat het idee van de ‘wider loop’ technische onzin is.’
Op de International Joint Conference of Artificial Intelligence werd in de zomer van 2015 een open brief gelanceerd waarin de meest prominente wetenschappers op het gebied van computerwetenschappen en robotica hun steun uitspraken voor een verbod op offensieve autonome wapensystemen die niet onder betekenisvolle menselijke controle opereren. Inmiddels heeft de brief meer dan twintigduizend handtekeningen verzameld, onder meer van Stephen Hawking, Steve Wozniak, Elon Musk, Noam Chomsky en Frank van Harmelen.
Het in opdracht van de Nederlandse regering opgestelde adviesrapport probeert betekenisvolle menselijke controle te verenigen met autonome wapensystemen. In plaats van autonome systemen te toetsen aan definities van betekenisvolle controle, wordt simpelweg de definitie van autonomie juridisch zodanig aangepast dat alle bestaande autonome systemen onder betekenisvolle controle vallen.
In de voor de Gouden Strop genomineerde thriller Drone van Bart-Jan Kazemier wijst het Nederlandse parlement nipt de bouw af van een nieuwe generatie drones; intelligente, autonome vliegende robots met een license to kill. De regering neemt geen genoegen met deze afwijzing en probeert met moord en doodslag toch zijn zin te krijgen. Afgezien van het criminele element, bewandelen het kabinet en de AIV dezelfde weg. In een reactie op kritische Kamervragen over de conclusies uit het adviesrapport en het kabinetsbesluit deze over te nemen, verwijst de regering ernaar dat ‘bij het tot stand brengen van het advies de AIV/CAVV-commissie informatie heeft ingewonnen bij experts.’ Voor het rapport zijn 9 mensen verantwoordelijk, waarvan zes rechtsgeleerden en twee oud-militairen. Geen van de leden heeft een technische achtergrond. De niet-juridische expertise komt dus volledig voor rekening van geraadpleegde experts. Van de vier voor het rapport geraadpleegde experts heeft er echter niet één expertise op het gebied van voor het onderwerp relevante vakgebieden, zoals robotica of computerwetenschappen. Uit contact met de experts blijkt verder dat zij niet betrokken zijn geweest bij het formuleren van de controversiële concepten. Het zijn de door de regering aangewezen rechtsgeleerden, en niet de externe experts, die verantwoordelijk zijn voor de conclusie dat er sprake is van betekenisvolle menselijke controle wanneer een wapen op het slagveld zelfstandig over leven en dood beschikt.
Vechtrobots bieden ook potentiële voordelen. ‘Jammer genoeg heeft de mensheid een nogal sombere geschiedenis als het gaat om ethisch gedrag op het slagveld’, stelt Ronald Arkin, robotica onderzoeker aan het Georgia Institute of Technology. Computers voelen bijvoorbeeld geen haat en frustratie, waardoor ze volgens Arkin betere soldaten kunnen zijn dan mensen, die hij de ‘zwakke schakels’ noemt in de keten van geweld. ‘Er is duidelijk ruimte voor verbetering en autonome systemen kunnen helpen sommige problemen aan te pakken.’
Volgens Arkin passen bijvoorbeeld anti-tank mijnen ook binnen de 'wider loop’ definitie: het systeem is belast met het uitvoeren van taken die hem door mensen is ingeprogrammeerd. Autonome systemen worden zo al tientallen jaren ingezet. Wel is het van belang dat zo’n systeem een ‘call back’ of ‘disarm’ mechanisme heeft, vindt Arkin. ‘Net als een menselijke soldaat, moet ook een autonoom systeem kunnen worden teruggetrokken als de situatie daarom vraagt.’
Een computer kent dan wel geen haat en wreedheid, hij kent ook geen empathie of genade. Dat is de reden dat Miriam Struyk van Pax voor Vrede actie voert tegen de inzet en ontwikkeling van ‘killer robots’. Vooral de ethische bezwaren tegen het automatiseren van dodelijk geweld staan voor haar centraal: ‘We zien het uitbesteden van de zogeheten kill-decision, in essentie als het uitbesteden van moraliteit. Dit tast de menselijke waardigheid aan. De waardigheid van de mensen die aangevallen worden, maar ook van de militairen en diegenen uit wiens naam gehandeld wordt.’
Volgens Ronald Vuijk, Tweede Kamerlid voor de VVD, passen autonome systemen probleemloos binnen de technologische evolutie van oorlogsvoering. ‘Vanaf de ontwikkeling van de werpspeer, de pijl-en-boog, naar het pistool en kanon, tot aan ballistische raketten heeft de mens meer en meer afstand genomen van het slachtoffer.’ Vuijk vindt de discussie rondom autonome wapensystemen vooral academisch van aard en schieten we er bovendien weinig mee op. Hij schaart zich achter de bevindingen van de adviescommissie. Voor zover er autonome systemen op de markt komen zijn deze ‘geprogrammeerd en ingezet door mensen’, waarmee ze netjes binnen de grenzen van de wet vallen. ‘Het civiele recht, het strafrecht of het oorlogsrecht met rules of engagement is op autonome wapensystemen op vergelijkbare wijze van toepassing als op bemenste wapensystemen of op afstand bestuurde wapensystemen.’
Juist de mogelijkheid steeds verder afstand te nemen van het slachtoffer baart tegenstanders zorgen. De semi-autonome drones kunnen de drempel voor de inzet van geweld verder verlagen, vreest SP Tweede Kamerlid Jasper van Dijk. ‘Het gevaar voor de eigen soldaten wordt namelijk uitgesloten.’ Op dit moment gebruiken De Verenigde Staten al onbemande vliegtuigen, drones, in Yemen, Pakistan en Somalië. Het resultaat is honderden civiele doden als collateral damage.
Het kabinet zegt in haar reactie van 30 mei j.l. de oprichting van een ‘Group of Governmental Experts’ te zullen steunen om de inhoudelijke discussies rondom autonome wapensystemen, waaronder de precieze inhoud van betekenisvolle menselijke controle, uit te diepen. Op 16 december, tijdens de Convention on Conventional Weapons op het VN-kantoor in Genève, besloten 123 landen zo'n commissie van overheidsexperts op te tuigen om hun bevindingen over autonome wapens ‘te formaliseren’. Volgens Human Rights Watch is hiermee een verbod op autonome wapensystemen ‘een stap dichterbij’ gekomen. Of zij daarin gelijk krijgt zal afhangen van de vraag of het uitdiepen en formaliseren door juristen of door domeinexperts gedaan zal worden.
Als Nederland een voortrekkersrol wil vervullen in het onderzoek naar de implicaties van autonome systemen doet de regering er goed aan te luisteren naar domeinexperts. Het Kabinet ziet vooralsnog graag overheidsexperts met een ‘discussiemandaat, geen onderhandelingsmandaat dat zou moeten leiden tot beperkende maatregelen’. Van Harmelen: ‘Voor mijn part komt het kabinet alsnog tot het besluit dat Nederland deze systemen toelaat. Dan nu wel op basis van technisch correcte informatie. Maar ik denk dat, als het kabinet meteen toegang had gehad tot die informatie, het resultaat heel anders was geweest.’