Een half jaar geleden stierf de man die de wereld redde, Stanislav Petrov. In een septembernacht in 1983 moest Petrov aan zijn superieuren doorgeven dat de VS een kernoorlog waren begonnen. In zijn commandocentrum flitsten grote rode letters op de muur: eerst ‘start’ en daarna ‘raketaanval’. De melding van Petrov zou een Russische tegenaanval in gang hebben gezet. Maar hij twijfelde, terwijl de spanning in het centrum steeg, en gaf toen ‘op de gok’ een systeemstoring door – wat het later ook bleek te zijn. Het is duidelijk dat Petrov deze beslissing nam omdat hij een mens was. Het is ook duidelijk wat een automatisch systeem zou hebben gedaan: precies wat het geprogrammeerd was te doen. Dat had kernoorlog betekend.
Met dit voorbeeld opent het onlangs verschenen Army of None: Autonomous Weapons and the Future of War van de voormalige Amerikaanse commando Paul Scharre. Zoals meer specialisten verbaast het Scharre dat er niet meer aandacht is voor het feit dat automatische systemen een groeiende rol krijgen in onze veiligheid. Als een zelfsturende auto iemand doodrijdt, flakkert die aandacht korte tijd op en ebt weer weg. Maar de rol van autonome systemen gaat alleen maar toenemen. Zoals bij zoveel technologie wordt dat voortgedreven door het militaire nut dat verschillende landen erin zien. Het leven van soldaten op het slagveld, van burgers langs bewaakte grenzen, en uiteindelijk van iedereen, zal voor een steeds groter deel in handen liggen van automatische systemen.
‘Dit is geen sciencefiction’, onderstreept Scharre in zijn inleiding. Meer dan dertig landen hebben al autonome systemen in gebruik genomen, voor situaties waarin sneller moet worden gehandeld dan een mens kan (bijvoorbeeld als een schip van meerdere kanten onder vuur ligt). Zestien landen hebben onbemande, bewapende vliegtuigen. Rusland bouwt vechtrobots voor de vlakten van Europa; het Amerikaanse Darpa presenteerde vorige week een mensgrote robot die over ongelijk terrein kan rennen. Zuid-Korea laat robots patrouilleren langs de grens met Noord-Korea, Israël langs de grens met Gaza. Die doden nog niet automatisch uitbrekende Gazanen, maar blijft dat zo? Israël heeft waarschijnlijk ook als eerste land een volledig autonoom wapensysteem in gebruik: de Harpij, een drone die zelfstandig in een bepaald gebied zoekt naar radarsystemen, en zich er automatisch op opblaast als hij ze vindt.
De Harpij vliegt mogelijk boven Syrië, dat is uitgegroeid tot ’s werelds proeftuin voor vechtrobots. De dreigende oorlog tussen Israël en Iran, op Syrisch grondgebied, draait voor een belangrijk deel om drones. Volgens Israël viel Iran onlangs de Golanhoogte aan met een bewapende drone; Israël sloeg mede met drones terug, met een Iraanse drone-basis als voornaamste doel. Nog groter nieuws binnen de tech-gemeenschap was dat een Russische basis in januari werd aangevallen door een drone-zwerm. Die mislukte weliswaar (het bleek om nogal houtje-touwtjedrones te gaan) maar het was een zorgwekkend precedent.
Het wordt steeds makkelijker om drones te kopen of in elkaar te klussen, en om die in elk gewenst aantal synchroon te laten vliegen. De VS testten al een zwerm van ruim honderd stuks. Desgewenst kunnen zulke drones autonoom handelen. En je hebt er geen leger voor nodig, alleen geld, technisch vernuft en een plan.
Dit proces gaat niet alleen verder omdat landen naar elkaar wijzen, maar ook omdat legers denken dat autonome technologie hun soldaten van het slagveld haalt of veiliger maakt. ‘We kunnen veel veiliger werken’, juichte een Nederlandse commandant onlangs in het AD over mini-drones, zich kennelijk niet bewust dat de vijand ze ook zal gebruiken tegen ons. Army of None illustreert dat militaire analisten altijd dachten dat moderne technologie minder slachtoffers zou betekenen. Van het machinegeweer tot nu pakte dat altijd anders uit. En daar komen bij autonome wapens nog de juridische en morele dimensies bij van een machine die doodt.
Zelfregulering werkt niet. Zo hielden de VS hun drone-technologie voor zichzelf en verkoopt China nu goedkope kopieën aan iedereen die wil. Een handvol landen is voor een internationaal akkoord, maar er zit te weinig druk, urgentie en massa achter. ‘Het gaat niet gebeuren’, zei Scharre droog over een internationaal verdrag. We zijn gedoemd om toe te kijken.