In 1955 moest de mens voor het eerst zijn meerdere erkennen in een robot. In dat jaar verloor de Amerikaan Arthur Samuel, onderzoeker bij ibm, een potje dammen van een computer die hij zelf had geprogrammeerd. Nog nooit eerder was het gelukt om kunstmatige intelligentie te bouwen die de maker ervan overtrof.

Sindsdien is de lijst van spellen waarbij een digitale tegenstander de mens van het bord veegt flink langer geworden. In 1979 verloor wereldkampioen backgammon Hans Berliner van een computer, al kwam dat volgens Berliner door puur toeval. Inmiddels blijven de beste menselijke spelers consequent achter bij digitale backgammonprogramma’s. In 1997 kreeg grootmeester Garry Kasparov een nederlaag te verstouwen in een schaaktoernooi tegen Deep Blue, de meest geavanceerde schaakcomputer van dat moment. Ook voor scrabble en patience geldt inmiddels dat zelfs de meest ervaren spelers het afleggen tegen de algoritmes. En in 2010 werd een robot voor het eerst winnaar van een televisiequiz. ibm’s Watson versloeg de twee beste deelnemers aller tijden bij Jeopardy!, een kennisquiz met vragen over onder meer geschiedenis, sport en wetenschap.

Dit lijkt misschien triviaal. Ook als machines spelletjes winnen van mensen gaat het leven door. Bovendien gaat het hier om volledig gespecialiseerde robots. Ze zijn geprogrammeerd om één taak zo goed mogelijk uit te voeren. Watson kan niet schaken en aan Deep Blue heb je niks bij een quizprogramma. Maar dát de mens een computer kan maken die slimmer is dan hijzelf heeft op den duur grote gevolgen. De ontwikkeling van kunstmatige intelligentie gaat steeds sneller en daarmee nadert het moment dat het digitale brein het biologische brein op alle fronten inhaalt.

‘Singularity’, zo wordt het unieke moment genoemd waarop machines de menselijke intelligentie voorbijstreven. Vanaf dan is de computer niet meer gebonden aan de beperkingen van wat een mens kan bedenken. Een slimme computer kan een nog slimmere computer uitvinden die een nog weer intelligentere machine voortbrengt. De gevolgen van deze ‘intelligentie-explosie’ zijn, afhankelijk van hoe je ertegenaan kijkt, catastrofaal of verlossend. Volgens sommige voorspellers vaagt singularity het menselijk ras volledig weg, volgens anderen versmelt de mens met de technologie waardoor we dingen kunnen doen die ons voorstellingsvermogen nu nog te boven gaan. In de fraaiste versie van deze techno-utopie komt er een einde aan de beperkingen die het leven nu onaangenaam maken. Ziekte, dood en een eindige hoeveelheid tijd zijn passé als mens en machine één worden.

Het klinkt als sciencefiction en in zekere zin is singularity dat ook. Het begrip kreeg zijn huidige betekenis dankzij Vernor Vinge, wiskundige, hoogleraar informatica in ruste en schrijver van populaire sciencefictionboeken. ‘Binnen dertig jaar beschikken we over de technologie om bovenmenselijke intelligentie te creëren. Kort daarna is het tijdperk van de mens voorbij’, schreef hij in zijn essay The Coming Technological Singularity uit 1993. Volgens Vinge lag het tempo waarin computertechnologie wordt ontwikkeld zo hoog dat de Turing Test – het moment waarop kunstmatige intelligentie niet van menselijke intelligentie te onderscheiden valt – in 2029 gehaald zal worden. Dat is volgens hem het moment waarop de denkkracht van computers aan de greep van mensen ontsnapt. ‘Vanuit menselijk perspectief zal deze verandering het afschaffen betekenen van alle regels en wetten die ooit golden, mogelijk in een oogwenk. Het is een exponentiële ontsnapping die niet te controleren valt’, aldus Vinge.

Toen Vinge met zijn aanvankelijke theorie op de proppen kwam, werd er schamper over gedaan. Superintelligente robots, dat hoorde samen met marsmannetjes en ruimteschepen thuis in de verstrooiingslectuur. Inmiddels groeit de schare die ervan overtuigd is dat Vinge het bij het rechte eind heeft en dat singularity inderdaad de onvermijdelijke lotsbestemming van de mensheid is. Of beter: van het universum. Want is singularity eenmaal daar, dan vormt het zonnestelsel geen begrenzing meer voor de reikwijdte van de mens. Vooruitgang, zo geloven singularity-adepten, is straks in principe oneindig en enkel beperkt door de snelheid waarmee het universum zich uitbreidt.

Dat singularity een plaats heeft gekregen in het denken over de toekomst is vooral te danken aan Raymond Kurzweil, uitvinder, techno-goeroe en hoofd ontwikkeling bij Google. Kurzweil, de zoon van Oostenrijkse joden die net voor de Tweede Wereldoorlog naar Amerika vluchtten, verkondigt al meer dan vijftien jaar dat machines aan menselijke intelligentie voorbij zullen gaan. In 1999, op het hoogtepunt van de eerste internet-boom, maakte hij naam met The Age of Intelligent Machines, dat een toekomst schetste waarin de virtuele wereld de materiële vervangt. Zes jaar later volgde The Singularity Is Near waarin Kurzweil de voorspelling van Vinge overnam. In 2029 is het zo ver volgens de 66-jarige futuroloog. In dat jaar dient zich de eerste computer aan die net zo intelligent is als de mens. Singularity volgt dan in 2045.

Mensen zullen de biologie overwinnen door hun cellen te laten repareren door nano­robots

Wat er daarna gebeurt, is moeilijk om in detail te voorspellen. Slimme robots kunnen immers met plannen komen die wij beperkte mensen niet kunnen bedenken. Maar dat alles mooier zal zijn na ‘the Singularity’, daarvan is Kurzweil overtuigd. ‘Radicale verlenging van het leven’ en ‘radicale levensverbetering’ wachten ons in ieder geval. Passend bij zijn messianistische kijk op technologie deelt Kurzweil de wereld op in gelovigen en ongelovigen. Wie begrijpt wat Kurzweil voorspelt is volgens hem ‘singularitarian’. Wie sceptisch is behoort volgens hem tot de ‘neo-luddieten’, de achterlopers die blind zijn voor de onvermijdelijke opmars der machines.

‘Singularity’ is inmiddels uitgegroeid tot een strijdkreet die technofielen, grote bedrijven en sommige van de meest invloedrijke namen uit Silicon Valley heeft verenigd in een losjes samengestelde beweging die de overtuiging koestert dat de toekomst van de mens bepaald wordt door verregaande technologisering. Technologie zal volgens hen het antwoord zijn op alle menselijke tekorten en problemen. Die boodschap wordt verspreid in de vorm van boeken, lezingen en films. Singularity heeft zijn eigen conferenties, netwerken en zelfs een privé-universiteit. De singularitarians hebben een eigen vocabulaire, waarbij het veelvuldig gebruik van woorden als ‘exponentiële technologie’, ‘disruptie’ en ‘human enhancement’ laat zien dat iemand tot de incrowd behoort. Ook belangrijk: de singularitybeweging is niet onbemiddeld. Veel kopstukken verdienden miljoenen als tech-ondernemer en hun verhaal van hoop en vooruitgang overtuigt investeerders om de portemonnee te trekken.

Als Singularity een beweging is, dan is Ray Kurzweil haar spiritueel leider. Hij presenteert zichzelf graag als mens van de toekomst die de grenzen van de biologie opzoekt. Kurzweil slikt 150 pillen per dag, injecteert zichzelf wekelijks met een ingewikkelde cocktail van vitamines en voedingssupplementen en registreert al zijn lichaamsfuncties nauwgezet. Dit alles met het doel zijn leven zo lang mogelijk te rekken zodat hij singularity mee kan maken, waarna volgens hem het leven in digitale vorm oneindig zal zijn. Kurzweil hoopt dan ook zijn vader tot leven te wekken, legt hij uit in Transcendent Man, de documentaire die over Kurzweils profetieën werd gemaakt en meer dan vijf miljoen keer is bekeken. De documentaire maakt grif gebruik van het imago van Kurzweil als profeet van de verlossing. In Transcendent Man verschijnt hij bij voorkeur ten tonele badend in gekleurd licht. Het toont hem in gesprek met groten der aarde, van presidenten Clinton en Bush tot sterren als Mick Jagger.

In The Singularity Is Near zet Kurzweil uiteen wat de versnelling en convergentie van technologische ontwikkeling allemaal mogelijk maken. Mensen zullen de biologie overwinnen door hun cellen te laten repareren door nanorobots, die tevens milieuvervuiling kunnen opruimen. Alle biologische dragers van informatie, zoals dna en onze hersenen, worden digitaal. Het onderscheid tussen mens en machine vervaagt dan en omdat de rekenkracht van computers tot onvoorstelbare proporties groeit, wordt het potentieel van de mens-machine oneindig. ‘Uiteindelijk zal het hele universum verzadigd raken van onze intelligentie. Dat is de lotsbestemming van het universum. We kunnen onze eigen toekomst bepalen, in plaats van bepaald te worden door de huidige “domme”, simpele, mechanische krachten die het universum dicteren.’

Om de technologische toekomst nog enigszins tastbaar te maken doorspekt Kurzweil zijn betoog met voorbeelden die de doorsnee lezer enthousiast moeten maken. Zo voert hij Harry Potter op. Alles wat deze tovenaarsleerling doet dat we nu nog ‘magie’ noemen, wordt mogelijk in de mens-machine-beschaving, van teruggaan in de tijd tot mensen omtoveren in andere dingen. Wie worstelt met een uitgebluste relatie heeft ook geluk: dankzij virtual reality kunnen mensen straks een ander lichaam op hun partner projecteren.

Kurzweils singularity duldt weinig tegenspraak. De post-menselijke toekomst is volgens hem onvermijdelijk, punt uit. Maar over de redenen waaróm die er precies zo uitziet zoals hij zich voorstelt en niet anders heeft Kurzweil een stuk minder te zeggen. Critici vinden dan ook dat hij het begrip ‘singularity’ heeft gekaapt en gevormd volgens zijn eigen particuliere hang-ups zoals de hang naar eeuwig leven. De Britse journalist Andrew Orlowski ziet de hype rondom singularity als de droom van een groepje techno-nerds die zich vastklampen aan technologie als ‘deus-ex machina die alles weer goed maakt’. Je zou er nog aan toe kunnen voegen dat singularity oude gedachten zijn in een nieuw jasje. De Italiaanse futuristen droomden al van een beschaving waarin mens en techniek samensmelten. Net als technofielen van een eeuw geleden koestert Kurzweil een bijna romantische liefde voor machines.

Maar ondanks zijn monomane bezetenheid wordt Kurzweil, ontvanger van 109 eredoctoraten, zeer ernstig genomen. Dat komt vooral door zijn verdiensten als toekomstvoorspeller. Kurzweil heeft in zijn boeken tientallen voorspellingen gedaan, zoals de opkomst van het internet, de val van de Sovjet-Unie en het ontstaan van zelfrijdende auto’s. Hij houdt zijn lijst met voorspellingen nauwgezet bij en claimt dat 86 procent van alles wat hij tot nu toe heeft voorzien uitkwam (er zijn ook missers: Kurzweil ging ervan uit dat biotechnologie inmiddels een oplossing zou zijn voor kanker). Bill Gates noemt Kurzweil ‘de beste voorspeller van hoe de toekomst van Kunstmatige Intelligentie eruitziet’. Google was in zijn nopjes toen het Kurzweil in 2012 binnenhaalde als directeur ontwikkeling. Hij heeft carte blanche gekregen van het technologiebedrijf om manieren te verzinnen waarop het leervermogen van machines kan worden verbeterd.

We projecteren het huidige tempo van vooruitgang op de toekomst en snappen daarom niet wat ons wacht

Ten grondslag aan Kurzweils digitale heilstijding ligt bovendien een principe waaraan niet alleen hijzelf, maar ook het merendeel van de computerexperts grote voorspellende waarde hecht. Hij baseert zich op Moore’s law, die voorschrijft dat de rekenkracht van computers elke twee jaar verdubbelt. Moore, medeoprichter van chipbouwer Intel, deed deze voorspelling in 1965 en tot nu toe houdt zijn wetmatigheid stand. Het bijzondere aan de wet van Moore is dat je er lange tijd weinig van merkt, en dat het dan ineens heel snel gaat. Een oude Indiase legende van een koning die dol is op schaken helpt om het uit te leggen. De koning belooft een wijsgeer elke beloning die hij maar wenst als die hem kan verslaan in het schaakspel. De wijsgeer wint inderdaad en vraagt enkel om wat rijst: een korrel op het eerste vakje van het schaakbord, twee op het tweede vakje, vier op het derde vakje, acht op het vierde, enzovoort. Dat lijkt een kleinigheid en de koning zegt grif toe. Maar het blijkt dat volgens deze exponentiële logica op het veertigste vakje een miljard rijstkorrels moeten komen en op het laatste vakje 18.000.000.000.000.000.000, genoeg om heel India onder een laag rijst te bedelven.

Technologie, daarvan zijn Kurzweil en de zijnen overtuigd, ontwikkelt zich op dezelfde exponentiële wijze: kunstmatige intelligentie, nanotechnologie, biotechnologie, duurzame energie – alles volgt een ontwikkelingscurve die eerst langzaam klimt en dan ineens omhoog schiet. In de afgelopen halve eeuw gingen we langs de eerste vakjes op het schaakbord. Technologie werd steeds beter, maar vooruitgang ging langzaam. Nu zijn we ergens halverwege en naderen we het moment waarop de groei zo hard gaat ‘dat het zal lijken alsof technologie zich uitbreidt met een oneindige snelheid’, schrijft Kurzweil in The Singularity Is Near. ‘In één uur zal dan de vooruitgang gemaakt worden waar we nu een eeuw over zouden doen.’

Als er één plek is waar het denken over de zegeningen van technologie alle ruimte krijgt is het op Singularity University in Mountain View. Dit instituut – gevestigd op de campus van Nasa – werd in 2008 opgericht, ter stimulering van de toepassing en ontwikkeling van snel groeiende technologieën. Op Singularity University bestaan geen studiepunten, wetenschappelijke publicaties of subsidieaanvragen. Het oplossen van ‘grand challenges’, daar gaat het om. Gefinancierd met privaat geld en gesteund door grote namen uit de Amerikaanse technologiewereld, zoals Google en Nasa, fungeert Singularity University als pleisterplaats voor technologisch talent. Het doel van elk initiatief dat op Singularity University wordt bedacht is ambitieus: binnen tien jaar de levens van een miljard mensen verbeteren.

Deze universiteit van de toekomst ontsproot aan het brein van de Grieks-Amerikaanse ondernemer Peter Diamandis. Van kinds af aan was de 51-jarige Diamandis gefascineerd door ruimtevaart. Hij volgde een opleiding tot arts maar koos voor een carrière als aanjager van een droom die in de laatste decennia van de vorige eeuw steeds meer vervaagde: het verkennen van de wereld buiten planeet aarde. Diamandis heeft een aantal bedrijven op zijn naam staan die zich bezighouden met onder meer commerciële ruimtevaart en het ontginnen van asteroïden.

Ook Diamandis gelooft dat ons dankzij technologie een betere toekomst wacht. Hij is ervan overtuigd dat in de toekomst schaarste niet meer zal bestaan, dat technologie al onze basisbehoeften kan bevredigen en dat we zullen worden verzorgd door robots. Exit gezwoeg en gebrek, enter een wereld waarin vrijheid maximaal is omdat er niet langer gestreden hoeft te worden om beperkte middelen, aldus Diamandis. Tijdens een trektocht door de Andes las Diamandis The Singularity Is Near en werd gegrepen door Kurzweils radicale ideeën. Hij zocht contact met Kurzweil en samen richtten ze in 2008 Singularity University op.

We kunnen veel, maar doen nog te weinig, is de overtuiging van het duo Kurzweil-Diamandis. Beiden menen dat innovatie en ondernemingszin worden geremd door een verstikkende mix van overheidsregulering en conformistisch denken dat met name op de reguliere universiteiten wordt aangeleerd. Hun Singularity University moet hier tegenwicht aan bieden. Jaarlijks volgt een handjevol geselecteerde studenten een tienweekse cursus (kosten: dertigduizend dollar) die bestaat uit vakken als biotechnologie, kunstmatige intelligentie en andere onderwerpen die onze technologische toekomst zullen vormen. Ook heeft Singularity University een speciaal programma voor bestuurders in het bedrijfsleven. Op deze manier moet een gemeenschap ontstaan die het potentieel van exponentiële technologie begrijpt en deze kijk op vooruitgang over de wereld verspreidt.

Het voorkomen van een existentiële catastrofe begint met bevatten dat het risico daarop bestaat

Vorig jaar was Diamandis in Nederland, dat zich mag verheugen op een dependance van Singularity University. In een stampvol Carré trakteerde hij vertegenwoordigers van het Nederlandse bedrijfsleven, de wetenschap en de overheid op een samenvatting van zijn boek Abundance: Why the Future Is Better than You Think. Net als The Singularity Is Near laat dit werk zien wat er dankzij exponentiële technologie allemaal mogelijk zal worden, van verticale boerderijen in de stad tot het 3D-printen van organen (zeer binnenkort) of, abstracter, een einde aan gebrek aan energie, aan voedsel, aan water (in de verdere toekomst). De reden dat veel mensen dat nu nog niet door hebben, is volgens Diamandis omdat ons brein is geprogrammeerd om lineair te denken. We projecteren het huidige tempo van vooruitgang op de toekomst en snappen daarom niet wat ons wacht. Dit is meteen het belangrijkste argument dat singularity-denkers hun critici voor de voeten gooien. Wie er niet van doordrongen is dat singularity nadert, is slachtoffer van een verkeerd geprogrammeerde neocortex.

Ambassadeur van Singularity University Nederland, dat voorlopig vooral eenmalige evenementen organiseert, is Yuri van Geest. Deze self-made ondernemer is de belichaming van het techno-optimisme dat de singularity-beweging drijft. In de jaren tachtig knutselde Van Geest zelf telefoons in elkaar om de hele wereld over te bellen en hij kent het internet van toen het nog in de kinderschoenen stond. In 2005 kreeg hij een exemplaar van The Singularity Is Near in handen. Van Geest was al langer geboeid door zaken als computerwetenschap en neurowetenschap. Kurzweils verhaal over hoe dit soort technologie het menselijk bestaan volledig zal veranderen viel bij hem in vruchtbare aarde. Kort daarna zat Van Geest in het vliegtuig naar San Francisco voor een cursus op Singularity University, die hij zelf betaalde. ‘Ik werd totaal overrompeld door wat ik allemaal zag. Er waren demo’s van de nieuwste uitvindingen, de grootste denkers van onze tijd liepen er rond en er heerste een bijzondere, optimistische sfeer. Ik heb twee weken zitten huilen van geluk.’

Het gesprek met Van Geest in een restaurant aan de Schiedamse Vest in Rotterdam is een vooruitblik op de toekomst zoals de singularitarians die voorzien. In rap tempo vertelt Van Geest over pillen waardoor mensen in één keer alles van Shakespeare kennen, over sensors die ons geestelijk en lichamelijk welzijn in de gaten houden en over hoe alles informatie wordt. ‘Genen, neuronen en atomen worden allemaal digitaal.’

Van Geest kreeg met zijn ideeën aanvankelijk lastig voet aan de grond. Hij was lid van een innovatieteam dat het topsectorenbeleid een push moest geven. Daar merkte hij dat het denken vooral conservatief was. ‘Het ging allemaal erg langzaam. Het is te top-down, te dichtgetimmerd. Allemaal erg veilig voor de mensen die er al zaten, maar voor mensen en ideeën van buiten haast onmogelijk om door te dringen. Ik was veertig en was de jongste. Er was geen twintiger te bekennen. Dan mis je gewoon een hele generatie. Ik was een eenling, en voelde me als Don Quichot. Maar ik ben maar blijven beuken met mijn verhaal, als een autist blijven zenden, totdat het ergens bleef hangen.’

Inmiddels staat Van Geest niet meer alleen in zijn missie om het denken over singularity te promoten. In veel landen lopen ambassadeurs als hij rond, alumni van Singularity University, die in hun thuisland de geesten warm moeten krijgen voor de mogelijkheden die een aanstaande technologische versnelling biedt. En het bedrijfsleven, op zoek naar nieuwe verdienmodellen en op de hoede voor disruptieve technologie, ziet de singularitarians als een windvaan die iets zegt over welke technologische innovaties op til zijn. ‘Met de snelle ontwikkelingen van exponentiële technologieën kun je als bedrijf niet achterover leunen en moet je dit soort innovatie bijzonder serieus nemen’, zegt Wassili Bertoen, directeur van het Deloitte Center for the Edge Europe, een onderzoekstak van adviesbureau Deloitte dat op 19 november samen met Yuri van Geest de eerste Singularity University-top in Nederland organiseert. Op het programma staan onder meer lezingen over levensverlenging, robots en drones en ‘disruptieve innovatie’.

De ijver en het optimisme waarmee singularity wordt verkocht verdringen kritische geluiden al snel. Toch zijn er wel degelijk denkers, ook uit de technologiehoek, die kanttekeningen plaatsen bij het vooruitgangsoptimisme van de singularitarians. Mediatheoriticus Douglas Rushkoff sprak vorig jaar op het Crossing Border-festival in Den Haag over singularity als een zoveelste ideologie ‘die het heden niet kan verdragen’. Volgens Rushkoff is singularity simpelweg een aanpassing van christelijk denken aan onze huidige technologische cultuur. Net als gelovige christenen kunnen veel techno-intellectuelen niet leven zonder een einde aan de geschiedenis waarin alles beter wordt.

Volgens Elon Musk, een van de boegbeelden van Silicon Valley, dreigt een faustiaans scenario. Met de zoektocht naar steeds betere robots dreigen we krachten te ontketenen die we niet kunnen beheersen, stelde hij onlangs in een lezing. Hij ziet slimme machines als de ‘grootste existentiële bedreiging’ voor de mens en vergelijkt onderzoek naar kunstmatige intelligentie met ‘het oproepen van demonen’. Wat Musk betreft is het hoog tijd voor overheidsregulering van de tech-sector.

Een vergelijkbaar geluid komt van Nick Bostrom, directeur van Future of Humanity Institute in Oxford. Liever dan over singularity, dat steeds meer een marketingterm lijkt te worden, spreekt deze filosoof van een ‘intelligentie-explosie’ die zich volgens hem inderdaad ergens in de toekomst zal voordoen, maar die ook minder fraaie gevolgen kan hebben, want slimme technologie is volgens hem niet per se ook wijs. Onlangs verscheen zijn boek Superintelligence: Paths, Dangers, Strategies waarin hij het idee van een intelligentie-explosie onderzoekt. Bostrom deed een peiling onder honderd vooraanstaande kunstmatige-intelligentie-onderzoekers: tien procent verwacht dat computers menselijke intelligentie evenaren in 2024, de helft houdt het op 2050 en negentig procent denkt dat het tot 2070 duurt.

Bostrom trekt hieruit de conclusie dat de machine de mens vroeger of later zal inhalen, en dat de voorbereidingen daarop beter vandaag dan morgen kunnen beginnen. Want als robots eenmaal zo slim zijn als mensen kan het in het meest extreme scenario een kwestie van minuten zijn voordat de robots een systeem creëren waarin voor mensen geen plaats is. Die wereld zal weliswaar oneindig veel slimmer zijn, maar er zal geen ras meer bestaan waarvan het welzijn enig moreel belang heeft. ‘Een maatschappij van economische wonderen en technologische hoogstandjes, en niemand die ervan kan profiteren’, schrijft Bostrom. ‘Een Disneyland zonder kinderen.’

Voor Bostrom gelden dezelfde uitgangspunten als voor de singularitarians, maar hij buigt ze een andere kant op. In plaats van te dromen over wat voor geweldigs de robot-toekomst brengt, bedenkt hij hoe het meest ongunstige scenario eruitziet voor de mens. Het resultaat is tegelijk geestig en verontrustend. Superslimme digitale intelligentie kan mensen haar wil opleggen of misschien worden er in één klap miljarden microscopische robots gebouwd die mensen ombrengen. Maar een superintelligente machine kan natuurlijk een veel gewiekster plan bedenken om de mensheid weg te vagen dan hijzelf, geeft Bostrom grif toe. Een dergelijk existentieel gevaar zien we waarschijnlijk niet aankomen. Superintelligentie kan zich namelijk makkelijk dommer voordoen dan ze is. Niks van dit alles hoeft te gebeuren, maar, vraagt Bostrom zich af, wil je het risico lopen?

De oplossing van Bostrom komt neer op technologie ‘positieve menselijke waarden’ bijbrengen. Hoe dat technisch moet weet de filosoof ook niet precies, maar wat hem betreft moet dat vraagstuk in ieder geval de hoofdmoot vormen van onderzoek naar kunstmatige intelligentie. Dat klinkt als tekortschieten, maar het voorkomen van een existentiële catastrofe begint met bevatten dat het risico daarop bestaat. Bovendien opent dit en passant de discussie die gevoerd moet worden in het licht van oprukkende robotisering: wat is het dat de mens mens maakt? Aan gejubel over ‘the Singularity’ en de robot als dienaar van menselijk gemak heb je dan weinig. Voor hetzelfde geld wordt de mens een dienaar van de robot. Of zoals Bostrom het uitlegt: het kan zijn dat de mensheid leeft met een onbekende deadline. Als ze die eenmaal heeft gemist, is het voor spijt te laat.