Het is niet moeilijk om Cathy O’Neil, tech-criticus, blogger en voormalig hedgefonds-medewerker, te herkennen, als ze op de hoek van de straat in Harlem van haar fiets stapt, haar helm afdoet en richting het Italiaanse restaurant loopt dat ons vandaag als eerste gasten zal verwelkomen. Haar korte kapsel, knalblauw geverfd, is het herkenningsteken. ‘Goedemiddag’, zegt ze met een Amerikaans accent. Haar man, net als O’Neil wiskundige, is een Nederlander, vertelt ze. Afkomstig uit een geslacht van predikanten. De oudste van hun drie zonen heeft de Hollandse genen het duidelijkst meegekregen, vertelt ze later. ‘He’s só Dutch!’
Lunchen met O’Neil blijkt geen Hollandse aangelegenheid. Twee keer de speciale pasta van de dag. Gevuld met peer en gorgonzola voor haar, met schaaldieren en venkelworst voor mij. De suggestie op het bord buiten voor de deur, dat het een prima dag is om te drinken, blijkt aan ons tafeltje besteed. O’Neil bestelt een glas witte wijn, ik volg haar voorbeeld. Ik mag me gelukkig prijzen, zo maak ik op uit haar enthousiasme. ‘This place is só good.’
Cathy O’Neil heeft als missie de wereld te wijzen op de schaduwzijde van de digitale revolutie. Algoritmen en big data worden volgens haar ingezet op een manier waarop ze mensen geld uit de zak kloppen, de economie destabiliseren en de democratie ondermijnen. Dat is de grote these in haar veelgeprezen boek Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Het staat vol met voorbeelden waaruit blijkt dat het misgaat wanneer digitale systemen het menselijk oordeelvermogen vervangen en we doen alsof de computer altijd het laatste woord heeft. O’Neil beschrijft in haar boek bijvoorbeeld hoe bij het inschatten van het recidive-risico in strafzaken, bij sollicitatieprocedures en bij publieke dienstverlening gebruik wordt gemaakt van rekenmodellen die uitvallen in het nadeel van kansarme groepen.
Een van de voorbeelden gaat over impact, een systeem dat in het Amerikaanse onderwijs wordt ingezet om docenten te beoordelen. Het algoritme spuwt een score per onderwijzer uit, waarin onder meer de taal- en rekenvaardigheden van de leerlingen zijn meegenomen. Dat klinkt mooi, docenten beoordelen op harde criteria in plaats van met subjectieve evaluatieformulieren, maar het leidt tot een vertekend beeld, zo laat O’Neil zien. Docenten die lesgeven op zwakke scholen in slechte buurten krijgen automatisch een lagere score. De collega op de goede privé-school komt als vanzelf als uiterst bekwaam uit de bus, simpelweg omdat het leerlingenbestand daar beter is.
Een vergissing die makkelijk te zien is, zou je denken, maar omdat impact wordt gebruikt voor zoiets massaals als onderwijs is er geen tijd (of geld) om apart te kijken naar ieder geval dat achter de cijfers schuilgaat. Op die manier worden goede docenten op slechte scholen ontslagen, waarna ze gaan werken op goede scholen, waar vaak een meer menselijke maat geldt bij een beoordelingsprocedure. Het is een illustratie van O’Neils fundamentele punt: algoritmen straffen de minderbedeelden. ‘De geprivilegieerden worden bediend door mensen, de massa door machines’, schrijft ze.
Ook autoleningen komen ter sprake tijdens onze lunch. Na hypotheken en studieschuld is dat de grootste kredietpost in de VS. Het is gebleken dat de zwarte en latino-bevolking structureel meer moet betalen voor hun leningen, vertelt O’Neil. ‘De kredietverstrekkers maken gebruik van algoritmen om de risico’s van een lening in te schatten, en voelen zich dus niet persoonlijk verantwoordelijk voor de uitkomsten.’ Ze noemt het ‘technologische camouflage voor menselijke vooroordelen’. En dat verhult volgens haar dat er achter elk algoritme menselijke makers zitten. Dat ze daar niet op worden aangesproken komt volgens O’Neil door ‘misplaatst ontzag voor technologie’.
Cathy O’Neil werd geboren met een fascinatie voor getallen. De cijfers op nummerplaten van auto’s ontbinden in factoren was als kind haar favoriete bezigheid. Ze ging wiskunde studeren, promoveerde aan Harvard in de numerieke theorie en werkte daarna aan de universiteit. In 2007 verruilde ze de wetenschap voor de financiële sector waar ze plaatsnam achter de computerschermen waarop de mondiale economie werd gereduceerd tot een verzameling algoritmen. Het vervulde haar met trots om als enige vrouwelijke quant te werken in een team dat ervoor zorgde dat met een paar muisklikken miljoenen van de ene rekening naar de andere werden verplaatst. Het jaar daarop brak de crisis uit en waren de bejubelde whizzkids plots tovenaarsleerlingen die de wereldeconomie hadden opgeblazen.
O’Neil zegde haar baan op, gedesillusioneerd over wat wiskunde kon aanrichten. Ze had de cockpit van binnen gezien, en wist hoe Amerikaanse banken expres hypotheken verkochten aan het arme deel van de bevolking, die vaak tot de zwarte minderheid behoorde, en hoe anderen weer speculeerden op hun onvermijdelijke bankroet. Deze hele onderneming berustte op wiskundige modellen met grote tekortkomingen, zo blikt O’Neil in terug in haar boek. Na haar vertrek van Wall Street begon ze een blog, ‘mathbabe’, waarin ze wiskundige vraagstukken met politieke thema’s vervlocht. En ze sloot zich aan bij Occupy Wall Street, de protestbeweging die riep om een rechtvaardiger economisch bestel.
‘Soms is discriminatie redelijk eenvoudig aan te tonen’, vervolgt ze ons gesprek, terwijl de ober arriveert om extra Parmezaanse kaas over haar pasta te raspen, en complimenten voor het eten in ontvangst te nemen. ‘We zitten hier in New York waar Trump in de jaren tachtig als vastgoedmagnaat woningen weigerde aan zwarte huurders. Dan is het obvious, en bovendien is er een schuldige aan te wijzen. Maar als de computer het zegt, nemen we het al snel aan als een objectief oordeel en stoppen we met systemen te bevragen op hun basale rechtvaardigheid.’
Een gebrek aan wetten en regels is het probleem niet, meent O’Neil. ‘Inmiddels is de jurisprudentie zo ver dat er niet eens sprake hoeft te zijn van opzettelijkheid bij discriminatie. Ongelijke uitkomsten is genoeg om een misstand aan te tonen. Maar het gaat mis in de manier waarop rechtbanken bewijs interpreteren. Algoritmen worden niet verantwoordelijk gehouden. In theorie zijn racistische algoritmen illegaal, maar we kennen niet de juiste wijze om dat te begrijpen, laat staan aan te tonen.’
De oorzaak is schroom, vermoedt O’Neil. Schroom om de rekenmeesters en hun modellen tegen te spreken uit een misplaatst gevoel dat zij slimmer zijn de rest. Ze is bezig dit vraagstuk uit te werken in een nieuw boek dat over schaamte zal gaan. ‘Ik ben gefascineerd door de sociale mechanismen die mensen in hun schulp doen kruipen’, zegt ze. ‘Het idee dat jij geen expert bent, en daarom je mond moet houden is weerbarstig. Maar als het gaat over rechtvaardigheid is iedereen evenveel expert. Dat zijn we vergeten omdat we het oordeel over rechtvaardigheid hebben uitbesteed aan algoritmen.’
Moet iedereen op cursus algoritmische geletterdheid om de digitale kloof te dichten? Dat blijkt niet de richting waarin O’Neil denkt. ‘Het is geen wiskundetest, het is een politieke strijd.’ Politici moeten volgens haar ophouden zich geïntimideerd te voelen door datawetenschappers, algoritmen en kunstmatige intelligentie. ‘Stel normale vragen: als een bedrijf of organisatie vindt dat een algoritme goed werkt, wat betekent dat? Hoe meten we het succes ervan? Dan komen de morele aspecten al snel naar voren.’
Om dat morele gesprek verder op gang te helpen stelt O’Neil een hippocratische eed voor data-experts voor. Net zoals van dokters moeten we van de professionele klasse die codes schrijft vragen of ze zich aan bepaalde gedragsregels houden, vindt ze. ‘Er is nu een kleine groep experts met veel te veel macht. De bouwers van algoritmen zouden een bescheidener rol moeten spelen, als klerken die de uitkomsten van een morele discussie in code vatten. Niets meer. Nu bouwen ze systemen die enorme invloed hebben op mensenlevens, en we doen alsof het louter wiskunde is.’
Een gedragscode. Het klinkt als een traditionele institutionele oplossing, te traditioneel misschien voor iemand die actief was binnen Occupy, de beweging die een totale transformatie van het systeem en de machtsverhouding eiste. ‘Luister, ik probeer een slapende bevolking wakker te schudden’, reageert O’Neil. ‘We zitten vast in een systeem dat voordelig werkt voor wie het goed heeft, en de pechvogels straft. Daar uitbreken gebeurt stap voor stap. Stap één is niet langer geïntimideerd zijn. Stap twee is je rechten opeisen. Een beter systeem eisen is pas stap drie.’ Ze denkt even na. ‘Uiteindelijk ben ik een incrementalist, geen revolutionair.’
Dat opeisen van rechten zou geholpen zijn met een bill of rights voor het digitale tijdperk, zoals ook de Verenigde Staten van Amerika zich vormden rond een fundamenteel handvest waarin rechten verankerd zijn. Een ‘Data Bill of Rights’ staat ook op O’Neils lijstje van incrementele voorstellen. Dat document moet een wapen zijn tegen bedrijven en bureaucratieën die persoonlijke data verzamelen, er algoritmen op los laten en de uitkomsten daarvan presenteren als objectieve feiten. Het is volgens O’Neil de enige manier waarop burgers de strijd aankunnen met de ‘weapons of math destruction’.
‘In zekere zin voeren we de verkeerde discussie’, zegt O’Neil. ‘De nadruk ligt in het debat over digitale technologie op privacy en wie er allemaal beschikt over onze privé-gegevens. We maken ons druk dat Facebook zoveel van ons weet. Weet je wie nog meer over jouw gegevens beschikt? De eigenaar van elke app die je ooit hebt gebruikt. We zijn allemaal als mens al lang tot in detail in kaart gebracht. Bedrijven hebben de gegevens en technieken om van alles te voorspellen: ons stemgedrag, onze keuzes als consument, onze gezondheid. In die situatie is de belangrijkste vraag niet: welke informatie over mij wordt er allemaal opgeslagen? Maar: wat wordt daarmee gedaan? Vandaar dat ik data-rechten voorstel.’
O’Neil’s Bills of Rights zou voorschrijven voor welke doeleinden persoonlijke data wel en niet gebruikt mogen worden, en wat een goede en wat een verkeerde toepassing is van algoritmen. Op die manier hebben regelgevers een handvest. ‘Als politici de inzet van algoritmen in goede banen willen leiden, zijn er genoeg onderwerpen waar ze zich op kunnen richten: hoe algoritmen worden gebruikt bij sollicitatieprocedures, bij het stellen van rentes voor leningen, om verzekeringspremies te bepalen. In feite kan elke bureaucratische beslissing nu genomen worden door een algoritme. Die algoritmen moeten nodiger bevraagd worden dan Mark Zuckerberg.’
Cathy O’Neil is halverwege haar pasta. Wat over is, gaat straks in een doosje mee naar huis, maar eerst vraagt ze of ik wat van haar wil, omdat het ‘delicious’ is. Ik vul mijn bord aan met de peer-gorgonzola ravioli en vraag haar of ze niet toch hoopvol werd toen Mark Zuckerberg onlangs voor het Amerikaanse Congres moest verschijnen en werd verhoord over hoe zijn geesteskind een rol had gespeeld bij de Amerikaanse presidentsverkiezingen. Ik verwacht een ja. In Weapons of Math Destruction, dat verscheen in 2016 nog voordat er sprake was van Trump, waarschuwde O’Neil al dat Facebook op gespannen voet stond met gezonde democratische procedures. O’Neil schreef over hoe Facebook haar gebruikers opsluit in ‘informatiesilo’s’: iedereen krijgt zijn eigen selectie berichten te zien, en weet niet wat de ander weet. Vruchtbare grond voor nepnieuws, en de dood in de pot voor het gezamenlijke politieke debat.
O’Neil was er ook op tijd bij wat betreft Cambridge Analytica, het bedrijf dat op basis van handig verkregen Facebook-gegevens op personen afgestemd digitaal campagnemateriaal leverde. Het leave-kamp bij het Brexit-referendum was klant bij het mysterieuze bedrijf, net als twee opeenvolgende Republikeinse presidentskandidaten (van wie er een nu in het Witte Huis zit). In haar boek waarschuwt O’Neill voor de keerzijde van ‘microtargeting’: in plaats van dat kiezers politieke actoren zijn die overtuigd moeten worden met goede ideeën, worden het ‘targeted citizens’ die op basis van zo veel mogelijk data naar de mond gepraat worden.
Ze had gemengde gevoelens bij het verhoor van Zuckerberg waarin ook de rol van Cambridge Analytica uitgebreid aan bod kwam, vertelt ze. Aan de ene kant vond ze het goed dat de politiek Zuckerberg (die ze in een opiniestuk een ‘naïeve robot’ noemde) op het matje riep. Maar ze was ontevreden over de intensiteit waarmee een van de invloedrijkste ceo’s van de wereld werd ondervraagd. Ook daar speelde een gebrek aan digitale geletterdheid een rol, aan de kant van de senatoren die vaak dubbel zo oud als Zuckerberg waren. ‘Maar onderschat ook niet de rol van de tech-lobby’, zegt O’Neil. ‘Die senatoren waren echt niet alleen maar onder de indruk van jeugd en kennis. Silicon Valley is een van de grootste lobbypartijen in Washington. En dat heeft niks met Trump te maken. Obama was bijvoorbeeld reuze dik met Google.’
Maar wat O’Neil uiteindelijk het meest stoorde was dat Zuckerberg consequent de inzet van kunstmatige intelligentie noemde als oplossing voor de verspreiding van nepnieuws en haatzaaiende berichten. ‘Facebook wil algoritmen inzetten om valse berichten of buitenlandse propaganda tijdens verkiezingen uit de berichten-feed te filteren. Are you kidding me? Een gemankeerd algoritme lost de problemen niet beter of slechter op dan een gemankeerd mens. Het zijn mensen die algoritmen trainen. Op die manier kan Facebook mooie pr maken, gebruik makend van het ontzag dat die kunstmatige intelligentie inboezemt, maar ik verwacht niet dat hiermee de problemen worden opgelost.’
Ook de politiek richt zich volgens haar nog te veel op het privacy-vraagstuk als het om data gaat. ‘Vanuit de politiek wordt gevraagd om bescherming van persoonsgegevens, over inzicht in wie over welke gegevens beschikt. Dat is ook de kern van de data-protectie-wet die de EU binnenkort invoert. Een nobel streven, maar Silicon Valley en andere bedrijven vinden daar wel weer een weg omheen. Voor hen geldt het parool dat privacy te koop is en dat ze er geld mee kunnen verdienen. Het is bijna onmogelijk om onze data terug te krijgen. Ik vind het belangrijker om ervoor te zorgen dat er geen verkeerde dingen mee gedaan worden. Ik weet het, dat is geen Europese manier van denken. Europa zit nog op de lijn: “Nee, je mag mijn data niet verkopen.” Een mooi idee, maar Amerikanen gedragen zich niet zo en denken niet zo.’
‘Ik aarzel om de algoritmen van Google en Facebook politieke weapons of math destruction te noemen, omdat ik geen bewijs heb dat deze bedrijven hun netwerken gebruiken om schade aan te brengen’, schreef O’Neil in haar boek. Tijdens de espresso in de aanpalende koffietent vraag ik of dat nog steeds haar standpunt is, ook nu er onderzoek wordt gedaan naar digitale inmenging in de Amerikaanse verkiezingscampagne door Rusland en nu de bedenker van ’s werelds grootste netwerk ter verantwoording wordt geroepen? O’Neil denkt even na. Dan: ‘Het is frustrerend. Uiteindelijk weten we het niet omdat Google en Facebook geen openheid geven. De technologische opzet van deze bedrijven is tegengesteld aan democratie, omdat ze ervoor zorgen dat de grootste mond de meeste aandacht krijgt. Maar uiteindelijk gaat het niet om de technologie en de algoritmen, maar om de mensen die erachter zitten en de mensen die ze gebruiken. Die boodschap wil ik overbrengen: het gaat altijd om de mensen.’