Over ons onderzoek (2)

Sinds publicatie is door bloggers en een kleine groep twitteraars stelselmatig geschreven dat ons stuk gaat over ‘hoe Russische trollen zich met MH17-onderwerpen richten op Nederland’. Dat is een verdraaiing van wat wij hebben geschreven. Het verhaal gaat expliciet over hoe Russische trollen in hun mondiale desinformatiecampagne gebruik maken van Nederlandse onderwerpen en Nederlandse twitteraars. Hoe subtiel dat verschil ook is, het is belangrijk om dat scherp te hebben. Juist omdat wij bewust de keuze voor die invalshoek hebben gemaakt op de redactie: Twitter is geen medium dat ophoudt bij landsgrenzen.

Zoals in het stuk nadrukkelijk is beschreven, schrijven Russische trollen voornamelijk in het Russisch (voor het publiek thuis) en in het Engels. Daarnaast twitteren ze in tal van andere talen, dan betreft het voornamelijk retweets. Zo ook in het Nederlands. In het stuk springen we zorgvuldig om met het onderscheid tussen retweet en originele content.

De logische vervolgvraag was: welke Nederlanders worden er dan geretweet? Dit is informatie die niet in de dataset voorkwam maar die wij hebben uitgezocht door van honderden Nederlandstalige berichten handmatig terug te zoeken wie de originele verspreider was. Een voorbeeld van deze methode: de tweet ‘Uitgeprocedeerde #asielzoekers kraken Amsterdam en kosten miljoenen @telegraaf #Schengen vrij verkeer van illegalen’ komt in de dataset voor als retweet van de Russische trolaccount @patriotblake. Wij zochten de originele tweet terug en zagen dat de oorspronkelijke auteur van dit bericht de Nederlander @AdriaanBeenen bleek te zijn.

Dit leverde een lijst op van in ieder geval 346 Nederlandse Twitter-handles waarvan sommige meermalen voorkomen. Zoals we destijds al in onze verantwoording schreven zou je deze methode kunnen herhalen om die lijst uit te breiden.

Twee bloggers gebruikten de tools russiatweets.com en fromrussiawithtroll.com om de data door te nemen. Was het maar zo simpel. Op dag één van ons onderzoek ontdekten we dat dit soort websites ongeschikt zijn om een totaalbeeld te vormen van Russische bemoeienis met grote thema’s, zoals bijvoorbeeld de MH17-ramp. Tik in de ene tool ‘MH17’ in en je krijgt al een ander resultaat dan in de andere tool.

Deze websites geven een mooie impressie maar volstaan niet voor het maken van een analyse. Daarom hebben we de data gedownload, in een eigen database gezet en met de programmeertaal Python doorzocht. Daarbij keken we niet of het woord ‘MH17’ voorkwam maar of er over het onderwerp werd gesproken. Dat hebben we gedaan door een zoekopdracht het systeem in te sturen met 62 Engelse en Russische termen. Zoals wij destijds hebben beschreven realiseren we ons dat we daarmee nog altijd slechts naar een deel kijken van wat er mogelijk is verspreid over dit onderwerp.

Critici verwijten ons dat Rusland, als het om de MH17-ramp gaat, vooral in de Russische taal twittert. Dat klopt, en het staat ook letterlijk in het stuk vermeld: ‘Dat gebeurt in tal van talen waaronder het Nederlands, Engels, Duits, maar vooral Russisch.’

Daarnaast was er verontwaardiging over het feit dat wij het hoge aantal tweets over het bedrijf Boeing bespreken. Daar kunnen we kort over zijn: de reden dat dit is meegenomen is dat we het opvallend vonden dat dit bedrijf, dat het MH17-vliegtuig bouwde, zoveel voorkwam.

De originele tekst bevatte hier echter wel een kleine fout, waar een blogger de auteurs per mail op wees. Waar eerst stond: ‘De tweet “Boeing employees fired for sexting at work #local” wordt vele malen rondgepompt door de Russische trollen’, staat nu: ‘Tweets zoals “Boeing employees fired for sexting at work #local” worden vele malen rondgestuurd door de Russische trollen.’ Juist om te onderstrepen dat dit een illustratie was zijn het soort tweets dat werd rondgestuurd. Wij hebben de blogger destijds bedankt voor zijn oplettendheid en de tekst aangepast.

Terecht merken critici op dat het aantal trollentweets, over bijvoorbeeld de islam, in het niet valt bij het aantal islamkritische tweets van echte Nederlandse twitteraars. Dat betwisten wij niet. Net zoals we ook niet betwisten dat trollen vooral ideeën verspreiden en versterken die reeds in de samenleving aanwezig zijn. Die belangrijke nuance blijkt uit het eerder gestelde feit dat trollen veel retweeten. Daarnaast komt Rusland-expert Mark Galeotti uitgebreid aan het woord, ook hij zegt dit nadrukkelijk.

Tot slot nog even kort over de belangrijkste bron voor dit verhaal: dat zijn de data die door de Clemson Universiteit zijn verspreid. In samenspraak met de onderzoekers hebben we deze informatie doorzocht door hen zo nu en dan te raadplegen over hoe bepaalde kolommen of conclusies uit hun paper geïnterpreteerd moeten worden. De onderzoekers stelden een dataset beschikbaar met daarin 2.973.371 tweets. Die data vormen het hart van ons onderzoek, onze daadwerkelijke data-analyse vond plaats op basis hiervan.

Al met al geeft het verhaal helder antwoord op de vraag die wij onszelf hebben gesteld. Daarbij geven we ook inzicht in hoe die trollen werken en hoe er wordt ingespeeld op reeds in de samenleving aanwezige angst en polarisatie.

We zijn nu nog met vervolgonderzoek bezig. Als dat is afgerond zullen we ook onze spreadsheets openbaar maken.