Tot een jaar geleden had Seshat (schuilnaam) nog een romantisch beeld van de wetenschap. Haar collega’s waren net als zij waarheidsvinders, die er alles aan deden om hun resultaten zo waarheidsgetrouw mogelijk weer te geven. Ze verwezen in hun artikelen eerlijk naar elkaar en zouden nooit van elkaar stelen.
Maar op een namiddag in augustus haalt de in een vooraanstaand Amerikaans lab werkende Nederlandse wetenschapster een paar van haar eigen artikelen door wetenschapsliteratuurzoekmachine Google Scholar. En wat blijkt? Verscheidene stukken zijn letterlijk gekopieerd door verschillende haar onbekende onderzoeksgroepen. Even verbaasd als verontwaardigd besluit ze dieper in de materie te duiken. Eerst haalt ze alleen een aantal toonaangevende artikelen uit haar eigen vakgebied, de microbiologie, door Scholar. Wanneer dat een flink aantal treffers oplevert, krijgt ze de smaak te pakken. ‘Het werd mijn nieuwe ondergrondse hobby.’
In de weken die volgen spendeert Seshat ieder vrij uurtje aan het screenen van artikelen uit haar onderzoeksveld. De oogst is niet mis: tientallen papers, vooral overzichtsartikelen, blijken deels tot vrijwel volledig overgeschreven van anderen. De gevonden gevallen geef Seshat aan bij de redacteuren van de betreffende wetenschappelijke tijdschriften. Bij sommige krijgt ze vlot een reactie en enkele artikelen worden officieel teruggetrokken uit de wetenschappelijke literatuur. Bij veel van haar dossiers wordt er geen actie ondernomen of zelfs helemaal niet gereageerd. Ook worden gevallen afgedaan als ‘niet relevant’. Een overzichtsartikel is immers een samenvatting van andere artikelen, een beetje overnemen zou dan geen kwaad kunnen. In zulke artikelen is de grens vaag: je neemt per definitie inzichten en conclusies van anderen over. Toch zijn de conventies helder: geen alinea’s letterlijk kopiëren, en als je iets gebruikt verwijs je naar het originele artikel.
Seshat is het niet eens met de visie dat plagiaat niet echt relevant is, maar ergens begrijpt ze het wel: er zijn ergere vergrijpen dan het overschrijven van alinea’s. Bovendien beschikken de belangrijkste wetenschapstijdschriften over software die dit soort praktijken al opspoort. Wanneer ze een paar maanden later hoort over een ander verschijnsel duikt ze daarop: image manipulation. Plagiaat is not done, maar daarbij wordt met de waarheid in principe niet gesold. Anders is dat bij beeldmanipulatie, waarbij wetenschappers handmatig, met Photoshop of andere software, resultaten naar hun hand zetten. Vooral bij afbeeldingen van microscopische waarnemingen is de verleiding groot om dit te doen, zoals bij zogeheten ‘western blots’. Een western blot is een techniek om een specifiek eiwit te midden van andere eiwitten te onderscheiden.
Weer bijt ze zich vast, hele avonden en weekenden lang. Haar oog wordt steeds getrainder in het herkennen van verdachte resultaten. Soms blijken dezelfde plaatjes verschillende keren gebruikt, als waren ze het resultaat van verschillende experimenten. Soms is het plaatje een klein beetje verschoven, of is er letterlijk met Photoshop iets weggehaald of verwijderd. Seshat: ‘Op een gegeven moment kon mijn man het vanuit de woonkamer raden. “Heb je weer beet?” zei hij dan. Dan zat ik zachtjes te juichen achter mijn computer.’
De zogeheten peer reviewers van wetenschappelijke tijdschriften zouden de beeldmanipulatie moeten opmerken, maar dat blijkt lang niet altijd het geval. Opmerkelijk: waar ze het plagiaat voornamelijk aantrof in laag aangeschreven, onbetekenende wetenschapstijdschriften is het nu relatief vaak raak in bladen van naam. Onder meer het Journal of Biological Chemistry, en met name PLOS ONE duikt vaak op: zo’n honderd keer. Dat komt volgens Seshat niet zozeer doordat er in dat tijdschrift veel meer gemanipuleerd wordt dan in andere, maar doordat de website erg geschikt is voor het op hoge snelheid doorspitten van artikelen. Gemiddeld besteedt ze een minuut aan een artikel. ‘Er is zoveel te vinden dat het zonde van de tijd is om langer te kijken. Op deze manier haal ik het hoogste rendement.’ Veel meer tijd dan in het screenen steekt ze in het opstellen van rapporten, die ze opstuurt naar de uitgevers. Zo kan er geen misverstand bestaan over haar bevindingen. Aan de redacties maakt ze haar identiteit bekend, met het verzoek die niet openbaar te maken. In totaal stuurt ze ruim driehonderd rapporten.
Wederom houdt de respons niet over. De hoofdredactrice van PLOS ONE, Iratxe Puebla, belt haar zelfs op om te vragen of ze alsjeblieft wil ophouden met het steeds weer opsturen van rapporten – de redactie kan haar niet bijbenen. Later verklaart Puebla aan de telefoon dat ze Seshat niet het zwijgen wilde opleggen, maar haar verzocht voorlopig geen rapporten op te sturen zodat zij en haar collega’s ze één voor één konden afhandelen in plaats van met heel veel zaken tegelijk bezig te zijn. ‘We betrekken de redacteuren, reviewers en auteurs van het betreffende artikel bij de verwerking van de bevindingen. Dat kost veel tijd en energie.’
Hoe dan ook, redacties zitten niet bepaald te wachten op dit soort meldingen, merkt Seshat. Ze hebben er weinig baat bij om zaken uit te zoeken en maatregelen te nemen: dat schaadt de reputatie van het blad. Ze hebben geen enkele prikkel om actief mee te werken – behalve die van de waarheidsvinding en kwaliteitsbewaking, maar die factoren gelden alleen op de lange termijn.
Seshat is niet de enige fraudejager met wie de tijdschriftredacties te maken hebben. Er zijn steeds meer anonieme en soms niet-anonieme klokkenluiders actief. De bekendste, en inmiddels beruchtste, is Clare Francis (schuilnaam), die haar identiteit strikt geheim houdt en in haar eentje verantwoordelijk is voor honderden ingediende klachten. Francis is berucht bij redacteuren, vanwege de ‘agressieve communicatiestijl’. Er gaan zelfs geruchten dat ze niet één persoon is, maar een groep, ‘die als een kudde door het wetenschappelijk landschap trekt’. Iratxe Puebla van PLOS ONE beschrijft haar correspondentie met Francis als ‘onproductief’. ‘Niet zozeer haar toon, maar haar manier van formuleren is onprettig. Ze stuurt opmerkingen als “figuur 1, achtergrond klopt niet”. Met dat soort klachten kunnen we weinig.’
De niet-anonieme klokkenluiders zijn veelal hoogleraren die niet meer hoeven te vrezen voor hun (toekomstige) positie. Een van hen is Philip Moriarty, hoogleraar fysica aan de Universiteit van Nottingham in Engeland. Hij is geen systematische jager zoals Seshat, maar hij uitte op zijn blog een paar keer openlijk kritiek op publicaties uit zijn vakgebied, de nanowetenschap. Het ging om een artikel uit 2004 in Nature Materials van de onderzoeksgroep van Francesco Stellacci, hoogleraar aan de Universiteit van Lausanne. Die claimde gestreepte nanodeeltjes te hebben aangetoond en publiceerde in de jaren daarna vele vervolgartikelen, maar volgens Moriarty waren de gestreepte nanodeeltjes artefacten. Het dispuut loopt nog altijd. Moriarty is voorstander van zo veel mogelijk transparantie in de wetenschap, al begrijpt hij collega’s die anoniem willen blijven ook. ‘Ik snap dat jonge onderzoekers hun nek niet willen uitsteken.’ Seshat zou het liefst openbaar werken ‘als ik zou weten dat iedereen de bevindingen sportief zou opvatten. Dat is helaas niet het geval.’
Na vijf maanden wachten op actie van tijdschriftredacties raakt Seshats geduld op. Ze besluit een deel van haar bevindingen openbaar te maken op Pubpeer.com, een website waar iedereen anoniem of niet-anoniem commentaar kan geven op in de wetenschappelijke literatuur gepubliceerde artikelen. Wanneer zo’n commentaar wordt geplaatst, krijgen de oorspronkelijke auteurs een mailtje. Slechts één van de 21 door Seshat beschuldigde auteurs reageert: het zou gegaan zijn om een fout, die hij direct meldt bij het betreffende tijdschrift. Een andere auteur van een van de artikelen, Matthew Reeves van University College Londen, laat in reactie op een e-mail van De Groene weten dat hij geen bericht had ontvangen van Pubpeer (alleen de corresponderende auteur ontvangt het mailtje). ‘Ik heb het tijdschrift ingelicht. Het gaat om een echte fout, geen manipulatie.’ Wel voegt hij toe niet blij te zijn met Pubpeer als podium voor beschuldigingen van manipulatie. ‘De auteur zou de kans moeten krijgen te reageren voordat hij openlijk wordt beschuldigd van misleiding. Een eerlijke fout kan zo een zwarte markering vormen. Bovendien, als ik wat commentaren lees op de website krijg ik de indruk dat sommige gebruikers de juridische consequenties niet overzien van wat ze zeggen.’ Reeves duidt op persoonlijke aantijgingen aan het adres van collega’s. Pubpeer probeert die zo veel mogelijk te weren of aan te passen, maar slaagt daar niet volledig in. Moriarty beaamt dat: ‘Er wordt nog wel eens op de man gespeeld in plaats van op de bal, vooral door anonieme gebruikers.’ Puebla van PLOS ONE zegt voorstander te zijn van het bestrijden van beeldmodificatie, maar geen fan van platforms als Pubpeer: ‘Liever lossen we dit soort kwesties achter de schermen met de auteurs op, dan zijn ze veel coöperatiever dan wanneer ze openlijk worden beschuldigd.’
Een belangrijke vraag is wanneer de beeldmanipulatie of het plagiaat erg genoeg is om een artikel terug te trekken. Voor Seshat is de grens helder: wanneer er duidelijk gemanipuleerd is, moet het artikel in haar ogen verdwijnen uit de wetenschappelijke literatuur. Bij PLOS ONE denken ze daar anders over. Puebla: ‘Wat ons betreft geldt dat zolang de hoofdconclusie overeind blijft een correctie volstaat. Bovendien vinden we dat het terugtrekken in principe de verantwoordelijkheid is van het instituut waaraan de betreffende onderzoekers werken. Zij hebben het artikel immers ingestuurd.’
Seshat verbergt haar identiteit weliswaar voor de buitenwereld, tegenover haar collega’s is ze wel open over haar extracurriculaire activiteiten. Die reageren niet allemaal even enthousiast. ‘Zou je dat nou wel doen, misstanden in de wetenschap melden en openbaar maken?’ Is hun meest gebezigde reactie. Dit beeld herkent Ivan Oransky van de blog Retraction Watch, die dagelijks bericht over fraude en ander wangedrag in de wetenschap dat leidt tot terugtrekkingen van papers. Hij vergelijkt de wetenschappelijke wereld met de maffia en de katholieke kerk: ‘Er is sprake van een omerta, een collectief zwijgen, en van ontkenning van de omvang van het probleem. Men is bang voor de eigen carrière en voor de reputatie van de wetenschap: als de buitenwereld weet wat er allemaal misgaat, zal die geen geld meer willen geven aan de goede zaak. De domste redenering die er is, want uiteindelijk komt het uit en dan ben je nog verder van huis, zoals de katholieke kerk met het pedofilieschandaal.’
De vraag is hoe grootschalig het probleem daadwerkelijk is en of het groeit. Het aantal schandalen en teruggetrokken papers neemt toe, maar dat kan komen doordat er meer aandacht voor is. Seshat is momenteel bezig op systematische wijze artikelen waarin beeld is gemanipuleerd te verzamelen om erover in een wetenschappelijk tijdschrift te publiceren. Ze trof in vijf procent van de door haar gescreende papers manipulaties aan. ‘Ik schat het aantal papers met beeldmanipulatie in het biomedisch onderzoek op tien procent. En dan kijk ik alleen naar afbeeldingen van resultaten, niet naar tabellen en grafieken. Het is bijna eng om na te denken over de fraude die daarin verscholen zou kunnen liggen.’
Regelmatig stuit Seshat op series van publicaties afkomstig van dezelfde onderzoeksgroep, waarbij vaak de eerste auteur varieert maar de laatste, die van de onderzoeksleider, dezelfde is. ‘Dat is extra verdacht. De kans dat er in zulke gevallen gewoon een foutje is gemaakt, is erg klein.’
Het is waarschijnlijk dat bij lang niet alle beeldmanipulatie sprake is van opzet, laat staan dat de auteurs doelbewust een loopje nemen met de waarheid. Photoshop is een geaccepteerd hulpmiddel om resultaten te verhelderen. Arturo Casadevall, immunoloog aan het Albert Einstein College of Medicine in New York, schreef er recent een wetenschappelijk artikel over. Volgens hem worden er heel veel ‘eerlijke fouten’ gemaakt, en is er een groot grijs gebied tussen wat de originele resultaten zijn en moedwillig gemanipuleerde beelden. Hij zou image manipulation dan ook liefst image modification noemen. De fout zit dan niet in het manipuleren, maar in het niet vermelden dat en op welke manier Photoshop is gebruikt. ‘Door dat niet te vermelden, maak je jezelf verdacht.’ Seshat denkt ook dat in elk geval niet bij alle gevallen die zij ontdekte sprake was van bonafide modificatie. In sommige gevallen waren domweg dezelfde plaatjes gebruikt voor de experimentele groep en de controlegroep. Ze onderscheidt drie verschillende categorieën: ‘ongelukjes’, ‘verdachte gevallen’ en ‘zeer waarschijnlijk gemanipuleerd’.
Omdat er vaker verdachte praktijken aan het licht komen, gaan er meer stemmen op om paal en perk te stellen aan deze goedbedoelde aanpassingen. Debora Weber-Wulff, hoogleraar media and computing aan de Vrije Universiteit van Berlijn en plagiaatbestrijder, pleit zelfs voor het volledig afschaffen van Photoshop-gebruik. ‘Het is een glijdende schaal. Je begint met een kleine aanpassing en voor je het weet zit je de resultaten te veranderen.’ Zo’n Photoshop-verbod klinkt aantrekkelijk, maar daar zitten ook haken en ogen aan, zegt Puebla van PLOS ONE. ‘Voor het zichtbaar maken van microscopieplaatjes zul je het altijd nodig hebben, al is het maar om het contrast te verhogen. En dat geldt eigenlijk voor heel het biomedisch onderzoek.’
Niet alleen tijdschriftredacties reageren weinig enthousiast op de bevindingen van klokkenluiders. Ook de auteurs van de betreffende artikelen zelf stellen zich maar heel zelden constructief op. Bevindingen zoals die van Seshat worden door de betreffende auteurs vaak genegeerd, of zelfs als laster weggezet. Websites als Pubpeer worden ervan beschuldigd een platform te bieden voor beledigingen en onterechte aantijgingen van vooral rancuneuze onderzoekers. Zo werd Moriarty door de onderzoeker die hij van beeldmanipulatie betichtte, Francesco Stellacci, in een reactie in Science een cyber-pester genoemd. De beheerders van Pubpeer doen er alles aan om dit te voorkomen door de commentaren en reacties te modereren. Anonieme klokkenluiders zouden zich ook eerder misdragen. Maar die anonimiteit is vooral voor jonge onderzoekers van belang, omdat ze anders hun carrière op het spel zetten.
Zowel de auteurs van Retraction Watch als de Duitse Weber hebben al regelmatig dreigementen ontvangen van rechtszaken, omdat ze de carrière van de betreffende wetenschapper en de reputatie van zijn instituut geschaad zouden hebben. Tot een rechtszaak is het nog nooit gekomen. Weber vindt de reacties vooral triest. ‘Dit soort geschillen moeten in de wetenschappelijke arena uitgevochten worden, niet in de rechtbank.’ Seshat is ook nog nooit aangeklaagd, maar ze is daar ook niet bang voor. ‘Laat ze maar komen. Mijn rapporten zijn altijd feitelijk en helder. Ik doe niets ongeoorloofds.’
Toch is er wel degelijk juridische ruimte om de klokkenluiders aan te klagen. In augustus van het afgelopen jaar merkt Seshat dat er een lijstje met bevindingen van haar is verwijderd van Pubpeer, met voorbeelden van manipulatie door dezelfde auteur. Wanneer dat na een tweede poging weer gebeurt, vraagt ze de beheerder van Pubpeer wat er aan de hand is. Ze krijgt te horen dat het niet zo handig is om een persoon zo rechtstreeks te beschuldigen. Later blijkt dat een andere wetenschapper, patholoog Fazlul Sarkar van Wayne State University School of Medicine in de Verenigde Staten Pubpeer naar aanleiding van zo’n lijstje heeft aangeklaagd wegens laster. Sarkar zou een baan aan de Universiteit van Mississippi die hij had bemachtigd niet hebben gekregen, vanwege aantijgingen op het forum. Hij eist openbaarmaking van de collega’s die hem beschuldigen. In december dienen advocaten van Pubpeer een motie in tegen de dagvaarding. De zaak loopt nog.
Is er dan niemand die het werk van de klokkenluiders op waarde schat? Gelukkig zijn er ook positieve uitzonderingen. Een Japanse onderzoekster meldde zich vorig jaar bij Retraction Watch met een mea culpa: ze gaf toe in de fout gegaan te zijn, en zag zich zelfs gedwongen haar doctorstitel in te leveren vanwege dit schandaal. Heel positief liep dit verhaal ook niet af: de betrokken hoofdonderzoeker pleegde later zelfmoord.
Microbioloog Willem van Schaik van het UMC Utrecht twittert in juli zijn frustraties over een publicatie in PLOS ONE waarbij hij de redacteur was geweest – de resultaten uit dat artikel bleken verzonnen. Een klokkenluider merkte de fraude in dit artikel op door verschillende artikelen van verschillende auteurs naast elkaar te leggen. In dit geval reageerde het tijdschrift adequaat. Van Schaik vraagt zich hardop af wat hij hieraan had kunnen doen om publicatie te voorkomen en roept medetwitteraars op met suggesties te komen. ‘Ik ben voor meer transparantie in de wetenschap en wil me niet verschuilen achter mijn redacteursrol’, mailt hij desgevraagd. ‘Misschien heb ik ergens een steek laten vallen en als dat zo is, dan hoor ik dat graag, zodat dat in de toekomst niet meer gaat gebeuren.’ Hij vraagt zichzelf sterk af of dat het geval is geweest. ‘Ik vind dit een goed geslaagde fraude: alle data zijn grafieken, dus het is erg lastig om te spotten dat er iets mis is.’
Uiteindelijk is het naïef om te stellen dat een aangescherpte peer review en oplettender editors dit soort fraudegevallen kunnen voorkomen, en zo klokkenluiders zoals Seshat overbodig maken. Wat dat betreft lijkt het een betere oplossing om het klokkenluiden beter te faciliteren, via websites als Pubpeer en Arxiv, waar artikelen verschijnen voordat ze in een wetenschappelijk tijdschrift worden gepubliceerd. Ook redacties van tijdschriften als PLOS ONE zien langzaam maar zeker in dat de fraudejagers eerder met dan tegen hen zijn. PLOS ONE faciliteert tegenwoordig een commentaarsectie op de website, waar wetenschappers met elkaar in discussie kunnen gaan over gepubliceerde onderzoeksresultaten. Ook gaan er steeds meer stemmen op om de rauwe onderzoeksgegevens tegelijk met de wetenschappelijke publicatie openbaar te maken.
In oktober ontvangt Seshat een uitnodiging van de redactie om langs te komen en uit de doeken te doen hoe ze te werk gaat. Twee weken later maakt ze haar opwachting. ‘Ze hadden verwacht dat ik met heel geavanceerde software werk, maar dat is helemaal niet zo. Ik heb alleen een getraind oog.’ De redacteuren benaderden Seshat in elk geval stukken begripvoller dan de collega die haar destijds opbelde. ‘Ze waren in elk geval een stuk ontvankelijker voor mijn inbreng.’
Hoe groot de impact van de klokkenluiders op de wetenschap is, is niet duidelijk, alleen al omdat zelden wordt vermeld dat een retractie het gevolg is van een klokkenluidactie. Vaak wordt de formulering ‘it has come to our attention’ gebruikt in de aankondiging, maar dat kan ook op iets anders duiden. Hoeveel wetenschappers net als Seshat systematisch te werk gaan, is ook niet duidelijk. Ze opereren zelfstandig en websites als Pubpeer en Retraction Watch hanteren strenge normen om hun bronnen te beschermen. Wat Oransky van Retraction Watch betreft zullen de klokkenluiders de komende jaren alleen maar belangrijker worden, nu de aandacht voor wetenschappelijk wangedrag toeneemt. Auteurs en tijdschriftredacteuren zullen de commentaren niet langer kunnen negeren, zeker als de kritiek op openbare websites en in de reguliere media verschijnt.
Het beeld dat Seshat van de wetenschap heeft, is in elk geval voorgoed veranderd. Voortaan is iedere publicatie bij voorbaat verdacht. Op bijna paranoïde wijze controleert ze iedere alinea en iedere figuur waar ze als reviewer naar moet kijken. Ondertussen hoopt ze dat haar werk en dat van andere klokkenluiders de gemeenschap wakker zal schudden. Hetzelfde vinden Weber en Oransky. ‘Senioronderzoekers moeten hun pupillen weer leren zuivere wetenschap te bedrijven, op alle niveaus’, zegt Weber. Oransky: ‘Er moet een mentaliteitsverandering komen. Ook jonge onderzoekers moeten misstanden durven melden, zonder te hoeven vrezen voor hun toekomst. Tot die tijd zullen wij blijven werken met anonieme tipgevers.’
Naschrift nov 2020: niet lang na het verschijnen van dit artikel besloot ‘seshat’ haar schuilnaam los te laten en onder haar echte naam Elisabeth Bik met haar werkzaamheden verder te gaan. Ze werkt niet meer in de wetenschap maar doet dit werk nu fulltime, in combinatie met lezingen.