Naar een meer transparante onderzoekspraktijk

Is er wetenschap na Stapel?

Na een aantal schandalen besloten sociale wetenschappers dat hun vakgebied op de schop moest. Nu vormt hun hervormingsdrang een lichtend voorbeeld voor andere vakgebieden. Maar verandering gaat niet vanzelf.

Wanneer de Australische cognitief neurowetenschapper Chris Chambers in 1999 aan zijn academische carrière begint, stelt hij zich voor dat wetenschap draait om een streven naar objectieve waarheid. Resultaten van experimenten en bevindingen zouden er weliswaar toe doen, maar of ze opzienbarend zouden zijn of niet, zou niet bepalen of iemand werd beschouwd als een goede wetenschapper. Belangrijker zou zijn of je goede vragen stelt, of je theorieën hout snijden en je studies goed zijn opgezet en uitgevoerd en of de resultaten die eruit komen relevant zijn, ongeacht wat eruit komt.

Al snel nadat hij zijn promotie-onderzoek is begonnen, leert hij dat de realiteit anders is. Het eerste onderzoeksartikel dat hij ter publicatie naar een wetenschappelijk tijdschrift stuurt, wordt onmiddellijk afgewezen. De studie was goed ontworpen en uitgevoerd, maar de resultaten, moet hij toegeven, zijn slechts matig interessant. In andere woorden: saai. Zijn begeleider wist het, maar liet hem zelf tot de conclusie komen: opzienbarende resultaten doen er wel degelijk toe.

In de maanden die volgen leert hij waar wetenschap over gaat: storytelling, waarin de resultaten ten dienste staan van het verhaal. En hij wordt er heel goed in. Hij publiceert artikelen in aansprekende tijdschriften, haalt grote subsidies binnen, geldt als een veelbelovend talent in zijn vakgebied. ‘Je kreeg resultaten, onderzocht de gegevens een beetje, nam een resultaat en bouwde het hele artikel eromheen. De manier waarop je erbij kwam was onduidelijk, niet transparant voor de lezer. Het was geen fraude, het was het grijze gebied. Iedereen deed het zo.’

Later zou hij een blogpost lezen waarin de vraag centraal staat of een wetenschapper meer is dan een detective of dan een advocaat. Is je ultieme doel om de waarheid te achterhalen of om gelijk te krijgen? In deze eerste jaren van zijn werkende leven leert hij dat je als wetenschapper een beetje van allebei bent. En met name als je carrière wilt maken is het advocaatje spelen erg belangrijk.

Maar dan, in 2011, verandert er van alles in de sociale wetenschappen. Eerst is er de beroemde sociaal psycholoog Daryl Bem van Cornell University, die een artikel publiceert waarin hij lijkt te bewijzen dat mensen de toekomst kunnen voorspellen. Hij laat daarmee onbedoeld zien dat er iets vreselijk mis is met de standaardmethoden in zijn vakgebied. Niet veel later publiceren de jonge methodoloog Uri Simonsohn en zijn collega’s een ironisch artikel in vakblad Psychological Science waarin ze laten zien dat luisteren naar het nummer When I’m Sixty-four van de Beatles de leeftijd van een luisteraar daadwerkelijk met 1,5 jaar kan verminderen – als vlijmscherpe kritiek op de werkwijze van veel collega’s.

Een paar maanden later wordt het nog erger, wanneer de Tilburgse sociaal psycholoog Diederik Stapel wordt ontmaskerd als fraudeur, die jarenlang experimenten en resultaten heeft verzonnen zonder dat iemand erachter kwam. En er zijn meer incidenten. Wetenschap, of op z’n minst psychologische wetenschap is ‘kapot’, klinkt het. Tenminste, er is iets heel erg mis.

En dat lijkt niet alleen in de psychologie het geval. Al in 2005 publiceerde de inmiddels beroemde epidemioloog John Ioannidis van Stanford University in de VS een paper in PloS Medicine getiteld: ‘Waarom de meeste onderzoeksresultaten onjuist zijn’. De belangrijkste oorzaken, volgens Ioannidis, zijn slordige onderzoeksopzetten, onbetrouwbare onderzoekstechnieken en waardeloze statistiek, om nog te zwijgen van vooringenomenheid, fraude en corruptie. Sindsdien reist Ioannidis de wereld rond in zijn strijd tegen belabberde wetenschap.

In 2010 publiceert een collega van Ioannidis in Stanford, Daniele Fanelli, een studie waarin hij laat zien dat in vrijwel alle onderzoeksgebieden studies met klinkende resultaten meer kans maken op publicatie dan onderzoeken waaruit geen significante resultaten komen. Dat resulteert in een hardnekkig probleem, genaamd publicatie-bias. Oftewel: de wetenschappelijke literatuur geeft een vertekend beeld van de werkelijkheid. Zo kan bijvoorbeeld het effect van medicijnen als antidepressiva overschat worden, of de invloed op ons gedrag van onbewust waargenomen prikkels, priming. Soms kan die overschatting zelfs zo groot zijn dat het veronderstelde effect feitelijk niet bestaat.

Uit ander onderzoek blijkt namelijk dat veel van de gepubliceerde bevindingen inderdaad niet kloppen. Dat heeft verschillende oorzaken. Allereerst verzamelen onderzoekers vaak een hele berg aan gegevens, waaruit ze vervolgens alleen de resultaten halen die significant zijn. Dat soort cherry picking van resultaten is statistisch zeer onverantwoord, omdat het de kans enorm doet toenemen dat het om toevalsbevindingen gaat. Daarnaast is er harking: de hypothese bij- of opstellen nadat de resultaten bekend zijn geworden. Ook die manier van werken vergroot de kans dat een toevalsbevinding voor waar wordt aangenomen enorm.

Ter vergelijking: de kans dat je op vakantie toevallig een willekeurige bekende tegenkomt, is veel groter dan dat je een specifieke persoon tegenkomt waarvan je de naam vooraf hebt genoteerd. Harking is zoiets als de naam van die persoon die je ontmoette na afloop op een briefje te schrijven en doen alsof je dat vooraf al had gedaan. P-hacking is zoiets als het opstellen van een heel lange lijst namen van mensen die je misschien zult tegenkomen, en alle andere namen weghalen nadat je een van die personen tegen het lijf bent gelopen, om vervolgens te claimen dat het ‘echt geen toeval kan zijn’.

Critici beseffen dat er heel wat moet veranderen om de wetenschap robuuster te maken. Wetenschappers hebben veel te veel mogelijkheden om hun resultaten op te poetsen en zo hun kansen op publicatie in een toptijdschrift op te krikken, waarbij de waarheidsvinding het kind van de rekening is. De meest geopperde oplossing: meer transparantie, waardoor wetenschappers elkaar beter kunnen controleren, onder meer door elkaars onderzoeken te herhalen. Bijkomend voordeel zou zijn dat die openheid ook kan bijdragen aan het maatschappelijk vertrouwen in de wetenschap.

Ook Chris Chambers is aardig beduusd door al die confronterende publicaties, die de psychologie en ook zijn eigen vakgebied, de hersenwetenschappen behoorlijk in hun hemd zetten. Hij realiseert zich dat hij terug moet naar de mindset waarmee hij ooit was begonnen: er alles aan doen om de wetenschap zo objectief en betrouwbaar mogelijk te maken. Hij laat tot zich doordringen welke resultaten die hij heeft geproduceerd hij daadwerkelijk gelooft – schrikbarend weinig. En hij begint na te denken over wat hij kan doen om zijn vakgebied te verbeteren.

In mei 2011 stuit hij op een artikel van wetenschapsblogger Neuroskeptic (pseudoniem), getiteld How to Fix Science. Neuroskeptic introduceert een radicaal concept dat de manier zal veranderen waarop de wetenschap is georganiseerd en waarmee, zo waarschuwt hij, niet iedereen blij zal zijn.

Onderzoekers verzamelen vaak een hele berg aan gegevens, waaruit ze vervolgens alleen de resultaten halen die significant zijn. Statistisch onverantwoord

De blogger schrijft: ‘Wetenschappelijke artikelen moeten voordat het onderzoek start worden ingediend bij een wetenschappelijk tijdschrift. De inleiding en de methoden, met details over wat je van plan bent te doen en waarom, zouden dan door collega’s beoordeeld worden. (…) Als het artikel wordt geaccepteerd, doe je het onderzoek, verzamel je de resultaten en schrijf je de resultaten en discussie op. Het tijdschrift moet vervolgens het definitieve artikel publiceren, ervan uitgaande dat je je aan het oorspronkelijke plan houdt. De inleiding en de primaire methoden staan vast – die kun je niet meer wijzigen wanneer de gegevens binnenkomen. Je kunt extra dingen doen en extra analyses uitvoeren, maar ze worden gemarkeerd als secundair, wat natuurlijk is wat ze zijn. De publicatie zou daarom gebaseerd zijn op de wetenschappelijke verdiensten van het experiment, het belang van de vraag en de kwaliteit van de methoden, niet de “interessantheid” van de resultaten.’

Dit is het concept van registered reports. Het is een radicaal idee dat, zoals Chambers later zal ontdekken, al bestaat sinds de jaren vijftig. Maar ondanks het feit dat het klinkt als vanzelfsprekend is het dat in de wetenschappelijke praktijk allerminst. Het idee laat Chambers niet los.

In de tussentijd is Chambers bevriend geraakt met collega’s die ook de huidige onderzoekspraktijk zijn gaan bevragen. Niet geheel toevallig bevinden veel van hen zich in Nederland. Zo ontstond er rond het schandaal rond Diederik Stapel aan de Universiteit van Tilburg een onderzoeksgroep die zich alleen maar bezighoudt met het bestuderen van methodologische en statistische problemen in de sociale wetenschappen. Een van de talenten in deze onderzoeksgroep is Michèle Nuijten. Zij ontwikkelde onder meer een methode om statistische fouten uit wetenschappelijke artikelen te filteren, Statcheck, en bestudeert manieren om overzichtsstudies betrouwbaarder te maken. ‘Het is belangrijk dat we onderzoek blijven doen naar hoe de wetenschap beter kan’, zegt Nuijten. ‘Op een gegeven moment werd er van alles betoogd, maar was er geen kruimel onderbouwing.’

Nederland is een land van pioniers op dit gebied, beseft Chris Chambers. En niet alleen radicale psychologen maken een verschil. Er is het initiatief Science in Transition, dat in 2013 werd opgericht om de prikkels in de wetenschap te gaan omvormen. Het is mede dankzij de inspanningen van Science in Transition dat Nederland voorop loopt in het streven naar vrije toegang tot wetenschappelijke artikelen voor wetenschappers en niet-wetenschappers, ook wel bekend onder de noemer Open Access. Nederland was een van de voorvechters van het Europese initiatief dat deze maand werd gepresenteerd: vanaf 2020 zal al het onderzoek in elf Europese landen verplicht in gratis te lezen tijdschriften gepubliceerd worden.

Maar open wetenschap draait om meer dan alleen toegang tot artikelen. Het draait om het delen van onderzoeksmethoden, van gegevens en van software. Collega’s kunnen daar gebruik van maken en elkaar beter controleren. Begin 2018 werd er zelfs een heuse Nationaal Coördinator Open Science aangesteld, Karel Luyben, oud-rector van de TU Delft. ‘Het verhoogt de waarde van de wetenschappelijke gegevens en kennis, en tegelijkertijd zal iemand drie keer nadenken voordat hij iets van slechte kwaliteit online zet’, zegt Frank Miedema, vice-decaan in het UMC Utrecht en de drijvende kracht achter Science in Transition.

In de tussentijd is Chambers met zijn eigen missie begonnen. In eerste instantie weet hij nog niet goed waar te beginnen, tot in 2012 de hoofdredacteur van vakblad Cortex hem benadert om lid te worden van zijn redactieraad. Kort daarna stelt Chambers voor om onderzoekers de optie te geven onderzoeksvoorstellen ter beoordeling en voor publicatie naar dit tijdschrift te sturen, zoals voorgesteld in de blog van Neuroskeptic.

Hij verwacht niet dat zijn voorstel met gejuich zal worden ontvangen. Hij beseft immers dat het invoeren van registered reports een risicovol experiment is – hij weet niet zeker of hij geen cruciale details of perverse prikkels over het hoofd ziet.

Maar ondanks de weerstand binnen zijn eigen redactie besluit de hoofdredacteur het idee van Chambers over te nemen. In mei 2013 lanceert Cortex de mogelijkheid om studies die nog niet zijn uitgevoerd in te dienen voor review en publicatie. Ook twee andere tijdschriften voeren de optie in, maar ondanks de inspanningen van Chambers blijven andere tijdschriften achter. Veel redacties vrezen dat ze veroordeeld zullen worden tot het publiceren van saaie onderzoeksresultaten, wat hun impact en status zal verlagen.

Samen met een collega besluit Chambers een opiniestuk te schrijven voor de Britse krant The Guardian, ondertekend door meer dan tachtig tijdschriftredacteuren die het concept ondersteunen. Het verschijnt in de zomer van 2013. ‘Achteraf gezien heeft dat echt het verschil gemaakt’, zegt Chambers.

Niet dat iedereen meteen overtuigd is. Integendeel. Online is er stevige kritiek en ook face to face krijgt hij het te horen. Zo is er een conferentie in Frankrijk waar een vooraanstaande professor na het verhaal van Chambers naar de microfoon loopt en roept: ‘U draait de wetenschap de nek om!’ Niemand in het publiek durft te reageren. Veel onderzoekers vrezen dat het vooraf registreren van hun werk het onderzoek zal verstikken. ‘Wetenschappers denken graag in het worst case scenario: moet ik van tevoren alles registreren? Moet ik dit broodje vooraf registreren voordat ik het opeet?’ Chambers wijst die kritiek van de hand: verkennende analyses zijn nog steeds mogelijk, maar zullen als zodanig worden benoemd.

Met zijn boodschap gaat Chambers letterlijk van redactie naar redactie en van zaaltje naar zaaltje. Soms wordt hij hartelijk ontvangen, soms kil. Sommigen vrezen dat zodra een studie zal worden geaccepteerd, de auteurs geen moeite meer doen om goed werk af te leveren. Chambers legt uit dat er kwaliteitscontroles ingebouwd zullen worden.

Om zoveel mogelijk collega’s te bereiken, gebruikt Chambers een list: hij kondigt zichzelf niet aan als de voorvechter van registered reports, maar presenteert eerst zijn wetenschappelijk werk, om halverwege zijn presentatie om te schakelen: ‘En hier is nog iets wat ik graag zou willen delen.’

Na een tijdje past hij zijn powerpointpresentatie zo aan dat hij het merendeel van de steeds weer opduikende vragen zelf al opwerpt en beantwoordt. Op die manier weet hij zijn toehoorders duidelijk te maken waar dit om draait: het betrouwbaarder maken van onderzoek.

Pioniers pleiten voor het trainen van onderzoekers in het bedrijven van open wetenschap: het vergt een andere instelling dan de oude manier van werken

In zijn boek The Seven Deadly Sins of Psychology, dat in 2017 verschijnt, somt hij op wat er mis is en hoe het vakgebied kan worden hervormd. Veel van de voorbeelden gaan niet per se over psychologische wetenschap, maar over de psychologie van de wetenschap: hoe kunnen wetenschappers beter de menselijke factoren die de waarheidsvinding in de weg staan in bedwang houden?

Veel van de oplossingen die hij in het boek voorstelt, worden anno 2018 al in praktijk gebracht: er is meer aandacht voor het herhalen van studies, voor het delen van onderzoeksgegevens en het aanscherpen van de statistische criteria voor bevindingen. Het lijkt erop dat wetenschappers er daadwerkelijk in slagen hun vakgebied te verbeteren. ‘Vooral de jonge mensen staan hier echt voor open’, merkt Anne Scheel, een Duitse psychologe die verkaste naar de onderzoeksgroep van pionier Daniël Lakens’ Universiteit van Eindhoven, omdat daar meer ruimte was voor open wetenschap dan aan haar Duitse faculteit. Volgens Scheel is het verbeteren van haar vakgebied het enige moreel juiste. ‘We kunnen het niet langer verantwoorden om op de oude, twijfelachtige manier te blijven werken.’

Het is een spannende tijd, zegt de aan de Universiteit van Oslo werkzame Australiër Dan Quintana. Twee jaar geleden begon hij een podcast met zijn collega James Heathers: Everything Hertz. Aanvankelijk ging die over hun eigen onderzoeksgebied, fysiologie, maar al snel verschoof hun focus naar het verbeteren en transparanter maken van de wetenschap, allemaal samengevat onder de hashtag #openscience. ‘Het is leuk om te zien hoe het evolueerde’, zegt Quintana. ‘De geweldige dingen kwamen rond die tijd van de grond en sindsdien gaat het hard.’ Het luisteren naar de podcast stemt hoopvol – het lijkt een kwestie van tijd voor de problemen zijn opgelost. Maar Quintana is de eerste om dat optimisme te temperen. ‘Wij zitten echt in een open science bubble. Daarbuiten hebben veel collega’s nog geen idee.’

En er is ook weerstand. Een deel ervan is verwacht: de winnaars van het huidige systeem hebben geen baat bij verandering. Maar er is ook andere kritiek. Sommigen vrezen dat transparantie de wetenschap en wetenschappers kwetsbaar zal maken. Psycholoog Stephan Lewandowsky doet veel onderzoek naar besluitvorming, onder meer in het klimaatdebat. Hij is een voorstander van het delen van onderzoeksgegevens, maar binnen bepaalde grenzen, zoals verplichte registratie van wie de data raadpleegt. Hij vreest dat mensen met heel andere dan wetenschappelijke ambities de gegevens zullen misbruiken. Uit eigen ervaring weet hij hoe ver politieke activisten kunnen gaan – tot aan het openbaar maken van e-mails. ‘Iedereen die aan ongemakkelijke onderwerpen werkt en ongemakkelijke resultaten produceert, is zeer kwetsbaar wanneer iedereen de onbewerkte gegevens kan invoeren en misbruiken.’

Anderen stellen de vraag of er überhaupt sprake is van een crisis in de wetenschap. Een van hen, Daniele Fanelli, publiceerde eerst nog volop over wat er allemaal mis was, maar verkaste van Stanford naar Londen en veranderde van gedachten. Hij publiceert in het voorjaar van 2018 in het vooraanstaande tijdschrift Proceedings of the National Academy of Sciences (PNAS) een artikel met de titel Is Science Really Facing a Reproducibility Crisis, and Do We Need it to? ‘Als de wetenschap echt in zo’n deplorabele staat zou verkeren, zou ik het opschrijven’, zegt hij, ‘maar dat is niet het geval.’

Volgens Fanelli is er wel degelijk wat te verbeteren, maar valt het erg mee hoe onbetrouwbaar de wetenschappelijke literatuur is – dat zou in elk geval blijken uit zijn eigen analyses. Hij ziet de huidige verschuiving naar het publiceren en delen van onderzoeksmethoden en resultaten niet als een noodzakelijke ontwikkeling om de wetenschap te repareren, maar gewoon als een aanpassing aan het tijdperk van internet. Hij voegt eraan toe dat een negatief beeld van de wetenschap, voortkomend uit alle aandacht die wordt besteed aan de ‘reproduceerbaarheidscrisis’, niet nodig is en zelfs schadelijk kan zijn. In dezelfde editie van PNAS vraagt ook Kathleen Jamieson Hall, hoogleraar communicatie aan de Universiteit van Pennsylvania in de VS, ​​zich af of er niet te veel nadruk wordt gelegd op wat er allemaal mis is in de wetenschap. Ze vindt dat we minder moeten praten over fraude en ‘sloppy science’ en meer over wat de wetenschap allemaal oplevert: antwoorden op belangrijke vragen. Anders zou het vertrouwen in de wetenschap wel eens ondermijnd kunnen worden.

Tot op zekere hoogte hebben critici als Fanelli en Jamieson Hall een punt. Ook de critici zelf moeten kritisch blijven op hun eigen werk en dat van elkaar en het pessimistische verhaal over de stand van de wetenschap kan wel degelijk worden misbruikt: onlangs publiceerde de National Association of Scholars (niet te verwarren met de National Academy of Sciences), een conservatieve denktank, een rapport waarin de crisis in de psychologie moeiteloos werd gekoppeld aan de bewering dat klimaatverandering een hoax is. En de Amerikaanse Environmental Protection Agency, die onder Trump een heel andere koers is gaan varen, gebruikt zijn ‘transparantiebeleid’ om de industrie in de kaart te spelen.

Toch is het maar de vraag of een positiever beeld van de wetenschap de betrouwbaarheid van de resultaten die eruit voortkomen goed zal doen. Juist die kritische blik is onmisbaar, niet in het minst in tijden waarin burgers niet meer domweg geloven wat autoriteiten hun vertellen. De transitie naar een meer transparante en robuuste wetenschap is daarbij logisch en noodzakelijk, of er nu een crisis is of niet. Zoals de Nationaal Coördinator Open Science, Karel Luyben zegt: ‘Over tien jaar is open science gewoon wetenschap.’

Er zal nog wel het nodige moeten gebeuren, blijkt uit een sessie over open wetenschap op de Europese wetenschapsconferentie esof, begin juli in het Franse Toulouse: open wetenschap wordt nog te weinig beloond en ondersteund. Tijdens de sessie pleiten sprekers voor laagdrempelige manieren om onderzoeksgegevens online op te slaan en voor het geven van een redelijke beloning aan de onderzoekers en onderzoeksgroepen die dat doen – anders zullen wetenschappers die niet tegen zijn, maar zich wel zorgen maken over hun broodwinning niet de goede kant op bewegen. Op dit moment wordt verwacht dat onderzoekers zelf hun praktijk veranderen, terwijl dat nog nauwelijks loont. Daarom pleiten de pioniers ook voor het massaal trainen van onderzoekers in het bedrijven van open wetenschap: het vergt vaardigheden en een andere instelling dan de oude manier van werken. Verandering gaat niet vanzelf.

De psychologen van het eerste uur zoals Chris Chambers zijn zich daar maar al te bewust van, al blijven ze positief. Recent nog deelde Chambers een personeelsadvertentie, geplaatst door een Duits instituut: ‘Gezocht, senior onderzoeker, bij voorkeur met ervaring in “open science praktijken”’: open wetenschap begint nu ook te lonen voor carrièreperspectief.

En hoe zit het met zijn registered reports? Daarover is hij ook optimistisch. De gemeenschap begint er steeds meer achter te staan en in de wetenschappelijke literatuur wordt volop gediscussieerd hoe ze op een goede manier kunnen worden toegepast. Was het eerst nog een niche-concept, tegenwoordig komen er af en toe collega’s naar hem toe met de vraag: ‘Ken je het idee van registered reports?’ Hij benadrukt dat nog moet uitkristalliseren hoe registered reports het best kunnen werken en voor wat voor soort onderzoek het wel en niet geschikt is. Ondertussen bieden al meer dan honderd tijdschriften (nog altijd een fractie van het totaal) de optie voor registered reports aan en wekelijks voegen zich nieuwe namen bij het rijtje.

Maar het is te vroeg om achterover te leunen en te ontspannen, zegt Chambers: ‘Ik probeer dit zo ver mogelijk te duwen nu het in beweging is. Als je het niet doet, zal het sterven aan natuurlijk verloop. Het is als het duwen van een boot in een rivier die krachtig de andere kant op stroomt. Als je niet blijft duwen, is het weg. Je moet vaart houden. Het leuke is dat we de afgelopen jaren deze groeiende gemeenschap van open-wetenschapmensen zagen en we zijn allemaal aan het pushen. Uiteindelijk zal de rivier van richting veranderen.’