Worstelende Wetenschap #8

Vertrouwen heeft geen plek in de wetenschap

Uitgerekend dankzij Diederik Stapel raakte Chris Hartgerink geïnteresseerd in de wetenschap. In zijn promotieonderzoek zoekt hij naar statistische methoden om gefabriceerde of vervalste data op te sporen in wetenschappelijke publicaties.

De eerste desillusie van Chris Hartgerink kwam met de ontmaskering van Diederik Stapel.

Uitgerekend dankzij hoogleraar sociale psychologie Stapel raakte Hartgerink geïnteresseerd in de wetenschap. Hij volgde een bachelor psychologie, Stapel gaf college en Hartgerink werd gegrepen door diens aanstekelijke enthousiasme. Stapels charisma zat in de kleinste dingen, herinnert Hartgerink zich: ‘Hij zette in een zaal met vierhonderd studenten muziek aan en vroeg: “Wie weet wie dit is?” Ik zat te denken en te denken en ineens riep ik het: “Sufjan Stevens!” “Correct!” zei hij. Dat had niks te maken met het onderwerp, maar het was een momentje en sindsdien kenden we elkaar.’

Niet veel later ging Hartgerink samen met een studievriend bij Stapel aan de slag als student-assistent. Ze bereidden labexperimenten voor, door plaatjes te selecteren, procedures in elkaar te zetten en literatuur te zoeken.

Tot hij op die ene dag zat te studeren in de bieb en een berichtje kreeg van zijn studievriend. Heb je het al gehoord van Diederik? ‘Ik vroeg of hij een hartaanval had gehad. Hij was altijd zo hard aan het werk. Toen ik las dat hij fraude had gepleegd, werd alles wat ik dacht te weten over de wetenschap aan het wankelen gebracht. Dan zit je wel even van: waar doe je het voor, als dit je rolmodel was?’

Twintig jaar was hij, en ineens wist hij niet meer wat hij moest geloven van wat hij in de vakliteratuur las. Terwijl hij net had besloten toch een onderzoeksmaster te gaan doen, kwam er bovendien een discussie op gang over de herhaalbaarheid van allerlei andere psychologische studies. ‘Ik dacht: de psychologische kennis die ik nu opdoe, is straks waarschijnlijk niet meer houdbaar. Ik richt me volledig op de statistiek.’

Al snel kwam hij via een docent, Marcel van Assen, in contact met ‘metaproblemen’ in de wetenschap: systematische fouten in het doen en rapporteren van onderzoek. P-hacking bijvoorbeeld: het net zo lang speuren in je onderzoeksresultaten tot je een significant resultaat hebt gevonden dat je kunt publiceren, waardoor toevalsvindingen tot waarheden worden verheven. En publicatiebias: het fenomeen dat studies met kleine effecten of negatieve resultaten niet worden gepubliceerd waardoor er een vertekend beeld ontstaat.

‘Dat was mijn tweede desillusie. We hadden dus de echte fraudeurs, zoals Stapel, maar dan heb je dus ook nog dat het gros, met de beste bedoelingen, allerlei vicieuze problemen veroorzaakt. Op een gegeven moment dacht ik: komen we hier nog uit? In eerste instantie dacht ik van niet. Soms denk ik dat nog steeds, eerlijk gezegd.’

Maar vanuit zijn pessimisme ontstond een nieuwe gedrevenheid. De vraag wat goed onderzoek was bleef door zijn hoofd spoken. Hij bezocht seminars en kwam in contact met anderen die zich bezighielden met dezelfde vragen. Dit werd zijn nieuwe missie: kijken hoe ze het systeem beter konden gaan maken.

In de onderzoeksgroep van Van Assen startte hij zijn promotie-onderzoek. Onderwerp: het vinden van statistische methoden om gefabriceerde of vervalste data in wetenschappelijke publicaties op te sporen – de soort fraude die zijn oude voorbeeld Stapel pleegde.
Dat onderzoek heeft hij nu bijna afgerond, en inderdaad, zulke methoden zijn er, maar inmiddels is hij ervan overtuigd geraakt dat bij het opsporen van keiharde fraude de oplossing niet ligt. De systematische problemen zijn veel groter en relevanter.

Hoe worden die dan aangepakt, volgens Hartgerink? Door radicale transparantie. De afgelopen jaren kwam er een beweging van activistische wetenschappers op gang, onder meer op Twitter opererend onder de hashtag #OPENSCIENCE, waar Hartgerink (@chartgerink) actief deel van uitmaakt.

Onder invloed van deze beweging verlangen steeds meer wetenschappelijke tijdschriften en instituten dat wetenschappers wanneer ze hun resultaten publiceren daarnaast hun ruwe data, materialen, gebruikte code en procedures online zetten, zodat anderen de mogelijkheid hebben die te controleren en er gebruik van te maken voor ander, verkennend onderzoek. ‘Toen ik daarover hoorde dacht ik: waarom heeft niemand mij dit ooit eerder verteld? Het is zo logisch, wetenschap moet verifieerbaar zijn. Ik begrijp dat soms dingen niet gedeeld kunnen worden, maar daar moet dan een goede reden voor zijn.’

Hartgerink verwacht dat openheid in de komende tien jaar steeds meer een evaluatiecriterium zal worden en daardoor ingebed zal worden in het wetenschapsbedrijf. ‘Hoe meer informatie er wordt gegeven, hoe groter de mogelijkheid is om te verifiëren en het vertrouwen te krijgen dat we de goede kant op gaan. Voor mij persoonlijk heeft vertrouwen trouwens geen plek in de wetenschap. Het gaat allemaal om verifieerbaarheid.’

Hartgerink gaat net als andere pioniers nog een stap verder dan het na afloop publiceren van de ruwe onderzoeksdata. Mensen kunnen mijn onderzoeksfiles gewoon gaandeweg zien, en mijn slordige schrijven. En ja, zoals bij veel dingen is de eerste keer het moeilijkst, maar daarna dacht ik: waarom heb ik dit niet eerder gedaan?’

Zijn ‘eerste keer’ was in 2012, toen hij werkte aan een meta-analyse, een systematische overzichtsstudie. Daarbij moest hij beslissingen nemen die bepalend zouden zijn voor de selectie en analyse van de studies. Hij moest nadenken over hoe hij die ging bijhouden en verantwoorden. Dat documenteren lijkt extra werk, zegt Hartgerink, maar dat is het in feite niet: ‘Documentatie is een belangrijk deel van ons vak, maar omdat niemand het controleerde deed niemand dat goed. Afschrijvingen niet op de boeken zetten zorgt er niet voor dat er geen afschrijving plaatsvindt – niet documenteren zorgt er niet voor dat documentatie niet nodig is.’

Niet alle wetenschappers zien de ontwikkeling richting #OPENSCIENCE zitten. Ze vragen zich af waarom ze er tijd aan moeten besteden of zijn bang dat ze ‘gescoopt’ worden – dat iemand anders er met hun ideeën vandoor gaat of hen net voor is met het publiceren van dezelfde resultaten. Hartgerink heeft er weinig begrip voor: ‘Uiteindelijk ga je door meer te delen veel sneller vooruit.’

Er is nog een andere reden waarom veel onderzoekers geen inzage willen geven in hun werkwijze: dan ziet het er heel anders uit dan ze doen voorkomen. ‘In feite is het idee achter het publiceren van artikelen: je werkt eerst op basis van je hypothese aan artikel één. Dat levert antwoorden en nieuwe vragen op. Je stelt een nieuwe hypothese op, als startpunt voor paper twee, daarna drie, enzovoort. Maar zo werkt het niet meer. Een paper gaat de hele tijd op en neer en dan onbewust, dan wel bewust, worden in de revisies de hypotheses gewijzigd, omdat het dan zo mooi logisch klinkt. Wij mensen houden onszelf zo makkelijk voor de gek, dat moeten we voor zijn.’

Daarom pleit Hartgerink voor het vooraf vastleggen en publiceren van onderzoeksopzet en hypothese: daardoor is de kans veel kleiner dat wetenschappers hun vragen toeschrijven naar hun resultaten.

Hartgerink mag deel uitmaken van de frisse, jonge generatie, als hij straks gepromoveerd is wil hij niet verder binnen de academie. Dat systeem is hem te beperkend. Liefst begint hij voor zichzelf en gaat hij op die manier door met wetenschap: ‘Ik heb verschrikkelijk veel ideeën, onder meer over hoe je anders je wetenschappelijke resultaten zou kunnen communiceren.
Zoals het nu gaat, schrijft iedereen een artikel, met om te beginnen een introductie, een sectie waarin ze materiaal en methoden beschrijven, dan de resultaten, conclusie en discussie. Waarom splitsen we die niet op, zodat je in plaats van allerlei losse artikelen een netwerk krijgt van gerelateerde informatie? Als je iets nieuws doet, voeg je dan alleen een beschrijving van jouw verzamelde gegevens toe. Of je herhaalt een studie en voegt alleen de resultaten toe. Zo waarborg je meteen de chronologie. Dit is technisch gewoon prima te doen.’

Waarom dat dan nog niet zo is? ‘Over veel van de problemen wordt al tientallen jaren gediscussieerd. Er is behoefte aan radicale verandering, maar die kun je niet van de gevestigde partijen verwachten, zo blijkt.’

Hoe hij voorkomt dat zijn cynisme de overhand neemt? Hartgerink richt zijn blik op: ‘De wetenschap werkt nog steeds verdomde goed, heeft zoveel gebracht. De vaccins die we hebben, hoe oud we worden, de technologie die we hebben ontwikkeld. Dus onder de streep denk ik altijd: oké, het werkt wel, alleen het werkt niet zo goed als het zou kunnen. Het is zo van: je koopt een Ferrari en je laat hem vastzetten op honderd kilometer per uur. Ja hij gaat hard, maar niet zo hard als-ie zou kunnen. Dat is zonde.’


Tips en reacties via devrieze@groene.nl. Hier vind je de Facebook-pagina. En discussieer mee via de Facebook-groep Worstelende Wetenschap.