Economie

Weet je het zeker?

Het wetenschapsnieuws van de voorbije maand laat zich samenvatten met een vraag: wanneer weten we het zeker? De depressiepil paroxetine werkt niet, meldde The British Medical Journal twee weken geleden.

Op basis van commercieel gesponsord, fout onderzoek hebben duizenden pubers het spul jarenlang geslikt. Het onderzoek is nog eens overgedaan. Wat bleek? Alleen de fabrikanten werden er beter van.

Ironisch genoeg protesteerde later die week de Vereniging tegen de Kwakzalverij tegen fiscale gelijkstelling van reguliere en alternatieve genezers. Alleen ‘bewezen’ behandelingen die aan alle wetenschappelijke eisen voldoen mogen btw-vrijstelling genieten, meent de vereniging. Maar daar viel paroxetine ook onder.

Kort hiervoor werd bekend dat tweederde van de bevindingen in psychologie-onderzoek niet gerepliceerd kan worden. Van andere wetenschappen weten we het niet. Maar we kunnen aannemen dat politicologie, sociologie, economie en – wie weet – medicijnen niet beter scoren. Hanteren we de normen van de Vereniging tegen de Kwakzalverij, dan kunnen we die wetenschappen dus afschrijven.

We kunnen ons in plaats daarvan ook afvragen wat dat eigenlijk betekent, ‘repliceerbaar’. In de psychologie houdt het in dat collega-onderzoekers dezelfde vragenlijsten en spelletjes nog eens op een andere groep mensen loslaten. Die reageerden in dit geval anders dan hun voorgangers, en dat is het nieuws. In het normale leven – buiten de wetenschap dus – zou dit geen opzien baren. Dus hoe erg is dit? Geschiedenis is sowieso niet repliceerbaar, maar is geschiedenis daarom geen wetenschap? vroeg een historicus die ik erover sprak.

Dat is één antwoord: repliceerbaarheid is niet het ultieme criterium vanwege de eigen aard van de mens- en geesteswetenschappen.

Het is niet de weten­schap die spreekt. Wij zijn het zelf

Karl Marx vond dat de geschiedenis zich wél herhaalt – eerst als komedie en dan als klucht. En hierin zit nog een antwoord op de vraag waarom repliceerbaarheid zo problematisch is. Of iets tragisch of komisch is, zit ’m niet in de gebeurtenissen, of in de experimenten en spelletjes. Dat zit in de duiding. Beauty is in the eye of the beholder, en betekenis ook. We bedrijven wetenschap op zoek naar die betekenis. Op zoek naar goede verhalen die we kunnen ondersteunen met theorieën, data en experimenten, en die ons vertellen hoe de mens en de wereld om ons heen in elkaar zitten.

Maar we werken daarbij met een handicap die wereldbeeld heet. Nieuwe weetjes zijn fijn, maar ze moeten ons wel liggen. Niets is zo moeilijk als je wereldbeeld aanpassen. Dus negeren we sommige inzichten, en accepteren we voortdurend en gretig non-inzichten die bevestigen wat we toch al dachten.

Diederik Stapel meldde destijds niet dat je van quinoa hufterig wordt. Dat had niemand geloofd! Marqt-shoppers zijn geen hufters . Maar vleeseters, ja, dat is een ander slag. Zo appelleerde Stapels vondst aan onze obsessie met gezond eten, en onze sluimerende wroeging over de bio-industrie. Eigenlijk vonden we onszelf toch al een beetje hufterig omdat we nog steeds vlees eten (af en toe, natuurlijk). En juist daarom hadden we een Aha-erlebnis bij Stapels nieuws, en slikten het voor zoete koek. Redacteuren van wetenschappelijke tijdschriften zijn wat dat betreft ook maar mensen. Het werd dus gepubliceerd, en was een ‘wetenschappelijk feit’. De replicatie-eis hielp hier niet, omdat ze niet toegepast werd. Het nieuwtje was te hip. Het paste te goed in ons straatje.

De eis helpt evenmin tegen non-publicatie van sommige spijkerharde waarheden, die ons juist niet passen. Op mijn vakgebied was er tot voor kort consensus dat een grote financiële sector goed is voor economische groei. Nu is dit ‘inzicht’ onjuist gebleken, op basis van data die al voor de crisis beschikbaar waren. Ik ken onderzoekers die dit ook toen al zagen, maar dat niet gepubliceerd kregen.

Zelfs waar repliceerbaarheid een goed instrument is, zullen we het ook in de toekomst vaak laten liggen. En sommige echte feiten zullen we liever niet willen zien. Niet omdat repliceerbaarheid wel of geen goed idee is, maar omdat vooronderstellingen niet ter discussie gesteld worden. Een focus op publicaties in tijdschriften met hoge impactfactors vraagt om eensgezindheid en goed gevoel voor wat ‘scoort’. Dan heb je niets aan kritische vragen over je hippe onderzoeksprogramma of je nieuwste weetje.

Wetenschap is een gesprek. We proberen nu de kwaliteit van die conversatie aan replicatieregels uit te besteden. Maar ‘de wetenschap heeft gesproken’ is misleidend: het is niet de wetenschap die spreekt. Wij zijn het zelf. Meer dan een Vereniging tegen de Kwakzalverij hebben we een Vereniging voor Pluriforme Wetenschap nodig, die verontrustende gesprekken bevordert. Zulke gesprekken hebben hoge impactfactors, zij het niet in de tijdschriften.