De corrumpering van collegiale toetsing

Wetenschappers of moralisten?

Voor veel onderzoekers is wetenschap een instrument geworden om een hoger doel te bereiken. Daardoor werd in de klimaatwetenschap peer review heiliger dan de bijbel. Met ernstige gevolgen.

Opeens beheerst ‘collegiale toetsing’ (of: peer review), een esoterisch systeem uit de wetenschappelijke wereld, de krantenkolommen. The Lancet, een belangrijk Brits medisch tijdschrift, erkende dat het een ernstige fout heeft gemaakt door een studie te publiceren waarin een verband werd gesuggereerd tussen het bmr-vaccin (tegen mazelen, de bof en rodehond) en een syndroom van autisme en darmontsteking (zie kader pagina 18). Begin februari schreef een groep stamcelonderzoekers een open brief waarin ze het systematische misbruik van peer review aan de kaak stelden door een kleine kongsie van wetenschappers die zij ervan beschuldigen hun positie te misbruiken om de publicatie van de bevindingen van hun concurrenten te vertragen.

En dan zijn er nog de schandalen van de uitgelekte e-mails van de Climatic Research Unit aan de Universiteit van East Anglia (uea) in Engeland en de dubieuze gegevens die werden gepubliceerd door het Intergouvernementeel Klimaatpanel (ipcc) die eveneens de aandacht vestigen op de zorgwekkende ontwikkeling van het corrumperen van collegiale toetsing.

Collegiale toetsing is een systeem dat wetenschappelijk werk onderwerpt aan nauwkeurig onderzoek door andere experts in het onderzoeksgebied. Idealiter garandeert het dat onderzoek slechts wordt goedgekeurd of gepubliceerd als het voldoet aan de standaard van wetenschappelijke grondigheid en als de bevindingen kloppen. Peer review zou moeten garanderen dat de wetenschap die bijdraagt aan publieke discussie vrij is van belangen. Als ze is bestendigd door collegiale toetsing helpt de wetenschap meningsverschillen te verhelderen en injecteert ze de laatste onderzoeksresultaten in de publieke discussie. Collegiale toetsing is afhankelijk van een gemeenschap van experts die competent en onpartijdig zijn. Ze drijft op de betrokkenheid en samenwerking van wetenschappers in een gegeven onderzoeksveld.

Maar de individuen die een 'gemeenschap van experts’ vormen hebben nogal eens de neiging gepreoccupeerd te zijn met hun eigen positie en status. Vaak zijn de collega’s die zij controleren hun concurrenten en soms zelfs hun bittere rivalen. De tegenstelling tussen deel uitmaken van een expertgemeenschap en iemands eigen belangen kan niet altijd bevredigend worden opgelost.

Helaas is peer reviewing zelfs met de beste wil van de wereld zelden een volledig belangeloos proces. Maar al te vaak is het systeem van collegiale toetsing doortrokken van gevestigde belangen. Zoals veel van mijn academische collega’s weten wordt de toetsing vaak uitgevoerd door een soort club van vrienden en bekenden, en maar al te vaak wordt de vraag wie mag publiceren en wie wordt geweigerd bepaald door wie je kent en wat je positie is in het academische debat.

Peer reviewing kan niet immuun blijven voor de vooringenomenheid, de agenda en de belangen van degenen die haar uitvoeren. Zelfs als ze de beste bedoelingen hebben kunnen academici en onderzoekers fouten over het hoofd zien en blind blijven voor een nieuwe, non-conformistische bijdrage. Zij zijn doodgewone stervelingen met hun eigen vooroordelen en ze zijn meestal niet minder kleingeestig of egocentrisch dan anderen. Desondanks is collegiale toetsing traditioneel steeds de meest effectieve manier geweest om kwaliteitscontrole uit te oefenen over de voorstellen en resultaten van de wetenschappelijke gemeenschap.

De ervaringen van de afgelopen maanden tonen dat collegiale toetsing op ten minste drie verschillende manieren kan worden ondermijnd. Ten eerste door het maken van oprechte fouten. Een voorbeeld daarvan is het falen van het controleproces van The Lancet bij het blootleggen van de fouten in het onderzoek dat het bmr-vaccin koppelde aan autisme en darmontsteking. The Lancet heeft de publicatie teruggetrokken, maar we moeten ons afvragen of aanvankelijk de zucht naar publiciteit de beslissing beïnvloedde om overhaast tot publicatie over te gaan.

Ten tweede is er de beschadigende invloed van nepotisme en professionele jaloezie. Academici en onderzoekers zijn zich maar al te bewust hoe hun prestige en carrièrekansen kunnen worden vergroot door hun werk gepubliceerd te krijgen in een belangrijk tijdschrift. Soms beschouwen wetenschappers het onderzoek dat ze controleren als het werk van een concurrent en proberen ze publicatie te voorkomen of te vertragen. Dat is waar veertien stamcelonderzoekers hun peer reviewers van beschuldigden in een brief naar verscheidene belangrijke tijdschriften op hun vakgebied. De onderzoekers claimen dat het collegiale toetsingsproces werd gecorrumpeerd door toetsers die opzettelijk de publicatie van nieuwe resultaten ophielden of zelfs verhinderden zodat zijzelf of hun medewerkers als eersten een doorbraak bekend konden maken. Zij beschuldigden de tijdschriften er bovendien van niet genoeg te doen om dit te voorkomen.

De derde en ernstigste bedreiging van de afgelopen jaren voor de integriteit van het collegiale toetsingssysteem is de groeiende invloed van advocacy science: de activistische wetenschap. Op talloze gebieden, met name in de klimaatwetenschap, staat onderzoek ten dienste van een ideaal en is het steeds meer gepolitiseerd en gemoraliseerd. Als gevolg daarvan wordt in de klimaatwetenschap peer review soms gezien als een morele bezigheid waarbij beslissingen niet alleen door wetenschap worden beïnvloed maar ook door het nastreven van een hoger doel. Het schandaal rond 'Climategate’ gaat evenzeer over misbruik van het peer review-systeem als over het waarheidsgehalte van verscheidene claims gemaakt door campagne-wetenschappers in en rond het ipcc en de uea.

De gangbare problemen rond peer review, zoals hierboven behandeld, zijn verergerd tijdens de transformatie van peer review in een vorm van autorisatie. Steeds vaker wordt collegiale toetsing aangehaald als een onbetwiste en onfeilbare autoriteit voor het oplossen van wat in wezen politieke conflicten zijn. Als gevolg daarvan worden de uitkomsten niet beschouwd als uitspraken over de kwaliteit van onderzoek of een wetenschappelijke bevinding, maar als het fundament voor verreikend beleid met invloed op vrijwel alles, van de wereldeconomie tot en met onze individuele levenstijlen.

Peer review is veranderd in een quasi-heilig instituut dat kennelijk bepaalt of een claim legitiem of gerechtvaardigd is. En vanuit dit perspectief zijn stemmen die de autoriteit van collegiale toetsing missen per definitie niet legitiem. Collegiale toetsing biedt een waarborg om gehoord te worden - wie zonder die waarborg spreekt verdient slechts onze minachting.

Je ziet ze haast voor je, de peer review-dogmatici die zwaaiend met hun waarborg eisen dat hun tegenstanders het zwijgen wordt opgelegd. Voor iemand als George Monbiot, de Britse klimaat-alarmist, is collegiale toetsing heilig. Over zijn strijd met een opponent die hem uitdaagde tot een debat over verkeerscamera’s schreef Monbiot: 'Ik accepteerde de uitdaging en vloerde hem met een simpele vraag.’ Die vraag was uiteraard: 'Heeft hij zijn analyses gepubliceerd in een collegiaal getoetst tijdschrift?’

In een wereld waarin tegenstanders al 'gevloerd’ kunnen worden omdat ze het gezag missen dat wordt verschaft door collegiale toetsing hoeft het geen verbazing te wekken dat er een aanzienlijke aandrang bestaat om het systeem van peer review te manipuleren en om te buigen in de richting van de eigen wensen en behoeften. Andrew Dessler, een klimaatwetenschapper, probeerde een tegenstander te vloeren die een opinieartikel voor The Wall Street Journal had geschreven waarin hij klimaatverandering ontkende. Dessler verwierp het artikel omdat de krant niet collegiaal getoetst was. Hij stelde dat, omdat 'de enige plek’ waar deze 'ontkenner’ zijn visies kon ontvouwen niet-collegiaal getoetste plekken waren als conferenties en kranten, hij slechts kritische minachting waard was.

Klimaatalarmisten scheppen niet alleen op over hun monopolie op collegiale toetsing, ze doen ook hun best om twijfel te zaaien over collegiaal getoetste media en instituties die het in hun hoofd halen onderzoek te publiceren dat welk aspect dan ook van hun morele kruistocht uitdaagt. Toen Cambridge University Press Bjørn Lomborgs The Sceptical Environmentalist publiceerde, kreeg zij bittere kritiek van actievoerders die hintten dat er iets moest zijn misgegaan met het toetsingssysteem van de uitgever. Stephen Schneider, een hoogleraar milieuwetenschappen, vroeg zich af 'waarom een uitgeverij met zo'n excellente reputatie op het gebied van de natuurwetenschappen (zij publiceerde zelfs de ipcc-rapporten) een polemiek [publiceerde] onder haar imprint’ en wilde weten of Cambridge University Press 'het boek volledig getoetst’ had. Blijkbaar is het wat Schneider betreft ondenkbaar dat een publicatie die vragen stelt bij de heersende consensus correct bevonden kan zijn.

De fanatieke bewaking van peer review door activistische wetenschappers wordt aangemoedigd door het ipcc. Zoals Reiner Grundmann stelde in het (collegiaal getoetste) tijdschrift Environmental Politics 'karakteriseert [het ipcc] critici van buiten als onwetenschappelijk als zij niet publiceren in collegiaal getoetste literatuur’. Met zo'n grote morele investering in de autoriteit van peer review behoeft het geen verbazing dat sommige aanhangers van de ipcc-consensus een bijna nonchalante houding aannemen jegens de schending van andere academische protocollen. De uitgelekte Climategate-e-mails tonen hoe dr. Keith Briffa, een uea-onderzoeker, een collega om hulp vroeg om een opstel dat hem niet zinde buiten een tijdschrift te houden waarvan hij de redactie voerde. Wat de Amerikaanse klimaatwetenschapper Michael Mann betreft moest een tijdschrift dat het had aangedurfd een kritisch artikel over zijn werk te publiceren onderworpen worden aan een schervengericht. 'Ik denk dat we Climate Research niet meer moeten beschouwen als een legitiem collegiaal getoetst tijdschrift’, stelde hij. Phil Jones, de centrale figuur in het Climategate-schandaal, beloofde twee onderzoeksverslagen uit het ipcc-rapport te houden. 'Ik houd ze er op een of andere manier wel uit, zelfs als we moeten herdefiniëren wat de peer review-literatuur is’, schreef hij.

Triest genoeg zijn er tegenwoordig veel te veel onderzoekers voor wie wetenschap een instrument is geworden om een hoger doel te bereiken. Zij zijn wetenschappers in naam, maar moralisten in de praktijk. De manipulatieve uitbuiting van collegiale toetsing wordt onderschreven door een cultuur waarin het activistische wetenschappers wordt toegestaan een hooghartige houding te hebben jegens feiten.

Terwijl het ipcc erop staat dat zijn critici beoordeeld moeten worden volgens de strengste standaarden van collegiale toetsing, hanteert het een mildere houding waar het zijn eigen publicaties betreft. De afgelopen weken verscheen een serie schadelijke onthullingen over conclusies uit het 2007-rapport van het ipcc die waren gebaseerd op speculatie en anekdotes. Claims over smeltend gletsjerijs waren bijeengesprokkeld uit een studentenscriptie en een artikel in een bergbeklimmersblad. Andere claims waren gebaseerd op informatie uit nieuwsbrieven, persberichten en rapporten van milieuactiegroepen.

Hier wordt met twee maten gemeten. Het ipcc valt zijn critici aan omdat ze zich verlaten op 'grijze (niet door collega’s getoetste) literatuur’, maar zelf heeft het zich in zijn rapporten gebaseerd op anekdotes en speculatie. We hoeven niet al te verbaasd te zijn over deze dubbele standaard, want in essentie houdt het ipcc zich niet slechts bezig met het presenteren van de feiten, maar juist met hun interpretatie. Het maakt voortdurend conceptuele sprongen, van feit naar mening, van bevinding naar politiek. Er is niets mis met werken in de meningenbusiness, als je er maar eerlijk over bent en jezelf niet presenteert als de pure, onpartijdige stem van de wetenschap.

Het is weinig verbazingwekkend dat degenen die betrokken zijn bij de corrumpering van collegiale toetsing met plezier anekdotes en speculatie gebruiken als moreel equivalent van harde wetenschappelijke gegevens. Het is echter belangrijk te beseffen dat deze mensen rotsvast geloven in hun zaak en absoluut niet vinden dat ze het publiek bedriegen. Ze zijn ervan overtuigd dat ze een hogere waarheid beschermen. Net als de schrijvers van het onbetrouwbare Britse regeringsrapport over Irak zijn ze ervan overtuigd dat ze volkomen gelijk hebben. En het is dit gevoel van rechtvaardigheid dat ervoor zorgt dat ze zich niet gehinderd voelen door de afwezigheid van wat feiten als ze hun argumenten promoten als harde gegevens of collegiaal getoetste wetenschap. Het was de morele overtuiging van de voormalige minister van Defensie Donald Rumsfeld die hem op een vraag over het bestaan van massavernietigingswapens in Irak deed antwoorden dat 'de afwezigheid van bewijs niet het bewijs van afwezigheid’ was. Op dezelfde manier doet de afwezigheid van bewijs de klimaatalarmisten niet terugschrikken voor het vertonen van hun kunsten.

De filosofie van de Nobele Leugen - het onthullen van een 'hogere waarheid’ met weinig aandacht voor betekenisvolle feiten - stelt mensen in staat met een schoon geweten de waarheid op te rekken. Een apologeet in de verachtelijke Cimategate-affaire wees het publiek erop 'niet de context te vergeten waarin veel van deze e-mails verstuurd zijn’. Blijkbaar is dit een 'verhaal dat teruggaat tot de tijd voor de huidige zorgen van politiek en media over klimaatverandering’. Hij herinnert ons eraan dat dit gebeurde voordat Al Gore zijn Nobelprijs kreeg en 'goed gefinancierde klimaatsceptici routineus desinformatie verspreidden’. Zo verlicht de 'context’ de morele smaad. Climategate wordt voorgesteld als een begrijpelijke en misschien zelfs volledig gerechtvaardigde reactie op de 'context’. En dat is precies de manier waarop Nobele Leugens worden uitgebroed.

Vandaag de dag gebruiken veel mensen de autoriteit van de klimaatwetenschap om zich maar niet te hoeven bezighouden met de kritiek en de zorgen van het publiek. Dat is waarom de keizer zelfs als hij wordt betrapt zonder de juiste peer reviews gewoon kan doorgaan door het jongetje ervan te beschuldigen dat hij te sceptisch is.

Frank Furedi is hoogleraar sociologie aan de University of Kent en auteur van onder meer Paranoid Parenting en The Culture of Fear.

Dit artikel verscheen eerder op Sp!ked.

Vertaling: Joeri Boom