Offensief tegen wetenschappelijk bedrog

Lieg niet, steel niet

Op 28 november wordt het definitieve rapport over de grootschalige fraude van sociaal-psycholoog Diederik Stapel gepresenteerd. Ondertussen doet niet alleen de sociale psychologie aan zelfreflectie, maar praten ook andere sociale wetenschappen over meer transparantie.

Het was niet eerder voorgekomen dat Henri Beunders, hoogleraar geschiedenis van maatschappij, media en cultuur aan de Erasmus Universiteit, een externe statisticus moest inhuren om zich ervan te vergewissen dat het onderzoek van een promovendus op de juiste manier was uitgevoerd. ‘Ik ben historicus, wij werken niet veel met kwantitatief onderzoek. Deze promovendus maakte een analyse op basis van vier­duizend enquêtes. Als promotor sta je garant voor de kwaliteit van het onderzoek en daarvoor had ik iemand anders nodig.’

Als de promovendus zijn onderzoek een jaar eerder had afgerond, had Beunders er waarschijnlijk niet extra naar laten kijken. Het viel nu precies in het jaar waarin er meerdere fraude­zaken aan het licht kwamen. ‘Ik heb om een cd-rom gevraagd om de gegevens ook toegankelijk te maken voor de promotiecommissie. Ook dat is een nieuwe maatregel die voortkomt uit de discussie rondom fraude en wetenschappelijke integriteit. De universiteit is een stuk preciezer geworden in regels voor het toegankelijk maken van onderzoeksgegevens.’

Sociaal-psycholoog Diederik Stapel en zijn frauduleuze praktijken zorgden ruim een jaar geleden voor grote opschudding. De Tilburgse hoogleraar, die met spraakmakende onderzoeken vaak in media werd geciteerd, sjoemelde in ruim zestig publicaties met data. Van nog tien artikelen bestaat het vermoeden dat er is gefraudeerd.

Na Stapels ontmaskering volgden in rap tempo meer ontdekkingen van wetenschappelijk bedrog. In Rotterdam moest hoogleraar consumentengedrag Dirk Smeesters opstappen vanwege vermoedens van fraude. Don Poldermans, internist en hoogleraar aan het Erasmus MC, werd in november 2011 ontslagen wegens het eigenhandig fabriceren van data. Vorige maand maakte een onderzoekscommissie bekend dat de door Poldermans gepleegde fraude omvangrijker is dan gedacht.

De fraude van Stapel leidde tot grote ophef en de instelling van een commissie (Levelt) om de omvang van de fraude te onderzoeken. In opdracht van de Koninklijke Nederlandse Akademie van Wetenschappen (knaw) verruimde de commissie-Schuyt, die zich richtte op de manier waarop onderzoeksgegevens in Nederland worden opgeslagen en gedocumenteerd, vervolgens zijn opdracht.

Het gevolg: in de sociale psychologie startte men een grootschalig zelfonderzoek. In Tilburg, waar Diederik Stapel de laatste jaren decaan was en waar junior medewerkers zijn frauduleuze praktijken aan het licht brachten, was de schok groot. ‘We konden niet anders dan het gezicht naar binnen keren en kijken waar wij als psychologen zelf voor verantwoordelijk zijn’, zegt Hans IJzerman, universitair docent en sinds september 2011 verbonden aan de Universiteit Tilburg.

Meer openheid van onderzoeksgegevens stond bij de psychologen boven aan het lijstje. Stapel verzamelde in z’n eentje gegevens en nam enquêtes af op scholen. Onder het mom van ‘ik verzamel de data wel’ trok hij erop uit en kwam terug met een dataset die de vooraf gestelde hypothese precies ondersteunde, maar – zo blijkt achteraf – volledig door hem was verzonnen.

‘Gek genoeg was het lang gangbaar in de sociale psychologie dat er slechts één persoon verantwoordelijk was voor het verzamelen van data’, zegt Ron Dotsch, universitair docent bij de afdeling sociale psychologie van de Radboud Universiteit Nijmegen. ‘Ook werden data niet gedeeld met co-auteurs die wel hun naam aan het artikel verbonden.’ Dotsch volgt de ontwikkelingen na Stapel op de voet en denkt na over het invoeren van maatregelen in Nijmegen die fraude in de toekomst moeten voorkomen. ‘Ik zie het als een volgende stap in de volwassenwording van onze wetenschap. We moeten, in navolging van de commissie-Schuyt een omgeving creëren waarin je de principes kunt betrachten: lieg niet en steel niet.’

Een eerste stap is het centraal opslaan van alle data die nu worden verzameld. Want, zo signaleert Dotsch, ‘bij alle fraudezaken zie je dat de data zijn verdwenen. In gecrashte computers, kwijtgeraakte dozen tijdens de verhuizing en noem maar op. Dat is de persoon aan te rekenen, maar ook de infrastructuur van een universiteit.’

In Nijmegen en Tilburg is het centraal opslaan van data daarom nu verplicht. ‘Ook hebben we plannen om onderzoekers vooraf hun hypotheses te laten vastleggen in een centraal systeem’, vertelt de aan de Universiteit Tilburg verbonden IJzerman. ‘In wekelijkse lab­meetings is het al langer gebruikelijk dat we elkaars onderzoek bespreken. Wel nieuw is dat een promotor mensen niet meer in z’n eentje mag begeleiden. Natuurlijk blijft het mogelijk dat iemand de data verzint voordat hij ze invoert, maar als iemand echt kwaad wil doen, dan kunnen we hem toch niet tegenhouden.’

Het was niet de affaire-Stapel die de vraag naar transparantie in de sociale psychologie prominent op de agenda zette. Het begon volgens Dotsch met een onderzoek naar precognitie van de vooraanstaande Amerikaanse psycholoog Daryl Bem. ‘Uit zijn data zou blijken dat precognitie bestaat, het fenomeen dat beslissingen van mensen kunnen worden beïnvloed door gebeurtenissen in de toekomst. Dat druiste zo in tegen de heersende visie op gedragsbeïnvloeding dat iedereen dacht: hoe komt het dat zo’n artikel door de controle van een tijdschrift heen komt, terwijl niemand het eigenlijk gelooft?’

Deze publicatie vormde het startschot voor discussies over de vals positieve resultaten en over twijfelachtige onderzoekspraktijken. Vals positieve resultaten zijn een risico dat in ieder experimenteel onderzoek bestaat, namelijk dat er onterecht een conclusie wordt getrokken. Soms vindt de onderzoeker een effect, terwijl in realiteit eigenlijk helemaal geen effect bestaat. Als die kans op een vals positief resultaat kleiner is dan vijf procent (zo hebben de psychologen afgesproken) bestaat er genoeg vertrouwen om te publiceren. Medici hanteren vaak een grens van één procent, want bij hen kan onderzoek directe gevolgen hebben voor mensenlevens.

Twijfelachtige onderzoekspraktijken verwijzen naar de vele keuzes die onderzoekers kunnen maken, maar die niet altijd verantwoord worden in de publicatie. ‘Stel, ik meet op vier verschillende manieren iemands zelfwaardering’, concretiseert Dotsch. ‘Vervolgens blijkt de ene manier wel invloed te hebben, en de andere manieren niet. Ik zou dan toch kunnen publiceren en die andere drie manieren weglaten. Dat is geen fraude, maar het is wel twijfelachtig: het niet vinden van een effect zegt eigenlijk net zo veel als het wél vinden ervan.’

Sjoemelen via twijfelachtige methodes vergroot de kans op vals positieve resultaten in onderzoek. Afhankelijk van de methode kunnen onwelgevallige data worden weggelaten uit de set die voor de analyse wordt gebruikt. Ruwe data zijn alle verzamelde data. Daar zitten vaak onbruikbare dingen tussen, zoals half ingevulde vragenlijsten, die onderzoekers er vóór het maken van de analyse uithalen. Het opschonen van data, zoals dat heet, is heel gebruikelijk. IJzerman: ‘Zolang je het maar vermeldt. Je mag in wetenschap veel, als je jezelf maar controleerbaar houdt.’

Om te voorkomen dat ‘datamassage’ zonder het transparant te maken plaatsvindt, is inzage in data van belang. ‘Psychologen worden heel goed onderwezen in de statistiek, maar het is en blijft een moeilijke methode die veel nauwkeurigheid vergt’, zegt Dotsch. ‘Het is daarom goed als mensen mee blijven kijken. Niet uit wantrouwen, maar ter controle. Laat iemand maar eens alle lidwoorden van een bladzijde tekst tellen. Dat gaat ook niet altijd goed.’

De vele discussies binnen de psychologie leiden langzaam tot maatregelen. Die kunnen fraude misschien niet voorkomen, maar nieuwe richtlijnen maken het onderzoekers wel een stuk moeilijker om de grens tussen integer en twijfelachtig onderzoek te overtreden, of zelfs de grens tussen twijfelachtig en frauduleus.

In andere sociale wetenschappen lijken deze discussies eerder uitzondering dan regel. ‘We praten er wel over’, bekent Linda Duits, als onderzoeker communicatiewetenschap verbonden aan de Universiteit Utrecht. ‘Maar dat zijn borrelpraatdiscussies die vooral over anderen gaan. Niet over onszelf.’

In discussies wordt de fraude van Stapel vooral gerelateerd aan de andere onderzoekstraditie die psychologen hebben. Die gesprekken waren volgens Duits daarom een prettige manier om de ‘oorlog’ te beslechten tussen maatschappijwetenschappers die veel werken met kwalitatieve data (diepte-­interviews, gegevens om een thema inzichtelijk te maken) en gedragswetenschappers die juist veel onderzoek doen op basis van kwantitatieve data (grote hoeveelheden informatie die gecodeerd worden om er een statistische analyse op uit te voeren). ‘We konden heerlijk onze handen in onschuld wassen. Reflexieve academische uitingen over dit thema zie ik in mijn onderzoeksgroep niet terug.’

In de politicologie en de sociologie bestaan heel andere onderzoekstradities dan in de psychologie. Literatuuronderzoek komt veel voor evenals kwalitatief onderzoek, waarbij de interpretatie van de wetenschapper zelf een prominente rol speelt. Daar bestaan andere normen op het gebied van validiteit en herhaalbaarheid. Duits: ‘Mijn promotie, een etnografisch onderzoek naar meisjes in de multiculturele samenleving, had er heel anders uitgezien als het was uitgevoerd door een man.’

In grootschalig vergelijkend (op kwantitatieve methoden gestoeld) onderzoek in die vakgebieden worden sinds jaar en dag checks and balances ingebouwd in de methode zelf. Jean Tillie, afdelingsvoorzitter van de afdeling politicologie aan de Universiteit van Amsterdam en hoogleraar electorale politiek, signaleert daarom dat de directe lessen van de affaire-­Stapel in de politicologie minimaal zijn. ‘Het delen van data doen wij al jaren. Bovendien worden de data voor het vierjaarlijkse nationale kiezers­onderzoek waar ik penvoerder van ben al jaren door een externe partij verzameld. Knoeien kunnen wij daardoor niet, dat is altijd terug te vinden in het origineel.’ Dat zorgt er volgens Tillie voor dat zijn artikelen altijd controleerbaar zijn. ‘Ik durf zelfs te beweren dat mijn artikelen exact kunnen worden nagemaakt op basis van de data die ik ervoor heb gebruikt.’

Ook de economen, de sociaal-geografen en de sociologen werken veel met publieke data, verzameld door het Centraal Planbureau, het Sociaal en Cultureel Planbureau of andere, commerciële onderzoeksinstituten. Daarbij is het gebruikelijk steekproefsgewijs na te gaan hoe de data zijn verzameld. UvA-socioloog Jan Willem Duyvendak is voorzitter van de Nederlandse Sociologische Vereniging: ‘Het is in mijn vakgebied niet gebruikelijk solistisch te werken. Bovendien hebben we een beroepscode. Die dateert van 2002, maar die hebben we naar aanleiding van de vele fraudezaken weer eens afgestoft. Daarin staat onder meer dat data, ook van commercieel gefinancierde onderzoeken, altijd openbaar moeten zijn. Het is mijn doel om hier ook in het onderwijs meer aandacht aan te besteden.’

Plagiaat komt in de sociale wetenschappen vaker voor. Met digitale middelen is de opsporing ervan makkelijker geworden, maar uitroeien is onmogelijk. Chunglin Kwa, universitair docent wetenschaps- en technologiestudies aan de UvA: ‘Ook iemand die plagieert in een onderzoek dat vervolgens nooit verder komt dan een rapportje, een stuk grijze literatuur, zal zijn leven lang bibberen dat het rapportje ooit een keer wordt ingescand. Ik heb nog nooit gehoord dat collega’s zich bezondigen aan dit soort plagiaat. Wat wel eens gebeurt, dat zijn dan stille drama’s, is dat een hoogleraar aan de haal gaat met het werk van zijn promovendus of post-doc.’

‘Sociale wetenschap is de voortzetting van de romankunst met andere middelen’, schreef Arnon Grunberg vorig jaar op de voorpagina van de Volkskrant. Geen wetenschapper die het beaamt, maar dat sociale wetenschappers er een andere onderzoekstraditie op nahouden dan psychologen vrijwaart hen niet van fraudeurs. Recent kwam aan het licht dat antropoloog Mart Bax, jarenlang verbonden aan de Vrije Universiteit, een compleet dorp en een klooster verzon en daar grote studies over publiceerde. Ook schreef hij over een ‘kleine oorlog’ in Herzegovina, die nooit zou hebben plaatsgevonden.

In het boek Ontspoorde wetenschap maakte wetenschapsjournalist Frank van Kolfschooten een reconstructie van de geruchtenstroom die hierover jaren de ronde deed, maar er nooit toe leidde dat een commissie zich boog over de onderzoeken van Bax. Jarenlang wuifde Bax de kritiek weg door zich te beroepen op de ‘normale praktijken’ in de antropologie om namen en plaatsen te fingeren ter bescherming van zijn bronnen. In zijn boek beschrijft Van Kolfschooten nog veel meer zaken van fraude en plagiaat. Hij situeert die zaken in de huidige context in Nederland waarin wetenschappers een hoge druk om te publiceren ervaren en de tijd die rest voor onderwijs wordt beperkt. Volgens Van Kolfschooten is het aantal promovendi van hoogleraren heel snel gestegen: in tien jaar met veertig procent. Het aantal publicaties van wetenschappers steeg met 27 procent, terwijl de groei van het personeel maar met 22 procent toenam.

Werkt werkdruk fraude in de hand? Het regent klachten van wetenschappers die zeggen dat de werkdruk hoog is. Naast het doen van onderzoek wordt van ze verwacht dat ze onderwijs geven, subsidies binnenhalen en studenten of promovendi begeleiden. Daar bovenop moeten ze publiceren in de meest gerenommeerde internationale tijdschriften, het liefst meer­malen per jaar. In die maalstroom van taken is het credo vaak: publish or perish. Ook Diederik Stapel sprak erover in een van de weinige verklaringen die hij gaf. ‘In de moderne wetenschap ligt het ambitieniveau hoog en is de competitie om schaarse middelen enorm. De afgelopen jaren is die druk mij te veel geworden. Ik heb de druk te scoren, te publiceren, de druk om steeds beter te moeten zijn, niet het hoofd geboden.’

Maar is die druk werkelijk zo hoog? Politicoloog Jean Tillie laat weten dat politicologen één artikel per jaar dienen te publiceren, sociologen idem dito. Kees Schuyt, voorzitter van de knaw-adviescommissie-Onderzoeksgegevens spreekt daarom liever van ‘publicatiedrift’: ‘Als je kijkt naar de feitelijke eisen, dan valt het reuze mee. Er is mij niet bekend dat een wetenschapper met een vaste aanstelling ooit is ontslagen vanwege te weinig publicaties. Die druk komt uit de onderzoeksgroepen zelf.’ Vooral jonge medewerkers zonder vaste baan voelen prestatiedwang. ‘Zij zijn afhankelijk van hun boven­geschikte om die zo begeerde vaste aanstelling te krijgen. De hoeveelheid publicaties in internationaal gewaardeerde tijdschriften is voor hen een belangrijker criterium geworden dan de inhoud.’ Maar een causale relatie, zegt Schuyt, tussen de druk om te publiceren en fraude ontbreekt tot op heden.

Schuyt, tevens emeritus hoogleraar sociologie, kijkt ook naar de wereld buiten de wetenschap om een verklaring te vinden. Volgens hem is de druk om te publiceren – in de eerste twintig jaar van zijn carrière (tussen eind jaren zestig en eind jaren tachtig) nauwelijks aanwezig – pas de laatste twintig jaar toegenomen. Het loopt ongeveer gelijk met de toenemende nadruk in de samenleving op winnen en succes, de opperste waarden van het neoliberale individualisme. ‘We leven steeds meer in een prestatiemaatschappij waarin je alleen meetelt als je de beste bent. Dat begint al op de basisschool.’

Excellentie is een toverwoord geworden dat dient als maatstaf voor alles, valt UvA-socioloog Jan Willem Duyvendak (die bij Schuyt promoveerde) hem bij. ‘Iedereen vindt zichzelf tegenwoordig excellent, hou toch op. Op de universiteit moet iedereen de beste zijn; we vergeten wel eens dat de meeste studenten gemiddeld zijn.’ Schuyt: ‘Wetenschap is verworden tot een zichzelf verheffende groep, door iemand laatst tekenend vergeleken met zelfrijzend bakmeel. Het is onzin om te denken dat iedereen excellent is. Niet iedereen publiceert uitsluitend in toptijdschriften. Een eredivisie voetbal met enkel topclubs is logisch onmogelijk.’

Het zou, denkt Schuyt, wel een verklaring kunnen zijn voor frauduleus handelen: ‘Mensen willen zichzelf zo overtuigend neerzetten dat ze alles in het werk stellen om ‘‘foute observaties’’ zo veel mogelijk uit hun data te filteren. Maar ‘‘foute observaties’’ bestaan helemaal niet. Ze zijn onderdeel van het wetenschappelijke proces en daar komt men op deze manier steeds verder van af te staan.’ Schuyt pleit daarom voor meer aandacht voor de ‘brede humuslaag’, de vruchtbare laag, waaruit enkele toppers groeien. Deze brede groep wetenschappers is nodig voor het adequate en gedegen werk waar de wetenschap ook behoefte aan heeft. Dat zijn de wetenschappers die misschien niet in de Champions League van de wetenschap spelen, maar die de competitie wel spannend houden. ‘Dat in combinatie met een hogere waardering van onderwijs. Nu is de druk om te publiceren vaak een excuus om weinig aandacht aan onderwijs te besteden. In de Angelsaksische cultuur wordt goed onderwijs veel beter gewaardeerd.’

Of de druk om te publiceren een zelfbedacht construct is of daadwerkelijk opgelegd: het blijft een reëel probleem. Het wetenschappelijk bedrijf is complexer en competitiever geworden. Geld is er steeds minder en onderzoekers zijn zelf verantwoordelijk voor het binnenhalen van eigen of extra geld.

Als iemand een beurs aanvraagt van bijvoorbeeld de ­Nederlandse Organisatie voor Wetenschappelijk Onderzoek (nwo), kijkt een ­selectiecommissie wel degelijk naar een ­publicatielijst. ‘De concurrentie is moordend’, schetst Linda Duits. ‘In een eerste schifting kijken ze naar je cv en publicatielijst. Daaruit is af te lezen of je voldoende hebt gepubliceerd in tijdschriften met een hoge impactfactor. Het zegt niet hoe goed of slecht die publicatie feitelijk is.’

Geld is sowieso een veel belangrijkere rol gaan spelen in de wetenschap. Het aantal met derde geldstroom (private of publieke partijen) gefinancierde onderzoeken is tussen 1999 en 2009 met 120 procent gegroeid, zo becijferde het Rathenau Instituut begin dit jaar. In de eerste geldstroom (geld direct afkomstig van het rijk) en in de tweede geldstroom (middelen die universiteiten ontvangen van nwo en knaw) is steeds minder beschikbaar.

Wat blijft is de riante vergoeding die een promotie oplevert. Een universiteit krijgt negentigduizend euro voor ieder proefschrift dat met succes wordt afgerond. Er ontstaat daardoor vaak ruzie tussen promotoren van verschillende universiteiten die samen een promovendus begeleiden. Naar wie gaat het geld? In tijden van bezuiniging zit iedere onderzoeksgroep te wachten op een beetje extra.

Het is een perverse prikkel die slecht gedrag in de hand kan werken. Niet de kwaliteit, maar de kwantiteit wordt financieel beloond. Daaraan verwant viel het Kees Schuyt ook op dat promotiecommissies het werk dat zij beoordelen vaak niet goed lezen. ‘Bij het Landelijk Orgaan Wetenschappelijke Integriteit (een onafhankelijk advies­orgaan dat klachten over wetenschappelijke integriteit behandelt – fb) kregen we ooit een proefschrift dat grotendeels berustte op plagiaat. Dat heeft een commissie gepasseerd die de literatuur van dat vakgebied moet kennen! In de keuken van veel wetenschap kan behoorlijk consciëntieuzer en zorgvuldiger worden gewerkt.’

Die les zou voor alle wetenschappers moeten gelden, meent Schuyt: ‘Als ik iets heb geleerd van de commissie-Levelt die de fraude van Stapel onderzocht is het wel dat mensen zo druk met zichzelf en hun eigen publicaties zijn dat ze niet meer goed lezen, niet meer kritisch zijn op andermans werk. De kritische cultuur in Nederland is bijna verloren gegaan.’