Worstelende Wetenschap #9

Wetenschap is verworden tot ranking the stars

Komen wetenschappers vandaag de dag nog wel aan waarheidsvinding toe? Is de wetenschap in crisis? Om op deze vraag een antwoord te krijgen, duikt journalist Jop de Vrieze de komende drie maanden in de wereld van de wetenschap. Vandaag: over indicatorlogica en de perverse prikkels van indexen en rankings.

Toen Sarah de Rijcke besloot dat ze het gedrag van wetenschappers wilde gaan bestuderen, waarschuwde haar begeleider haar nog. ‘Weet je zeker dat je dit wil?’ had ze gezegd: ‘Er zijn niet veel banen in, en het wordt niet altijd evenzeer gewaardeerd.’

De Rijcke besloot er toch voor te gaan. Tijdens haar opleiding tot psycholoog in Groningen had het vak over wetenschapstheorie haar het meest aangesproken. Vragen als: wat is objectiviteit? En: wat drijft wetenschappers in de praktijk?

Na haar promotie-onderzoek en postdocwerk ging ze in 2011 aan de slag bij het Centrum voor Wetenschaps- en Techniekstudies (CWTS) aan de Universiteit Leiden. Daar startte ze een aantal projecten waarbij ze ging meelopen met wetenschappers op de werkvloer, in de geest van antropoloog Bruno Latour, die in 1979 het boek Laboratory Life publiceerde, een antropologische studie naar de totstandkoming van wetenschappelijk kennis waarvoor hij twee jaar in een Amerikaans biomedisch lab verbleef.

De Rijcke is geïnteresseerd in de totstandkoming van kennis, en de alledaagse drijfveren van wetenschappers. De Rijcke en haar groepsleden observeren werkprocessen en formele en informele evaluatiemomenten – bij de koffie-automaat, tijdens de werkbespreking of een officieel functioneringsgesprek.

Tijdens veel van die momenten wordt er verwezen naar autoriteit, merkte De Rijcke. ‘Onderzoekers vermelden bijvoorbeeld de impactfactor van een tijdschrift waarin ze hebben gepubliceerd onder aan hun presentatie, of zetten hun H-index op hun cv.’

De H-index of Hirsch-index, die in 2005 werd gedefinieerd door de natuurkundige Jorge Hirsch, meet de citatie-impact van een onderzoeker. De H-index is het aantal artikelen N van een auteur wat vaker aangehaald is dan N keer. Dus als een onderzoeker 7 publicaties heeft die respectievelijk 40, 27, 13, 12, 9, 6 en 5 keer zijn aangehaald, is zijn H-index 6. Als een onderzoeker 45 publicaties heeft die minstens 45 keer zijn aangehaald is zijn H-index 45.

Op dergelijke indexen zijn universiteitsbestuurders en managers verzot. Ze tellen mee in de rankings en zijn handig bruikbaar voor de selectie van getalenteerde onderzoekers voor hun labs. Maar op die indexen en rankings is ook veel kritiek. Ze zouden geen goede indicator zijn van kwaliteit en doelen op zich worden – perverse prikkels dus. Deze ‘indicatorlogica’ pakt niet altijd goed uit voor de wetenschap, vindt De Rijcke, die samen met haar collega’s onderzoek doet naar de invloed van die indicatoren.

Daarbij vallen haar niet zozeer de spectaculaire fraudegevallen door individuen op, maar juist veel meer het gewone, dagelijkse, soms haast routinematig gebruik van cijfers. De indexen, impactfactoren en rankings hangen op prikborden, prijken in congresprogramma’s en spoken door het hoofd van elke ambitieuze onderzoeker. Heel de wetenschappelijke praktijk danst eromheen. ‘We moeten het niet alleen hebben over de rotte appels, maar over hoe het hele systeem werkt.’

Een van die perverse prikkels is wat De Rijcke de ‘projectificatie’ noemt: het feit dat wetenschappers vaak maar voor vier (in het geval van een promotietraject) of twee (in het geval van een postdocbaan) jaar worden aangesteld. ‘Dat structureert bijvoorbeeld het type vraag wat iemand kan stellen.’

Uiteindelijk staan een paar dingen centraal, die allemaal samenhangen: geld, carrière, publicatiecultuur en evaluatiecultuur. Neem bijvoorbeeld de Vernieuwingsimpuls, de vlag waaronder NWO beurzen toekent om jong talent te stimuleren. ‘Het binnenhalen van zo’n beurs verwordt uiteindelijk tot een selectiemechanisme voor wie mag blijven aan de universiteit.’

De wetenschap is altijd al een competitief geweest. Maar door de opkomst van het internet is alles meetbaar en inzichtelijk geworden – de verleiding om alles te meten is simpelweg te groot geworden.

Het gebruik van indicatoren is dan ook niet te voorkomen, zegt De Rijcke. Het is meer een kwestie van de juiste dingen meten en die metingen op de juiste manier inzetten. Ze vindt het bijvoorbeeld geen goede ontwikkeling dat individuele prestaties zo centraal staan in evaluaties, terwijl kennisvergaring een collectief proces is. ‘Dat is natuurlijk ook al een heel lange traditie, die teruggaat tot Einstein en verder. Die individuele bewieroking van talent is hardnekkig.’

Liever zou je dus samenwerking honoreren, door bijvoorbeeld iemand die zijn onderzoeksgegevens of een database deelt of zijn resultaten in een Open Access-tijdschrift publiceert te belonen.

Onderzoekers die zich bezighouden met het bedenken en bestuderen van indicatoren voeren al sinds de jaren negentig discussie over de toepassing ervan. ‘Ze zeggen: zo hebben we ze niet bedoeld. Maar heel lang was hun standpunt: de toepassing is niet onze verantwoordelijkheid.’ Maar volgens De Rijcke ‘kunnen we ons niet meer veroorloven om te zeggen dat we geen partij zijn in deze discussie. De indicatoren zijn niet waardenvrij.’

Vandaar dat De Rijcke en haar collega’s van het CWTS in 2015 kwamen met tien principes om de indicatoren zo in te bedden dat ze wél kwaliteit gaan belonen en goed gedrag stimuleren: het Leiden Manifesto. In dit manifest pleiten ze er onder meer voor cijfers alleen als hulpje te gebruiken bij beleid en selectie, niet als doorslaggevende factor. Ook stellen ze voor de indicatoren aan te passen op de missie van het instituut of de onderzoeksgroep: iemand die fundamenteel, academisch onderzoek doet, heeft andere doelen dan iemand die toegepast onderzoek doet om maatschappelijke problemen op te lossen.

Een ander belangrijk punt wat de Leidenaren maken is om bij het gebruik van bijvoorbeeld de H-index onderscheid te maken per vakgebied. In vakgebieden waarin minder gepubliceerd en geciteerd wordt, is de H-index vanzelf lager. Het is oneerlijk om een onderzoeker uit dat vakgebied af te zetten tegen iemand uit een publicatierijker vakgebied.

En last but not least: onderzoekers, bestuurders en beleidsmakers moeten beseffen dat indicatoren niet alleen meten, maar ook gedrag sturen. Ze kunnen tot ongewenst gedrag leiden wat het onderzoek ondermijnt. Daarom moeten ze ook regelmatig geüpdate en vervangen worden.

Tegen De Rijcke’s verwachting in kwam er enorm veel respons op het manifest. ‘Ik dacht, zo sexy is het toch niet? Maar blijkbaar raakte het een snaar.’ Uit een inventarisatie blijkt dat het manifest al op veel instituten wereldwijd wordt toegepast en regelmatig ontvangt De Rijcke verzoeken voor hulp bij het implementeren. Maar er is ook nog veel te winnen. ‘Dan hoor je bijvoorbeeld in vertrouwen geluiden uit selectiecommissies dat bij de toekenning van de Veni-beurzen door NWO toch nog altijd het aantal publicaties wordt geteld. Of dat een universiteit overweegt om op medewerkerspagina’s automatisch gegenereerde H-indexen voor alle medewerkers te vermelden.’

Waar ze dat soort ontwikkelingen tot voor kort alleen als wetenschapper waarnam, is ze nu vanwege de focus van haar onderzoeksgroep meer betrokken bij discussies over hoe mensen worden beoordeeld in de wetenschap. En waar ze in het begin nog gewaarschuwd werd voor de houding van wetenschappers richting critici proeft ze bij collega’s nu vooral welwillendheid, als het gaat over verandering van de prikkels in de wetenschap.

Wat haar betreft hoeven de veranderingen ook niet revolutionair te zijn – ze gelooft meer in geleidelijke veranderingen van binnenuit, door betrokkenen een spiegel voor te houden en handreikingen te doen. Laatst nog publiceerden collega’s bij het CWTS een blog met tien principes voor het goed omgaan met wetenschappelijke rankings. ‘Zo van: pas even op jongens!’

Volgens De Rijcke wakkeren huidige beloningssystemen aan dat de wetenschap te veel gaat draaien om het verwerven van een zo goed mogelijke reputatie. Om ranking the stars. En veel minder om nog even goed na te denken, het eigen werk te reproduceren en de kennis te laten circuleren in de maatschappij, zodat het daar wordt toegepast. ‘Dat soort gedrag wil je ook belonen.’


Tips en reacties via devrieze@groene.nl. Hier vind je de Facebook-pagina. En discussieer mee via de Facebook-groep Worstelende Wetenschap.