Onderzoek

Verantwoording dataonderzoek: twintig jaar klimaatdebat in kranten

Niet alleen het klimaat op aarde verandert, het debat omtrent klimaatverandering lijkt zelf ook te veranderen. Samen met de Universiteit van Amsterdam onderzocht De Groene: hoe vertel je het grootste verhaal van deze tijd? Hoeveel aandacht is er voor klimaatverandering? Welke groepen komen het meest aan bod? Wanneer drongen de wetenschappelijke inzichten door tot het grote publiek, en welke rol hadden kranten daarin? Hoe liggen de verhoudingen tussen klimaatwetenschappers die de IPCC-rapporten onderschrijven en pseudosceptici die deze consensus betwisten?

In deze verantwoording lichten we toe hoe we te werk zijn gegaan.

Dataverzameling

Als primaire datasets kozen we ervoor om te focussen op artikelen uit de vier grote kranten: het Algemeen Dagblad, De Telegraaf, NRC Handelsblad en de Volkskrant. Hoewel het klimaatdebat op diverse plekken wordt gevoerd (zowel offline als online en in zowel tekst als beeld), vormden deze kranten een aardige graadmeter voor trends die verder reiken dan de kranten zelf. Kranten hebben de naam ‘agenderend’ te zijn, leveren via (onderzoeks)journalistiek feiten aan voor het publieke debat en faciliteren dat debat op opiniepagina’s. Om krantenartikelen op te zoeken gebruikten we Nexis Uni, een database van historische krantenartikelen en juridische documenten. Omdat de data deels maar terugreikten tot het jaar 2000, vormde dit jaar een logisch startpunt voor de dataset.

We hebben gezocht naar artikelen waarin op z’n minst één van de volgende termen voorkwam: ‘klimaatverandering’, ‘broeikaseffect’, ‘klimaatprobleem/klimaatproblemen’, ‘klimaatcrisis’ en ‘opwarming van de aarde’. We kozen ervoor om woorden als ‘klimaat’, ‘CO2’ en ‘milieuvervuiling’ uiteindelijk niet mee te nemen; dit leidde tot te veel artikelen die niet of niet expliciet genoeg over klimaatverandering op aarde gingen (bijv. ‘het klimaat op de Zuidas’).

Belangrijk is wel om te onderstrepen dat het om een sample gaat: veel artikelen zullen hebben bericht over zaken verwant aan klimaatverandering zonder één van de bovenstaande woorden te gebruiken. AD-journalist Annemieke van Dongen wees er bijvoorbeeld op dat haar krant regelmatig over windmolens schrijft of duurzaamheidstips geeft. ‘Zo proberen we dit onderwerp kleiner en concreter te maken voor onze lezers’, zegt ze. ‘Maar doordat we in die artikelen lang niet altijd woorden als “klimaatverandering” of “opwarming van de aarde” gebruiken, vallen deze artikelen buiten de scope van jullie onderzoek.’ Toch is de keuze om dit onderzoek af te bakenen tot ‘klimaatverandering’ een bewuste: wij onderzochten tenslotte hoe en wanneer de wetenschappelijke consensus rond dit fenomeen doordrong tot de media.

Daarnaast is het eenmaal benoemen van slechts één van de bovenstaande termen geen garantie dat klimaatverandering centraal stond in de artikelen. Desalniettemin was klimaatverandering daadwerkelijk het hoofdthema in het overgrote deel van de 18.138 artikelen die deze zoekopdracht opleverde.

Bron Aantal artikelen
NRC Handelsblad 6.470
de Volkskrant 6.275
De Telegraaf 2.892
Algemeen Dagblad 2.501
Totaal 18.138

Identificeren van namen

Omdat we wilden weten welke personen en groepen werden genoemd, was onze eerste taak om namen binnen de krantenteksten te identificeren. Niet lang geleden had dit monnikenwerk betekend, maar tegenwoordig zijn handige Natural Language Processing (NLP)-methoden beschikbaar om dit automatisch te doen.

Daarom gebruikten we SpaCy, een codepakket (‘library’) met verschillende NLP-methoden. Dit pakket bevat een taalmodel getraind op Nederlandse nieuwsartikelen (nlcorenews_lg) – uitermate geschikt voor ons project. Met zo’n taalmodel kun je automatisch woorden en zinnen in een tekst labelen op basis van verschillende eigenschappen: welke functie een woord in een zin heeft, wat de stam van een woord is et cetera.

Bij dit soort automatisch labelen zit altijd een foutmarge. Om deze te minimaliseren combineerden we bij het identificeren van namen twee methoden: named entity recognition en part-of-speech tagging. Named entity recognition identificeert woorden die het model herkent als een specifieke entiteit, oftewel ‘named entity’. Van alle beschikbare named entities waren we specifiek geïnteresseerd in de PERSON-entities (namen van personen) en de ORG-entities (namen van organisaties). Voor beide maakten we een ranglijst met de meest herkende entities uit de totale krantenartikelen-dataset. Hierbij telden we per artikel; als in één artikel bijvoorbeeld zes keer de naam ‘Al Gore’ als PERSON-entity werd herkend, telde dit maar één keer mee.

Hetzelfde deden we met part-of-speech tagging (POS). Deze methode werkt net iets anders: ze identificeert de grammaticale functie van een woord in een zin. We identificeerden hiermee zelfstandig voornaamwoorden die met een hoofdletter begonnen. Aangezien het om krantenartikelen ging, konden we ervan uitgaan dat namen met hoofdletters werden geschreven. Om het handmatige labelen makkelijker te maken, verwijderden we woorden uit deze lijst die al door de entity recognition waren herkend.

Met deze drie lijsten gingen we handmatig door alle woorden die in vijf of meer artikelen werden herkend en markeerden we of het inderdaad om valide namen van personen of organisaties ging. Alle correct geïdentificeerde namen converteerden we naar de volledige naam, dat wil zeggen: voor- en achternaam. Namen die te ambigu waren om aan één persoon te koppelen (bijv. ‘Jansen’) lieten we achterwege. Achternamen die duidelijk aan één persoon konden worden gekoppeld (bijv. ‘Minnesma’) converteerden we ook naar de bijbehorende voor- en achternaam. Voor namen die op verschillende manieren konden worden geschreven, voegden we ook verschillende verwoordingen toe; voor ‘Mark Rutte’ voegden we bijvoorbeeld ‘minister-president Rutte’ toe (maar niet ‘kabinet-Rutte’).

Deze uiteindelijke lijst van namen zochten we daarna nog eens op in de originele dataset, zodat ook de gevallen die niet door SpaCy waren herkend (vals-negatieven) toch bovenkwamen. Dit proces leverde 1744 namen van personen op die meer dan vijf keer werden genoemd. Onze analyse omvat dus niet alle namen die ooit zijn genoemd in de klimaatartikelen, maar wel genoeg om trends in kaart te brengen.

Labellen van namen

Vervolgens categoriseerden we de valide namen om subgroepen te identificeren.

1. Wetenschappers
Om de vertegenwoordiging van wetenschappers zichtbaar te maken, was het van belang om namen van wetenschappers te identificeren, en binnen deze groep welke disciplines ze aanhingen. Als criterium voor ‘wetenschapper’ hanteerden we een persoon die werkzaam is of was bij een wetenschappelijk instituut, zoals universiteiten of het KNMI. We verdeelden deze wetenschappers vervolgens onder in verschillende disciplines:

  • Klimatologen en meteorologen
  • Economen
  • Biologen en ecologen
  • Natuurwetenschappers
  • Sociale- en geesteswetenschappers
  • Overigen

Economen en biologen/ecologen vormen eigen categorieën omdat zij een grote groep vormen. Onder sociale- en geesteswetenschappers valt een breed spectrum van filosofen, politicologen, bestuurskundigen en juristen. Natuurwetenschappers omvatten zowel natuur- als scheikundigen, geologen, hydrologen en allerhande aardwetenschappers. Wetenschappers die niet in één van de bovenstaande categorieën pasten, zoals medici, schaarden we onder ‘overigen’. Binnen deze verschillende categorieën bevinden zich wetenschappers die zich hebben toegelegd op klimaatverandering. Maar enkel de wetenschappers die specifiek het veranderende weer en klimaat onderzoeken hebben we gecategoriseerd als ‘klimatologen en meteorologen’.

2. Pseudosceptici
Een belangrijke vraag voor dit onderzoek was: hoe groot was het aandeel van de ‘deskundigen’ die de wetenschappelijke consensus over klimaatverandering in twijfel trekken? In veel berichtgeving wordt deze groep aangeduid als ‘klimaatsceptici’. Maar in ons onderzoek gebruiken we het label ‘pseudosceptici’. Die term ontlenen we aan klimaatwetenschapper Bart Verheggen. ‘Deze mensen kun je niet met recht sceptisch noemen’, vindt hij. In zijn boek Wat iedereen zou moeten weten over klimaatverandering schrijft Verheggen: ‘Wanneer zwakke argumenten kritiekloos omarmd worden om maar te kunnen ageren tegen klimaatbeleid, is dat eerder tegengesteld aan daadwerkelijke scepsis. In die zin is “pseudosceptisch” een beter passende term.’

Wij sluiten ons aan bij dat argument. Wetenschap is in de kern al georganiseerde scepsis: er worden hypotheses geformuleerd en er wordt kritisch getoetst, om zo tot steeds robuustere conclusies te komen. Weinig wetenschappelijke conclusies zijn zo robuust als die dat de mens, door de uitstoot van broeikasgassen, hoofdverantwoordelijk is voor de huidige opwarming van de aarde. In publicaties van klimaatwetenschappers is er vrijwel niemand meer die dat betwijfelt.

Bart Verheggen wijst erop dat veel pseudosceptici vaak geen deskundigheid hebben op klimaatgebied (deze groep omvat onder meer economen, publicisten, geologen en scheikundigen). Toch gebruiken wij de aanduiding ‘pseudosceptische deskundigen’ omdat deze groep zich als zodanig opwerpt in de media. Zij beroepen zich ook op hun deskundigheid wanneer ze de klimaatwetenschappelijke consensus aanvallen. Met het label ‘deskundige’ onderscheiden we ze bovendien van pseudosceptische politici, voor wie we een aparte subcategorie hebben aangemaakt.

De namen die wij als ‘pseudosceptische deskundigen’ hebben aangemerkt vormen geen monolitisch blok. Aan het ene uiterste van het spectrum staan mensen die zelfverklaard tegenstander zijn van de ‘broeikastheorie’ en simpelweg ontkennen dat de mens verantwoordelijk is voor de klimaatopwarming. Aan het andere uiterste staan deskundigen die erkennen dat het klimaat verandert door toedoen van de mens, maar die alsnog de consensus van het IPCC betwisten door de gevolgen van klimaatontwrichting te bagatelliseren. Een twijfelgeval is bijvoorbeeld politicoloog Roger Pielke jr, die populair is onder de pseudosceptici, maar zelf ten stelligste ontkent dat hij tot het klimaatsceptische kamp zou behoren. ‘Dat is gewoon een gerespecteerde, integere wetenschapper’, zegt bijvoorbeeld Volkskrant-journalist Maarten Keulemans. En inderdaad kleurt hij in zijn wetenschappelijke publicaties aardig binnen de lijntjes, zegt Bart Verheggen. Maar in het publieke debat voedt hij nadrukkelijk pseudosceptici die de IPCC-consensus aan het wankelen willen brengen (zie bijvoorbeeld dit overzicht). Aangezien dit een onderzoek is naar de rol die mensen spelen in de media, geeft dat voor ons de doorslag om hem op te nemen als pseudoscepticus.

Telegraaf-journalist Edwin Timmer wilde niet meewerken aan dit onderzoek en liet in een schriftelijke reactie weten dat hij ons onderzoek ‘sterk bevooroordeeld vindt’. Hij e-mailde:

Want wie bepaalt wie ‘pseudoscepticus’ is? Mag Bart Verheggen (met 2713 wetenschappelijke citaties) bepalen dat de door de Telegraaf geïnterviewde klimaatonderzoeker Judith Curry (22.075 citaties) een ‘pseudoscepticus’ is? Geldt dat ook voor milieu-econoom Bjørn Lomborg (5875 citaties), extreemweer-onderzoeker Roger Pielke jr (22.534 citaties) of koraalwetenschapper Peter Ridd (3909 citaties)?

Curry, Lomborg en ook Pielke vallen bij ons inderdaad in de categorie pseudosceptici (de naam van Ridd kwam minder dan vijf keer voor in onze database). Maar het is niet Bart Verheggen die dat eigenhandig bepaalt. Naast Verheggen hebben we advies gevraagd aan meerdere experts die het klimaatdebat al lange tijd volgen. Daarnaast hebben we lijsten geraadpleegd van de internationale klimaatblogs RealClimate, DeSmog en Skeptical Science (die bijvoorbeeld een aantal posts hebben gewijd aan Rogel Pielke Jr.).

Niet alle artikelen waarin pseudosceptici voorkomen vormen een doorgeefluik voor hun denkbeelden. Soms ging het juist om factchecks waarin hun argumenten werden ontkracht. Daarnaast vonden we stukken waarin er over hen werd geschreven, zoals wijzelf in dit onderzoek ook doen. In een groot aantal artikelen, zeker op de opiniepagina’s, kregen pseudosceptici echter wel degelijk de ruimte om twijfel te zaaien. Hoe vaak hun namen opduiken op de krantenpagina’s geeft dan ook een indicatie van hun aandeel in het klimaatdebat.

3. Overige rollen
We markeerden ook alle namen van politici en bestuurders die al snel de boventoon bleken te voeren. Om te zien of binnen deze groep het aantal klimaatsceptici toenam, markeerden we ook de politici en bestuurders die actief twijfel(d)en aan de klimaatwetenschap. Hun aandeel nam, niet geheel toevallig, aanzienlijk toe na het aantreden van Donald Trump als president van de Verenigde Staten, in 2016. Trump, die klimaatverandering heeft afgedaan als een ‘hoax’, was een van de meest genoemde namen in onze dataset. Politici of bestuurders met een wetenschappelijke achtergrond hebben we enkel geclassificeerd als politici – dat geldt ook voor bestuurders van intergouvernementele organisaties en centrale bankiers.

Daarnaast markeerden we de namen van klimaatactivisten als Al Gore (tevens als politicus aangemerkt), Greta Thunberg en Marjan Minnesma. Tot slot identificeerden we uit de lijst met organisatie-entities alle ngo’s en natuurorganisaties, zoals Urgenda, het WNF en Milieudefensie.

Analyse en visualisatie

Om de algemene trends in kaart te brengen visualiseerden we allereerst het totaal aantal artikelen in onze dataset (per krant per maand) met de software RAWGraphs. We annoteerden de pieken in deze grafiek door kwalitatief de artikelen uit deze maand door te nemen en de belangrijkste onderwerpen te noteren. Ook spraken we met journalisten die rond die pieken verslag deden voor de door ons onderzochte kranten.

Gezien het feit dat de absolute aantallen van naamgroepen vooral de trend van het totaal aantal artikelen volgden, kozen we ervoor om de relatieve trends in het uiteindelijke artikel te plaatsen. Deze visualiseerden we met oude en vertrouwde lijngrafieken.

Voor de online versie voegden we tevens het relatieve aantal artikelen met pseudosceptische klimaatdeskundigen per krant toe en de trends van de meest genoemde politici per jaar. Laatstgenoemde werd gevisualiseerd met Bernhard Rieder’s RankFlow.


Aan dit dataonderzoek werkten Gizelle Mijnlieff en Ilja Scheifes mee. Zij vervulden een belangrijke rol bij het labelen en opschonen van de dataset.