Media

Kwaliteit meten

Wie schenkt de beste koffie, welke snackbar serveert de lekkerste kroketten en welke kraam heeft de smakelijkste haringen? Brandende vragen, waarmee vooral het Algemeen Dagblad een reputatie heeft weten op te bouwen - en die men wat lacherig af kan doen, totdat het niet langer om oliebollen of snert, maar om ziekenhuizen, verzorgingstehuizen, scholen en universiteiten gaat, en niet alleen het Algemeen Dagblad, maar ook de Volkskrant, Elsevier, de Consumentenbond en zelfs de overheid zich met dergelijke vormen van ranking gaan bezighouden. Dan wordt zo'n test serious business, niet in de laatste plaats voor de instellingen die op de korrel worden genomen. Zij weten dat media dol zijn op lijstjes en dat publicatie enorme effecten kan hebben.
Wie zich verdiept in de methoden waarmee zulk onderzoek wordt uitgevoerd, zal ontdekken dat daar vaak veel, heel veel op af te dingen is. Dat geldt niet zozeer voor het testen van wasmachines, fietsen of tandenborstels op criteria als vermogen, duurzaamheid en prijs - dat levert in het algemeen heldere en eenduidige conclusies op - en zelfs niet voor het onderzoek van koffie en haringen, dat immers onvermijdelijk een voor ieder na te voelen subjectief karakter draagt. Problematisch is vooral het onderzoek naar complexe organisaties als onderwijsinstellingen, ziekenhuizen of verzekeringsmaatschappijen.
Want wat wordt er eigenlijk gemeten, en door wie? Wat zegt een gemiddeld cijfer voor een ziekenhuis, waarin uiteenlopende indicatoren zijn samengebracht, over de kwaliteit van afzonderlijke afdelingen, laat staan een individuele specialist? Hoe hard is zo'n ranking van universitaire opleidingen wanneer onderzoekers zich primair baseren op oordelen van vakgenoten en meningen van studenten, met ongelijke indicatoren als de beschikbaarheid van studieplekken in de bibliotheek en de reputatie van toonaangevende hoogleraren - terwijl de kwaliteit in reële onderwijssituaties buiten beeld blijft? En wat zeggen slagingspercentages van een middelbare school eigenlijk over het pedagogisch klimaat? Kortom: wat is nu precies het nut van zo'n lijst wanneer je een operatie nodig hebt of een school zoekt voor je dochter?
De conclusie lijkt duidelijk: hoe complexer het onderzoeksgebied en de aard van de instelling, des te minder is de waarde van algemene kwaliteitslijsten. Hoe is het anders mogelijk dat een ziekenhuis binnen één jaar vijftig of zestig plaatsen naar beneden duikelt, of andersom, zoals het Sneker Anthonius Ziekenhuis in 2006, opklimt van plaats 94 naar 4 - alsof je een dergelijke complexe organisatie in zo korte tijd naar je hand kunt zetten. En wie zich bij een keuze voor hoger onderwijs laat leiden door de gangbare kwaliteitslijsten komt allicht terecht bij een kleine, beschermde hbo-opleiding in een kleurloze provinciestad, in plaats van een misschien wat rommelige topopleiding met kritische studenten.
Niet alleen artsen, wetenschappers en andere ‘slachtoffers’ van de publicitaire meetlat, ook journalisten erkennen de beperkingen en tekortkomingen van dergelijke vormen van ranking, zo bleek onlangs bij een bijeenkomst van de vereniging van onderzoeksjournalisten VVOJ. En daarbij ging het nog niet eens over de mogelijke negatieve gevolgen. Niet alleen scheppen zulke lijsten overdreven of verkeerde verwachtingen, ze kunnen ook leiden tot verkeerde prikkels. Directies, bevreesd voor de naam van hun instellingen, zullen allicht inzetten op window dressing en andere cosmetische operaties.
Maar het zou nog erger kunnen. Zo zou het de moeite waard zijn te onderzoeken of de massale overstap van jongens van het vwo naar de havo na de eerste klas niet mede het gevolg is van de wens van scholen het percentage zittenblijvers en gezakten laag te houden. Terwijl doubleren vroeger de gewoonste zaak van de wereld was, worden jongeren nu aangemoedigd de weg van de minste weerstand te kiezen. Kwaliteitslijsten in Trouw en andere media, gereproduceerd in het voorlichtingsmateriaal van de scholen zelf, lijken daarbij als een welhaast perverse prikkel te fungeren. Als dat inderdaad het geval is, moeten we vaststellen dat de onderzoekers in hun poging de transparantie te bevorderen - een belangrijk en waardevol streven, in alle maatschappelijke sectoren - hun doel voorbij zijn geschoten.
De manier waarop de verschillende kwaliteitslijstjes worden opgesteld en gepubliceerd, verdient meer kritische aandacht - niet alleen vanuit de sectoren die worden doorgelicht, maar ook vanuit de wetenschap, de overheid en de media zelf. Het publiek heeft inderdaad recht op informatie over de prestaties van publieke en semi-publieke instellingen. Het verzamelen en publiceren van dergelijke informatie behoort dan ook tot de kerntaken van de journalistiek - maar daar mogen vervolgens wel eisen aan worden gesteld.