VVOJ Conferentie Onderzoeksjournalistiek 2006
workshop: Goochelen met getallen
sprekers: Hans van Maanen (freelance), Jaak Billiet (KU Leuven)
moderator: Kim de Rijck (De Standaard)
verslag: Dick van Eijk
Hans van Maanen begint zijn presentatie met enkele vragen naar ordes van grootte. Hoe groot is een voetbalveld, hoe groot de stad Mechelen? Ordes van grootte zijn heel belangrijk om in je hoofd te hebben, of op een lijstje op je bureau. Dat helpt om vergelijkingen te maken voor lezers — als de zon een basketbal is, dan is de aarde een erwt op honderd meter afstand — maar ook of iets ‘groot’ of ‘klein’ is, en om fouten te voorkomen.
Veel mensen hebben geen idee van percentages of breuken. Omdat ze daarbij niet onmiddellijk een voorstelling hebben, is het gemakkelijk om ermee te manipuleren. Dat gebeurt zelfs in wetenschappelijke publicaties. Een voorbeeld uit een echte publicatie, waarin werd aangetoond dat vrouwen die veel rood vlees eten een verdubbelde kans hebben op borstkanker: nieuws? De kans op borstkanker is heel klein, en de verdubbelde kans dus ook.
Tip: als ze percentages noemen, kijk dan naar de absolute getallen; als ze absolute getallen noemen, kijk dan naar percentages.
In persberichten staat vaak een vergelijking met vorig jaar: iets is toe- of afgenomen, en dat is nieuws. Kijk dan altijd naar de cijfers over meer dan twee jaar. Niet zelden is zo’n toe- of afname gewoon onderdeel van een normale fluctuatie van jaar tot jaar, en is er dus helemaal geen nieuws.
Tip: vraag je bij procenten altijd af: procenten waarvan, en waarom dáárvan?
Om iets over een groot aantal waarden te zeggen, wordt veelal een gemiddelde gebruikt. Maar het gemiddelde wordt erg beïnvloed door extreme waarden, en is daarom niet zo geschikt voor scheve verdelingen, zoals inkomensverdelingen. Een mediaan — de helft van de gevallen is hoger dan de mediaan, de helft lager — of de modus — de categorie met het grootste aantal gevallen — zeggen dan meer. Kijk naar de hele verzameling gevallen.
Tip: vraag je bij gemiddelden altijd af: welk gemiddelde, en waarom dát gemiddelde?
De essentie van wetenschappelijk onderzoek is vaststellen of een verschijnsel echt is, of is te wijten aan toeval. Gangbaar is een verschijnsel als echt — ‘significant’ zeggen wetenschappers — te beschouwen als de kans dat het toeval berust kleiner is dan vijf procent.
De zogeheten standaardfout van een reeks getallen is de wortel uit de som van die getallen. Als er in 2004 in Mechelen 9 branden waren en in 2005 16, dan is de standaardfout 5 (de wortel uit 9+16=25). Gangbaar in de wetenschap is een verschil tussen waarnemingen als significant te beschouwen als dit verschil groter is dan twee keer de standaardfout. De toename van het aantal branden van 9 naar 16 moet dus — indien geen waarden uit eerdere jaren beschikbaar zijn — aan het toeval worden toegeschreven.
Journalisten hebben de neiging cijfers te serieus te nemen, vindt Van Maanen.
Jaak Billiet ging in op de zin en onzin van politieke opiniepeilingen. Cijfers spreken niet voor zichzelf, benadrukte hij, ze moeten worden geïnterpreteerd. Je mag niet verwachten dat elke journalist over de statistische kennis beschikt om de interpretatie zelf uit te voeren, maar wel dat hij of zij zich bewust is van een aantal veel voorkomende valstrikken.
De uitkomsten van een peiling zijn uiteraard afhankelijk van de vraagstelling. Die afhankelijkheid gaat veel verder dan je op het eerste gezicht zou denken: een beetje anders geformuleerde vraag kan tot volkomen andere scores in de beantwoording leiden. Daarbij komt dat niet iedereen op dezelfde manier reageert op een andere formulering van een vraag. Zo is bekend dat Vlamingen het vaker eens zijn met negatieve uitspraken, en Nederlanders met positieve uitspraken. Hoewel, tekent Billiet aan, dat verschil de laatste vijf jaar wel kleiner is geworden.
Statistiek wil zeggen dat iets nooit zeker is. Billiet stelt dat uitspraken over een hele bevolking alleen mogelijk zijn op basis van een toevalssteekproef. Dat is een steekproef waarbij de kans van elke respondent om in de steekproef te komen, te berekenen is. Let wel: die kans hoeft niet voor elke respondent even groot te zijn. Je kunt bijvoorbeeld extra allochtonen in een steekproef opnemen om iets over die categorie afzonderlijk te kunnen zeggen. Bij het verwerken van de resultaten krijgt zo’n oververtegenwoordigde categorie dan ter compensatie een lager gewicht. Het toeval bij de selectie van respondenten is voor de betrouwbaarheid van een peiling belangrijker dan de omvang van de steekproef.
Tip: om inzicht te krijgen in kleinere categorieën in de samenleving is een steekproef van 1.200 à 1.500 personen nodig.
Politieke peilingen zijn meestal geen toevalssteekproeven. De grootste valstrik is zelfselectie: mensen kunnen zichzelf aanmelden om aan het onderzoek mee te doen. Het grootste probleem bij enquêtes vormen weigeraars en moeilijk bereikbaren. Uit nader onderzoek blijkt namelijk dat degenen die niet willen meedoen andere opvattingen hebben dan degenen die wel meedoen. Door alleen degenen die wel meedoen te ondervragen kun je er dan niet achter komen wat de hele bevolking vindt. Dit geldt bijvoorbeeld voor populaire onderwerpen als politieke desinteresse en houding jegens migranten. De zogeheten non-respons verschilt overigens sterk per land. Daarom kunnen enquêteresultaten tussen landen ook niet zonder meer met elkaar worden vergeleken.
Voorts is het van belang je te realiseren hoe een peiling is uitgevoerd. Mensen antwoorden via de telefoon of via internet anders dan bij een face-to-face interview. Wanneer men fysiek tegenover de interviewer zit geeft men vaker sociaal wenselijke antwoorden.
Alsof dat allemaal nog niet erg genoeg is, deelt Billiet een laatste klap uit: Het is helemaal niet eenvoudig om opinies te meten, want het antwoord op een vraag is niet hetzelfde als een opinie. Hun antwoord kan op het ene moment heel anders zijn dan op het andere moment.
Als journalist sta je echter niet helemaal machteloos. Je kunt rustig mensen vragen ‘wat vindt u van …’. Zo lang je daaruit maar niet de conclusie trekt ‘de Vlaming vindt …’.
Tip: als de uitkomst heel anders is dan de lijn der verwachting, juist dan moet je heel goed kijken naar de methode van onderzoek. Steek indien nodig je licht op bij een deskundige collega, of bij een deskundige aan een universiteit.
