Meten is weten?

Sonny Abesamis, Creative Commons License
Sonny Abesamis, Creative Commons License

Deze blog verscheen eerder op Zaman Vandaag

Thijl Sunier     Politici, opiniemakers, en media houden van cijfers en van duidelijke categorieën. Dat geeft orde en helderheid en suggereert objectiviteit. Ze geven de indruk dat de werkelijkheid in duidelijk van elkaar te onderscheiden categorieën kan worden ingedeeld en dat verschijnselen en gebeurtenissen een eenduidige oorzaak hebben. Grootschalige surveys kunnen dan ook steevast rekenen op voldoende media-aandacht, ook als er serieuze twijfel is over de uitkomsten. We krijgen dan conclusies gepresenteerd zoals ‘15% van de jihadi’s is bereid geweld te gebruiken’, of ‘44% van de moslims vindt het woord van god belangrijker dan de grondwet’, ‘ van alle moslims in Europa vindt 30% dat de doodstraf moet staan op afvalligheid, terwijl 70% van de fundamentalisten bereid is geweld te gebruiken.’

Zo ongeveer verliep de discussie van 22 februari in het programma Buitenhof tussen socioloog Ruud Koopmans en Nourdin el Ouali van de partij NIDA. Koopmans, een voormalige VU-socioloog die tegenwoordig de scepter zwaait in het in Duitsland nogal omstreden Wissenschaftszentrum Berlin für Sozialforschung, is de laatste weken weer volop in het nieuws nu hij zijn oude survey uit 2008 weer uit de mottenballen heeft gehaald waarin hij met ‘harde’ cijfers aantoont dat een groot deel van de moslims in Europa ‘fundamentalistische opvattingen’ heeft. Koopmans presenteert zijn uitkomsten op een alarmistische toon en tovert het ene na het andere percentage uit zijn hoed. El Ouali’s zwakke verweer is dat Koopmans goed onderzoek heeft uitgevoerd, maar dat de interpretatie van zijn uitkomsten te wensen overlaat. Dat is el Ouali niet aan te rekenen; ik zou waarschijnlijk hetzelfde hebben gezegd, maar daar zit dus precies het probleem. Hoezo is dit goed onderzoek en waaruit moet dat blijken?

Om te beginnen is daar de geclaimde objectiviteit van de gegevens. Koopmans zegt eigenlijk: ‘ik kan er niets aan doen, dat zijn nu eenmaal de cijfers’. Hij suggereert dat het bij dit soort grootschalige surveys gaat om kennis en gegevens die als het ware ‘buiten’ klaar liggen te wachten om door onderzoekers als Koopmans te worden verzameld om er een mooi rapport van te maken compleet met statistische analysemethodes en ingewikkeld rekenmodellen die moeten laten zien dat de onderzoekers niet van de straat zijn.

Het probleem zit hem in de vragen die gesteld worden, de categorieën die gehanteerd worden, en de conclusies die daaruit zouden moeten worden getrokken. Onderzoekers ontwikkelen een vragenlijst die gebruikt wordt om informanten te interviewen. Die vragen zijn gebaseerd op de definitie die door de onderzoekers aan bepaalde verschijnselen is gegeven. Neem nu het begrip ‘fundamentalisme’ dat in Koopmans’ onderzoek centraal staat. In het rapport bespreekt hij dit centrale begrip aan de hand van literatuur en natuurlijk kiest hij dan een definitie die ‘algemeen geaccepteerd’ is bij wetenschappers. Daarmee dek je je als onderzoeker bij voorbaat in tegen kritiek. Ik zou graag een discussie willen opzetten over de manier waarop hij dat begrip gebruikt, maar dat ga ik niet hier doen. Het gaat me er nu om wat er vervolgens met zo’n definitie gebeurt.

De onderzoekers gaan het begrip operationaliseren, zoals dat heet. Ze ontwikkelen kenmerken en vragen die door onderzoek beantwoord zullen worden, en voilà, daar hebben we de cijfers waar beleidsmakers om zitten te springen. Het probleem is dat de onderzochten hier dus gereduceerd worden tot data-leveranciers. Ze hebben geen enkele controle op wat de onderzoeker met die antwoorden doet, niet in de laatste plaats omdat de vragen vaak zo ingenieus gesteld zijn dat je als informant geen flauw benul hebt waarover dit gaat en hoe het ene antwoord door de onderzoekers in verband wordt gebracht met het andere. Veel van de vragen die Koopmans in zijn onderzoek heeft gesteld krijgen een heel andere lading afhankelijk de omstandigheden, of nog erger, informanten kunnen wel eens iets heel anders antwoorden in andere omstandigheden. Het doet denken aan de bekende vraag die decennia geleden aan pacifistische dienstweigeraars zou zijn gesteld: stel uw vriendin wordt aangevallen, zou u dan bereid zijn geweld te gebruiken?

Kortom, het probleem is dat onderzoekers bepalen wat relevante vragen en antwoorden zijn om een verschijnsel te meten. De schijnbare objectiviteit van de resultaten, zeker als het gaat om dit soort gevoelige onderwerpen, geeft het onderzoek en de onderzoekers ten onrechte enorm veel gezag.

Het rapport van Motivaction dat in november vorig jaar werd gepubliceerd en waaruit zou blijken dat 87% van de Turkse en Marokkaanse jeugd IS ondersteunt, is zeer terecht flink onder vuur genomen en wordt nu zelf aan een onderzoek onderworpen om te zien of het wel deugde. Een verantwoordelijk en gewetensvol onderzoeker kan en mag zich niet verschuilen achter zogenaamde objectiviteit van zijn of haar uitkomsten en de zaak eenvoudig op tafel smijten zo van ‘kijk maar wat je ermee doet, ik ben slechts boodschapper’. Koopmans heeft daar kennelijk geen moeite mee.

Thijl Sunier is hoogleraar Islam in Europese samenlevingen aan de afdeling Sociale en Culturele Antropologie van de VU.

Advertisements

2 thoughts on “Meten is weten?

  1. drs ing Henk Uijttenhout 07/03/2015 / 11:32

    “Meten is weten, (gissen is missen)” komt uit de technische wereld. De bouwwereld in duimen en inches, in de grafische wereld in augustijnen/ cicero’s en pica punten (zoals de lettergrootte op de pc), bijvoorbeeld.
    Deze uitdrukking is niet geschikt voor dergelijke onderzoeken, dat was mij tijdens de studie al duidelijk. Omdat het onderwerp zo gevoelig ligt, heeft het nu alle aandacht. Sinds 1922 wordt de Arabische wereld ernstig beschadigd door koloniale oorlogen met de meest gruwelijke gevolgen. Nu gaat het westen oogsten. Wie wind zaait zal storm oogsten.

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s