Een niet-representatieve steekproef zegt ja tegen MDMA

[ This is a Dutch post, as it concerns a “study” by a Dutch TV channel, BNN ]

Op dinsdag 22 september 2015 kwamen er verontrustende berichten de wereld in:

Schokkend feitje nummer 1: 35% van die jongeren zegt meer drugs te gebruiken door de ophoging van de alcoholgrens! Damn.

[citatie van Spuiten en Slikken]

Bijna een derde van de jongeren gebruikt elke week drugs, en een derde doet maandelijks aan drugsgebruik.

[citatie van nu.nl]

Dit lijken ernstige signalen. Gelukkig blijkt bij nadere inspectie dat het onderzoek waar deze conclusies op gebaseerd worden, ongeschikt is om dit soort conclusies te trekken. Er zijn zes serieuze problemen met dit onderzoek:

1. Het is niet duidelijk wat wordt gemeten;

2. Er wordt een niet-representatieve groep 16- en 17-jarigen gemeten;

3. De conclusies staan haaks op de uitkomsten;

4. Je kunt redenen voor gedrag niet bestuderen door mensen te vragen waarom ze iets doen;

5. Dat drugsgebruik toenam sinds de ophoging van de alcoholgrens zegt niets; en

6. Het interview wordt misleidend gebracht.

Jammer genoeg lijkt het er op dat de betreffende journalisten en hun redacteuren hier niet nader over hebben nagedacht, getuige de manier waarop deze informatie wordt besproken. In deze post leg ik uit waarom deze gegevens niet informatief zijn, niet suggereren dat jongeren middelen zijn gaan gebruiken, en geen reden vormen ongerust te worden over middelengebruik onder 16- en 17-jarigen, door elk van deze zes punten uit te leggen.

Het betreffende onderzoek is uitgevoerd door Labyrinth Onderzoek en Advies in Utrecht, in opdracht van 101.TV (of, NPO101), een digitaal themakanaal van BNN¹. Er zijn in totaal vijf vragen gesteld. De eerste hiervan betrof hun leeftijd, en is gebruikt om jongeren jonger dan 16 of ouder dan 17 uit te selecteren. Ruim 5000 van de ondervraagde jongeren gaven aan 16 of 17 te zijn en kregen de tweede selectievraag, waar het voor het eerst fout gaat.

Het is niet duidelijk wat wordt gemeten

Deze tweede selectievraag was:

Gebruik of heb je wel eens drugs gebruikt?

Hierop antwoordden bijna 4000 jongeren “Ja” (bijna 75%). Dat is verdacht hoog - helemaal omdat we weten dat van de 16-jarigen 44.8% ooit heeft gerookt, 79.3% ooit alcohol heeft gehad, en 26.9% ooit cannabis heeft gebruikt (zie pagina 105 en verder van het Health Behaviour in School-aged Children onderzoek). Deze percentages van ‘ooit-gebruik’ stijgen gestaag naarmate jongeren ouder worden (ze kunnen natuurlijk nooit² dalen): voor cannabis is het patroon bijvoorbeeld:

Warning: Using `size` aesthetic for lines was deprecated in ggplot2 3.4.0.
ℹ Please use `linewidth` instead.

Grafiek van leeftijd en ooit-gebruik van cannabis ³

Als je deze lijn doortrekt kom je rond de 40% uit voor jongeren van 17. Het gemiddelde percentage jongeren dat ooit cannabis heeft gebruikt zou dan tussen 26.9% en die 40% in liggen, dus rond de 33.5%. Het is erg onwaarschijnlijk dat deze trend drastisch verandert als jongeren opeens 17 worden. Het is ook onwaarschijnlijk dat jongeren veel met middelen experimenteren maar cannabis links laten liggen. Wat kunnen we nu concluderen?

1. Omdat ‘drugs’ niet zijn gespecificeerd in deze vraag, is het onmogelijk om te weten hoe jongeren deze vraag interpreteerden. Sommigen zullen cannabis hier onder rekenen; anderen alcohol; anderen tabak (zoals sigaretten), en sommigen misschien zelfs koffie. Het kan ook zijn dat alle jongeren ‘drugs’ interpreteren als ‘harddrugs’. In dat geval rest er maar één conclusie:

2. Dit is een hele vreemde steekproef. Dit is een groep jongeren waar middelengebruik beduidend hoger ligt dan bij hun leeftijdsgenoten.

Er wordt een niet-representatieve groep 16- en 17-jarigen gemeten

Deze tweede verklaring wordt helemaal duidelijk als we naar de vijfde vraag in het onderzoek, de derde en laatste vraag in het filmpje, kijken⁴:

Vraag “Hoe vaak gebruik je drugs?” in het filmpje

Cannabisgebruik in de laatste maand ligt onder 16-jarigen op 13.3%. Ook dit loopt langzaam op naarmate jongeren ouder worden, maar veel trager natuurlijk:

Grafiek van leeftijd en maand-gebruik van cannabis ⁵

Als je deze rode lijn doortrekt kom je rond de 20% uit, dus gemiddeld ongeveer 16%. Volgens de data van Labyrinth zou 29% + 34% = 63% van de 16- en 17-jarigen in de afgelopen maand drugs hebben gebruikt. Als dat zo zou zijn, dan zou bijna de helft van de 16- en 17-jarigen (63% - 16% = 47%) dus maandelijks XTC, cocaine, GHB, ketamine, of een andere harddrug hebben gebruikt, maar geen cannabis hebben gebruikt. Dat is zo onrealistisch dat het bijna lachwekkend wordt. De enige reden dat het niet lachwekkend wordt, is dat de media en politici er serieus op reageren, kennelijk zonder te bedenken hoe absurd dit is.

Er is duidelijk geen representatieve groep 16- en 17-jarigen onderzocht. Misschien zijn de deelnemers online geworven via drugsfora, of bijvoorbeeld via Spuiten en Slikken. Bovendien doet niet iedereen mee met dit soort onderzoeken. Als je een onderzoek opzet naar ketamine-gebruik, en dan kijken hoeveel procent van de deelnemers ketamine gebruikt, dan krijg je een forse overschatting - want mensen die niets met ketamine hebben vinden het onderzoek minder interessant dan mensen die hier wel affiniteit mee hebben. Op diezelfde manier zullen jongeren die affiniteit met drugs hebben eerder meedoen aan dit soort onderzoekjes. Een combinatie van werving via kanalen waar meer middelengebruikers zitten met de zogenaamde ‘selection bias’ die per definitie optreedt bij vrijwillige deelname kan volstaan om te verklaren waarom zo’n zeldzame, specifieke (en niet representatieve) subpopulatie is onderzocht.

Dat de onderzoekers en documentairemakers zich dit niet realiseren op basis van vergelijking met de data die beschikbaar zijn uit ander onderzoek is kwalijk. Dat politici onderzoeksuitkomsten, die duidelijk haaks staan op de forse hoeveelheid onderzoeksdata die in de afgelopen decennia is verzameld, serieus nemen zonder eerst kritische vragen te stellen, is zorgwekkend. Jammer genoeg is dit nog niet alles . . .

De conclusies staan haaks op de uitkomsten

In de derde vraag die aan de deelnemers is gesteld werd ze gevraagd of ze drugs gebruikten omdat ze geen alcohol mogen drinken:

Vraag “Gebruik je drugs omdat je geen alcohol mag drinken?” in het filmpje

8% antwoordt ‘ja’. Dit is 8% van de 16- en 17-jarige jongeren die aangaven dat ze drugs gebruikten, dus binnen deze steekproef ongeveer 6% van de deelnemers. Ten eerste is dit percentage gelukkig erg laag. Het lijkt er op dat jongeren niet massaal middelen gaan gebruiken omdat ze geen toegang hebben tot alcohol. Dat is geruststellend.

Dat dit vervolgens wordt genegeerd en dat dit onderzoek desondanks wordt geïnterpreteerd als een aanwijzing dat verhoging van de minimumleeftijd voor alcoholgebruik tot middelengebruik zou leiden, is natuurlijk absurd. Sterker nog, je zou kunnen argumenteren dat het onethisch is: als niemand hier kritisch over nadenkt kan het leiden tot maatregelen die, voor zover we kunnen inschatten op basis van deze data, niet leiden tot verbetering voor 16- en 17-jarigen (en mogelijk schadelijk zijn).

Je kunt redenen voor gedrag niet bestuderen door mensen te vragen waarom ze iets doen

Hier komt nog bij dat al jaren (decennia, zelfs) bekend is dat het niet erg zinvol is om mensen naar redenen voor hun gedrag te vragen. Mensen geven over het algemeen wel antwoorden op die vraag - en die antwoorden lijken ook erg plausibel - maar vaak worden ze ter plekke bedacht. Mensen zijn, jammer genoeg, niet goed in introspectie, tenminste, niet als het de oorzaken van hun gedrag betreft. Dit werd in 1977 al heel duidelijk uitgelegd door Nisbett en Wilson in hun klassieke artikel “Telling more than we can know”. Om het te illustreren beschrijf ik kort een bijna net zo klassieke studie.

In een winkelcentrum werd deelnemers gevraagd drie panty’s te beoordelen. De deelnemers bestudeerden de panty’s, voelden en bekeken de stof, en roken er eens aan. Vervolgens gaven de deelnemers aan welke panty ze het prettigst vonden, met onderbouwingen, waarin ze aangaven dat hun oordeel bijvoorbeeld was gebaseerd op de kleur of textuur van de panty. Echter, de panty’s waren identiek. Desalniettemin bleken de deelnemers het vaakst de rechter panty te kiezen . . .

De reden voor de voorkeur van de meeste deelnemers was dus de lokatie van de panty’s. Dit werd echter niet genoemd, zelfs niet toen de onderzoekers doorvroegen. Deze studie is een mooie illustratie van het gegeven dat mensen vaak geen toegang hebben tot de precieze redenen voor hun voorkeuren, keuzes, of gedragingen.

Als je mensen vraagt waarom ze iets doen, krijg je bijna altijd een antwoord, en dat zal bijna altijd plausibel klinken. Echter, je weet nooit of het klopt, alleen dat dit soort antwoorden vaak niet klopt. In welke situatie de antwoorden wel of niet kloppen, kun je alleen uitvinden met gedegen onderzoek (maar het kan wel: zie Peters, 2014, voor uitleg over hoe je dat dan doet).

Als 8% van de jongeren die ooit middelen gebruikte, en 6% van de 16- en 17-jarigen, dus “Ja” antwoordt op de vraag “Gebruik je drugs omdat je geen alcohol mag drinken?”, dan kan dat percentage net zo goed 0% of 20% zijn. Daar is niets over te zeggen op basis van die vraag. En zoals ik net zei, als je dit zou negeren en desondanks iets zou willen concluderen, dan zou het zijn dat het er dus op lijkt dat jongeren geen middelen gaan gebruiken door de verhoging van de minimum leeftijd voor alcoholgebruik.

Dat drugsgebruik toenam sinds de ophoging van de alcoholgrens zegt niets

Met de tweede vraag in dit onderzoek werd jongeren gevraagd of hun drugsgebruik was toegenomen sinds de ophoging van de alcoholgrens naar 18 jaar:

Vraag “Is je drugsgebruik toegenomen sinds de ophoging van de alcoholgrend naar 18 jaar?” in het filmpje

We kunnen uitsluiten dat deze vraag misschien werd geïnterpreteerd als “Is je drugsgebruik toegenomen door de ophoging van de alcoholgrens naar 18 jaar?”. Dit kunnen we uitsluiten omdat als 35% die vraag bevestigend zou hebben beantwoord, meer dan 8% had moeten aangeven dat een reden voor drugsgebruik was dat ze geen alcohol (meer?) mochten drinken.

Dit betekent dat de vraag dus door jongeren is geinterpreteerd als “Is je drugsgebruik sinds 1 januari 2014 toegenomen?”, oftewel, “Ben je in de afgelopen 1.5 jaar meer drugs gaan gebruiken?”. Zoals in de grafiekjes hierboven al duidelijk werd, neemt middelengebruik over tijd toe. Dat middelengebruik over tijd toeneemt, staat los van de verhoging van de minimumleeftijd voor alcoholgebruik. Dit patroon bestaat al jaren, en dit onderzoek geeft geen reden om aan te nemen dat er iets is veranderd.

Nog een overweging met betrekking tot leeftijd. Aangenomen dat de data die hier worden beschreven vrij recent zijn, is het dus aannemelijk dat slechts een kwart van de jongeren (alleen de jongeren die bijna 18 zijn) ooit legaal alcohol heeft gedronken. Alle jongeren die op 1 januari 2014 immers nog geen 16 waren (en nu dus 16 of begin 17, veruit de meeste deelnemers in dit onderzoek) zijn nooit legaal alcohol gaan drinken, en hebben dus nooit een vervanging hoeven zoeken toen deze mogelijkheid ze werd ontnomen.

Het interview wordt misleidend gebracht

De manier waarop de rest van de documentaire is opgezet is ronduit misleidend. Met betrekking tot het interview met ‘Rachel’ wordt bijvoorbeeld de indruk gewekt dat het interview de speculaties ondersteunt. Het feit dat middelengebruikers denken dat het middelengebruik relatief hoog ligt, is echter al jaren bekend (het “False Consensus” fenomeen). Dat een meisje dat zelf vrij veel middelen gebruikt de indruk heeft dat middelengebruik normaal is onder haar leeftijdsgenoten zegt dus niets - en dat zo’n meisje te vinden en interviewen is, ook niet.

Het lijkt er op alsof de onderzoekers en documentairemakers een uitkomst voor ogen hadden, en kennelijk zonder veel waarde te hechten aan de resultaten van het onderzoek (immers, slechts 6% geeft aan dat ze drugs gebruiken omdat ze geen alcohol mogen drinken) simpelweg dat standpunt verkondigen. Dat dit vervolgens ook nog in die hoedanigheid serieus wordt opgepakt door zowel media als politici is zorgwekkend. Misschien zou een studie psychologie verplicht gesteld moeten worden voor beide beroepsgroepen, zodat ze begrijpen welke spelregels er zijn als je wil leren hoe de wereld in elkaar steekt, en met welke korrels zout je rekening moet houden als je mensen onderzoekt.

Referenties

Nisbett, R. and T. Wilson (1977). “Telling more than we can know: Verbal reports on mental processes.” Psychological Review 84(3): 231-259.

Peters, G.-J. Y. (2014). A practical guide to effective behavior change: How to identify what to change in the first place. European Health Psychologist, 16(5), 142-155.

R code

### Cannabisgebruik onder 12-16-jarigen
dat.npo101 <- data.frame(Leeftijd = 12:16,
                         OoitGebruik = c(.3, 3.0, 7.9, 16.0, 26.9),
                         MaandGebruik = c(.1, 1, 4.4, 8.2, 13.3));

### Plot met alleen 'ooit gebruik'
ggplot2::ggplot(dat.npo101,
                ggplot2::aes(x=Leeftijd,
                             y=OoitGebruik)) +
  ggplot2::geom_point(color="blue", size=6) +
  ggplot2::geom_line(color="blue", size=2) +
  ggplot2::scale_x_continuous(limits = c(12, 17)) +
  ggplot2::scale_y_continuous(limits = c(0, 40));

### Plot met ook 'afgelopen maand gebruik'
ggplot2::ggplot(dat.npo101,
                ggplot2::aes(x=Leeftijd,
                             y=OoitGebruik)) +
  ggplot2::geom_point(color="blue", size=6) +
  ggplot2::geom_line(color="blue", size=2) +
  ggplot2::scale_x_continuous(limits = c(12, 17)) +
  ggplot2::scale_y_continuous(limits = c(0, 40)) +
  ggplot2::geom_point(ggplot2::aes(x=Leeftijd, y=MaandGebruik),
                      color='red',
                      size=6) +
  ggplot2::geom_line(ggplot2::aes(x=Leeftijd, y=MaandGebruik),
                     color='red',
                     size=2);

Voetnoten

Footnotes

1. Over het algemeen doen BNN en Spuiten en Slikken overigens een hoop leuke en goede dingen. Vandaag zag ik bijvoorbeeld dit filmpje langskomen.

2. De enige manier waarop in een cohort “ooit gebruik” statistieken kunnen dalen, is als gebruikers massaal sterven, wat gelukkig erg onrealistisch is.

3. Zie hierboven voor de R code.

4. Merk op dat hier wel ‘hard en/of softdrugs’ bij staat. Het is mogelijk dat dit overal is gevraagd; zelfs dan blijven de meeste problemen jammer genoeg overeind, en geldt nog steeds dat er geen conclusies te trekken zijn op basis van dit onderzoek en de verzamelde data.

5. Zoals net: zie boven de voetnoten voor de R code.