Fantastische claims

Deze week kwam ik op Facebook een aankondiging tegen van een Max Masterclass door hoogleraar Erik Scherder. Daarin legt hij uit hoeveel baat vooral onderpresterende leerlingen hebben aan beweging. Aan de hand van een studie legt hij uit dat deze leerlingen meer leren wanneer zij tussendoor kunnen bewegen. Onder de aankondiging regende het complimenten voor de hoogleraar, zoals hieronder te zien is. Eén persoon reageert "Zo simpel en zoveel resultaat!", een ander vindt het "Geweldig wat het doet!". Dat klinkt natuurlijk fantastisch. Maar fantastische claims kunnen soms te mooi om waar te zijn. Daarom besloot ik de studie die Scherder in de aankondiging beschrijft eens beter te bekijken.

Wat Scherder claimt dat de studie zegt

Op het grote scherm achter Scherder heeft hij een figuur geprojecteerd uit een studie van Eric Drollette en collega's uit 2014. Scherder legt ons uit wat we zien. De bovenste twee plaatjes "zijn de kinderen nog in rust, er is nog geen extra activiteit". Verder zien we aan de linkerkant kinderen die het heel makkelijk op school hebben en aan de rechterkant kinderen die het wat moeilijker hebben. Scherder vertelt dat de kinderen die het wat moeilijker hebben op school het meest profijt hebben van bewegen tussendoor. Hij laat ons zien dat na 25 minuten fietsen die kinderen het meeste hersenactiviteit 'winnen'. Aanstekelijk als altijd laat Scherder merken hoe enthousiast hij wordt van deze bevinding: "Is geweldig, hè?".
Als wat Scherder zegt klopt, dan zou ik denken dat de studie gaat over goed presterende en minder goed presterende leerlingen. Daarnaast zou ik denken dat de extra hersenactiviteit iets te maken zou moeten hebben met een betere prestatie. De kinderen hebben per slot van rekening profijt van de beweging tussendoor. Als er in de studie staat wat Scherder zegt, dan zou het inderdaad een geweldig interessante studie zijn. 

Wat de studie echt zegt

Laten we eerst eens kijken of de studie daadwerkelijk over goed presterende en slecht presterende leerlingen gaat. In feite klopt het dat het om prestatie gaat, maar niet op school. De kinderen hebben namelijk een Eriksen flanker task gedaan. Dat is een taak waarop je moet aangeven op de middelste pijl van 5 pijlen hetzelfde is als de anderen of verschilt (zie de figuur hieronder). Met de Eriksen flanker task meten cognitief psychologen het vermogen om een respons te onderdrukken. De twee groepen in de studie zijn dus gemaakt op basis van de prestatie op deze taak.

Dan hebben we nog de hersenactiviteit op de figuren. Die komt van zogenaamde Event Related Potentials gemeten met EEG. Na elke trial op de flanker taak wordt het EEG gemeten en vervolgens worden die metingen bij elkaar opgeteld en gemiddeld. Dan krijg je een grafiek met pieken en dalen zoals je hieronder kunt zien. De hersenactiviteit, die in de figuren te zien is, is de amplitude van het P300 component. Dit component wordt gezegd samen te hangen met stimulus evaluatie. Je zou kunnen zeggen dat je op dat moment beslist of het pijltje hetzelfde of anders is. Het interpreteren van ERPs is enorm lastig vanwege meerdere redenen. Zo is het bijvoorbeeld lastig om te zeggen dat een grotere amplitude beter is. Het zou namelijk ook kunnen dat minder activiteit beter is. Meer is niet per se beter.

Het is moeilijk te zeggen wat de relatie tussen de P300 en leren is, maar de groepen in de studie zijn in ieder geval geen goed en minder goed presterende kinderen. Daarnaast lezen we dat de kinderen niet 25 minuten hebben gefietst, maar 20 minuten op een lopende band hebben gelopen. Het aantal kinderen dat meedeed was ook niet zo groot, 20 in elke groep. Vreemder is de herkomst van de data. De dataset is namelijk samengevoegd uit twee eerdere studies. Waarom dat precies is gedaan, is onduidelijk. Als laatste wordt een logische verklaring voor de stijging in de accuratesse op de flanker taak na beweging voor de minder goed presterende groep. De goed presterende groep kon namelijk niet meer veel beter presteren dan dat ze al deden. Zij deden het al 90% van de tijd goed. Dit noemen cognitief psychologen een ceiling effect. Misschien dat door de extra adrenaline de prestatie van de minder goed presterende groep omhoog ging, maar dat weten we niet. Het zou in ieder geval kunnen.

Waarom zegt Scherder dan iets anders dan de studie?

Overal het algemeen zijn wetenschappers erg integer. Hun verhalen zijn één en al nuances en meestal niet zo inspirerend. De verhalen van Scherder zijn vaak erg inspirerend en meeslepend. Misschien dat Scherder ons hier probeert te enthousiasmeren door de studie anders aan ons te presenteren dan die is? Grote, fantastische claims zijn aantrekkelijker voor het grote publiek. Een andere mogelijkheid is dat hij de studie niet goed heeft gelezen (de fietsen/wandelen vergissing lijkt hierop te duiden). Ik weet niet welke van deze twee mogelijkheden ik prefereer, maar weet wel dat ik liever naar een saai genuanceerd verhaal van een wetenschapper luister dan naar een verhaal dat niet klopt.