6 zaken die wetenschappelijke publicaties de das om doen

Wetenschappelijke publicaties deugen meestal niet: ‘it can be proven that most claimed research findings are false‘, aldus Ioannidis (2005). Ik kwam zijn publicatie In PLoS tegen via een ander blog en was, zo geef ik toe, een beetje geschokt. Ik moet het een en ander nog eens een paar keer doorlezen, maar de strekking is duidelijk: zelfs van de op zeer grondig onderzoek gebaseerde publicaties is een (klein) deel gewoon fout.

De kans, zo stelt Ioannidis, dat een onderzoeksresultaat ook daadwerkelijk waar is, is afhankelijk van drie dingen:

  1. de kans vooraf aan het experiment dat het onderzoeksresultaat gevonden gaat worden,
  2. het onderscheidingsvermogen (‘power’)
  3. het significantieniveau van verbanden.

Het significantieniveau is een beetje kort door de bocht genomen de mate van zekerheid waarin een hypothese kan worden aangenomen (of verworpen) zonder dat dit door toeval gebeurt. In een voorbeeld: De hypothese is dat diabetes blindheid veroorzaakt. Dit wordt onderzocht onder een groep van 10 diabetespatiënten en een controlegroep van van 10 personen zonder diabetes. Ik chargeer, maar stel dat álle diabetespatiënten blind worden en van de niet-diabetici geen enkel persoon: er is dan een (belachelijk) significant verschil en wordt de power beperkt door de geringe hoeveelheid deelnemers, maar vergroot door de effectratio (de mate waarin het verschil aanwezig is). De kans voorafgaand aan het onderzoek dat er een relatie gevonden zou worden (punt 1) was redelijk aanwezig, gezien de algemeen aanwezige kennis dat diabetes en oogproblemen op nare wijze hand in hand kunnen gaan. Het is herhaaldelijk uit onderzoek gebleken dat de relatie aanwezig is.

Een flink deel van de hedendaagse publicaties kan dus in de prullenmand. Gelukkig geeft Ioannidis een 6 tal aandachtsgebieden om kaf en koren te scheiden.

  1. Hoe kleiner de onderzoeken zijn in het onderzoeksgebied, hoe groter de kans dat een publicatie onwaar is. (bijv. bij zeldzame ziektes)
  2. Hoe kleiner de effect-ratios zijn in het onderzochte gebied, hoe groter de kans dat een publicatie onwaar is. (bijv. onderzoek naar verbanden tussen genen en aandoeningen)
  3. Hoe groter het aantal onderzochte verbanden en hoe kleiner de selectie daarin, hoe groter de kans dat een publicatie onwaar is.
  4. Hoe groter de verscheidenheid in gehanteerde onderzoeksontwerpen, gebruikte definities, onderzochte uitkomsten en analytische methoden, hoe groter de kans dat een publicatie onwaar is.
  5. Hoe groter de financiële en andere belangen en hoe groter de vooroordelen in een onderzoeksgebied, hoe groter de kans dat een publicatie onwaar is. (bijv. onderzoek naar dementie)
  6. Hoe ‘hotter’ (gewild) het onderzoeksgebied, hoe groter de kans dat een publicatie onwaar is. (bijv. onderzoek naar dementie)

Daarbij komt natuurlijk het feit dat het ene onderzoek het andere niet is. Een dubbelblind gerandomiseerd onderzoek heeft meer zeggingskracht dan een case-study. Ioannidis komt tot het volgende overzicht, waarbij met name de meest rechtse kolom interessant is: de PPV, de positive predictive value, oftewel de kans dat de uitkomsten van een onderzoek uiteindelijk echt waar is:

Een PPV van 0,85 wil dus zeggen dat van de 100 publicaties, er waarschijnlijk 85 ‘in orde’ zijn… Maar die verhouding geldt voor het merendeel van de in de tabel opgenomen typen onderzoek bij lange na niet. Een goede reden om skeptisch te lezen, zeker gezien de bekende problemen van bijv. ouderen als het gaat om aanwezigheid in wetenschappelijk onderzoek.

Ioannidis, J. P. (2005). Why most published research findings are false. PLoS Med, 2(8). [DOI][PDF]

afbeelding bovenaan het bericht: Johnny Jet

Getagged , , , , , ,

8 thoughts on “6 zaken die wetenschappelijke publicaties de das om doen

  1. Annemiek zegt:

    Dat zijn er nogal wat. Ik kan me voorstellen dat mensen door de bomen het bos niet meer zien, vooral ‘leken’ die de ene week over een studie horen, en de volgende week over een studie die het tegengestelde zegt.
    Het is belangrijk om alle research kritisch te lezen. Ik heb er zelf heel wat over geleerd, vorig jaar met de cursus statistiek en afgelopen semester met research. Zelfs iets wat op het eerste oog een goede studie lijkt moet je nog met een kam overheen gaan.

  2. Vrij frustrerend bij wijlen. Maar interessante kost. Heb je die cursussen vanuit je ziekenhuis gekregen?

  3. Annemiek zegt:

    Ik zit in een bachelor program via een universiteit hier bijna 2 uur vandaan (Upstate Medicical). De professors komen in ons ziekenhuis les geven. Dit is iets nieuws voor deze universiteit, en helpt associate degree of diploma vk’s om hun bachelors te halen zonder er zo ver voor te hoeven rijden. Elk semester worden er 2 cursussen gegeven, dus het duurt wel even eer we klaar zijn.

  4. […] genoeg om gaandeweg een beetje zicht te krijgen op wat al die wetenschap nu inhoudt! (zie ook vorige blogpost) Ruis in de boodschap gaat nergens goed voor zijn. De discussie dient eigenlijk niet eens gevoerd […]

  5. Toffe zaak Annemiek. Ik meen wel eens te hebben gelezen dat het verschil tussen het associate degree en het bachelor degree problematisch is voor de associate degree vpk’s. Heb je dat ook zo ervaren?

  6. Annemiek zegt:

    Nee, helemaal niet. In ons ziekenhuis wordt er geen onderscheidt gemaakt, ook niet in salaris. In andere ziekenhuizen vragen ze voor sommige posities bachelor’s, en hier ook in de thuiszorg, maar verder kun je met een associates overal terecht.
    Zelf kan ik meestal de nieuwe vk’s die een bachelor’s hebben er wel uitpikken. Ik kan niet precies omschrijven waarom.

  7. Is het ‘eruit pikken’ een positief iets? Ik zie een aantal parallellen met de kwestie rondom mbo en hbo opgeleide verpleegkundigen in Nederland. Aan de ene kant is het vreemd dat er geen onderscheid wordt gemaakt, aan de andere kant lijkt er geen praktische reden voor te zijn; het is in Nederland een bekend probleem dat de hbo opgeleide verpleegkundigen vaak niet ‘uit de verf’ komen. Waarom zou je dergelijke mensen meer geld geven? Alleen omdat ze een andere diploma hebben? Mij niet gezien. Maar het is wel een veel gehoorde klacht onder hbo-v studenten (daar kan natuurlijk een stuk ‘confirmation bias’ in zitten :D ).

  8. […] M.a.w.: leuk onderzoek en belangrijk voor komend onderzoek, maar laten we niet op de zaken vooruitlopen. Daar valt aan toe te voegen dat volgens Ioannidis (2005) de kans dat onderzoek in deze categorie (goed uitgevoerd, maar te weinig power) juiste conclusies oplevert vrij klein is: 0,23. Andersom: de kans dat de uitkomsten van dergelijk onderzoek feitelijk onwaar zijn is 3 x zo groot als de kans dat deze waar zijn. (voor meer over Ioannidis’ publicatie: klik hier) […]

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers op de volgende wijze: