Wetenschappelijke publicaties deugen meestal niet: ‘it can be proven that most claimed research findings are false‘, aldus Ioannidis (2005). Ik kwam zijn publicatie In PLoS tegen via een ander blog en was een beetje geschokt geef ik toe. Ik moet het een en ander nog eens een paar keer doorlezen, maar de strekking is duidelijk: zelfs van de op zeer grondig onderzoek gebaseerde publicaties is een deel gewoon fout.

De kans, zo stelt Ioannidis, dat een onderzoeksresultaat ook daadwerkelijk waar is, is afhankelijk van drie dingen: 1. de kans vooraf aan het experiment dat het onderzoeksresultaat gevonden gaat worden, 2. het onderscheidingsvermogen (‘power’) en 3. het significantieniveau van verbanden. Het significantieniveau is een beetje kort door de bocht genomen de mate waarin een gegeven duidelijk toegeschreven kan worden aan een eigenschap. In een voorbeeld: de kans op het ontwikkelen van oogproblemen t.g.v. diabetes wordt onderzocht onder een groep van 10 diabetespatiënten en een controlegroep van van 10 personeen zonder diabetes. Ik chargeer, maar stel dat alle diabetespatiënten blind worden en van de niet-diabetici geen enkel persoon blind wordt: er is dan een (belachelijk) significant verschil en wordt de power beperkt door de geringe hoeveelheid deelnemers, maar vergroot door de effectratio (de mate waarin het verschil aanwezig is). De kans voorafgaand aan het onderzoek dat er een relatie gevonden zou worden (punt 1) was redelijk aanwezig, gezien de algemeen aanwezige kennis dat diabetes en oogproblemen op nare wijze hand in hand kunnen gaan. Het is herhaaldelijk uit onderzoek gebleken dat de relatie aanwezig is.

Een flink deel van de hedendaagse publicaties kan dus in de prullenmand, maar ondertussen dienen we er wel door heen te kunnen kijken. Gelukkig geeft Ioannidis een 6 tal aandachtsgebieden.

  1. Hoe kleiner de onderzoeken zijn in het onderzoeksgebied, hoe groter de kans dat een publicatie onwaar is. (bijv. bij zeldzame ziektes)
  2. Hoe kleiner de effect-ratios zijn in het onderzochte gebied, hoe groter de kans dat een publicatie onwaar is. (bijv. onderzoek naar verbanden tussen genen en aandoeningen)
  3. Hoe groter het aantal onderzochte verbanden en hoe kleiner de selectie daarin, hoe groter de kans dat een publicatie onwaar is.
  4. Hoe groter de verscheidenheid in gehanteerde onderzoeksontwerpen, gebruikte definities, onderzochte uitkomsten en analytische methoden, hoe groter de kans dat een publicatie onwaar is.
  5. Hoe groter de financiële en andere belangen en hoe groter de vooroordelen in een onderzoeksgebied, hoe groter de kans dat een publicatie onwaar is. (bijv. onderzoek naar dementie)
  6. Hoe ‘hotter’ (gewild) het onderzoeksgebied, hoe groter de kans dat een publicatie onwaar is. (bijv. onderzoek naar dementie)

Daarbij komt natuurlijk het feit dat het ene onderzoek het andere niet is. Een dubbelblind gerandomiseerd onderzoek heeft meer zeggingskracht dan een case-study. Ioannidis komt tot het volgende overzicht, waarbij met name de meest rechtse kolom interessant is: de PPV, de positive predictive value, oftewel de kans dat de uitkomsten van een onderzoek uiteindelijk echt waar is:

Een PPV van 0,85 wil dus zeggen dat van de 100 publicaties, er waarschijnlijk 85 ‘in orde’ zijn… Maar die verhouding geldt voor het merendeel van de in de tabel opgenomen typen onderzoek bij lange na niet. Een goede reden om skeptisch te lezen, zeker gezien de bekende problemen van bijv. ouderen als het gaat om aanwezigheid in wetenschappelijk onderzoek.

Ioannidis, J. P. (2005). Why most published research findings are false. PLoS Med, 2(8). [DOI][PDF]

afbeelding bovenaan het bericht: Johnny Jet