Artikelen i.s.m.

Inleiding
Wetenschappers en artsen worden in hun opleiding en tijdens het werk getraind in het beoordelen van wetenschappelijk onderzoek. Vanuit Medicus Online bieden wij hierin ook een cursus aan genaamd “kritisch redeneren”.  Wij vinden dat dit stappenplan niet uitsluitend geschikt is voor onderzoekers, maar ook voor iemand die op het internet probeert te herkennen wat betrouwbare en onbetrouwbare informatie is.

Daarom hebben we die cursus nu omgevormd naar dit artikel waarin we je stap voor stap leren om kritisch te kijken naar (wetenschappelijke) informatie. We geven je 10 stappen om kritisch naar informatie te kijken.

Wat is kritisch redeneren?
De term kritisch redeneren is afgeleid van de term “klinisch redeneren” die veel in de medische praktijk gebruikt wordt.

Bij klinisch redeneren ga je op basis van de klachten van een patiënt stap voor stap te werk om uiteindelijk te bepalen welke aanvullend onderzoek je nodig hebt en een werkdiagnose op te stellen.  

Wij hebben dit omgetoverd naar een variant die gebruikt kan worden om wetenschappelijke literatuur te beoordelen. Door ons stappenplan te volgen kom je bij jouw eigen “diagnose” van informatie: Betrouwbaar of onbetrouwbaar? Of vaker nog: ergens er tussenin. Het doel van kritisch redeneren is om nuance aan te brengen in informatie die je vindt. 

Want onthoud: Wetenschappelijk onderzoek is niet heilig, maar wel het beste wat we tot onze beschikking hebben. Door altijd kritisch te blijven, voorkom je dat je beslissingen neemt op basis van desinformatie

In dit artikel vertellen we je alle stappen en de vragen die je jezelf kan stellen. Wil je een uitgebreidere uitleg van alle stappen? Lees dan het volledige artikel op Medicus Online!

Stap 1. Is de bron betrouwbaar?

• Waar heb ik deze informatie gevonden?
• Is de informatie afkomstig uit wetenschappelijk onderzoek? Of is het slechts een mening?
• Wie is de auteur?
• In welk wetenschappelijk tijdschrift is het gepubliceerd? Kan er sprake zijn van een predatory journal?

Stap 2. Wat voor soort onderzoek is gedaan?

• Wat voor soort onderzoek is uitgevoerd? Gebruik daarvoor de onderstaande piramide:

Stap 3. Bij wie (of wat) is het onderzoek uitgevoerd?

• Wat is de onderzoekspopulatie?
• Is het onderzoek uitgevoerd bij mensen?
• Komt de groep onderzochte patiënten/mensen overeen met de mensen waarin ik geïnteresseerd ben?
• Kan er sprake zijn van selectiebias?

Wat is selectiebias?
Zelfs al komt de groep mensen in het onderzoek overeen met jouw interesse populatie, dan nog is het goed om rekening te houden met een vorm van vertekening die heel veel voorkomt in onderzoek: Selectiebias. Dit treedt op wanneer de steekproef (in het onderzoek) geen goede afspiegeling vorm van de populatie die centraal staat. Bijvoorbeeld doordat minder fitte mensen sneller uitvallen in een onderzoek.

Stap 4. Wat is de belangrijkste uitkomst?

• Komt de belangrijkste uitkomst van het onderzoek overeen met de vraag die ik wil beantwoorden?
• Is er gebruik gemaakt van subjectieve of objectieve uitkomsten?
• Hoeveel uitkomsten zijn er bekeken?

Stap 5. Is het effect statistisch significant?

• Wat is de p-waarde?
• Is er sprake van statistische significantie?
• Kan er sprake zijn van multiple testing?
• Is er de mogelijkheid dat deze bevindingen puur toeval zijn?

Wat is multiple testing?
In wetenschappelijk onderzoek wordt er vaak een afkapwaarde voor significantie gebruikt bij een p-waarde van 0,05. Dit betekent dat er nog steeds een kans van 5% is dat het gevonden effect berust op puur toeval.
Wat gebeurt er nu als je 100 analyses doet in één studie? Puur op basis van toeval verwacht je dat je bij vijf uitkomsten een statistisch significant effect zal vinden. Je mag als onderzoeker niet ongelimiteerd uitkomsten toevoegen totdat er iets significants uitkomt (zonder hiervoor rekening te houden in de analyse).

Stap 6. Hoe groot is het effect?

• Wordt er gesproken over een relatief risico?
• Zo ja, wat is het absolute risico?

Wat is een relatief risico?
Een relatief risico zegt iets over het risico ten opzichte van een referentiegroep. Maar het is belangrijk om daarbij altijd rekening te houden met de kans vooraf. Als een risico 2x verhoogt bij een patiënt die van tevoren al een 10% risico heeft op een bepaalde ziekte; is dit een enorm groot absoluut verschil (van 10% naar 20%). Bij iemand die slechts 0,1% kans heeft verhoogt dit risico naar 0,2% en is het absolute verschil slechts 0,1%. 

Stap 7. Is er sprake van een oorzaak gevolg relatie?

• Kan er met dit onderzoek een oorzaak gevolg relatie aangetoond worden? Of slechts een correlatie?
• Is er mogelijk sprake van confounding?

Wat is een correlatie?
Een correlatie betekent dat er een verband is tussen twee factoren, maar het hoeft niet te betekenen dat er een oorzaak-gevolg relatie is (causaal verband). Soms is er zowel een correlatie als een causaal verband.

Stap 8. Welke nuance wordt besproken?

• Welke nuances worden er in het artikel of het onderzoek besproken?
• Komen deze nuances overheen met jouw eigen bevindingen uit stap 1 t/m 7

Stap 9. Is er sprake van bias?

• Is er sprake van recall bias?
• Is er de mogelijkheid dat de bevindingen gekleurd worden door publicatiebias?

Wat is recall bias?
Een veel voorkomende vorm van informatiebias is de zogenaamde “recall bias”, ook wel herinneringsbias genoemd. Dit houdt in dat verschillende groepen mensen zich bepaalde zaken anders herinneren. Een bekend voorbeeld hiervoor is dat vrouwen met een gehandicapt kind beter herinneren welke medicijnen ze tijdens de zwangerschap hebben geslikt dan vrouwen met een gezond kind. Dit kan een vertekening van resultaten opleveren.

Wat is publicatiebias?
Publicatiebias is het fenomeen dat negatieve resultaten minder snel gepubliceerd worden dan positieve resultaten.

Stap 10. Is het onderzoek ooit gerepliceerd?

• Zijn de bevindingen in dit onderzoek ooit in ander onderzoek aangetoond?

Conclusie
Dit 10-stappenplan voor de interpretatie van wetenschappelijke bevindingen geeft jou handvatten om kritisch te kijken naar informatie die je vindt in wetenschappelijk onderzoek of op internet. Pak regelmatig dit stappenplan erbij en uiteindelijk wordt het een automatisme.

Ben jij zorgverlener? We hebben ook een zakkaartje kritisch redeneren waarin alle stappen beschreven staan.