Nedenstående er en infoboks fra min bog, Prisen værd? Det er min påstand, at alle studier, der finder en stor effekt af nedlukningerne, falder på mindst én af tommelfingerreglerne.

Den hyppigeste årsag til at et studie finder en stor effekt er, at der ikke er nogen kontrolgruppe og forskerne antager, at det kun var nedlukningerne, der gjorde en forskel. Implicit antager de altså, at alt det vi gjorde frivilligt (holde afstand, hilse med albuer, spritte hænder, aflyse fødselsdage osv.) ikke havde nogen som helst effekt. Det er fx det, Flaxman et al. (2020) gør, og som videnskab.dk var meget begejstret for.

Fem tommelfingerregler når du læser studier af effekten af nedlukninger

Gennem de første tre år af pandemien var der ofte folk, der sendte mig studier af effekten af nedlukninger, som angiveligt viste, at nedlukninger var meget effektive. Som beskrevet kapitel 3 er der en række forhold, man skal være opmærksom på, før man tager resultaterne i disse studier for gode varer.

Hvis du – måske ansporet af denne bog – begynder at debattere effekten af nedlukninger med venner, familie og kolleger, kan du ende i en lignende situation, hvor fortalerne for nedlukningerne oversvømmer din indbakke med forskning, der – angiveligt – viser det stik modsatte af, hvad du har læst i denne bog.

Da det kan være meget tidskrævende at læse alle studier, får du her fem tommelfingerregler, jeg udviklede for rimelig let at kunne skille skidt fra kanel i de debatter, jeg deltog i. Hvis du kan svare “Ja” til et af de fem spørgsmål, er der stor sandsynlighed for, at undersøgelsen ikke siger noget validt om effekten af nedlukninger.

1) Er undersøgelsen baseret på modelleringer?

Bruger forskerne en epidemiologisk model til at beskrive antallet af positive tests, indlæggelser og dødsfald, med og/eller uden nedlukninger? Hvis ja, siger studiet sandsynligvis ikke noget om effekten af nedlukningerne, da resultaterne afhænger 100% af forskernes antagelser i modellen.

Du kan søge efter ordet “model” for at finde indikationer for, om der er tale om et modelstudie, men vær meget forsigtig, da “model” også bruges til at beskrive den empiriske model, forskerne har brugt til at analysere data. Før du ser bort fra studiet, skal du være sikker på, at der er tale om en epidemiologisk model a’la SIR-modellen, som jeg gennemgår i kapitel 5.

2) Negligerer studiet effekten af frivillige adfærdsændringer?

Ofte – men langt fra altid – skriver forskerne direkte, at de ikke kan skelne mellem effekten af nedlukninger og effekten af frivillige adfærdsændringer? Mange forskere skriver som Flaxman m.fl. (2020) noget a’la ”our parametric form of Rt assumes that changes in Rt are an immediate response to interventions rather than gradual changes in behaviour, and it does not include importation or subnational variation”, hvilket tydeligt indikerer, at studiet ikke undersøger effekten af nedlukningerne, men effekten af samfundets samlede svar på pandemien. Jeg søger normalt efter “behavior“, “spontaneous“, “voluntary” og lignende ord, for at finde de steder, hvor forskerne skriver om det. Hvis de skriver om det. For det gør de desværre ikke altid.

3) Fejler studiet i forhold til at bruge en relevant kontrolgruppe?

Anvender forskerne bag studiet en tilgang, hvor de har en relevant kontrolgruppe, fx ved at bruge en difference-in-difference tilgang? Denne regel er lidt vanskelig, hvis du ikke er bekendt med empiriske metoder (og faktisk ofte også selvom du er, fordi det ikke altid fremgår klart). Det du er på udkig efter er, om forskerne har en eller anden form for kontrolgruppe, eller fx blot sammenligner “før nedlukning” med “efter nedlukning” uden en kontrolgruppe. Hvis ja, kan du ikke stole på deres resultater, da de ikke skelner mellem virkningerne af nedlukninger og andre effekter såsom frivillige adfærdsændringer.

4) Er der et (meget) lille datagrundlag?

Cherrypicker forskerne lande eller stater, når de skal undersøge effekten af nedlukningerne? Der er flere studier, der ved første øjekast bruger en gyldig metode til at analysere effekten af nedlukninger, men hvor resultaterne er biased, fordi forskerne har fokuseret på højt profilerede tilfælde som fx Sverige, New York eller Italien, der alle blev ramt tidligt og hårdt af pandemien. Hvis de gør det, så tænk over hvorfor de ikke undersøger fx Japan eller Island, som havde få dødsfald og meget milde nedlukninger. Eller Belgien som havde rigtig mange dødsfald og meget hårde nedlukninger?

5) Forveksles “statistisk signifikant” med “politisk signifikant”?

Når et resultat er statistisk signifikant, betyder det, at resultatet næppe er tilfældigt. Det betyder ikke, at det er af praktisk betydning. Et resultat, der viser, at nedlukninger reducerede dødeligheden med 0,1%, kan være statistisk signifikant, men er ikke af praktisk betydning – det er ikke politisk signifikant. Et statistisk signifikant resultat kan derfor reelt vise sig at vise det stik modsatte af, hvad den person, der viser dig undersøgelsen, regner med.

Vær forsigtig!

Bemærk, at ovenstående alene er tommelfingerregler. Det betyder, at de virker generelt, men ikke nødvendigvis altid. Så vær forsigtig! Og jeg må hellere bemærke, at vores metastudie naturligvis ikke er baseret på tommelfingerregler.