Jeg bruger for tiden en del tid på at læse studier om effekten af nedlukninger. I forbindelse med min gennemgang har jeg bemærket, at en relativt stor andel af studierne konkluderer lidt for hårdt – og i visse tilfælde direkte modsat af – hvad de reelt finder.

Lad os se på et par eksempler.

Chisadza m.fl. (2021) skriver i abstract, at ”less stringent interventions increase the number of deaths, whereas more severe responses to the pandemic can lower fatalities.” Det baserer de på en af deres modelspecifikationer (mr. 4 i Tabel 5), hvor de finder et positivt estimat for stringency (flere døde, jo mere der lukkes ned), men negativt estimat for stringency squared (færre døde, jo mere der lukkes end). Det betyder, at for små værdier af stringency fører nedlukningen til flere dødsfald, men for store værdier af stringency (>124) vil den samlede effekt af nedlukningen være negativt (altså færre dødsfald). Problemet er dog – som nedenstående figur viser – at den samlede effekt ikke kan blive negativ for mulige værdier af stringency, som er et indeks der går fra 0 til 100. Chisadza m.fl. (2021) viser altså, at nedlukninger altid fører til flere dødsfald. Ikke just det indtryk, man får fra deres abstract.

Dave m.fl. (2021) skriver i abstract, at ”we find that approximately 3 weeks following the adoption of a SIPO [shelter in place-order], cumulative COVID-19 cases fell by approximately 53.5%”. Men ser man på deres resultater (tabel 8 nedenfor), så finder de en stor effekt på dødsfald allerede efter 6-14 dage og altså før SIPO kan have en effekt (fordi det, som Bjørnskov (2020) beskriver, tager ca. 18 dage, før man kan se effekten af en politik i dødstallene). Effekten efter 15-19 dage – som altså er på grænsen til, at det kan skyldes SIPO, er næsten præcis lige så stor som effekten efter 20+ dage, og de kunne derfor i mine øjne lige så vel konkludere, at det var frivillige adfærdsændringer, der gjorde hele forskellen. Som minimum er de i hvert fald vigtigere, da estimatet efter 6-14 dage er 2/3 af den langsigtede effekt.

Stokes m.fl. (2020) konkluderer, at “focusing on ‘compulsory’, particularly school closing, not ‘voluntary’ reduction of social interactions with mandated policies appears to have been the most effective strategy to mitigate early Covid-19 mortality.” De baserer deres konklusion på tre forskellige analyser, hvor henholdsvis 1 ud af 9, 3 ud af 30 og 8 ud af 30 forskellige indgreb er signifikante (se deres supplementary information s. 13 og 17). I mine øjne er deres konklusion alt for hård, da vi meget vel kan være tæt på tilfældigheder her. Hvis man undersøger et datasæt for tilpas mange sammenhænge, vil man altid kunne finde nogle, der er indenfor et 5% konfidensinterval. Dette problem er kendt som multiple test bias og som beskrevet her, er der 79% sandsynlighed for at finde mindst ét signifikant estimat, når man undersøger 30 indgreb. Korrigerer man for multiple test bias med Bonferroni correction er kun ganske få af deres estimater signifikante (forskellige grader af rejserestriktioner).

Ashraf (2020) konkluderer, at “government response in terms of stringent lockdowns and social distancing measures has proved effective in controlling the spread of highly contagious virus.” Problemet er, at de finder en effekt på –0,326 til -0,073 døde pr. million indbyggere pr. stringency point. Den effekt er helt utroligt lille. Det kan illustrere ved at se på forskellen mellem Danmark og Sverige. Fra 16. marts 2020 til 15. april 2020 havde Danmark et gennemsnitligt stringency på 71,7, mens Sveriges var 56,6 – en forskel på 15,1 stringency point. Ganger vi dette på effekten, får vi altså, at Danmarks nedlukning reddede mellem 6 og 29 mennesker fra at dø af COVID-19 i forhold til en svensk ”nedlukning”. Det vil jeg under ingen omstændigheder kalde effektivt.

Ylli m.fl. (2020), som jeg tidligere har omtalt her, konkluderer i abstract, at ”the drastic social isolation measures, quickly undertaken in response to those initial outbreaks appear effective, especially in Eastern European countries, where community circulation started after March 11th. The study demonstrates that efforts to delay the early spread of the virus may have saved an average 30 deaths daily per one million inhabitants,” uden overhovedet at have undersøgt effekten af nedlukninger! Studiet er udgivet I PLOS ONE, og man undres over, at ikke én eneste reviewer har påpeget, at man ikke kan drage den konklusion på baggrund af studiet.

Aparicio og Grossbard (2021) konkluderer at, ”this suggests that various types of social distance measures such as school closings and lockdowns, and how soon they were implemented, help explain the US/EUROPE gap in cumulative deaths measured 100 days after the pandemic’s onset in a state or country”, selvom alle deres estimater for NPI’erne er insignifikante (i øvrigt er det en myte, at USA lukkede mindre eller langsommere ned end Europa, som jeg tidligere har beskrevet her (se sidste figure)).

Sears m.fl. (2020) ser på effekten af SIPOs (shelter in place-orders) og skriver i abstract, at ”death rates [were] 42-54% lower than in the absence of policies.” Men for det første inkluderer de 42-54% effekten af frivillig adfærd (uden frivillig adfærd er effekten 29% -35%, og det betyder rent faktisk – hvis du regner lidt efter – at frivillig adfærd har større effekt end udgangsforbud). For det andet er deres resultater insignifikante på et 5% signifikansniveau (se deres tabel 4).

Samlet set sidder jeg med en fornemmelse af, at konklusionerne i mange af studierne er biased. Og det er stort set altid i én retning: nedlukninger virker. Men det findes ganske givet også i den anden retning. Når man skal danne sig et overblik over litteraturen, er der derfor god grund til også (og måske primært) at studere forskernes resultater – og ikke nødvendigvis fokusere så meget på forskernes egne fortolkninger af deres resultater.