Jeg har netop fået accepteret et studie i Nationaløkonomisk Tidsskrift, hvor jeg viser, at studier af en kontrafaktisk nedlukning i Sverige baseret på den syntetiske kontrolmetode (SCM), er fejlbehæftede. Noget som Bjørnskov tidligere har påpeget.

SCM-studierne estimerer typisk, at en kontrafaktisk nedlukning i Sverige kunne have forhindret omkring 3.000 COVID-19-dødsfald i Sverige (svarende til 1.250-2.500 dødsfald i Danmark). I mit studie kører jeg først det, jeg kalder min ”naïve model”, for Sverige, og jeg får omtrent samme estimat: at en kontrafaktisk nedlukning ville have forhindret ca. 2.300 COVID-19-dødsfald i Sverige. Mit studies bidrag til litteraturen er dog, at dette estimat på ingen måde viser den reelle effekt af en kontrafaktisk nedlukning.

Det unikke i mit studie er nemlig, at læner mig op ad resultaterne fra Björn Thor Arnarson, som jeg tidligere har omtalt her. Björn viser, at regioner med vinterferie i (især) uge 9 i 2020 havde en væsentlig højere spredning af COVID-19 i foråret 2020. Jeg bruger Björns resultater som et instrument til at skabe fire hypotetiske Sveriger baseret på tidspunktet for vinterferien.

Disse fire hypotetiske Sveriger har alle holdt samfundet åbent under pandemien, og hvis nedlukningerne havde en effekt på dødeligheden, burde jeg finde en mærkbar effekt i hvert af de fire lande, når jeg kører dem gennem præcis samme SCM-model.

Men det er her, det bliver interessant. For ud af de fire hypotetiske lande, estimerer jeg kun en effekt i “uge 9-Sverige” – altså den region, hvor vinterferien lå aller mest uheldigt i forhold til at få importeret en masse smitte fra Alperne. I alle de andre hypotetiske Sveriger estimerer jeg stort set ingen effekt, jf. nedenstående figur fra studiet. Det er kun “uge 9-Sverige” (nederst til venstre), hvor jeg estimerer en effekt (de øvrige er insignifikante).

Grunden til, at jeg estimerer en effekt i “uge 9-Sverige” er naturligvis ikke, at nedlukningerne af en eller anden magisk årsag virker netop her. Nej, årsagen er, at SCM – på grund af den meget korte tid med data forud for nedlukningerne – ikke kan kontrollere for spredning af COVID-19 i landene før de europæiske lande begyndte at lukke ned. Kort fortalt ligger SCM’s validitet i at have en lang periode forud for interventionen til at skabe den syntetiske kontrol. Men det har man ikke for COVID-19, hvor der højst er 2-3 ugers meget dårlige data.

Og dykker man lidt ned i det, bliver det åbenlyst hvorfor det netop er i ”uge 9-Sverige”, jeg finder en stor effekt. Nedenstående figur viser, at smitten i “uge 9-Sverige” (estimeret ved mer-dødeligheden i ugerne efter nedlukningen) var meget udbredt. Og (centralt for resultaterne) markant forskellig for smitteudbredelsen i de syntetiske kontroller. Kort fortalt var “uge 9-Sverige” (hvor bl.a. Stockholm ligger) pga. uheldige omstændigheder allerede på en kurs, der ville bringe dem i store problemer, før de europæiske lande blev opmærksomme på pandemien og begyndte at implementere nedlukninger.

Smitten var ganske enkelt stukket af. Og den store dødelighed i ”uge 9-Sverieg” havde altså intet (eller i hvert fald meget, meget lidt) med manglende nedlukning at gøre.

Jeg slutter studiet med et retorisk spørgsmål: Ville forskere generere flerugers prognoser for en virksomheds omsætning baseret på blot 15-20 dages mudrede data med usikkerhed om, hvornår virksomheden helt præcis ændrede strategi?

Jeg tror, svaret er ligetil: Selvfølgelig ville de ikke det. Det ville være totalt useriøst. Alligevel har adskillige forskere brugt SCM til at estimere effekten af en kontrafaktisk nedlukning i Sverige.

I vores metastudie viser vi, at de fleste SCM-undersøgelser fokuserer på byer/lande med særligt høj COVID-19-dødelighed under den første bølge (som fx New York, Italien og Sverige) (se figur 1 her). Dette selektive fokus betyder, at der samlet set er en betydelig selektionsbias i SCM-litteraturen. Som gruppe har man ganske enkelt fokuseret på outliers. Det er problematisk – særligt når der kun er en meget kort dataserie forud for nedlukningerne.

En interessant undtagelse er Mader og Rüttenauer (2022), som anvendte den generaliserede syntetiske kontrolmetode (GSCM) på tværs af et bredere datasæt på 169 lande, hvilket effektivt minimerede selektionsbias. De finder ingen signifikante eller konsekvente effekter af de enkelte dele af nedlukningerne COVID-19-dødeligheden.

Mader og Rüttenauer (2022) viser altså, at når man fjerner forskernes selektionsbias estimerer man ikke længere en effekt af nedlukningerne.

Og dermed har jeg nok implicit forklaret titlen på mit studie. For man skal virkelig passe på med ikke at drage forhastede konklusioner, når man bruger SCM til at undersøge effekten af en kontrafaktisk nedlukning i Sverige.

PS: Hvis du vil læse studiet allerede nu, så send mig en mail på jherby@gmail.com eller kontakt mig på sociale medier.