Mens danske politikere diskuterer, hvordan man kan lukke samfundet op igen uden at få en smittestigning, er det værd at minde om en ting: Der har siden maj været masser af forskningsaktivitet omkring spørgsmålet, om nedlukningerne overhovedet har nogen virkning, og i så fald hvor store virkningerne er. Som vores læsere vil vide, har jeg selv bidraget til diskussionen med to studier, hvoraf det ene er en sammenligning på tværs af lande og det andet, skrevet med DTUs Kasper Kepp, er en konkret evaluering af de voldsomme nedlukninger i Nordjylland.
Mange mennesker er blevet voldsomt vrede over, at jeg og andre har tilladt os at stille spørgsmålstegn ved, hvorvidt en ekstremt indgribende politik med en regning der løber op i flere hundrede milliarder kroner overhovedet virker. I dagens politiske miljø er det åbenbart næsten lige så kættersk som at spørge, om jorden drejer rundt i 1610ernes katolske Italien. Men konklusionen i den oprindelige version af mit papir var, at effekten på den overordnede dødelighed er nul af at gå videre end Sveriges politik i foråret 2020. Efterfølgende er der kommet flere studier, der bekræfter mit oprindelige fund. Et stjernehold fra Stanford University – Eran Bendavid, Christopher Oh, Jay Bhattacharya og John P. A. Ioannidis – konkluderede således i januar, at ”we find no clear, significant beneficial effect of mrNPIs on case growth in any country.”
En del af kritikken af mit studie i efteråret var, at det jo ikke var fagfællebedømt og man derfor ikke kunne vurdere kvaliteten af det. Den kritik er nu irrelevant, da en revideret version af det oprindelige studie er gået gennem en meget omhyggelig fagfællebedømmelse. Studiet er nu under udgivelse i CESIfo Economic Studies, et respekteret tidsskrift der udgives af IFO-instituttet i München. Det pudsige er, at det ekstra analysearbejde som fagfællebedømmerne har krævet, faktisk har strammet konklusionerne endnu mere op.
Studiet bruger en standardmetode til at vurdere effekter af politik, som kendes fra nationaløkonomi og kvantitativ politologi. Ved at sammenligne udvikling i overordnet dødelighed uge for uge på tværs af 24 lande, relativt til de samme landes nedlukningspolitik og de samme landes dødelighed i de samme uger i 2017, 2018 og 2019, kan man få et estimat på effekten af nedlukninger. Sammenligningsgrundlaget er som altid det mindst nedlukkede land i foråret 2020, dvs. Sveriges begrænsede nedlukninger i første halvår af 2020.
Analysen viser, at et ekstra points nedlukning er forbundet med 0,4 % højere dødelighed, målt ved Oxford Universitets ’containment and health’ indeks, og 0,6 % lavere dødelighed, målt ved det tilsvarende ’policy stringency’ indeks. Usikkerhedsintervallerne for de to estimater er henholdsvis [-2,5;3,3] og [-3,7;2,5], så effekterne er meget, meget langt fra statistisk signifikante. Men når man stiller skarpere på dødelighed i forskellige aldersgrupper – som en af fagfællebedømmerne foreslog – dukker der faktisk et enkelt resultat frem, der er statistisk sikkert.
Som man kan se i dagens figur, er estimaterne alle relativt små og omgivet af brede konfidensintervaller. Undtagelsen er estimaterne på, hvad yderligere nedlukning gør ved dødeligheden blandt de 60-79-årige 3-5 uger efter politikændringen. Her er estimatet faktisk en statistisk sikker effekt på +3,4 % – dvs. at nedlukninger er forbundet med flere efterfølgende dødsfald.
Er man blandt dem, der faktisk tager empirisk forskning alvorligt – og det gælder tydeligvis ikke en del epidemiologer, der i stedet stoler blindt på uigennemsigtige computermodeller – er der således ingen empirisk evidens for, at nedlukninger gør nogen gavnlig forskel. Hvornår – om nogensinde – de indsigter også dukker op i dansk politik, er det store spørgsmål, men den nye viden skal ikke skjules for den bredere befolkning.
Citat:
“Studiet er nu under udgivelse i CESIfo Economic Studies, et respekteret tidsskrift der udgives af IFO-instituttet i München.”
Kommentar:
Jeg skal ikke gøre mig specielt klog på andre fagfelter. Men tidsskriftet har en impact factor på 0,6. Indenfor mit felt, kvalificerer det som et junk-tidsskrift.
Citat:
“Studiet bruger en standardmetode til at vurdere effekter af politik, som kendes fra nationaløkonomi og kvantitativ politologi. Ved at sammenligne udvikling i overordnet dødelighed uge for uge på tværs af 24 lande, relativt til de samme landes nedlukningspolitik og de samme landes dødelighed i de samme uger i 2017, 2018 og 2019, kan man få et estimat på effekten af nedlukninger. Sammenligningsgrundlaget er som altid det mindst nedlukkede land i foråret 2020, dvs. Sveriges begrænsede nedlukninger i første halvår af 2020.”
Kommentar:
Mageløst: Man sammenligner dødeligheden for den selvsamme uge som nedlukningen sker i.
Hvor hurtig en medicinsk og epidemiologisk effekt af en nedlukning forudsætter det lige?
Det er muligt at den slags giver mening i kvantitativ politologi.
Men epidemiologisk, giver det nul mening.
Kære Kurt. Hvad med at læse studiet før du begynder at kritisere? Jeg ser på effekter på dødeligheden fire uger efter at politikken er ændret. Den lagstruktur følger omhyggeligt den timing af smitte-, indlægelses- og dødstid, virologer har fundet. Så jeg ser ikke på “dødeligheden for den selvsamme uge som nedlukningen sker i”, men fire uger senere!
Derudover ved du sikkert godt, at man ikke kan sammenligne impact faktorer på tværs af felter. I dele af naturvidenskaberne ville 0,6 være latterligt lavt, men ikke i samfundsvidenskaberne. Her har de absolutte toptidsskrifter som American Economic Review og American Journal of Political Science en impact på lidt over 4. Så en impact på 0,68 – den seneste for CESIfo Economic Studies – er faktisk ganske respektabelt. Man kan også se det ved at topforskere som Gabriel J Felbermayr, François Bourguignon og vores egen Torben M. Andersen har publiceret der, ligesom man jo kan overveje, at det er Oxford University Press der udgiver tidsskriftet.
Hej Christian.
Studiets konklusion er altså, at dødeligheden for aldersgrupper over 40 år er steget?
Nu ved jeg godt at det ikke ligger indenfor studiets scope, men er der nogen gæt på hvad folk dør af?
Er det Covid-19, fordi smitten har spredt sig på trods af nedlukninger, eller er andre dødsårsager vokset.
Hej Kjeld.
Nu er jeg jo ikke epidemiolog eller virolog, men ‘bare’ økonom. Så jeg kan ikke sige noget med nogen rimelig sikkerhed om, hvorfor nedlukninger ser ud til at føre til større dødelighed blandt de 60-79-årige.
Men tænker man på estimaterne som en slags langsigtseffekter, er det måske rimeligt at overveje, at kræftdødsfald og hjerteproblemer er et relativt stort problem for netop den aldersgruppe. Der er efterhånden ret meget evidens for, at nedlukningerne i stort set alle lande førte til udskudt behandling, udskudte screeninger, og at folk i langt lavere grad kom på hospitalet med f.eks. hjerteproblemer. Mine lægevenner fortæller mig, at den slags på sigt fører til langt flere dødsfald (som Weekendavisen også skrev om forleden). Men om det er præcist den slags problemer, som estimatet for de 60-79-årige reflekterer, kan jeg i sagens natur ikke sige ret meget om.
Effekten af for sent opdaget kræft viser sig næppe allerede 4 uger efter. Det kan tage år at dø af kræft. Lidt det samme med hjerteproblemer.
Man kan ikke udelukke at det er Covid-19 som bare er i fremmarch, på det tidspunkt at der lukkes ned, og så er det store spørgsmål om nedlukningen er ligegyldig, fremmer eller sinker sygdommens udbredelse.
Helt enig – selvfølgelig ser man ikke det fire uger efter. Men estimaterne skal nok fortolkes som langsigtseffekter – effekter_efter_fire uger. Det er den slags lægefaglige spørgsmål, som jeg naturligvis ikke kan give et kvalificeret bud på, og som jeg derfor heller ikke diskuterer i papiret. Og der er jo også den anden mulighed, at nedlukningerne faktisk fremmer virussens udbredelse hjemme hos folk, og denne gruppe derfor bliver mere udsat fordi de bliver tvunget til at være meget mere hjemme. Igen, det er spekulativt og et præcist svar kræver meget mere information om, hvad de reelt er døde af.
Undrer det dig, at der er en stigning i dødeligheden efter en nedlukning? Det tager omkring 4 uger at dø af coronovirus efter man er smittet. De lande som har lukket ned, har gjort det fordi man har observeret en markant stigning i antallet af smittede. Du mangler den underliggende kausale faktor i din analyse, nemlig antallet af smittede, som prædikterer både nedlukningen og mortaliteten i ugerne efter.
Du tester desuden 50 forskellige hypoteser i din artikel – og tilsyneladende flere efter peer review – uden at korrigere dine p-værdier eller kommentere på det. Er det normal praksis? Givet dit signifikansniveau og antallet af hypoteser, hvad er så sandsynligheden for at den signifikante sammenhæng du finder er en falsk positiv?
Christian, det er ikke rigtigt at der er en sammenhæng mellem antal smittede og nedlukningerne. Du kan f.eks. se Sebhatu et al. i PNAS sidste sommer. De vestlige lande lukkede alle ned på stort set samme tidspunkt uanset deres smittetal, så det er ikke en faktor. Og i den grad det alligevel er korreleret, bliver det slugt af de uge-fixed effects, der er med i studiet.
Mht. antallet af hypoteser har jeg faktisk lavet en Bonferoni-korrektion og set, hvilke konsekvenser det har. Det ligger bare i en fodnote i den endelige version af artiklen.
‘Det tager omkring 4 uger at dø af coronovirus efter man er smittet. De lande som har lukket ned, har gjort det fordi man har observeret en markant stigning i antallet af smittede.’
Nå … Det er ellers demonstreret, at IFR (Infection Fatality Rate) er på 1,5 promille for hele befolkningen og 0,3 promille for dem under 70 år. Dvs. ca. på niveau med influenza for hele befolkningen, og lavere end influenza for de under 70-årige.
Det er svært at konkludere andet end, at coronavirus er en mindre dødsårsag, som ikke kan retfærdiggøre nedlukninger.
– John P. A. Ioannidis: Global perspective of COVID‐19 epidemiology for a full‐cycle pandemic
https://onlinelibrary.wiley.com/doi/full/10.1111/eci.13423