For at min bog, ”Prisen værd”, ikke skulle blive for lang og for tung at læse, valgte jeg at pille nogle af de mere tekniske kapitler ud. Et af dem kan du – i lettere omskrevet form – læse herunder.
Du kan købe bogen her eller låne den på biblioteket.
To naturlige eksperimenter
I forbindelse med at vores metastudie lavede vi en søgning, hvor vi bl.a. søgte efter naturlige eksperimenter af nedlukninger og COVID-19-restriktioner. Vores søgning førte til to naturlige eksperimenter, som vi skal se nedenfor. ”Naturlige eksperimenter” refererer til situationer, hvor der tilfældigt bliver etableret en behandlingsgruppe og en kontrolgruppe. Denne form for studier er relativt sjældne, fordi det kræver en vis opfindsomhed fra forskernes side at identificere dem.
Disse studier er uhyre vigtige, fordi de kan give os rigtig god indsigt i, hvordan konkrete politikker fungerer i den rigtige verden.
Ingen effekt af nedlukningen i Nordjylland i november 2020
Kristian Planeta Kepp fra Institut for Kemi på DTU og Christian Bjørnskov fra Økonomisk Institut på Aarhus Universitet argumenterer for, at nedlukningen i Nordjylland i november 2020 fungerede som et naturligt eksperiment.[1]
Nedlukningen – der startede 6. november og varede til 20. november[2] – omfattede syv af Region Nordjyllands 11 kommuner og var relativt hård. Den indebar bl.a. forbud mod borgerne i de nedlukkede kommuner mødte ind på arbejde i de kommuner, der ikke var lukket ned.[3]
Årsagen til, at det nedlukningen af de syv kommuner i Nordjylland kan opfattes som et naturligt eksperiment er, at kommunerne ikke blev lukket ned på grund af mange COVID-19-infektioner, men på grund af mutationer i mink. Det var altså på sin vis tilfældigt (styret af hvor sundhedsmyndighederne så størst forekomst at smitte med minkvarianten[4]), om en kommune blev lukket ned eller ej. Og netop fordi nedlukningen ikke blev indført for at dæmpe det generelle smittetryk (som i øvrigt var nogenlunde ens i de to grupper af kommuner), kan risikoen for en omvendt årsagssammenhæng, hvor der lukkes ned, fordi smitten er høj, afvises.
Kepp og Bjørnskov viser, at selvom smitteniveauet ganske vist faldt, efter man lukkede de syv kommuner ned, så faldt det før nedlukningen var trådt i kraft og også i de fire kommuner, der ikke blev lukket ned. Figur 1 viser smittetallene i de to grupper af kommuner (de syv nedlukkede kommuner til venstre og de fire øvrige kommuner til højre). De lodrette streger viser den dato, hvor nedlukningen trådte i kraft, og den dato, hvor effekten af nedlukningen ville kunne ses i smittetallene (fordi der går nogle dage, fra man bliver smittet, til man tester positiv i en test). Kepp og Bjørnskov laver en række statistiske tests for at dokumentere deres resultater, men data fra deres figur 1 taler næsten deres eget sprog. Ser man på figuren til højre (kommunerne, der ikke blev lukket ned, er det meget tydeligt, at smitten faldt før man lukkede ned. Det samme gælder i de kommuner, der blev lukket ned (til venstre). Billedet er lidt sløret af, at antallet af tests ændrede sig omkring nedlukningstidspunktet, men Kepp og Bjørnskov viser, at den ændrede testaktivitet ikke ændrer deres konklusioner.
Figur 1: Nedlukningen i Nordjylland: Infektionsniveauet faldt, før nedlukningen trådte i kraft og i kommuner uden nedlukninger
Note: Panel A til venstre viser smitteniveauet i de syv kommuner, der var lukket ned, og panel B til højre viser smitteniveauet i de fire kommuner, der ikke var lukket ned. De lodrette linjer viser dagen, hvor nedlukningen trådte i kraft (nedlukningen blev meldt ud d. 5. november kl. 18:30, og de første trådte i kraft dagen efter d. 6. november) samt syv dage senere, hvor en effekt af nedlukningen ville være synlig, fordi det tager tid fra man bliver smittet til man tester positiv for COVID-19.
Kilde: Figur 1 i Kepp og Bjørnskov (2021).
Kepp og Bjørnskov viser også, at deres resultater ikke skyldes såkaldte spill-over effekter, altså at de åbne kommuner fik gavn af at smitten faldt i de nedlukkede kommuner, og at Nordjyllands eneste storby, Aalborg, ikke var blandt de lukkede kommuner.
Konklusionen i Kepp og Bjørnskov (2021) er altså med andre ord, at det ikke var nedlukningen, der fik smitten til at falde, men noget andet.
Statens Serum Institut konkluderede i modsætning til Kepp og Bjørnskov, at nedlukningen af Nordjylland havde været effektiv. Men som du kan læse i boks 1, er baggrunden for deres konklusion yderst spinkel. Bl.a. falder de – ligesom så mange andre – i fælden med at konkludere på baggrund af tidsrækkeanalyse, som jeg tidligere har vist er stærkt problematisk ift. at vurdere effekten af nedlukninger. For Nordjylland viser Kepp og Bjørnskov (2021) som sagt også, at smitten faldt i alle nordjyske kommuner – ikke kun dem, der blev lukket ned.
Hvorfor fik Statens Serum Institut et helt andet resultat end Kepp og Bjørnskov (2021)?
Statens Serum Institut konkluderer i en rapport d. 6. december, “Notat om effekten af nedlukning frem til jul”[5], at ”nedlukningen i syv nordjyske kommuner 15 dage i november 2020 viste, at det er muligt at reducere incidensen med 76%”. Statens Serum Institut når frem til de 76% ved at sammenligne incidensen (det korrigerede smittetal pr. 100.000, hvor man forsøger at tage højde for antallet af tests) i medianen af de syv kommuner, der blev lukket ned (hvilket vil sige Thisted) i ugen før nedlukningen (30. oktober – 5. november) med incidensen i ugen efter nedlukningen (26. november – 2. december). I Thisted faldt incidensen i denne periode fra 145,7 til 34,8, hvilket svarer til et fald på netop 76%. Statens Serum Institut skriver også, at incidensen faldt med 20% i de fire kommuner, der ikke blev lukket ned.
Men hvordan kan Statens Serum Institut finde frem til, at nedlukningen var uhyre effektiv, mens Kepp og Bjørnskov finder frem til, at nedlukningen ingen effekt havde?
Det forklarede Professor Kasper Planeta Kepp på sin hjemmeside i december 2020.[6] Ifølge Kepp skyldes forskellen tre faktorer:
- Der går tid fra man bliver smittet til man bliver testet positiv. Derfor vil en effekt af nedlukningen ”allertidligst [kunne ses] ca. 9.-12. november, men mere realistisk først lidt senere”. Statens Serum Institut tager altså udgangspunkt i incidensen fra 30. oktober – 5. november, hvor smitten var omkring 50% højere end 9. november, hvor effekten af nedlukningen aller tidsligst kunne ses.[7]
- Smitten faldt før nedlukningen og også i de ikke-lukkede kommuner. Der var altså både en nedadgående trend før nedlukning, og man så et fald i ”kontrolgruppen”. Alene ved at korrigerer Statens Serum Instituts egne tal på 76% med de 20%-point i nabokommunerne, reduceres Statens Serum Instituts mål for effekten af nedlukningen altså til 56%.
- Statens Serum Institut vægter alle kommuner ligeligt uanset befolkningstallet. Dermed tæller faldet i incidens blandt Læsøs 1.800 fra 109,9 til 0 (som skyldes, at der blev fundet én positiv d. 3. og 5. november og nul derefter) lige så meget som faldet fra 116,6 til 62,3 blandt Vesthimmerlands 37.300 indbyggere (som skyldtes et fald fra 40 smittede til 25 smittede).
Jeg vil dertil tilføje, at Statens Serum Instituts valg af median er særdeles underlig.
- Statens Serum Instituts udvælger effekten på baggrund af incidensen i ugen efter nedlukningen, og ikke på baggrund af ændringen i incidens. Havde de valgt medianen for ændringen, ville deres konklusion have været 60,6% – ikke 76%.
Disse fire problemstillinger håndterer Kepp og Bjørnskov, og det er altså derfor, at de når frem til et helt anderledes resultat end Statens Serum Institut. Og det er ikke så underligt. For ser man bort fra Læsø Kommune, bruger medianen for ændringen i incidensen, korrigerer for de 20%-point i de øvrige kommuner og tager højde for faldet på 50% før effekten kan ses, ender man på ca. 13% – milevidt fra Statens Serum Instituts påstand om at effekten var 76%.
Hvem har så ret? Så vidt jeg ved, har Statens Serum Institut ikke været ude og forsvare deres beregninger. Og det virker da også til, at beregningerne er lavet ”på bagsiden af en konvolut” uden rigtigt at forholde sig til nuancerne. Og på den baggrund kan jeg ikke lade være med at spekulere over, om det betyder noget, at notatet udkom få dage før, at Danmark gik ind i sin anden nedlukning. Men sådan er der jo så meget.
Ingen effekt af udgangsforbud i Wisconsin i foråret 2020
Et andet naturligt eksperiment fandt sted i Wisconsin, da Wisconsins højesteret den 13. maj 2020 erklærede, at delstatens “Safer at Home”-ordre (det lyder pænt, men der er tale om et udgangsforbud) var forfatningsstridig. Som hos Kepp og Bjørnskov er det centrale her, at Højesterets afgørelse ikke var et svar på faldende eller stigende smittetal, men – i det mindste i forhold til COVID-19-pandemien – en tilfældig begivenhed, der pludselig og stort set uventet ophævede udgangsforbuddet. Og derfor kan man – præcis som med Kepp og Bjørnskov – afvise, at der kan være problemer med en omvendt årsagssammenhæng, hvor udgangsforbuddet blev ophævet pga. lave smittetal. En evt. stigning i smitten i Wisconsin forhold til kontrolgruppen vil derfor kunne tilskrives ophævelsen af udgangsforbuddet.
Amerikanske forskere tilknyttet IZA Institute of Labor Economics, et økonomisk forskningsinstitut baseret i Tyskland, bruger dette naturlige eksperiment til – ved hjælp af den syntetiske kontrolmetode – at estimere effekten af udgangsforbuddet på smittespredningen ved at sammenligne udviklingen på tre parametre (social distancing, COVID-19-tilfælde og COVID-19-dødsfald) i Wisconsin med udviklingen i en dobbeltgænger for Wisconsin sammensat på baggrund af den historiske udviklingen i 18 delstater, der alle havde udgangsforbud i den efterfølgende periode.[8] Ved at sammenligne udviklingen i det rigtige Wisconsin med udviklingen i dobbeltgængeren, kan de få et estimat for effekten af at ophæve udgangsforbuddet.
Som beskrevet tidligere her på bloggen, er det ikke helt uproblematisk at bruge den syntetiske kontrolmetode i forhold til at evaluere effekten af nedlukninger, fordi metoden kræver, at man har en lang periode forud for nedlukningen til at basere dobbeltgængeren på. I tilfældet fra Wisconsin har forskerne dog den fordel, at de ikke estimerer nedlukningen i starten af pandemien – hvor der ofte kun var 1-2 ugers data at basere den syntetiske enhed på – men ændringen midt i maj, hvor der var væsentligt mere data (10-12 uger). Selvom det stadig er en relativt kort periode, er det altså væsentligt bedre end de første studier baseret på den syntetiske kontrolmetode.
Resultaterne fra Dave m.fl. (2020) er vist i figur 2 nedenfor. Figuren viser udviklingen i det rigtige Wisconsin (med rød) og dobbeltgængeren (med blå) kaldet ”Synthetic Wisconsin” før og efter højesteretsdommen (markeret som ”SC Ruling”). Som figuren illustrerer, finder forskerne ikke evidens for, at det havde nogen væsentlig effekt på pandemiens udvikling at ophæve udgangsforbuddet. Man fristes næsten til at sige tværtimod, fordi antallet af dødsfald er højere i dobbeltgængeren med udgangsforbud end i det rigtige Wisconsin, men her skal man huske på, at forskellen for det første ikke er signifikant og at metoden som nævnt har visse iboende problemer. Men havde udgangsforbud haft en væsentlig effekt på smittespredningen, burde man kunne se en effekt efter højesteretsdommen. Og det kan man ingenlunde.
Figur 2: Ophævelsen af udgangsforbuddet i Wisconsin havde ingen effekt på antallet af COVID-19-dødsfald
Note: Den røde linje viser den faktiske udvikling i Wisconsin, mens den blå linje viser udviklingen i dobbeltgængeren (Synthetic Wisconsin). Den stiplede lodrette linje (SC Ruling) viser datoen for højesterets afgørelse.
Kilde: Dave m.fl. (2020) viser flere af disse figurer baseret på forskellige metoder. Da de alle viser stort set det samme, præsenterer jeg kun udvalgte tal ovenfor. COVID-19-dødsfald er fra figur 3 – Panel (d), COVID-19-tilfælde fra figur 2 – Panel (d) og tid i hjemmet fra figur 1 – Panel (c).
Til sammenligning fandt vi i vores metastudie, at udgangsforbud reducerede dødeligheden med sølle 2,0%. Tænk, at mange millioner mennesker rundt omkring i verden har været spærret inde i deres boliger af myndighederne i månedsvis til tæt ved ingen verdens nytte. Det er ubegribeligt trist.
Referencer
Dave, Dhaval, Andrew I. Friedson, Kyutaro Matsuzawa, Drew McNichols, og Joseph J. Sabia. 2020. “Did the Wisconsin Supreme Court Restart a Covid-19 Epidemic? Evidence from a Natural Experiment”. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.3620628.
Kepp, Kasper Planeta. 2020. “Om effekten af nedlukning i Nordjylland”. http://kpje.com/ssi_nordjylland2.pdf.
Kepp, Kasper Planeta, og Christian Bjørnskov. 2021. “Lockdown Effects on Sars-CoV-2 Transmission – The Evidence from Northern Jutland”. medRxiv, januar. https://doi.org/10.1101/2020.12.28.20248936.
Statens Serum Institut. 2020. “Notat om effekten af nedlukning frem til jul”. j. nr. 20/14641. https://covid19.ssi.dk/-/media/arkiv/subsites/covid19/modelberegninger/notat-om-effekten-af-nedlukning-frem-til-jul_06122020.pdf?la=da.
[1] Kepp og Bjørnskov (2021)
[2] Nedlukningen blev annonceret 5. november kl. 18:30 og de første restriktioner startede dagen efter, mens de sidste – skoler og uddannelser – blev lukket fra og med mandag d. 9. november. Nedlukningen skulle i første omgang have varet til 3. december, men blev afsluttet allerede 20. november, se https://www.stm.dk/presse/pressemoedearkiv/pressemoede-den-5-november-2020/
[3] Fx sagde Statsministeren, at ”Hvis man bor i én af de kommuner, jeg lige har omtalt her, og arbejder i en af de syv kommuner, så vil man ikke længere kunne møde ind på sit arbejde, medmindre der er tale om en kritisk funktion.” Kilde: https://www.stm.dk/presse/pressemoedearkiv/pressemoede-den-5-november-2020/
[4] Statsministeren sagde, at ”derfor har vi i dag besluttet en række indgribende restriktioner for borgerne i de syv kommuner i Nordjylland. Det er de syv kommuner, hvor sundhedsmyndighederne ser størst forekomst at smitte med den her minkvariant”. Kilde: https://www.stm.dk/presse/pressemoedearkiv/pressemoede-den-5-november-2020/
[5] Statens Serum Institut (2020)
[6] Kepp (2020)
[7] Se figur 2 i Kepp (2020).
[8] Dave m.fl. (2020)