Hvis Folketinget gav dig penge til at analysere effekten af udvalgte tiltag under COVID-19-pandemien, hvad ville du så gøre, hvis du skulle levere værdi for pengene?
Der eksisterer allerede adskillige litteraturgennemgange gennemført af forskere fra fine universiteter og anerkendte institutioner som fx The Royal Society. Men fælles for stort set alle disse reviews er, at de
- blander studier med og uden kontrolgrupper[1] sammen i én stor pærevælling, og
- ikke kommer frem til nogen størrelsesorden af effekterne.
Det gør det svært at konkludere noget håndfast på baggrund af disse reviews.
Problemet er, at du uden en kontrolgruppe ikke ved, om effekten på fx dødeligheden skyldes tiltaget eller andre ting (fx frivillige adfærdsændringer). Og uden en størrelsesorden af effekterne kan du ikke få en fornemmelse af, om gevinsterne i form af lavere dødelighed står mål med omkostningerne ved fx at lukke skolerne. Det er svært at forestille sig, at man på en lignende sløset baggrund godkendte ny medicin eller nye vacciner.
Hvis du skulle levere bang for the bucks til Folketinget, skulle du altså gøre det, de mange andre reviews ikke gør, dvs.
- fokusere på studier, der har en (eller anden form for) kontrolgruppe, så du kan adskille effekten af tiltaget fra effekten af fx de frivillige adfærdsændringer, som vi ved var vigtige under pandemien.
- estimere et (eller flere) effektmål, så vi har et bedre bud på, hvor meget fx skolelukninger påvirker pandemiens udvikling.
Det første er nogenlunde til. Man kan godt skille skidt fra kanel, så man får frasorterer studier som fx Flaxman et al. (2020) (læs om Flaxman-fejlen her), der helt åbenlyst ikke er velegnede til at sige noget om effekten af nedlukningerne. Der er selvfølgelig udfordringer med de enkelte studier, som — fordi alting gik meget hurtigt under pandemien – kan have svært ved at adskille de enkelte effekter fra hinanden, men det er ikke en undskyldning for at inddrage studier uden kontrolgrupper.
Andet punkt er sværere, fordi studierne måler effekterne på vidt forskellige måder, som ikke nemt kan konverteres til ét mål. Men der er trods alt tale om et begrænset antal mål, og mange studier ser på effekten på kontakttallet (Rt) eller på antallet af døde. Så man kan nå rigtig langt ved at opdele på fx 2-4 forskellige mål for effekten og gå målrettet efter at blive klogere på dem.
Hvis du for alvor skulle levere bang for the bucks, burde du altså bruge al din tid på at samle resultaterne i de studier, der 1) har en kontrolgruppe og 2) ser på et af de 2-4 mål, du har fokus på – det kunne fx være effekten af tiltagene på dødeligheden/smittespredningen og kontakttallet.
VIVE fejler fuldstændigt
VIVE har været i præcis den situation, jeg beskriver ovenfor. De har fået 5,0 mio. kr. af Folketinget til ”evaluering af den danske håndtering af covid-19-epidemien”, hvoraf en andel er gået til netop at evaluere effekten af nedlukningerne, som var et af otte punkter, Folketinget ønskede undersøgt. Denne evaluering sker i deres Delrapport 1, som danner grundlag for deres endelige rapport, der er offentliggjort i dag.
Det er ikke mange penge, bevares. Men det undskylder ikke, at VIVE’s evaluering fejler fuldstændigt i forhold til at levere værdi i form af ny og brugbar viden. I stedet gør VIVE præcis det samme som de fleste tidligere reviews. De medtager alle studier uanset om de har en kontrolgruppe eller ej. Garbage in – garbage out.
Kan Red Bull kurere influenza?
For at illustrere, hvor problematisk det er at medtage studier uden en kontrolgruppe, så forestil jer, at man gav 1000 influenzasyge en Red Bull, fordi man havde en idé om, at energidrikken var en god kur. Efter 14 dages observation konstaterer man, at alle patienter er raske, og man kunne derfor komme til at konkludere, at Red Bull er særdeles effektivt mod influenza.
Det er basalt set det, der sker, når VIVE fx medtager omtalte Flaxman et al. (2020) i deres review. Flaxman et al. har ingen kontrolgruppe, men antager, at det er nedlukningerne, der forhindrer pandemien i at sprede sig.[2] Det er lige så seriøst som at antage, at det er Red Bull, der kurerer influenzaen.
Skolelukningerne som eksempel
For at illustrere min pointe, kan vi se på hvad VIVE skriver om skolelukningerne. Her konkluderer VIVE, at
”Samlet set peger litteraturen på, at skolenedlukning under covid-19-pandemien bidrog til at reducere smitte og indlæggelser og i mindre grad dødelighed, især når nedlukninger blev implementeret som led i en bredere indsats.”
Vi ved ikke, hvad effekten er
Selvom jeg ikke er uenig i konklusionen, så er den så vag, at den ikke lever op til formålet med evalueringen, som er at ”belyse effekten af ikke-farmakologiske tiltag på covid-19- smittespredningen”. Diskussionen går meget sjældent på, om der var en effekt eller ej, men på om effekten var af en størrelsesorden, der gør tiltaget prisen værd og potentielt relevant ved fremtidige pandemier.
I vores metastudie finder vi fx, at skolelukningerne reducerede dødeligheden med 5,9%. Det betyder, at hvis man ikke havde lukket skolerne, så ville der have været under 40 ekstra COVID-19-dødsfald under første bølge. Det ville være trist, men også en forsvindende lille effekt ift. de næsten 60.000 årlige dødsfald i Danmark, og den betydning skolelukningen havde for de knap 700.000 danske skoleelever (husk, at det primært var meget gamle mennesker, der døde af COVID-19).
De effekter, der nævnes, er misvisende
I deres kvalitative gennemgang af studierne kommer de dog ind på visse størrelsesordener. Fx skriver VIVE, at
”Walsh et al. (2021) fandt i et systematisk review […] at omtrent halvdelen af studierne viste en reduktion på op til 60 % i smitte efter skolenedlukning, mens de øvrige studier ikke fandt nogen effekt.”
VIVE henviser her til de 14 studier af skolelukninger, som Walsh et al. (2021) vurderer kun har moderate biases (De to andre kategorier er serious og critical).
Jeg har gennemgået de 14 studier, for at blive lidt klogere på metode og estimater. Og det er artig læsning. Resultaterne i de 14 studier fordeler sig nemlig som vist nedenfor.
Seks studier finder ingen eller lille effekt. Fem studier har ingen kontrolgruppe[3] – herunder bl.a. Auger et al. (2020), som finder, at skolelukningerne reducerer dødeligheden med de ca. 60%, der nævnes af VIVE som øvre mulig effekt. Auger et al. (2020) kommer basalt set frem til dette resultat ved at sammenligne udviklingen før og efter skolenedlukningen og antage, at den meget kraftige eksponentielle vækst før nedlukningen ville være fortsat uændret, hvis skolerne ikke var lukket. De antager med andre ord, at alt det vi gjorde frivilligt, ikke havde nogen som helst betydning.
Det sidste studie er Chernozhukov et al. (2021), som faktisk er et fint studie. Vi har også Chernozhukov et al. (2021) med i vores metastudie, og de er blandt de studier, der finder størst effekt af nedlukningerne (fx 17% færre døde ved at indføre udgangsforbud). De skriver dog, at de ikke kan estimere effekten af skolelukningerne troværdigt, fordi alle skoler i deres datasæt (USA) lukker næsten samtidig (inden for en uge), og der derfor ikke er tidsvariation nok til at estimere effekten præcist. Størrelsesordenen på deres estimat svinger derfor vildt, afhængig af hvilken model, de bruger til at estimere effekten.
Note: Studiet med usikker effekt er Chernozhukov et al. (2021), som skriver, at de ikke kan estimere effekten troværdigt, fordi alle skoler i USA lukker næsten samtidig (inden for en uge), og der derfor ikke er tidsvariation nok til at estimere effekten præcist).
Billedet er altså ret tydeligt. Næsten alle studier, der finder en betydelig effekt af skolelukningerne, har ingen kontrolgruppe. Alligevel beskrives det både af Walsh et al. (2021) og VIVE som om, at der rent faktisk er en effekt af betydning. Når de skriver, at ”halvdelen af studierne viste en reduktion på op til 60 % i smitte efter skolenedlukning, mens de øvrige studier ikke fandt nogen effekt” lyder det j som om, der er noget at komme efter. Men kejseren har ikke tøj på. De 60% er nonsens, fordi der ikke er en kontrolgruppe, og studierne med kontrolgrupper finder nærmest alle ingen eller meget små effekter.
VIVE inkluderer også litteraturgennemgangen fra The Royal Society (2023), som jeg tidligere har kritiseret i National Review for at begå præcis de samme fejl som VIVE.
Konklusion
I bedste fald kan vi konkludere, at effekten af nedlukningerne på smittespredningen og dødsfald er tvivlsom. Til gengæld er bivirkningerne meget konkrete og tydelige.
Var der tale om et farmakologiske tiltag, ville man aldrig ordinere medicinen på baggrund af den viden, vi har i dag. Og principielt bør der ikke være forskel på farmakologiske tiltag og ikke-farmakologiske tiltag. Metodisk set er der ingen forskel: Uden dokumentation for effekt og størrelsesorden bør man ikke implementere tiltag med store bivirkninger.
Enhver grundig og uvildig evaluering vil derfor uundgåeligt ende med i flammeskrift at konkludere, at nedlukningerne set fra et videnskabeligt og fagligt perspektiv var en politisk fejltagelse med enorme negative følger for samfundet.
Og pengene til VIVE’s evaluering? De er spildt. Fuldstændigt. I hvert fald den del, der er gået til at evaluere nedlukningerne.
VIVE’s evaluering af corona-nedlukningerne gør os ikke klogere. Overhovedet.
BILAG
Oversigt over gennemgåede studier fra Walsh et al. (2021).
| Studie | Resultat af min gennemgang | Med i vores metastudie? |
| Auger et al. (14) | Ingen kontrolgruppe | |
| Banholzer et al. (15) | Ingen kontrolgruppe | |
| Brauner et al. (18) | Ingen kontrolgruppe | |
| Chernozhukov et al. (19) | Usikker effekt | Ja |
| Courtemanche et al. (20) | Ingen effekt (insignifikant) | |
| Garchitorena et al. (24) | Ingen kontrolgruppe | |
| Hsiang et al. (26) | Ingen effekt (insignifikant) | |
| Jamison et al. (30) | Ingen effekt (insignifikant) | |
| Li et al. (35) | Ingen effekt (insignifikant) | |
| Liu et al. (36) | Ingen kontrolgruppe | |
| Stokes et al. (46) | Lille effekt (10,9%) | Ja |
| Wu et al. (47) | Ingen effekt (insignifikant) | |
| Yang et al. (48) | Ingen kontrolgruppe | |
| Matzinger and Skinner (37) | Ingen kontrolgruppe |
Note: Nummeret i parentes er referencenummeret i Walsh et al. (2021).
REFERENCER
Auger, Katherine A., Samir S. Shah, Troy Richardson, David Hartley, Matthew Hall, Amanda Warniment, Kristen Timmons, et al. 2020. “Association Between Statewide School Closure and COVID-19 Incidence and Mortality in the US.” JAMA 324 (9):1–13. https://doi.org/10.1001/jama.2020.14348.
Chernozhukov, Victor, Hiroyuki Kasahara, and Paul Schrimpf. 2021. “Causal Impact of Masks, Policies, Behavior on Early Covid-19 Pandemic in the U.S.” Journal of Econometrics, Pandemic Econometrics, 220 (1):23–62. https://doi.org/10.1016/j.jeconom.2020.09.003.
Flaxman, Seth, Swapnil Mishra, Axel Gandy, H. Juliette T. Unwin, Thomas A. Mellan, Helen Coupland, Charles Whittaker, et al. 2020. “Estimating the Effects of Non-Pharmaceutical Interventions on COVID-19 in Europe.” Nature 584 (7820):257–61. https://doi.org/10.1038/s41586-020-2405-7.
The Royal Society. 2023. “COVID-19: Examining the Effectiveness of Non-Pharmaceutical Interventions,” August. https://royalsociety.org/-/media/policy/projects/impact-non-pharmaceutical-interventions-on-covid-19-transmission/the-royal-society-covid-19-examining-the-effectiveness-of-non-pharmaceutical-interventions-report.pdf.
Walsh, Sebastian, Avirup Chowdhury, Vickie Braithwaite, Simon Russell, Jack Michael Birch, Joseph L Ward, Claire Waddington, et al. 2021. “Do School Closures and School Reopenings Affect Community Transmission of COVID-19? A Systematic Review of Observational Studies.” BMJ Open 11 (8):e053371. https://doi.org/10.1136/bmjopen-2021-053371.
Yang, Bingyi, Angkana T. Huang, Bernardo Garcia-Carreras, William E. Hart, Andrea Staid, Matt D. T. Hitchings, Elizabeth C. Lee, et al. 2021. “Effect of Specific Non-Pharmaceutical Intervention Policies on SARS-CoV-2 Transmission in the Counties of the United States.” Nature Communications 12 (1):3560. https://doi.org/10.1038/s41467-021-23865-8.
[1] Der er mange måder, man rent statistisk kan skabe en kontrolgruppe på. I forhold til corona-nedlukningerne, kan man fx udnytte, at nogle steder lukker skolerne før andre – eller slet ikke – så man kan sammenligne udviklingen med og uden skolelukninger. Og som jeg beskriver i min bog, Prisen værd?, er der også eksempler på randomiserede forsøg (og ting, der ligner rigtig meget).
[2] I studiet gør Flaxman et al. (2020) faktisk opmærksom på dette problem og skriver, at “vores parametriske form for [reproduktionstallet] Rt antager, at ændringer i Rt er et øjeblikkeligt svar på interventioner snarere end gradvise ændringer i adfærd”. De kan altså kun få deres resultater, ved at antage, at af alt det, borgere og virksomheder selv gjorde for at beskytte sig mod pandemien (arbejde hjemmefra, spritte hænder, aflyse fødselsdage, holde afstand, blive hjemme osv.) ikke havde nogen som helst effekt, og at de fortsat ville have været gået på restaurant mv. i samme omfang, hvis ikke de var blevet lukket ned. Og det er naturligvis forkert.
[3] I Yang et al. (2021)’s har i deres supplementary material en model, hvor de inkluderer Googles ”workplace mobility” som en proxy for frivillig adfærd. Her finder de en effekten på ca. 13% lavere Rt i modsætning til 39% i deres primære model, hvor de intet gør for at tage højde for frivillig adfærd.
Tak Jonas, dit fortsatte arbejde med dette vigtige emne er prisværdigt.
Det er desværre, i mine øjne, et langt større problem, også selvom du fremsætter en både skarp og berettiget kritik. Problemet er, at denne type undersøgelse meget let vil blive brugt som legitimering af fremtidige nedlukninger. Den britiske undersøgelse forholder sig næsten udelukkende til, om man burde have lukket ned tidligere, men behandler slet ikke det grundlæggende spørgsmål om, hvorvidt nedlukninger overhovedet har den tilsigtede effekt – det antages blot som en given sandhed. Jeg frygter, at denne præmis også vil blive normaliseret i en dansk kontekst.
Dansken er så bange for at gå imod strømmen og virke uintelligent eller misinformeret, at de slet ikke vil betvivle Vives resultat. Men har de stillet sig selv følgende spørgsmål:
Hvad må prisen være for at spare et liv? Hvad er den sammenlignelige effekt og pris for andre tiltag? Og hvilken grad af dødeligheden og smitte kan, og burde, lukke samfund og fratage borgeren sine rettigheder?
Det mest bekymrende for mig er imidlertid, at jeg oplever en voksende skepsis over for forskning og bestilte forskningsrapporter. Selvom ansvaret her ofte placeres hos fake news og misinformation, er det efter min vurdering i høj grad forskere og politikere – og den måde forskningen produceres, anvendes og formidles på – som selv bærer ansvaret for denne tillids erosion. Måske er denne mistillid berettiget.
Hej Jesper
Jeg havde ikke set dit svar, fordi påmindelser stadig blev sendt til min tidligere CEPOS-adresse (det er nu rettet).
Først: Jeg deler din bekymring ift. skepsis overfor forskning mv. Jeg synes, problemet er to-delt. Det ene er, at der ER dårlig forskning (som jeg fx beskriver i indlægget her). Det andet er, at forskningen ofte (bevidst eller ubevidst) fremlægges forkert (se fx dette eksempel, som vi kommer til at omtale i min podcast, Økonomiske principper, snart: https://x.com/JonasHerby/status/2004961881988235702?s=20).
Ift. din pointe om fremtidige nedlukninger, så er jeg usikker. Jeg kan ikke rigtigt forestille mig, at man gør det igen. Nuværende politikere forsvarer (selvfølgelig) deres beslutninger, men min fornemmelse er, at mange inderst inde godt ved, at det var skadelig politik. Så jeg har ikke mistet håbet.