Da vi i februar 2022 udgav vores lockdown-studie, fik det en ordentlig tur i mediemøllen. Studiet blev angrebet vidt og bredt, og der var mange absurde argumenter imod kvaliteten af vores arbejde (fx var et ofte anvendt argument, at det ikke var ”endorsed” af Johns Hopkins, uden at nogen spekulerede over, hvorfor Johns Hopkins skulle gøre en helt unik undtagelse ved at ”godkende” lige netop vores studie, når universitetet ikke gør det ved de mange andre studier derfra).
En af de mere akademiske indvendinger mod vores lockdown-studie var, at vores resultater ikke er baseret på randomiserede kontrolforsøg (RCT’er). Den åbenlyse forklaring er, at der aldrig blev gennemført RCT’er af nedlukning, hvorfor forskere desværre er begrænset til observationsstudier.
Det er ikke unikt for nedlukningerne. Det er faktisk normalen, at vi kun har én kilde til at øge vores viden på et område, og det er historien, med alle dens kovariater og manglende/dårlige data. Hvis vi afviser den kilde, ville vi også afvise langt hovedparten af det, vi ved i dag. RCT er altså langt fra eneste form for forskning, der kan forbedre politik (og som Caplan har udtrykt det: “Hvad er det empiriske bevis på, at RCT’er faktisk forbedrer politik?”).
Men. Der er faktisk en del studier, der kommer tæt på noget, der ligner RCT. Vi har – bl.a. ved at foretage en søgning på Scopus efter “natural experiment” og “regression discontinuity” – fundet en række “RCT-lignende” studier, som bruger naturlige eksperimenter til at undersøge effekterne af lockdowns, maskepåbud, skolelukninger og udgangsforbud.
Studierne er beskrevet i tabellen nedenfor og helt overordnet finder de konklusioner meget lig resultaterne i vores meta-studie.
Kun ét studie, Hansen og Mano (2021), finder en effekt, der er væsentlig anderledes end vores. De andre studier bekræfter vores resultater, hvilket jo er meget betryggende, bl.a. fordi de RCT-lignende studier har en stor fordel ift. at kunne afgøre den kausale effekt.
Hvis nogen af Punditokraternes meget vidende læsere er opmærksomme på RCT-lignende studier, der ikke er medtaget i nedenstående tabel, hører jeg meget gerne om dem.
| Study | Conclusion | NPI and design | Description |
| Kepp og Bjørnskov (2021); “Lockdown Effects on Sars-CoV-2 Transmission – The evidence from Northern Jutland” | “Efficient infection surveillance and voluntary compliance make full lockdowns unnecessary at least in some circumstances.” | Lockdown Quasi-random policy change | Kepp og Bjørnskov (2021) bruger data fra et kvasi-naturligt eksperiment, da syv af de 11 kommuner i Nordjylland blev lukket ned efter opdagelsen af mutationer af Sars-CoV-2 i mink (og – helt afgørende – ikke på grund af det generelle infektionsniveau). |
| Dave m.fl. (2020); “Are the Effects of Adoption and Termination of Shelter-in-Place Orders Symmetric? Evidence from a Natural Experiment” | “We find no evidence that the Wisconsin Supreme Court decision impacted COVID-19 growth up to a month following the repeal.” | SIPO Quasi-random policy change | Dave m.fl. (2020) bruger Wisconsins højesterets afskaffelse af Wisconsins “Safer at Home”-regel (et udgangsforbud) som et naturligt eksperiment. |
| Wang (2022); “Stay at home to stay safe: Effectiveness of stay‐at‐home orders in containing the COVID‐19 pandemic” | “We find that although residents in both groups were staying at home even before the implementation of any order, these orders reduced the number of new COVID-19 cases by [5.4%][1].” | SIPO Regression discontinuity design | Wang (2022) sammenligner amter tæt på grænsen mellem stater med udgangsforbud og stater uden udgangsforbud. |
| Hansen og Mano (2021); “Mask Mandates Save Lives” | “Our results imply that mandates saved 87,000 lives [in the United States] through December 19, 2020, while a nationwide mandate could have saved 58,000 additional lives.” This corresponds to an impact of 36% fewer deaths.[2] | Mask mandates Regression discontinuity design | Hansen og Mano (2021) bruger variationen mellem amter på tværs af “maskegrænser”, dvs. en statsgrænse, der adskiller to amter, hvor det ene amt er i en stat med et maskepåbud på et givet tidspunkt, og det andet amt er i en stat uden et maskepåbud på samme tid. Et interessant delresultat er, at de viser, at maskepåbud er fire gange mere effektive i amter, som er positivt tilbøjelige til at bære masker, hvilket kan indikere en vigtig frivillig effekt.[3] |
| Abaluck m.fl. (2022); “Impact of community masking on COVID-19: A cluster-randomized trial in Bangladesh” | “The intervention reduced symptomatic seroprevalence by 9.3% (adjusted prevalence ratio (aPR) = 0.91 [0.82, 1.00]; control prevalence 0.76%; treatment prevalence 0.68%). In villages randomized to surgical masks (n = 200), the relative reduction was 11.2% overall (aPR = 0.89 [0.78, 1.00])”. | Mask mandates Cluster-randomized trial of community-level mask promotion | Abaluck m.fl. (2022) gennemførte et eksperiment i Bangladesh med krydsrandomiserede maskefremmende tiltag på landsby- og husstandsniveau, herunder stof ift. kirurgiske masker. Alle interventionsarme modtog gratis masker, information om vigtigheden af maskering, rollemodellering af samfundsledere og personlige påmindelser i 8 uger. Kontrolgruppen modtog ingen interventioner. Hverken deltagere eller feltpersonale blev blindet over for interventionsopgave. |
| Fukumoto m.fl. (2021); “No causal effect of school closures in Japan on the spread of COVID-19 in spring 2020” | “We do not find any evidence that school closures in Japan reduced the spread of COVID-19. Our null results suggest that policies on school closures should be reexamined given the potential negative consequences for children and parents.” | School closures Regression discontinuity design | Fukumoto m.fl. (2021) matcher hver kommune med åbne skoler med en kommune med lukkede skoler. Matchet laves på kommuner der er mest muligt ens ift. potentielle konfoundere. |
Referencer
Abaluck, Jason, Laura H. Kwong, Ashley Styczynski, Ashraful Haque, Md. Alamgir Kabir, Ellen Bates-Jefferys, Emily Crawford, m.fl. 2022. “Impact of Community Masking on COVID-19: A Cluster-Randomized Trial in Bangladesh”. Science 375 (6577):eabi9069. https://doi.org/10.1126/science.abi9069.
Dave, Dhaval M., Andrew I. Friedson, Kyutaro Matsuzawa, Drew McNichols, og Joseph J. Sabia. 2020. “Are the Effects of Adoption and Termination of Shelter-in-Place Orders Symmetric? Evidence from a Natural Experiment”, Working Paper Series, , juni. https://doi.org/10.3386/w27322.
Fukumoto, Kentaro, Charles T. McClean, og Kuninori Nakagawa. 2021. “No Causal Effect of School Closures in Japan on the Spread of COVID-19 in Spring 2020”. Nature Medicine 27 (12):2111–19. https://doi.org/10.1038/s41591-021-01571-8.
Hansen, Niels-Jakob, og Rui C. Mano. 2021. “Mask Mandates Save Lives”. IMF Working Papers 2021 (205):1. https://doi.org/10.5089/9781513577616.001.
Kepp, Kasper Planeta, og Christian Bjørnskov. 2021. “Lockdown Effects on Sars-CoV-2 Transmission – The Evidence from Northern Jutland”. MedRxiv, januar. https://doi.org/10.1101/2020.12.28.20248936.
Wang, Guihua. 2022. “Stay at Home to Stay Safe: Effectiveness of Stay‐at‐home Orders in Containing the COVID‐19 Pandemic”. Production and Operations Management, februar, poms.13685. https://doi.org/10.1111/poms.13685.
[1] I abstraktet skriver de 7,6%, men det er fra deres ”difference-in-differences”-model. De 5,4% er fra deres “regression discontinuity design” (se Supporting Information Table A14).
[2] Den 19. december 2020 var 321.035 døde med COVID-19 i USA. Resultaterne fra Hansen og Mano (2021) viser, at 263.035 ville være døde med et landsdækkende mandat og 408.035 uden mandater. Derfor er effekten af masker 36%.
[3] Hansen og Mano (2021) skriver: “Specifically, mask mandates reduce COVID-19 cases and deaths by -78.03 and -1.45, respectively, in the median county more positively inclined to wearing masks in our sample. While the same numbers for the median county more negatively inclined towards to wearing masks are -44.54 and -0.37, also respectively”.