For at min bog, ”Prisen værd”, ikke skulle blive for lang og for tung at læse, valgte jeg at pille nogle af de mere tekniske kapitler ud. Et af dem kan du – i lettere omskrevet form – læse herunder.
Du kan købe bogen her eller låne den på biblioteket.
Fire regressionsdiskontinuitetsdesigns
I forbindelse med at vores metastudie lavede vi en søgning, hvor vi bl.a. søgte efter naturlige eksperimenter af nedlukninger og COVID-19-restriktioner. Vores søgning førte til fire studier, der bruger metoder, som minder om randomiserede forsøg, nemlig ”regression discontinuity design” eller på dansk, ”regressionsdiskontinuitetsdesign”, som jeg herefter blot vil kalde RDD.
Idéen i RDD er, at man udnytter de tilfældige afgrænsninger/tærskelværdier, der kan være ved en intervention. Det kan fx være i forhold til at evaluere effekten af ny erhvervsregulering, som kun gælder for virksomheder over en vis størrelse.
Et eksempel er de regler for kønsopdelt lønstatistik, som blev indført i Danmark i 2006 for virksomheder med mindst 35 ansatte, for at reducere løngabet mellem mænd og kvinder. Forestil jer, at man ønsker at undersøge, om reglerne reducerede virksomhedernes produktivitet, fordi de påføres noget ekstra bureaukrati. Hvis man blot sammenligner virksomheder med mindst 35 ansatte (behandlingsgruppen) med virksomheder med færre end 35 ansatte (kontrolgruppen) i en normal difference-in-difference analyse, risikerer man, at ens estimater bliver skævvredet af andre faktorer. For eksempel kan virksomheder med mindst 35 ansatte være mere produktive i udgangspunktet (der er trods alt en grund til, at de lykkedes med at vokse til mindst 35 ansatte).
I en RDD indsnævrer man derfor behandlings- og kontrolgruppen, så man i stedet sammenligner de virksomheder, der lige netop bliver ramt af reguleringen (fx virksomheder med præcis 35 ansatte) med de virksomheder, der lige netop ikke rammes af reguleringen (fx virksomheder med præcis 34 ansatte). Da disse virksomheder er langt mere ens end fx en virksomhed med 2 ansatte i forhold til en virksomhed med 500 ansatte, får man et langt mere præcist estimat. Og det var det, danske forskere gjorde, da de fandt ud af, at de nye regler for kønsopdelt lønstatistik reducerede virksomhedernes produktivitet (og reducerede løngabet, fordi de mandlige ansatte fik mindre i løn).[1] Det centrale er, at virksomhederne er “tætte” på hinanden. Jo mere, de ligner hinanden, jo mindre er risikoen for, at resultaterne er drevet af andre faktorer.
I de studier, der anvender RDD til at undersøge nedlukningernes effekt på COVID-19-pandemien, sammenligner forskerne typisk ”nabo”-amter (counties) i to delstater, som har indført forskellige restriktioner. Jeg skriver ”nabo”, fordi det mest intuitive er at sammenligne to amter, som ligger på hver sin side af delstatsgrænsen og altså er naboer. Men sådan behøver det ikke være, for det er ikke nødvendigvis det at, der er geografisk nærmest, der er det bedste sammenligningsgrundlag.
For eksempel er Washington County i Minnesota nabo til St. Croix County i Wisconsin. Men de to amter er meget forskellige. Washington County er (primært) en forstad til million-tvillingebyerne, Minneapolis og St. Paul, med 238.000 indbyggere, en befolkningstæthed på 239/km2 og adskillige veje, der fører ind i tvillingebyerne. St. Croix County, derimod, har kun 94.000 indbyggere, er relativt tyndt befolket (50/km2) og kun tre broer, der fører over St. Croix-floden og ind i tvillingebyerne (og ingen andre millionbyer i nærheden). Da befolkningstal og -tæthed er vigtige parametre for spredningen af en luftvejsvirus som COVID-19, er det på ingen måde klart, at det er bedre at sammenligne St. Croix County med Washington County frem for et andet amt i Minnesota, som minder mere om St. Croix. Derfor defineres ”nabo” i nogle studier på baggrund af andre parametre.
Det kan måske lyde lidt underligt, men hvis vi vender tilbage til lønstatistikkerne, giver det jo heller ikke nødvendigvis mening at sammenligne virksomheder, der ligger geografisk tæt på hinanden. Det centrale er, at de enheder, man undersøger (hvad enten det er virksomheder, amter eller andet), er “tætte” på hinanden på relevante parametre.
Effekten af udgangsforbud i USA
Guihua Wang fra University of Texas bruger netop ikke geografi til at vurdere, om to amter er tætte på hinanden, men matcher i stedet amter på baggrund af COVID-19-tilfælde, demografi (alder og race), socialøkonomiske forhold osv. Deres behandlingsgruppe består således af amter i delstater, der havde indført udgangsforbud, som er matchet parvis med amter i delstater, der ikke indførte udgangsforbud (kontrolgruppen), og som ligner amtet i behandlingsgruppen mest muligt på de nævnte parametre.
Resultatet af denne matchning er vist i figur 1 nedenfor. Figuren viser, at antallet af COVID-19-tilfælde i de to grupper er meget ens i perioden før man indførte udgangsforbud. Dette sandsynliggør, at forskerne sammenligner to grupper, der faktisk er ”tætte”. I figuren er det let at se, at udgangsforbuddet ”virker” i den forstand, at der er færre COVID-19-tilfælde i behandlingsgruppen end i kontrolgruppen. Guihua Wang finder altså en effekt af udgangsforbuddet.
Hvad, der er sværere at se i figur 1, er, at effekten er meget lille. Wang (2022) finder således på baggrund af RDD, at udgangsforbuddet kun reducerede antallet af nye COVID-19-tilfælde med 5.4%.[2] Om estimatet er 2,0% (som er den effekt, vi finder i vores metastudie) eller 5,4% betyder det ikke det store. Under alle omstændigheder er effekten lille.
Figur 1: En sammenligning af ”nabokommuner” med og uden udgangsforbud finder lille signifikant forskel i smitten
Note: Figuren viser udviklingen i antal COVID-19-tilfælde i amter med udgangsforbud (behandlingsgruppen) og amter uden udgangsforbud (kontrolgruppen). De to lodrette linjer angiver de datoer, hvor det første (21. marts 2020) og sidste (30. marts 2020) udgangsforbud blev indført.
Kilde: Wang (2022).
Den meget beskedne effekt af udgangsforbuddet, som Guihua Wang finder, står lidt i kontrast til et studie, hvor forskere University of Iowa undersøger effekten af at indføre udgangsforbud ved at sammenligne udviklingen i antal COVID-19-tilfælde i amter i Iowa (intet udgangsforbud) og i Illinois (udgangsforbud), som grænser op til hinanden. De viser, at udviklingen i COVID-19-tilfælde er nogenlunde ens før udgangsforbuddet bliver indført i Iowa d. 22. marts, hvorefter antallet af tilfælde stiger hurtigere i Illinois uden udgangsforbud, jf. figur 2 nedenfor.
Figur 2: En sammenligning af ”nabokommuner” i Illinois (med udgangsforbud) og Iowa (uden udgangsforbud) finder signifikant forskel i smitten
Kilde: Lyu og Wehby (2020), figur 1.
Forskellen svarer til en effekt på godt 30%. Og selvom det ikke i sig selv er en stor effekt, så er det trods alt markant større end 5,4%. Og hvis studierne generelt viste så store effekter, kunne man godt forestille sig, at en kombination af forskellige restriktioner, ville få den samlede effekt så højt op, at effekterne nåede noget, der mindede om de effekter, som bl.a. modellerne fra Imperial College London forudsagde. Men som gennemgangen af Wang (2022) ovenfor og Dave m.fl. (2020) her har vist, så er resultatet fra Lyu og Wehby (2020) ikke generelt – snarere tværtimod.
En vigtig pointe er desuden, at flere af de nævnte studier er baseret på en meget kort tidsperiode i forhold til at matche amterne med den mest relevante ”nabo”. Lyu og Wehbys dataperiode slutter fx 20. april 2020 – under en måned efter udgangsforbuddet blev indført. I vores metastudie finder vi, at studier af udgangsforbud baseret på en kort tidsperiode generelt finder meget højere effekter, end studier der baserer sig på længere perioder. Jeg ved ikke, hvorfor dette er tilfældet, men det er som minimum værd at tænke over.
Men konklusionen er, at nogle studier finder relativt store effekter, mens andre finder meget små effekter. Og det er derfor, det er så vigtigt at lave metastudier, hvor man gennemgår den samlede evidens og ikke lægger for stor vægt på det enkelte studie.
Ingen effekt af skolelukninger i Japan
I et studie baseret på Japanske data, undersøger forskere fra Japan og USA effekten af skolelukninger ved hjælp af en metode, der meget ligner den metode, Guihua Wang anvender. Deres resultater er præsenteret i figur 3 nedenfor. Figuren viser antallet af positive test i kommuner, der lukkede skoler (sort linje) og kommuner, der ikke lukkede skoler (rød linje).
De kommuner, der lukkede skolerne, oplevede i mange tilfælde højere smitte end de skoler, der ikke lukkede skolerne, men forskellen er ikke statistisk signifikant. Forskerne konkluderer derfor, at skolelukninger ikke signifikant reducerede spredningen af COVID-19 i Japan mellem 4. marts og 1. juni 2020.
Figur 3: En sammenligning af ”nabokommuner” med og uden skolelukninger viser ingen signifikant forskel i smitten
Note: Figuren viser udviklingen i antal COVID-19-tilfælde pr. 100.000 i japanske kommuner med skolelukninger (behandlingsgruppen – sort linje) og i kommuner uden skolelukninger (kontrolgruppen – rød linje). Den blå lodrette linje illustrerer den dato, hvor oplysninger om skolelukninger blev indsamlet.
Kilde: Fukumoto m.fl. (2021) Figuren svarer til figur 1e, som er den figur, Fukumoto m.fl. (2021) fokuserer på, når de beskriver deres resultater. Deres øvrige figurer viser lignende resultater.
I vores metastudie finder vi, at skolelukninger reducerede dødeligheden med 5,9%, så igen bekræfter vores resultater af det nærmeste, vi nok kan komme randomiserede forsøg.
Stor effekt af mundbind … i ikke-republikanske amerikanske amter
Den danske økonom, Niels-Jakob H. Hansen, og hans kollega Rui C. Mano definerer naboamter som amter, der geografisk ligger tættere på hinanden end 240 km (150 mil), men hvor det ene amt ligger i en amerikansk delstat med påbud om mundbind, mens det andet ligger i en stat uden påbud. De finder en relativt stor effekt af mundbind svarende til 35% færre dødsfald.[3]
Effekten er illustreret i figur 4 nedenfor. Figuren viser antallet af nye COVID-19-tilfælde og -dødsfald pr. uge afhængig af om amtet har påbud (grønne prikker) eller ej (røde prikker) samt afstanden til ”påbudsgrænsen”, hvor den ene delstat har påbud, mens den anden ikke har. Figuren viser, at der sker et markant fald i smitte og dødsfald, hvis man lige omkring påbudsgrænsen bevæger sig fra et amt uden påbud til et amt med påbud. Det er størrelsesordenen af denne effekt, Hansen og Mano estimerer i deres empiriske model.
Det kan nok undre, at antallet af tilfælde og dødsfald ser ud til at være stigende i afstand på højre side af påbudsgrænsen (amter med påbud). Jo længere et amt med påbud ligger fra grænsen til en delstat uden påbud, jo højere er smitten og dødeligheden. Men bemærk, at figuren viser rådata, hvor man sammenligner amterne uden at korrigere for fx forskel i størrelse, befolkningstæthed osv. Når Hansen og Mano korrigerer for disse forskelle, er der ikke nogen signifikant effekt af afstanden (svarende til, at linjerne bliver vandrette), mens springet ved grænsen forbliver og er signifikant (svarende til, at linjerne er forskudte).
Figur 4: Mundbind reducerede antallet af smittetilfælde og dødsfald
Note: Disse diagrammer viser rådata for nye ugentlige COVID-19-tilfælde og dødsfald og tager således ikke højde for amts- eller tidsbestemte effekter som gjort i vores økonometriske analyse. Data gemmes i intervaller på tre miles.
Kilde: Hansen og Mano (2023), figur 3.
Interessant nok finder Hansen og Mano, at påbud om mundbind er fire gange mere effektive i forhold til at reducere COVID-19-dødsfald i amter, der ser positivt på mundbind i forhold til amter, der ser mere negativt på mundbind.[4] Og de finder ingen signifikant effekt af et påbud i de amter, hvor mere end 65% af vælgerne stemmer republikansk, jf. figur 5 nedenfor.
Figur 5 Effekten af påbud om mundbind på dødsfald pr. 100.000 indbyggere afhængig af politiske tilhørsforhold
Note: ”Republican vote share” (Republikansk stemmeandel) angiver andelen af stemmer opnået af den republikanske præsidentkandidat (Donald Trump) ved valget i 2020. Bemærk at figuren viser 90% konfidensintervallet og ikke – som det oftest ses – det lidt bredere 95% konfidensinterval. Det gør ikke den store forskel i forhold til fortolkningen. Det er alene et spørgsmål om, hvorvidt intervallet inkluderer 0 (og dermed er insignifikant) ved 65% eller (omtrent) 62%.
Kilde: Hansen og Mano (2023), figur 4.
Jeg er ikke sikker på, hvordan man skal fortolke disse resultater, men det kan indikere et vigtigt frivilligt element. Hvis man er tvunget til at gå med mundbind mod sin vilje, er det muligt, at man er mere tilbøjelig til at bruge mundbindet forkert (fx genbruge det, ikke dække både næse og mund, røre mundbindet med fingrene osv.) eller helt undlade at bruge det, selvom der er et påbud (hvilket ofte er muligt, fordi et påbud kan være svært for myndighederne at håndhæve). Hvis disse teser er rigtige, kan det tyde på, at en del af effekten på de 35% ville forsvinde, hvis man sammenlignede et påbud om at bruge mundbind med en anbefaling om at bruge mundbind.
At effekten i republikanske amter er mindre end i demokratiske kan også forklares med, at republikanere i højere grad end demokrater var tilbøjelige til at bruge mundbind før der kom påbud, da effekten af et påbud vil være mindre, hvis mange bruger mundbind i forvejen. Men data passer ikke helt med denne forklaring. Fx skrev The Washington Post i maj 2020 – før påbud blev udbredt – at 73% af demokraterne frivilligt brugte mundbind, mens det kun gjaldt 59% af republikanerne, hvorfor man umiddelbart skulle forvente, at et påbud ville have størst effekt i republikanske delstater.[5] Men Hansen og Mano finder altså det modsatte.
I vores metastudie finder vi en effekt af et påbud på 18%, så uanset er effekten i ”samme boldgade”, og det vil ikke være helt skævt at hævde, at Hansens og Manos resultater svarer til vores. I foråret 2020, ville et påbud i Danmark havde forhindret 108 dødsfald med vores estimat, og 210 dødsfald med estimatet fra Hansen og Mano. Der er altså en forskel, men den er ikke voldsomt stor.
Referencer
Bennedsen, Morten, Elena Simintzi, Margarita Tsoutsoura, og Daniel Wolfenzon. 2022. “Do FIrms Respond to Gender Pay Gap Disclosure?” The Journal of Finance, maj, 51. https://doi.org/10.1111/jofi.13136.
Fukumoto, Kentaro, Charles T. McClean, og Kuninori Nakagawa. 2021. “No Causal Effect of School Closures in Japan on the Spread of COVID-19 in Spring 2020”. Nature Medicine 27 (12):2111–19. https://doi.org/10.1038/s41591-021-01571-8.
Hansen, Niels-Jakob, og Rui C. Mano. 2021. “Mask Mandates Save Lives”. IMF Working Papers 2021 (205):1. https://doi.org/10.5089/9781513577616.001.
———. 2023. “Mask Mandates Save Lives”. Journal of Health Economics 88 (marts):102721. https://doi.org/10.1016/j.jhealeco.2022.102721.
Lyu, Wei, og George L. Wehby. 2020. “Comparison of Estimated Rates of Coronavirus Disease 2019 (COVID-19) in Border Counties in Iowa Without a Stay-at-Home Order and Border Counties in Illinois With a Stay-at-Home Order”. JAMA Network Open 3 (5):e2011102. https://doi.org/10.1001/jamanetworkopen.2020.11102.
Wang, Guihua. 2022. “Stay at Home to Stay Safe: Effectiveness of Stay‐at‐home Orders in Containing the COVID‐19 Pandemic”. Production and Operations Management, februar, poms.13685. https://doi.org/10.1111/poms.13685.
[1] Bennedsen m.fl. (2022) sammenligner virksomheder, der har 20-34 ansatte, med virksomheder, der har 35–50 ansatte.
[2] I deres abstrakt skriver de 7,6%, men det resultat er fra deres difference-in-difference-model. De 5,4% er resultatet fra deres RDD (se deres ”Supporting Information” tabel A14).
[3] Ved studieperiodens afslutning d. 19. december var ca. 321.000 døde med COVID-19 i USA. Hansen og Mano (2023) skriver, at påbud forhindrede 87.000 COVID-19-dødøsfald, mens yderligere 57.000 kunne være reddet, hvis påbuddet havde været gældende i hele USA. Med udgangspunkt i disse oplysninger, ville ca. 264.000 være døde med påbud i hele USA og ca. 408.000 uden påbud. Det giver en effekt på ca. 35%.
[4] I deres arbejdspapir, Hansen og Mano (2021), står der: “Specifically, mask mandates reduce COVID-19 cases and deaths by -78.03 and -1.45, respectively, in the median county more positively inclined to wearing masks in our sample. While the same numbers for the median county more negatively inclined towards to wearing masks are -44.54 and -0.37, also respectively”.
[5] https://www.washingtonpost.com/politics/2020/05/15/73-democrats-are-wearing-masks-fight-coronavirus-only-59-republicans-are/