Onsdag skrev SSI på Twitter, at ”ansigtsmasker reducerer smitte med 53%”.
Du kan med fordel læse om dette studie offentliggjort i British Med. Journal. Ansigtsmasker reducerer smitte m 53%. https://t.co/001PGkc4hG
— Statens Serum Inst. (@SSI_dk) November 24, 2021
Men er dette udsagn rigtigt? Jeg vil klart mene nej.
SSI henviste til et artikel i The Guardian som igen henviser til Talic et al. (2021), der er et systematisk review (dvs. at man søger systematisk, for at undgå biases) og meta-analyse (dvs., at man pooler resultaterne for at få videnskabens samlede vurdering).
Men resultaterne af et review er meget afhængige af, hvilke studier man medtager baseret på ens eligibility criteria. Begrænser man sig fx til lodtrækningsstudier, får man få studier med, men til gengæld er de meget troværdige. Inkluderer man korrelationsstudier, får man langt flere studier med, men til gengæld er troværdigheden meget mindre (mange vil sige stort set lig nul).
Talic et al. (2021) tager desværre korrelationsstudier med. Og det er ret afgørende for deres resultater for masker. Den centrale sætning ift. masker er:
“Mask wearing and covid-19 incidence—Six studies with a total of 2,627 people with covid-19 and 389,228 participants were included in the analysis examining the effect of mask wearing on incidence of covid-19 (table 1).36 43 57 60 63 66 Overall pooled analysis showed a 53% reduction in covid-19 incidence (0.47, 0.29 to 0.75), although heterogeneity between studies was substantial (I2=84%) (fig 5). Risk of bias across the six studies ranged from moderate36 57 60 66 to serious or critical43 63 (fig 2).”
De studier, de henviser til, er
- 36 = Lio et al. (2021)
- 43 = Krishnamachari et al. (2021)
- 57 = Wang et al. (2020)
- 60 = Xu et al. (2020)
- 63 = Doung-ngern et al. (2020)
- 66 = Bundgaard et al. (2021)
Lio et al. (2021), Wang et al. (2020), Xu et al. (2020) og Doung-ngern et al. (2020) er korrelationsstudier, der i øvrigt slet ikke ser på maskepåbud, men frivillig brug af masker. Det er stærkt problematisk, fordi resultaterne kan være drevet af andre faktorer (måske er folk, der bruger masker frivilligt, generelt mere påpasselige, og derfor mindre tilbøjelig til at smitte, uanset om de bruger masker eller ej). Xu et al. (2020) er derudover baseret på spørgeskemadata, hvilket altid er problematisk.
Krishnamachari et al. (2021) grupperer amerikanske delstater i forhold til, hvornår de indførte maskepåbud og sammenligner grupperne. De finder ingen forskel i antal cases mellem grupperne i første bølge. Først fra omkring september 2020 begynder de at se en forskel. MEN, det kan meget vel skyldes, at de stater, der ikke havde maskepåbud, testede mere. De har i hvert fald en markant lavere CFR (1,12% vs. 1,61% i gennemsnit for USA). Generelt er det et ret ringe studie.
Bundgaard et al. (2021) er det danske studie, der ikke fandt nogen effekt af at bruge masker for brugeren (de kan ikke se, om det har en effekt for andre).
Lidt tilfældigt tjekkede jeg også denne sætning. Det var primært for at se, om de havde styr på, hvad et naturligt eksperiment er:
“Specifically, a natural experiment across 200 countries showed 45.7% fewer covid-19 related mortality in countries where mask wearing was mandatory (table 1).49”
Studiet, de her henviser til (49), er Leffler et al. (2020), og der er på ingen måde tale om et naturligt eksperiment. Til gengæld finder Leffler et al. (2020) rigtignok en signifikant effekt af masker, men ”masker” inkluderer anbefalet brug af masker. Man kan derfor ikke med sikkerhed vide, om masketvang virker (og nej, det er ikke det samme, for hvis masker fx virker som et signal for sårbare, kan påbud teoretisk set ødelægge signalet og føre til flere dødsfald).
Jeg er i øvrigt langt fra sikker på, at de 45.7% er rigtigt beregnet. Talic et al. (2021) begrunder de 45.7% således:
“No masks: mortality rate 61.9% (95% confidence interval 37.0% to 91.0%); masks: 16.2% (−14.4% to 57.4%): 45.7% fewer mortality*”
Men Leffler et al. (2020) taler altså om vækstrater. De skriver således:
“In countries not recommending masks, the per-capita mortality tended to increase each week by a factor of 1.619, or 61.9%. By contrast, in countries recommending masks, the per-capita mortality tended to increase each week by a factor of (1.6193) (0.7174) = 1.162, or just 16.2%.”
Og som læserne af Punditokraterne.dk formodentligt er klar over, så kan man ikke trække to vækstrater fra hinanden. De skal divideres. Og så får man en effekt på godt det halve, nemlig 28% (som selvfølgelig også er en del).
Hvordan får læger sådan noget publiceret?!
Min konklusion er ret klar. Vi er ikke blevet specielt meget klogere af det store arbejde, som de 15 læger, epidemiologer mv. bag Talic et al. (2021) og mange af ovennævnte studier har lavet. Kvaliteten er simpelthen for ringe.
Det undrer mig i øvrigt, hvordan Talic et al. (2021) er sluppet uden om Chernozhukov et al. (2021) og Spiegel and Tookes (2021), som rent faktisk anvender solide metoder til at finde effekten af maskepåbud (de finder henholdsvis en stor (34% og signifikant) effekt af maskepåbud og en mindre (12% og insignifikant) effekt på antallet af døde). Måske er det fordi, Talic et al. (2021) har søgt på portaler målrettet læger, epidemiologer mv., som åbenlyst har meget, meget svært ved at analysere effekten af politik.
Det var nok det, der fik professor Kasper Planeta Kepp til på Twitter at skrive: ”Eksperter, der har brugt 53%-tallet overfor regeringen, har mistet retten til at rådgive det her land”.
PS: Interessant nok, finder Leffler et al. (2020) ingen som helst effekt af nedlukninger og lukkede grænser.
PPS: Ovenstående er en hurtig gennemgang, og der kan være småfejl. Giv mig meget gerne et praj, hvis du finder noget.
PPPS: CATO Institute har lavet en gennemgang af evidensen for effekten af masker her, og det virker helt ærligt mere kvalificeret end gennemgangen i Talic et al. (2021).
PPPPS: Jeg er ikke alene. Her er et par andre kritiske røster på Twitter:
Tidligere managing editor på Cochrane Work:
Og en af verdens førende eksperter i mundbindsstudier:
Referencer
Bundgaard, Henning, Johan Skov Bundgaard, Daniel Emil Tadeusz Raaschou-Pedersen, Christian von Buchwald, Tobias Todsen, Jakob Boesgaard Norsk, Mia M. Pries-Heje, et al. 2021. “Effectiveness of Adding a Mask Recommendation to Other Public Health Measures to Prevent SARS-CoV-2 Infection in Danish Mask Wearers: A Randomized Controlled Trial.” Annals of Internal Medicine 174 (3):335–43. https://doi.org/10.7326/M20-6817.
Chernozhukov, Victor, Hiroyuki Kasahara, and Paul Schrimpf. 2021. “Causal Impact of Masks, Policies, Behavior on Early Covid-19 Pandemic in the U.S.” Journal of Econometrics, Pandemic Econometrics, 220 (1):23–62. https://doi.org/10.1016/j.jeconom.2020.09.003.
Doung-ngern, Pawinee, Rapeepong Suphanchaimat, Apinya Panjangampatthana, Chawisar Janekrongtham, Duangrat Ruampoom, Nawaporn Daochaeng, Napatchakorn Eungkanit, et al. 2020. “Case-Control Study of Use of Personal Protective Measures and Risk for SARS-CoV 2 Infection, Thailand.” Emerging Infectious Diseases 26 (11):2607–16. https://doi.org/10.3201/eid2611.203003.
Krishnamachari, Bhuma, Alexander Morris, Diane Zastrow, Andrew Dsida, Brian Harper, and Anthony J. Santella. 2021. “The Role of Mask Mandates, Stay at Home Orders and School Closure in Curbing the COVID-19 Pandemic Prior to Vaccination.” American Journal of Infection Control 49 (8):1036–42. https://doi.org/10.1016/j.ajic.2021.02.002.
Leffler, Christopher T., Edsel Ing, Joseph D. Lykins, Matthew C. Hogan, Craig A. McKeown, and Andrzej Grzybowski. 2020. “Association of Country-Wide Coronavirus Mortality with Demographics, Testing, Lockdowns, and Public Wearing of Masks.” The American Journal of Tropical Medicine and Hygiene 103 (6):2400–2411. https://doi.org/10.4269/ajtmh.20-1015.
Lio, Chon Fu, Hou Hon Cheong, Chin Ion Lei, Iek Long Lo, Lan Yao, Chong Lam, and Iek Hou Leong. 2021. “Effectiveness of Personal Protective Health Behaviour against COVID-19.” BMC Public Health 21 (1):827. https://doi.org/10.1186/s12889-021-10680-5.
Spiegel, Matthew, and Heather Tookes. 2021. “Business Restrictions and COVID-19 Fatalities.” Edited by Itay Goldstein. The Review of Financial Studies, June, hhab069. https://doi.org/10.1093/rfs/hhab069.
Talic, Stella, Shivangi Shah, Holly Wild, Danijela Gasevic, Ashika Maharaj, Zanfina Ademi, Xue Li, et al. 2021. “Effectiveness of Public Health Measures in Reducing the Incidence of Covid-19, SARS-CoV-2 Transmission, and Covid-19 Mortality: Systematic Review and Meta-Analysis,” 15.
Wang, Yu, Huaiyu Tian, Li Zhang, Man Zhang, Dandan Guo, Wenting Wu, Xingxing Zhang, et al. 2020. “Reduction of Secondary Transmission of SARS-CoV-2 in Households by Face Mask Use, Disinfection and Social Distancing: A Cohort Study in Beijing, China.” BMJ Global Health 5 (5):e002794. https://doi.org/10.1136/bmjgh-2020-002794.
Xu, Hong, Yong Gan, Daikun Zheng, Bo Wu, Xian Zhu, Chang Xu, Chenglu Liu, et al. 2020. “Relationship Between COVID-19 Infection and Risk Perception, Knowledge, Attitude, and Four Nonpharmaceutical Interventions During the Late Period of the COVID-19 Epidemic in China: Online Cross-Sectional Survey of 8158 Adults.” Journal of Medical Internet Research 22 (11):e21372. https://doi.org/10.2196/21372.
Det er vist ænge siden, at BMJ og senere The Guardian mistede deres prestige og kvalitetsstempel.Hvorfor er den ikke publiceret i Lancet? – Måske netop derfor? 🙂