Alligevel, på trods af det vi som økonomer opfatter som næsten totalt fravær af dokumentation for positive effekter af nedlukninger, har mange epidemiologer og læger blankt afvist den empiriske forskning. Jeg har haft meget svært ved at forstå en så blank afvisning af omhyggelig, omfattende dokumentation fordi den kommer fra et andet videnskabeligt felt, der netop er specialiseret i konsekvensevalueringer af offentlig politik.

Tidligere på året fik jeg et hint om, i hvor høj grad statistik spiller forskellige roller og bruges forskelligt i epidemiologi og nationaløkonomi. Hintet kom i form af en venlig e-mail fra en epidemiolog, der bad om data fra min artikel om nedlukninger. Det særlige var, at den pågældende kollega bad om data, som jeg havde brugt til at ’træne min model med’. Jeg var meget forvirret til at starte med, indtil jeg efter en del søgning på nettet, indså at min forvirring kom fra den fundamentalt anderledes måde, vi bruger data og statistik i samfundsvidenskaberne.

Når kollegaen bad om data til at træne en model, er det fordi han er vant til at bruge statistik til at finde ud af parametrene på en allerede kendt proces – eller en proces, man tror man kender. Det er for eksempel en såkaldt SIR-model (læs f.eks. her), hvor man ’blot’ skal kende reproduktionsrate osv. Omvendt bruges statistik kun sjældent til at træne modeller i samfundsvidenskaberne. Vi bruger den til at finde ud af, hvordan modellen ser ud. I samfundsvidenskaberne starter vi med andre ord væsentligt tidligere i den videnskabelige proces, og laver væsentligt færre antagelser om, hvordan verden ser ud.

Det er derfor heller ikke så overraskende – eller sjældent – at finde, at offentlig politik enten ingen effekt har, eller virker direkte modsat intentionen. Omvendt kan det være noget af en overraskelse i epidemiologi, for eksempel, hvor man allerede har specificeret modellen og dermed lagt en helt bestemt struktur ned over data. Hvad gør man da, når data ikke passer på ens teoretisk specificerede struktur? Prøver man at få data til at makke ret, påstår man at der er noget galt med dem, eller indser man at ens teoretiske forståelse er mangelfuld (eller forkert)?

Jeg vil på ingen måde påstå, at det er sådan alle epidemiologer gør – eller at der ikke er økonomer, der tvinger en struktur ned over data – men blot påpege, at de gnidninger, der har været mellem samfundsvidenskaberne og deres normale insisteren på at gå, hvor data tager en hen, og epidemiologien, faktisk giver en vis mening. Noget af den kommer fra fundamentalt forskellige videnskabelige tilgange, og ofte også en noget forskellig opfattelse af, hvornår noget tæller som evidens. Jeg foretrækker i høj grad den samfundsvidenskabelige approach, og dens tradition for omhyggelig etablering af evidens, i modsætning til den ofte skjuskede tilgang i medicin. Men netop den approach er også en del af forklaringen på, hvorfor andre discipliner og mange politikere har det så svært med os…

Baggrunden for, at bruge et relativt simpelt observationalt studie som sandhedsvidne er, at de 15 randomiserede eksperimentelle studier der findes, meget klart finder at mundbind ikke virker. Det gjaldt som mange læsere vil vide også får det danske studie i 2020, der med 6000 deltagere fandt en lille forskel, der var meget, meget langt fra statistisk sikkerhed. Adskillige læger og epidemiologer (inklusive det danske studies hovedforfatter) har alligevel påstået at mundbind virker, men forstået på den måde, at selvom det ikke er mindre sandsynligt at folk med mundbind bliver smittede, smitter de andre mindre. Det er dermed en påstand om en eksternalitet forbundet med mundbindsbrug, som ikke særligt nemt kan testes med eksperimentelle studier. Derfor er observationelle studier som marts-studiet fra CDC vigtige, og derfor er det også ekstremt vigtigt, at det observationelle arbejde er solidt og op til standard.

To uafhængige læger, Josh Mitteldorf og Madhava Setty, har fornylig gentaget CDCs arbejde, og leveret en omhyggeligt og – efter min mening – sober og statistisk velgennemført kritik af det. I “Association of State-Issued Mask Mandates with COVID-19 Case and Death Counts “ starter de med at notere, at der faktisk er store statistiske problemer med CDC-studiet. For eksempel viser de, at “The only controls in this study were the two 20-day periods prior to the reference period. The study did not compare results to states where no mask mandates were imposed.” CDC-studiet har derfor et potentielt meget stort problem med ‘omitted variable bias’, ligesom der også er andre problemer, Mitteldorf og Setty viser således, at selvom man bruger CDCs metodologi, er det tydeligt at smittetallet typisk var vendt før indførslen af mundbindskrav, og at den nedadgående trend fortsatte upåvirket efter indførslen.

Det er også næsten chokerende at notere, at CDC valgte ikke at foretage en sammenligning med stater og counties, der valgte ikke at indføre et krav. De to kritikere noterer også, at “Even though the study was conducted (and data downloaded) in February, 2021, it does not include the time period November through January, when masking was still enforced but DGR was high, comparable to the reference period. Had the study included the fall and winter months, the plot in Figure 1 would have extended to a period where the curve stopped declining and rose, as in Figure 5.” Med andre ord kommer CDC-studiet, ved at skære deres data af i oktober, til at ignorere naturlig variation pga. vejret.

Mitteldorf og Setty viser også sammenligninger mellem Californien og Florida, og North og South Dakota. De to par, der også tidligere har været brugt, er gode valg fordi der i begge tilfælde er en stat der indfører alvorlige restriktioner, og en anden meget sammenlignelig stat, der ikke gør. Men som de konkluderer: ”In each pair, the state with no mask mandates was more densely populated, yet suffered essentially the same burden of disease as their masked counterpart.” Mens Mitteldorf og Settys kritik er relativt enkel og i sig selv kan kritiseres for ikke at tage alle omstændigheder i betragtning – både kritikken og CDC-studiet kan kritiseres på flere punkter – er konklusionen ganske klar. CDC’s egne data og egen metodologi viser, at mundbindskrav på tværs af de amerikanske stater ikke gjorde nogen forskel.

Mens der reelt ingen sammenhæng er mellem svineproduktion og lykke i tidligere kommunistiske lande (korrelationen er 0,13), findes der en relativt klar og synlig positiv sammenhæng mellem svin og lykke på tværs af resten af verden (en korrelation på 0,48). Ser man på dagens første figur, indikerer den at svineproduktion – eller noget forbundet med den – er en nødvendig, men ikke tilstrækkeligt betingelse for en lykkelig befolkning. Denne slags fortolkning kommer fra det synlige faktum, at mens der er lande med utilfredse befolkninger og relativt stor svineproduktion, er der ingen eksempler på lande med meget tilfredse befolkninger uden en betragtelig svineproduktion.

Selvfølgelig er pointen i dag, af gris gør ikke glad: Der er i virkeligheden ingen sammenhæng mellem svineproduktion og lykke. Det vi i stedet har, er et meget klart eksempel på såkaldt ’omitted variable bias’ (OVB). OVB er præcist situationen, hvor man får en tilfældig sammenhæng mellem to forhold, fordi man glemmer (eller bevidst lader være med) at korrigere for en tredje faktor, som er den egentligt vigtige. Vi illustrerer dette i dagens anden figur, hvor vi helt simpelt laver det samme plot som i den første, men bryder den blå gruppe ned i fire grupper: Latinamerika og Caribien, Asien og Stillehavet, Afrika og Mellemøsten, og de vestlige lande.

Som figuren ganske klart illustrerer, forsvinder sammenhængen mellem svineproduktion og lykke, når man sammenligner lande internt i hver af de fem grupper lande. Det umiddelbare indtryk af en sammenhæng kommer fra, at de latinamerikanske og caribiske lande er en tand rigere end andre, og de vestlige lande er markant rigere end andre. Det er rigdommen, der rykker på lykken og ikke grisene. Og af rent historiske grunde er det primært i de vestlige lande, og i de lande, vestlige befolkninger udvandrede til, at man finder svineproduktionen. Den omittede variabel er derfor rigdom eller ’vestlighed’. Der er intet mærkeligt i det, men eksemplet er alligevel vigtigt at huske, fordi OVB-problemet ses så ofte i både dårlig videnskab og uærlig politik.

Et af de store spørgsmål er derfor, hvordan de epidemiologiske modeller kan være så næsten latterligt forkerte.

I en ny artikel med titlen ”Public health lessons learned from biases in coronavirus mortality overestimation” dokumenterer Ronald Brown, hvordan centrale forskere og ledere af sundhedsagenturer siden først på året har forvekslet to mål og været tydeligt begrebsforvirrede. En leder i februar i det prestigiøse New England Journal of Medicine, skrevet af ledere fra de amerikanske National Institute of Allergy and Infectious Diseases og Centers for Disease Control and Prevention, vurderede at konsekvenserne af Covid-19 i sidste ende kan vise sig at være sammenlignelige med en alvorlig influenzaepidemi, men de ved det ikke. I en parentes i lederen, skriver de at influenza har en ”case fatality rate of approximately 0.1%.” Det er bare ikke rigtigt: Influenza har en infection fatality rate på 0,1 % og forskerne – som også omfatter chefen for det amerikanske CDC, Anthony Fauci – forveksler case og infection fatality.

Som Brown forklarer: ”A case fatality rate (CFR) is defined as the proportion of deaths among confirmed cases of the disease. CFRs indicate the disease severity, while an infection fatality rate (IFR) is defined as the proportion of deaths relative to the prevalence of infections within a population.” Det glemte epidemiologerne, som misklassificerede deres mål ved at forveksle CFR og IFR, og endda gentog fejlen i en høring i den amerikanske kongres. Som Brown opsummerer situationen: ”A comparison of coronavirus and seasonal influenza CFRs may have been intended during Congressional testimony, but due to misclassifying an infection fatality rate as a case fatality rate, the comparison turned out to be between an adjusted coronavirus CFR of 1% and an influenza IFR of 0.1%.”

De amerikanske politikere – og resten af verden – modtog således rådgivning baseret på en sammenligning mellem to tal, der ikke kan sammenlignes. Groft sagt er den relevante CFR cirka ti gange så stor som samme virus IFR. Det ser således også ud til at være dette forkerte tal, som endte i Imperial Colleges modeller, der lidt senere skulle indgå i de fleste politikere og meningsdanneres beslutninger.

Forvirringen er pinlig, ikke mindst fordi der har vist sig at mangle enhver faktakontrol hos sundhedsmyndigheder de fleste steder i verden. Fejlen blev først opdaget og offentliggjort, da en forsker fra University of Waterloo slog alarm. Så hvad skal man tro og hvad skal man forvente sig af udviklingen? Er man interesseret, er den irske bioingeniør og forfatter Ivor Cummins absolut værd at følge. Her er hans sidste corona-update, hvor han omhyggeligt gennemgår dataene og bl.a. viser, hvordan pandemien basalt set er overstået de fleste steder i verden.

Vi giver et konkret eksempel på problemet i dag, hvor basis er data på sammenhængen mellem social tillid – dvs. tillid til andre mennesker helt generelt i ens samfund – og folks tilfredshed med deres liv. Data er fra 23 vestlige lande og 20 tidligere kommunistiske lande i Central- og Østeuropa, og kommer fra den syvende bølge af the World Values Survey. Som illustration plotter vi først den gennemsnitlige tilfredshed i de to grupper blandt individer, der stoler på de fleste mennesker versus dem, der ikke gør. For det andet plotter vi den gennemsnitlige tillid overfor den gennemsnitlige tilfredshed i de to grupper.

Ser man på de blå søjler og blå prikker, hænger de to billeder sammen. Tillidsfulde individer i vestlige samfund er typisk godt et halvt point mere tilfredse på en tipunkts-skala, og mere tillidsfulde samfund har tydeligt mere tilfredse befolkninger. Vi vender dog tilbage til de to billeder, da der er en vigtig detalje. Men foreløbig er det vigtigste billede det, de to røde søjler og de røde prikker tegner. Mens forskellen på individer med og uden tillid er en smule mindre i tidligere kommunistiske lande, findes den meget tydeligt. Ser man på tværs af de 20 lande i den anden figur, er der derimod en næsten perfekt sky – en næsten total mangel på sammenhæng.

Folk kan derfor hurtigt begå the ecological fallacy, hvis de konkluderer på basis af landesammenligningerne, at individer er anderledes i tidligere kommunistiske lande, så de enten ikke værdsætter tillid eller ikke får nogen individuel velfærd ud af at være tillidsfulde. Men når man går ned på individniveau, som i den første figur, er det meget tydeligt at de ikke er fundamentalt anderledes end borgere i vestlige samfund uden en kommunistisk fortid. En sådan konklusion på basis af nationale sammenligninger vil derfor være faktuelt forkert.

Hvis vi her mod enden vender tilbage til de blå sammenligninger, er der en ekstra detalje, der er værd at lægge mærke til. Hvis alt det der sker, er at visse individer får noget ud af at være tillidsfulde, burde forskellen på de mindst tillidsfulde lande – Cypern, Grækenland og Tyrkiet – være den individuelle tillidsgevinst gange med tillidsforskellen mellem disse lande og de mest tillidsfulde, Danmark og Norge. Med andre ord, den ville være 0,65 * 0,53 = 0,34 point, men den er i virkeligheden cirka 1,5 point. Der er således et eller andet, der foregår på nationalt plan i vestlige lande, som ikke kan spottes i individuelle forskelle.

Med andre ord ser det ud til, at man kan lave the ecological fallacy den anden vej, så at sige, ved at tro at individforskelle fortæller hele historien. En af flere effekter, der er veldokumenterede i forskningen, er således at stabilt demokratiske højtillidskulturer også udvikler langt bedre retsvæsener, der gør landet rigere og hæver folks tilfredshed uanset om de er tillidsfulde eller ej.

Bundlinjen i dagens post er således, at man skal være ekstremt påpasselig med at fortolke og konkludere på data fra ét niveau, men hvor ens forklaringer handler om adfærd på et andet niveau. Det gælder, uanset om man taler om tillidseffekter, udvikling i smittetal, eller ændringer i eksportsektoren. Vi håber derfor, at vores læsere kan spotte en mulig ecological fallacy de (mange) gange, medierne begår den.

Den opdaterede figur i dag starter den 20. april – den første dag, det nye og langt bredere testregime implementeredes – og rækker 119 dage frem til 16. august. Smittelinjen angiver andelen af nytestede, der viser sig at teste positiv for SARS-CoV-2, og er farvekodet: Den første, røde periode er den lange periode til 1. juni, hvor smittetrykket falder jævnt, den sorte er sommerperioden indtil 15. juli, og den blå er den sidste måned. Som vores læsere påpegede, udviser den tredje periode en stigning i den målte smitteandel, omend der også er et synligt fald de sidste ti dage.

Det særlige ved datacheck er, at man ofte også ser andre forhold, når man ser på data en anden gang. Som figuren viser, var der ikke noget galt med vores oprindelige observation, at antallet af testede er steget ganske kraftigt siden midten af juli. Det er der intet galt i, så længe det er blot er flere mennesker fra den samme befolkningsmasse, man tester. Derimod er det et statistisk problem, hvis de ekstra mennesker, man tester, ikke repræsenterer den samme befolkningsmasse som dem, der ellers er testet.

Dette problem dukkede op og blev synligt, da jeg valgte at estimere sammenhængen mellem antal testede og antal positive på en måde, der er almindelig blandt økonomer: I en log-log-specifikation. Fordelen ved metoden er, at når man estimerer sammenhængen mellem logaritmen til antallet af testede og logaritmen til antallet af positivt testede, kan man fortolke resultatet som en elasticitet. Med andre ord viser det estimat, man får ud, hvor mange procent antallet af det ene stiger, når antallet af det andet for eksempel stiger med ti procent. Når man estimerer elasticiteten af positivtestede til antallet af testede skal man derfor helst se et tal tæt på 1. Gør man det, kan man være sikker på at de ekstra mennesker man tester stadig repræsenterer den samme befolkningsmasse som de andre, og at man derfor kan sammenligne tallene over tid, selvom man tester et forskelligt antal mennesker.

Det er derfor vældigt beroligende – og godt for en statistiknørd – at se, at resultatet i den første (røde) periode er en elasticitet på 0,91, omgivet af et 95% konfidensinterval på [0,63;1,18]. Estimaterne giver også en fin elasticitet på 0,92 [0,41;1,44] i den anden (sorte) periode, så man kan være sikker på, at der er sammenlignelighed fra starten af testregimet til midten af juli.

Og det er derfra, de statistiske problemer dukker op. Fra midten af juli har myndighederne intensiveret testindsatsen og er begyndt at teste væsentligt flere. Fra at have testet 12315 borgere per dag i første periode og 14329 i anden periode, har man siden midten af juli testet et gennemsnit på 20659 borgere per dag. Som figuren viser, er andelen af positivtestede steget med 66 % fra anden til tredje periode – fra 2,3 til 3,8 promille af de testede. Skal man kunne konkludere, at der er sket en signifikant smittestigning i den danske befolkning, må man derfor blive nødt til at være sikker på, at de ekstra testede ikke er anderledes – dvs. repræsenterer et andet segment af det danske samfund – end dem, man ellers tester.

Problemet er, at statistikken klart indikerer at de er anderledes. Den estimerede elasticitet i den seneste måned – den tredje (sorte) periode – er 1,83 [1,49; 2,15]. Med andre ord har det været tilfældet siden midten af juli, at når man en dag tester 10 procent flere mennesker end tidligere dage, finder man 18 procent flere smittede. Det er vel at mærke ikke på grund af, at der i gennemsnit er flere positive test – den forskel er fanget på anden måde i statistikken (ved at estimere en logaritmisk trend) – men er en konsekvens af, at antallet af testede påvirker andelen af positive. Det er med andre ord en meget klar indikation på, at de ekstra testede i den intensiverede testindsats ikke kommer fra samme befolkningssegment som tidligere.

Hvad kan man da konkludere? Figuren viser, at der faktisk er sket en stigning i det målte smittetal, men strukturen i dataene fra Seruminstituttet indikerer, at i det mindste en væsentlig del af stigningen skyldes, at man simpelthen tester nogle andre mennesker end tidligere. Om det så er en konsekvens af, at folk holder ferie som ikke lod sig teste tidligere, om man i højere grad har testet folk med anden etnisk baggrund den seneste måned, eller at man måske har testet langt flere unge, må stå hen i det uvisse. Tager man hensyn til den statistisk uheldige ændring i strukturen af de testede, er det dog ret sikkert, at noget – og måske hele – den målte stigning er et statistisk artefakt af et skred i ens ’sample composition’ – den befolkningsmasse, man tester. Uden vedholdende læsere, havde vi aldrig opdaget dette interessante problem.

Skal man være nørdet – og urimelig – kan man hurtigt sige, at der ikke kan være tale om omvendt kausalitet. Det er således ikke fordi Nicolas Cage vælger at lave flere film i år, hvor flere falder i pools. Da man normalt skriver kontrakt på en film lang tid i forvejen, ville det kræve at Cage kan forudse, hvor mange der dør på denne måde – man skulle antage, at han er en gud. Så tager man sammenhængen for gode varer, må det være Nicolas Cage og/eller hans film, der forårsager druknedødsfaldene. Og sådan kan man selvfølgelig hygge sig med at overveje absurde scenarier for årsagssammenhængene (læs f.eks. Hamilton Chang her).

Sammenhængen mellem Nicolas Cage og dødsfald ved at folk falder i pools og drukner er absurd, men et ganske godt udtryk for en sandsynlighedsteoretisk regularitet, som folk alt for ofte overser: Store Tals Love. Mange mennesker, og givetvis mange af vores læsere, kender til en af konsekvenserne af Store Tals Love, nemlig at jo flere udfald man får, jo tættere kommer man på det virkelige gennemsnit. Kaster man med 24 terninger, kan man få mange eller få seksere, men kaster man med 2400, vil man relativt præcist få en sjettedel af kastene, der bliver en sekser. Derfor ved de fleste af os også, at man skal være påpasselig med at generalisere fra enkelte eksempler, selvom mange journalister gør netop det.

En anden og lige så vigtig konsekvens af Store Tals Love, som der er langt mindre opmærksom om, er at jo flere eksempler man får på noget – om det er terningkast, bilture gennem Tyskland eller kupforsøg – jo mere sandsynligt bliver det, at man får eksempler der er helt udenfor skiven. Gælder det for eksempel kupforsøg, indeholder Bjørnskov-Rode datasættet 539 kupforsøg, der i langt de fleste tilfælde har klare fællestræk. Men med det antal forsøg, får man også mærkelige eksempler som kupforsøget i juni 1967 fra Anguilla mod koloniregeringen på Saint Kitts (beskrevet i The Night of the Rambler).

Problemet kommer således fordi jo større et antal eksempler man har på et fænomen, jo mere præcist kan man karakterisere det – gennemsnitlig fatalitet, hvordan folk stemmer, hvor stor den økonomiske gevinst ved handel er – men jo nemmere bliver det også at finde ekstreme eksempler, der er tilfældige og milevidt fra at være repræsentative. Et stort antal eksempler på noget gør det derfor, paradoksalt nok, langt lettere for særinteresser og dovne journalister at finde eksempler, der ser ud til at ’vise’ det modsatte af det generelle billede. Kender man til Store Tals Love og logikken i dem, bliver den slags manipulation og sensationalisme langt sværere at acceptere – og måske bare sjov.

Allerførst skal man holde sig for øje, at de 1,1 % ikke er det nuværende antal danskere, der har været smittede, men antallet omtrent 2-3 uger før testen. Grunden er, at det tager tid før kroppen har dannet antistoffer og man derfor overhovedet kan finde dem. Undersøgelsen er således retvisende for antallet af smittede i cirka sidst i april. Det kan man derfor sammenholde med de tests af aktiv smitte, som man har lavet siden slutningen af februar, og den ændring i teststrategi, som man implementerede fra omkring den 20-21 april (se figuren).

Et centralt faktum i det følgende er, at når man ser på dataene for testede danskere, er der testet godt 6 gange så mange efter ændringen i teststrategi (og godt 10 gange så mange per dag; se figuren). Blandt andet på grund af manglen på testudstyr, kunne danske læger slet ikke sende alle dem til test, som de fandt havde symptomer på aktiv smitte. Antager man, at lægerne efter ændringen har fået lov til at teste alle dem, de gerne ville have testet før ændringen, kan man således gange testtallet før 20. april med 6 for at nå, hvor mange der ville være blevet testet uden begrænsninger. Det andet centrale faktum er, at smittetrykket, målt på antallet af nyindlagte, var 4 gange så stort før 20. april. Antager man, at lægerne har sendt patienter tilfældigt til test – dvs. at dem, der ikke blev testet havde samme smitterisiko som dem der blev testet – når man således resultatet, at der ikke var 7600 symptomatisk smittede – det antal smittede, man faktisk fandt i tests – men 24*7600 ≈ 182.000.

Det giver dog ikke det korrekte antal smittede, da studier har fundet at mellem 50 og 80 % af alle smittede ingen symptomer har. Et rimeligt medianestimat er således, at der var to smittede uden symptomer – som man ikke testede – for hver smittet med symptomer. Med en ratio mellem asymptomatiske og symptomatiske smittede på 2, giver det derfor et bud på 546.000 smittede.

Man kan naturligvis angribe antagelsen om, at lægerne sendte patienter tilfældigt til test – også selvom det måske ikke er en dårlig antagelse, når det gælder en helt ny sygdom – og det ovenstående overvurderer således smittetallet. Hvis man derfor i stedet antager, at smitterisikoen i de testede falder lineært, så den første patient der testes mest sandsynligt er smittet, og den sidste ikke er smittet (så dem der ikke blev testet før 20. april havde mindre smitterisiko), ender man i stedet på en faktor på knap 13, der skal ganges med. Det giver et smittetal på cirka 290.000.

En anden antagelse, som synes ganske rimelig, er at lægerne sendte de patienter til test, der sandsynligvis stadig kunne have aktiv smitte (dvs. de næste 14 dage), til test da de kunne. Det er cirka 40.000 patienter efter ændringen, der ikke er nye patienter, men nogen der ville have været testet allerede. Trækker man dem fra de ekstra tests efter 20, april, får man på denne måde en faktor 4,7 i stedet for en faktor 6 for lægernes foretrukne testantal, og en samlet faktor 9,7 der giver 222.000 smittede.

Bruger man således testene for aktiv smitte som indikatorer for, hvor mange danskere, der må have haft coronavirus, og justerer dem for hvad vi ved om begrænsninger på den tidlige, meget restriktive teststrategi, får man med forskellige antagelser smittetal, der er langt højere end 1,1 %. Det ekstremt vigtige her, er at disse tal giver voldsomt forskellige dødelighedsrater for coronavirus. Seruminstituttets vurdering på 60.000 smittede indebærer en fatalitet på 9,4 ‰, mens Ullum-studiet af bloddonorer fra midt-april, som vi tidligere har understreget lider af et alvorligt selektionsproblem og derfor undervurderer smittetallet, giver 5,2 % dødelighed. Omvendt giver mit eksempel med en faktor 13 – med en meget venlig antagelse om lægers kompetence – en dødelighed på 2 ‰; sundhedsmyndighedernes oprindelige laveste antagelse om mørketallet på 30 giver 1,6 ‰; og mine faktorer 18 og 24 ovenfor giver henholdsvis 1,3 ‰ og 1,0 ‰.

Slutvis skal det understreges, at alle disse eksempelberegninger fuldstændigt ignorerer selektionsproblemet: At langt fra alle med symptomer går til lægen. Man blev (og bliver) nødt til at have en henvisning fra en læge, før man kan blive testet – og i starten kunne ens egen læge ikke engang give den selv. Vi ved ikke noget som helst om, hvor stort dette måleproblem er, men ved at det er væsentligt. Hvis halvdelen af de muligt smittede vælger at gå til læge, kan man gange de ovennævnte smittetal med to og derfor også dele dødelighedsraterne med to. Hvordan man end vender og drejer resultaterne fra danske tests af aktiv smitte, passer de dermed overhovedet ikke med det nye studies 1,1 %. Det kan med andre ord slet ikke passe.

Vi formidler fakta gennem to figurer: Den ene viser de ugentlige dødstal for danskere under 60 år, mens den anden viser de samme tal for danskere der er 60 år eller ældre. For begge serier viser vi tallene for uge 38-22 i 2016-17, gennemsnittet for 2017-18 og 2018-19, og for den nuværende sæson 2019-20 (hvor data for uge 20-22 ikke er tilgængelige endnu). Dataene følger således hvad man normalt betragter som influenzasæsonen. De danske data er interessante på mindst to måder: For det første kan de tydeligt vise over- og underdødelighed uge for uge og totalt set, og for det andet kaster de ekstra lys over timingen af forskellene.

Ser man først på de relativt unges dødelighed, lå den ganske lavt sidst i 2019 i forhold til de foregående år. På samme måde kan man ganske tydeligt se, hvordan dødeligheden har ligget klart under normalen fra uge 8-15. Der er således intet, der tyder på overdødelighed pga. corona blandt danskere under 60. Timingen af ændringerne er konsistent med evidens fra bl.a. Sverige og USA (læse her), der viser at folk begyndte at distancere sig socialt allerede længe før Mette Frederiksen lukkede økonomien ned og beordrede distancering. Det faktum, at dødeligheden har været helt almindelig fra uge 16 er også konsistent med, at folk måske er blevet lidt mere afslappede og opfører sig mere normalt.

Ser man på de ældre, er mønsteret også interessant: Dødeligheden lå lidt højere end normalt sidst i november, men har ligget meget lavere end normalt fra uge 4-11 i år. I forhold til de foregående to år var det samlede dødsfald over de otte uger ligget 965 personer (11 %) lavere. Uge 14-18 har dødstallet samlet set derimod ligget 252 personer (5 %) over normalen fra de foregående år.

En af flere mulige forklaringer – men vel at mærke en forklaring, der er konsistent med de dokumenterede fakta – er at de ældre begyndte at distancere sig socialt allerede fra omkring første februar, da de første skræmmende historier begyndte at komme fra Norditalien. Fakta er dog også konsistente med, at en meget af påpasseligheden blot har udskudt de fleste dødsfald blandt ældre med nogle få uger. Det er også bemærkelsesværdigt, at der er så få influenzadødsfald i år, og derfor rimeligt at regne med, at en del ældre der er døde med corona, ville være døde med influenza i et almindeligt år.

Man kan spekulere meget og længe over, hvad der rent faktisk foregår med danske dødelighed for tiden. Meget tyder på, at statsministerens nedlukning af de danske samfund ikke har gjort den store forskel – Seruminstituttets estimater fra april har for eksempel vist sig at være behæftet med så store fejl, at man reelt ikke kan konkludere nogen effekt fra dem – og om noget er der stadig underdødelighed når man vurderer i forhold til de foregående år. Og når selv Seruminstituttet indrømmer, at de ikke bruger data fra Jylland og Fyn, når de beregner smittetryk – der er simpelthen så få tilfælde, at man ikke kan beregne noget som helst – er det ikke sandsynligt, at man pludseligt begynder at få langt flere døde. Der er rigtigt mange dødsfald i medierne, men forbløffende få ude i det virkelige Danmark.

Vi stiller derfor et hypotetisk eksempel op, hvor man gerne vil vide noget om, hvor udbredt en bestemt ekstrem holdning er – det kunne være, om alle homoseksuelle skal have tæsk – eller hvor udbredt en sygdom er – i dagens eksempel corona. I vores hypotetiske eksempel er der 1 % af alle borgere, der har en bestemt holdning eller er smittede. Spørger man således 9000 borgere i en korrekt gennemført undersøgelse, vil de 90 erklære sig enige med det bestemte spørgsmål, eller være smittede. Spørgsmålet er så, hvordan store studier kan komme til helt andre konklusioner.

I vores virkelige befolkning vil der være 90 ekstremister / smittede – det kalder vi A – og 8910 almindelige / usmittede – det kalder vi B. Den korrekte sandsynlighed er derfor A / (A+B), eller 90 / 9000 = 1 %. Hvis man fanger et stort, repræsentativt udsnit af befolkningen – en såkaldt korrekt random sample – får man den samme sandsynlighed, omgivet af en kendt statistisk usikkerhed.

Samplingproblemet kan her opstå ved at man enten spørger / tester for mange i A-gruppen eller for få i B-gruppen. Man kan for eksempel forestille sig, at man primært spørger på Københavns vestegn, hvor flere hader homoseksuelle / er smittede end i resten af landet. Problemet bliver, at man måler for mange A’er og for få B’er fordi området ikke er repræsentativt for hele befolkningen. Det siger sig selv, at hvis holdningen / smitten er dobbelt så sandsynlig på vestegnen, ender man på en sandsynlighed på 2 %. Dette problem er ekstremt velkendt blandt meningsmålere og løses ofte ved at man vægter folks svar. Det kan lade sig gøre, fordi man kender sit samplingproblem og derfor kan give dem, der er overrepræsenterede en vægt lavere end 1, og dem der er underrepræsenterede en vægt over 1. Hvis man derimod ikke kender strukturen af sit samplingproblem, er der ikke nogen let løsning.

Et lignende problem kan opstå, hvis det er lettere at komme i kontakt med folk, der har mere ekstreme holdninger / er mere smittede. Det kan for eksempel være et praktisk problem, hvis de er mere arbejdsløse og derfor mere tilbøjelige til at tage telefonen, når man ringer med et spørgeskema om eftermiddagen. Hvis man på denne måde får dobbelt så mange A’er end man burde, men stadig det korrekte antal B’er – man har løst det ene af de to samplingproblemer – ender man stadig på en målt sandsynlighed på 180 / (180+8910) = 1,98 %.

Et værre problem, som ofte også plager eksperimentelle studier, er selektionsproblemet. Hvis folk selv aktivt kan søge at være med i en undersøgelse, er problemet at det næsten aldrig er tilfældigt, hvem der vælger at være med – det tekniske udtryk er, hvem der ’selv-selekterer’. Fænomenet kan nogle gange ses i meningsmålinger hos Ekstrabladet, hvor det typisk er stærkt indignerede læsere, det vælger at svare på de to spørgsmål, der popper op. Hvis de indignerede er dobbelt så tilbøjelige til at svare, ender man dermed med en målt sandsynlighed for et ekstremt svar på 180 / (180+4455) = 3,88 %. Et selektionsproblem med en faktor 2 ender således med en måling, der er næsten en faktor 4 for stor.

Det samme gælder sygdomsundersøgelser, hvor man indtil nu (teststrategien ændres disse dage) for eksempel kun har kunnet blive coronatestet, hvor man udviste symptomer – så kunne ens læge henvise en til test – eller tilhørte en særligt udsat gruppe som sundhedspersonale. Her får man mindst to selektionsproblemer. For det første er det langt fra alle smittede, der udviser symptomer. Forskellige studier har fundet, at mellem 50 og 80 % af alle smittede er asymptomatiske. Rundt regnet betyder det, at hvis man skal udvise symptomer der er konsistente med virussen, sender man kun 1/3 af de faktisk smittede til test. Det ’A’ man måler, bliver således undervurderet med en faktor 3. Medmindre andre lidelser, der kan give samme symptomer, har samme eller større risiko for at være asymptomatiske, giver det således et for småt ’A’ og et for stort ’B’. Det giver således en potentielt markant ’downward bias’, dvs. en målt sandsynlighed der er for lille.

Den anden kilde til selektionsproblemet er, at det ikke er tilfældigt hvem der vælger at gå til læge. Et eksempel vil være, hvis folk der er mere opmærksomme på deres helbred, eller vægter helbred højere end andre, også er mere tilbøjelige til at gå til læge. Dette problem kan også formuleres som, at dem der er mest sjuskede i deres sundhedsadfærd, er mindst tilbøjelige til at gå til læge. Denne type selvselektion har konsekvenser, der er helt parallelle til samplingproblemet ovenfor: Man kommer til at måle smitterisiko i en gruppe borgere, der qua deres adfærd ikke er særligt udsatte for smitte.

Et sidste problem kendes fra undersøgelser, der forsøger at måle omfanget af et akut problem. Umiddelbart efter terrorangrebene i London-tuben i 2005 viste meningsmålinger, at londonernes bekymringer var steget markant. Men da en undersøgelse allerede var i gang, da angrebene skete, kunne man også følge udviklingen i bekymringerne. Den længere undersøgelse viste, at de ekstra bekymringer var ganske kortvarige og at londonerne efter få uger var cirka tilbage til samme risikovurdering som før.

Lad mig illustrere problemet på følgende måde. Vi undersøger et holdningsspørgsmål over seks uger, hvor 50 % har holdningen i uge 1, 40 % i uge 2, 30 % i uge 3 osv. så ingen har holdningen i uge 6. Spørger man det samme antal borgere i alle uger, får man et gennemsnit på 25 % over perioden. Hvis man derimod ændrer sin teststrategi og -omfang, så man f.eks. fordobler antallet af adspurgte hver uge, ender man pga. udviklingen i folks holdninger med et mål på blot 9 %. Sagt lidt teknisk kan den temporale fordeling af undersøgelsen give et markant samplingproblem.

Disse problemer er af meget væsentlig betydning for tiden, da de også plager langt de fleste forsøg på at vurdere coronavirussens smitteudbredelse, og dermed også dens faktiske dødelighed. På præcist samme måde kan sampling- og selektionsproblemer helt åbenlyst skævvride vurderinger af f.eks. holdningsændringer og politiske præferencer – hvor det er et kendt problem, at populistiske partiers vælgere er noget mindre tilbøjelige til at svare på meningsmålinger, og man derfor undervurderer deres vælgertal. Vi mener at punditokraternes ellers velinformerede vælgere også bør være klar over, hvor store disse ellers lidt tekniske og kedelige problemer kan være. Uden en vis skepsis overfor alle undersøgelser af denne art, lader man sig hurtigt forlede til at tro, at problemer er større eller mindre end de faktisk er.

Det er stadig min statistisk underbyggede mening, at den faktiske dødelighed af corona (den såkaldte Infection Fatality Rate, IFR) er ganske begrænset, og sandsynligvis af størrelsesordenen 1-2 ‰. Men hvordan ser den ellers ud i forhold til influenza? Det ser vi på i det følgende ved at sammenligne det nuværende coronaudbrud med den svære influenzasæson 2017-18.

I influenzasæsonen for to år siden blev 7667 danskere indlagt med influenza, hvoraf 549 endte på en intensivafdeling. I alt 603 af de indlagte døde med influenza i 2017-18-sæsonen, og det samlede antal døde med influenza endte på 1644 borgere. Influenzaepidemien, der bl.a. blev særlig pga. den store forekomst af Influenza B, der også kendes som Yamagata, udviste en klar aldersgradient. Medianalderen for alle indlagte var 69 år, og 68 for de intensivindlagte. Sammenligninger af Case Fatality Rates (CFR), dvs. andelen af positivtestede der er døde, for danskere over 65 år versus dem under 65, viste at de ældre havde 26 gange større dødelighed end folk i den arbejdsdygtige alder (118 / 4,5).

Når man vender sig mod coronaepidemien er der i skrivende stund 2134, der er eller har været indlagt med Covid-19. Selv hvis man regner med tre ugers fortsat epidemi med 10-15 nyindlæggelser per dag (som er det nuværende niveau), ender man under en total på 2400 indlæggelser. 320 af disse har været på intensiv, mens totalt set 527 er døde. Vores estimat (se figuren nedenfor) er, at dødsfaldene vil fortsætte cirka to uger endnu, så vi stadig vil se omtrent 25-30 ekstra døde. Det vil sige, at det totale antal døde når et niveau på cirka 550-560, og en meget stor andel af disse er ældre. Blandt de indlagte er medianalderen sidst i 60erne, og over 80 år for dødsfaldene. Sammenligner man CFR’erne for danskere under og over 70, peger det på en dødelighed der er 29 gange større hvis man er over 70 (243,1 / 8,4).

Nogle læsere vil sikkert mene, at det er koldt og måske endda kynisk, at sammenligne sygdomme på denne måde. Fakta er dog fakta, og intet – siger og skriver intet – rimeligt sundhedsrespons på en sygdom kan give mening uden fakta. Disse fakta demonstrerer, at coronaepidemien i Danmark på alle parametre har været sammenlignelig eller lettere end influenzasæsonen 2017-18. Om det så skyldes regeringens respons og nedlukningen af det danske samfund, eller det har været helt ligegyldigt, er en helt anden diskussion. Den vender vi givetvis tilbage til relativt snart, men læg blot mærke til et enkelt forhold på figuren her: Den første fase genoplukning fra 15. april, som politikere og sundhedsmyndigheder sagde ville give et højere smittetal, og nogen decideret advarede imod, har ikke givet nogen som helst effekter, der kan aflæses i indlæggelses- eller dødstal.

For at undersøge, om der er noget om sagen at øl gør os mere tolerante, ser vi i dag på sammenhængen på tværs af lande mellem ølforbrug per indbygger og to forhold: Hvor tilfredse er bøsser med deres liv i forskellige lande, og i hvilken grad folk opfatter deres by / land som et godt sted at bo for homoseksuelle. På denne måde fanger vi begge dele af et potentielt problem – hvordan oplever homoseksuelle deres liv, og oplever andre mennesker at de har problemer.

Vi viser disse sammenhænge i to figurer. På x-aksen er der ølforbrug per indbygger, mens vi har placeret bøssers tilfredshed (fra the Gay Happiness Index) på y-aksen i den første figur, og andelen af respondenter i the Gallup World Poll, der vurderer at deres by er et godt sted at bo for bøsser og lesbiske i den anden.

I den første figur er det tydeligt, at den generelle sammenhæng er positiv, selvom figuren også illustrerer den velkendt lavere tilfredshed i postkommunistiske samfund. Korrelationen mellem ølforbrug og tilfredshed er 0,70 i samfund med en ’almindelig’ historie og 0,79 i tidligere kommunistiske lande. Man fristes til at sige, at øl gør folk mere tilfredse overalt.

I anden figur dukker det en smule forskel op. Som figuren meget tydeligt illustrerer, opfatter mere øldrikkende befolkninger også deres lande som bedre steder for homoseksuelle. Med andre ord er der en statistisk ganske klar sammenhæng – korrelation er 0,71 – mellem ølforbrug og tolerance overfor homoseksuelle i de fleste lande, mens sammenhængen (r = 0,55) er en smule svagere i tidligere kommunistiske lande. Som en kollega bemærkede forleden, er den svagere sammenhæng i Østeuropa muligvis skabt af, at folk i højere grad drikker vodka end øl!

Nu hedder denne tilbagevendende serie indlæg ”Sjov med statistik” og alt, vi skriver i serien, skal naturligvis tages med et solidt gran salt. Gør øl virkeligt homoseksuelle borgeres liv så meget bedre? Er øldrikkende befolkninger rarere mennesker? Man kan næppe tage sammenhængen som evidens for en direkte virkning, men det er ofte sjovt at tænke over, hvad der kunne være bag. For denne type sammenhæng er ofte udtryk for, at ølforbrug reflekterer noget andet, der i dette tilfælde gør folks, og i særlig grad homoseksuelles, liv bedre. Hvad det så end er kan i dette tilfælde mest umiddelbart opfattes som en refleksion af et eller andet, der er forbundet med tolerance.

Det gælder for eksempel det forhold, at øldrikkere ofte er forbundet med en tradition for uformel social kontakt. Med nogle enkelte lande som undtagelser, sætter folk sig sjældent ned med et enkelt, hurtigt glas vin og får en snak. Fraværet af forhold som en øldrikkende tradition kan også skyldes, at der er en tradition for stærk social kontrol og en lav accept af fejl. Og som vi alle har oplevet, er folk, der opfatter sig selv som ufejlbarlige, sjældent særligt tolerante. Hvad end det er, vi faktisk ser i figurerne, er det værd (og meget sjovt ) at tænke over og at tage en snak om – måske over en øl…

En af de klassiske situationer, som mange opdager i forbindelse med parforhold, er at tage på indkøb i IKEA. Det kan ofte være en reel test at parforholdet, når den ene part vil bruge tid på at ose og kigge på de mange forskellige ting, IKEA har at tilbyde, mens den anden part oplever en nærmest dødelig kedsommelighed. Som vi talte om til frokost i går (en i øvrigt hyggelig frokost med kolleger fra Pamplona), kan man derfor fristes til at tro, at der er en sammenhæng mellem IKEA-besøg og skilsmisser.

Spørgsmålet i dag er, om den sammenhæng findes. Vi trækker derfor data på skilsmissefrekvens og antallet af IKEA-butikker fra Wikipedia, befolkningstal fra FN og indkomstdata fra CIA for at teste det statistisk. Og et hurtigt første blik på dataene afslører allerede en indikation af, at hypotesen er korrekt: Skilsmisseraten – defineret som antallet af skilsmisser i forhold til antallet af ægteskaber – er således 26,3 i lande uden IKEA-forretninger, men 30,2 i lande med mindst en forretning. Denne forskel er statistisk signifikant, endda ved 1%-niveauet i en two-tailed t-test.

Hvordan ser det større billede da ud? Det illustrerer vi i figuren nedenfor, der viser skilsmissefrekvensen i lande uden IKEA – de blå prikker til venstre – og skilsmissefrekvensen i resten, plottet mod antallet af IKEAer per million indbyggere. For det meste af vores sample er der en tydelig positiv sammenhæng, med et par synlige outliers: Den meget lavt placerede orange prik er Bahrain (hvor det er ganske svært at blive skilt), mens de to orange prikker ude til højre er det lillebitte Island og Sverige, hvor IKEA startede. Man kan derfor med god grund ignorere de tre outliers.

Går man videre til egentlig regressionsanalyse, bekræfter den mere avancerede metode det overordnede billede: Estimerer man logaritmen til skilsmisseraten som en funktion af logaritmen til den købekraftsjusterede gennemsnitsindkomst, til befolkningens størrelse og antallet af IKEA-forretninger, får man nogle ganske klare resultater. Med en såkaldt log-log-specifikation – hvor ens variable er i logaritmer på begge sider – er gevinsten af man får en såkaldt ’elasticitet’ ud af analysen: Et mål for hvor mange procent y stiger, hvis x stiger én procent. Og i dette tilfælde finder man, at 10% flere IKEA-forretninger får skilsmisseraten til at stige 1,6% på tværs af de 109 lande, vi har data for. Hvis man i stedet fokuserer på de steder, hvor der faktisk er mindst en forretning, er elasticiteten 0,3 – 10% flere IKEAer er forbundet med 3% højere skilsmisserate!

En erfaren empirisk økonom eller statskundskaber kan nu sige, at det er slet ikke kausalt – det er ikke IKEAerne, der skaber den højere skilsmisserate. Det er et godt argument, især fordi man vil regne med, at hvis IKEA giver flere skilsmisser, vil effekten først komme over nogen tid – den slags sociale ændringer kommer ikke med det samme. En statistisk enkel måde at håndtere det problem på, er at se på hvor mange år, et land har haft IKEA. Man må nemlig regne med, at jo længere tid, IKEA har været i landet, jo større en påvirkning har den haft. Og her viser det sig sørme også, at der er en stærk sammenhæng mellem, hvor lang tid et land har haft en IKEA og skilsmisseraten! Den simple korrelation er 0,41 og mere analyse peger i samme retning. IKEA er ond, fordi kæden øger folks skilsmisserisiko.

Men husk hvad titlen er på vores serie: Den hedder Sjov med Statistisk. Selvfølgelig er det en helt absurd påstand, at IKEA skulle ødelægge ægteskaber. Det gør folk såmænd selv. Et godt bud på, hvorfor man alligevel finder denne slags sammenhæng er, at IKEA startede i Sverige – et land hvor skilsmissefrekvensen er relativt høj og hvor skilsmisse ikke er tabu – og bredte sig først til andre lande tæt på, der socialt ligner Sverige ganske meget. Antallet af IKEA-butikker og hvor tidligt, IKEA kom til landet, er derfor forbundet med hvor moderne folks normer omkring skilsmisse og mange andre forhold er. IKEA reflekterer denne slags forskelle, men skaber dem ikke. Empiriske økonomer og statskundskabere kalder den slags forhold for reflection effects, og de findes mange steder. For informerede læsere kan det måske være nyttigt at vide, at den slags findes, før næste gang de læser rapporter eller andet, der påstår at noget er skabt af noget andet…

Tag et kig på bloggen The Vreelander for at læse, hvordan han gør. Hint: Beslutningsreglen handler primært om at holde med det land, der har givet ham flest penge. Når man har tænkt lidt over, hvilke lande, der inviterer eller funder en af de førende forskere i MF-forhold, er det ikke helt så dumt som det lyder.

Et par eksempler:

• en Bayesiansk baseret spatial analyse, der viser, at Samuel Alito som ny højesteretsdommer i stedet for Sandra Day O’Connor ikke vil flytte flertalskonstellationerne særligt meget.
• en statistisk analyse af forskellene i meningsmålinger blandt vælgerne af synet på de til US Supreme Court nominerede jurister John G. Roberts og Harriet Miers.  Den viser, at de to lynhurtigt blevet vurderet meget forskelligt blandt vælgerne.
• en komparativ statistisk analyse af præsidenters “job approval”-scores, som viser, at Bush nok ligger dårligt men, at hans faldende tilslutning ikke er fundamentalt anderledes end andre præsidenter i deres 2. periode.

Spændende læsning–ihvertfald for “Igor”, “Stanislaw” og undertegnede.