Vi stiller derfor et hypotetisk eksempel op, hvor man gerne vil vide noget om, hvor udbredt en bestemt ekstrem holdning er – det kunne være, om alle homoseksuelle skal have tæsk – eller hvor udbredt en sygdom er – i dagens eksempel corona. I vores hypotetiske eksempel er der 1 % af alle borgere, der har en bestemt holdning eller er smittede. Spørger man således 9000 borgere i en korrekt gennemført undersøgelse, vil de 90 erklære sig enige med det bestemte spørgsmål, eller være smittede. Spørgsmålet er så, hvordan store studier kan komme til helt andre konklusioner.

I vores virkelige befolkning vil der være 90 ekstremister / smittede – det kalder vi A – og 8910 almindelige / usmittede – det kalder vi B. Den korrekte sandsynlighed er derfor A / (A+B), eller 90 / 9000 = 1 %. Hvis man fanger et stort, repræsentativt udsnit af befolkningen – en såkaldt korrekt random sample – får man den samme sandsynlighed, omgivet af en kendt statistisk usikkerhed.

Samplingproblemet kan her opstå ved at man enten spørger / tester for mange i A-gruppen eller for få i B-gruppen. Man kan for eksempel forestille sig, at man primært spørger på Københavns vestegn, hvor flere hader homoseksuelle / er smittede end i resten af landet. Problemet bliver, at man måler for mange A’er og for få B’er fordi området ikke er repræsentativt for hele befolkningen. Det siger sig selv, at hvis holdningen / smitten er dobbelt så sandsynlig på vestegnen, ender man på en sandsynlighed på 2 %. Dette problem er ekstremt velkendt blandt meningsmålere og løses ofte ved at man vægter folks svar. Det kan lade sig gøre, fordi man kender sit samplingproblem og derfor kan give dem, der er overrepræsenterede en vægt lavere end 1, og dem der er underrepræsenterede en vægt over 1. Hvis man derimod ikke kender strukturen af sit samplingproblem, er der ikke nogen let løsning.

Et lignende problem kan opstå, hvis det er lettere at komme i kontakt med folk, der har mere ekstreme holdninger / er mere smittede. Det kan for eksempel være et praktisk problem, hvis de er mere arbejdsløse og derfor mere tilbøjelige til at tage telefonen, når man ringer med et spørgeskema om eftermiddagen. Hvis man på denne måde får dobbelt så mange A’er end man burde, men stadig det korrekte antal B’er – man har løst det ene af de to samplingproblemer – ender man stadig på en målt sandsynlighed på 180 / (180+8910) = 1,98 %.

Et værre problem, som ofte også plager eksperimentelle studier, er selektionsproblemet. Hvis folk selv aktivt kan søge at være med i en undersøgelse, er problemet at det næsten aldrig er tilfældigt, hvem der vælger at være med – det tekniske udtryk er, hvem der ’selv-selekterer’. Fænomenet kan nogle gange ses i meningsmålinger hos Ekstrabladet, hvor det typisk er stærkt indignerede læsere, det vælger at svare på de to spørgsmål, der popper op. Hvis de indignerede er dobbelt så tilbøjelige til at svare, ender man dermed med en målt sandsynlighed for et ekstremt svar på 180 / (180+4455) = 3,88 %. Et selektionsproblem med en faktor 2 ender således med en måling, der er næsten en faktor 4 for stor.

Det samme gælder sygdomsundersøgelser, hvor man indtil nu (teststrategien ændres disse dage) for eksempel kun har kunnet blive coronatestet, hvor man udviste symptomer – så kunne ens læge henvise en til test – eller tilhørte en særligt udsat gruppe som sundhedspersonale. Her får man mindst to selektionsproblemer. For det første er det langt fra alle smittede, der udviser symptomer. Forskellige studier har fundet, at mellem 50 og 80 % af alle smittede er asymptomatiske. Rundt regnet betyder det, at hvis man skal udvise symptomer der er konsistente med virussen, sender man kun 1/3 af de faktisk smittede til test. Det ’A’ man måler, bliver således undervurderet med en faktor 3. Medmindre andre lidelser, der kan give samme symptomer, har samme eller større risiko for at være asymptomatiske, giver det således et for småt ’A’ og et for stort ’B’. Det giver således en potentielt markant ’downward bias’, dvs. en målt sandsynlighed der er for lille.

Den anden kilde til selektionsproblemet er, at det ikke er tilfældigt hvem der vælger at gå til læge. Et eksempel vil være, hvis folk der er mere opmærksomme på deres helbred, eller vægter helbred højere end andre, også er mere tilbøjelige til at gå til læge. Dette problem kan også formuleres som, at dem der er mest sjuskede i deres sundhedsadfærd, er mindst tilbøjelige til at gå til læge. Denne type selvselektion har konsekvenser, der er helt parallelle til samplingproblemet ovenfor: Man kommer til at måle smitterisiko i en gruppe borgere, der qua deres adfærd ikke er særligt udsatte for smitte.

Et sidste problem kendes fra undersøgelser, der forsøger at måle omfanget af et akut problem. Umiddelbart efter terrorangrebene i London-tuben i 2005 viste meningsmålinger, at londonernes bekymringer var steget markant. Men da en undersøgelse allerede var i gang, da angrebene skete, kunne man også følge udviklingen i bekymringerne. Den længere undersøgelse viste, at de ekstra bekymringer var ganske kortvarige og at londonerne efter få uger var cirka tilbage til samme risikovurdering som før.

Lad mig illustrere problemet på følgende måde. Vi undersøger et holdningsspørgsmål over seks uger, hvor 50 % har holdningen i uge 1, 40 % i uge 2, 30 % i uge 3 osv. så ingen har holdningen i uge 6. Spørger man det samme antal borgere i alle uger, får man et gennemsnit på 25 % over perioden. Hvis man derimod ændrer sin teststrategi og -omfang, så man f.eks. fordobler antallet af adspurgte hver uge, ender man pga. udviklingen i folks holdninger med et mål på blot 9 %. Sagt lidt teknisk kan den temporale fordeling af undersøgelsen give et markant samplingproblem.

Disse problemer er af meget væsentlig betydning for tiden, da de også plager langt de fleste forsøg på at vurdere coronavirussens smitteudbredelse, og dermed også dens faktiske dødelighed. På præcist samme måde kan sampling- og selektionsproblemer helt åbenlyst skævvride vurderinger af f.eks. holdningsændringer og politiske præferencer – hvor det er et kendt problem, at populistiske partiers vælgere er noget mindre tilbøjelige til at svare på meningsmålinger, og man derfor undervurderer deres vælgertal. Vi mener at punditokraternes ellers velinformerede vælgere også bør være klar over, hvor store disse ellers lidt tekniske og kedelige problemer kan være. Uden en vis skepsis overfor alle undersøgelser af denne art, lader man sig hurtigt forlede til at tro, at problemer er større eller mindre end de faktisk er.

Den nye viden viser, at vi i dag bør tale om en meget anderledes fatalitet end den, internationale medier skrev om allerede i midten af marts. Dengang talte medierne og WHO om fatalitetsrater på 3-4 %, mens adskillige studier og en erkendelse af de alvorlige fejl i fortolkningen af epidemisk statistik efterfølgende har ændret billedet. Internationalt anerkendte eksperter understreger i dag, at vi bør tale om promiller i stedet for procenter (se her).

For halvanden uge siden skrev vi blandt andet om erfaringerne fra Gangelt i Kreis Heinsberg i det vestligste Tyskland (læs her). Professor Hendrik Streeck fra universitetet i Bonn, der har stået for Gangelt-studiet, sætter fatalitetsraten i byen til 2½ ‰ (hattip: Niclas Berggren), mens vores egne beregninger af mørketallet fra Gangelt bredt ud til resten af Kreis Heinsberg giver en rate på 1½ ‰. Intet har rykket ved denne størrelsesorden, ligesom den tidligere statsepidemiolog i Sverige, Johan Giesecke, offentligt har vurderet den svenske smitterate til 20-25 % af befolkningen og dermed en fatalitet på godt 1 ‰. Nyere studier rykker således ikke ved det, vi vidste for halvanden uge siden om den faktiske dødelighed af coronavirus.

En del af den nye og mere detaljerede evidens kommer fra Island, hvor man har testet cirka 50.000 mennesker i en fælles indsats mellem hospitalerne og det private firma deCODE Genetics (læs her). Mens øen har haft 10 døde ud af 1801 bekræftede tilfælde – en dødelighed på cirka ½ % – har myndighederne sendt 19.000 mennesker i to ugers karantæne efter test. Tilfældige tests af 13.000 borgere viste en andel på 1 %, der havde aktiv smitte, hvoraf mange sandsynligvis allerede har været smittede. Hvis alle de borgere, der blev sendt i karantæne var smittede, giver det en smitterate på 38 %, mens de islandske erfaringer peger på, at hver smittet smitter en tredjedel person. En simpel ekstrapolation af disse tal giver en smitterate på omkring 13 %, og dermed en rate meget tæt på det, man f.eks. har set i Gangelt. Den samme rate fandt et islandsk studie først i april (læs her). Hvis man derimod meget forsigtigt regner med, at kun en fjerdedel af de karantæneramte islændinge har været smittede, når man en fatalitet på lidt over 1 ‰.

Selv med et omhyggeligt testprogram viser disse eksempler således, hvor svært det er at komme til en præcis infektionsrate. Den vigtigste erfaring fra Island er dog, at ingen af de 848 testede børn under ti år var positive. Erfaringer fra bl.a. Holland, som den glimrende Emily Oster har opsummeret, viser ligeledes at det er meget usandsynligt at børn bliver smittet. Af en stor sample af folk der havde kontaktet deres læge med influenzalignende symptomer, fandt man i gennemsnit 6½ % der havde Covid-19. Ingen af de testede hollændere under 20 år viste sig at have sygdommen – de havde influenza. Oster peger også på erfaringer fra Frankrig og Australien, der ligeledes peger på at børn også smitter meget lidt.   

En af de vigtige erfaringer, som selv tidlige kinesiske studier viser, er netop at Covid-19 rammer aldersmæssigt meget skævt. Aldersprofilen på dødsfaldene i Italien viser således, at 85 % af alle dødsfald har været borgere over 70 år, ligesom spanske tal viser at 2/3 af alle dødsfald i landet er sket i plejehjem (læs her). Det største studie af profilen på dødsfaldene i Storbritannien (læs her) viser også en meget stærk aldersgradient med 79 % af alle over 70 år; hele 52 % af alle dødsfaldene viste sig at være folk over 80. Det samme kan ses i de officielle danske tal, hvor 18 % af de positiv-testede har været over 70 år, mens gruppen står for 86 % af alle dødsfald.

De nye studier bekræfter således, at den virkelige fatalitetsrate med al sandsynlighed er af størrelsesordenen 1½ ‰, men viser også meget tydeligt, at den er meget lavere for folk under 70, folk uden respiratoriske lidelser, og folk der ikke er svært overvægtige. Fatalitetsraten for netop disse grupper – og flere læger har endda understreget, at folk først i 70erne sandsynligvis har væsentligt lavere risiko end svært overvægtige i 40erne – været højere end for almindelig influenza, mens fataliteten for andre grupper i samfundet er den samme eller noget lavere.

Desværre bliver der også ved med at dukke studier op, der på trods af forfatternes status som overlæger og professorer, er plaget af fundamentale statistiske fejl som man ville slå benhårdt ned på i samfundsvidenskaberne. Et nyt studie under ledelse af Henrik Ullum fra Rigshospitalet, og omtalt af Seruminstituttets direktør Kåre Mølbak, er således et af flere eksempler på hvordan selv sundhedsfaglige eksperter ikke synes at forstå de basale sampling- og selektionsproblemer i forbindelse med at fastsætte korrekte smittetal.

Studiet er baseret på tests af blod fra cirka 5000 bloddonorer, og indikerer at mørketallet er 12-29 gange det målte smittetal. Resultaterne har skabt bølger, da myndighedernes tidligere, men noget oversete, vurdering har været en faktor 30-80 af det officielle tal. Et af de to store problemer med studiet er, at bloddonorer faktisk ikke må give blod hvis de har nogen form for symptomer. Det betyder, at hvis man regner med at 2/3 af de smittede er symptomfri og at alle symptomfri giver blod – og ikke bliver hjemme fordi de er nervøse for, at de måske alligevel er smittede eller har været i kontakt med nogen, der måske har været smittede – er der 50 % flere smittede bloddonorer end dem, man har fanget i testen. Det alene giver et markant større mørketal (cirka 40 % større) end den faktor 14, medierne reklamerede med. Oveni skal man lægge det andet problem med studiet, nemlig at det ikke er en acceptabel antagelse, at danskere der melder sig som bloddonorer har samme risikoopførsel som den gennemsnitlige dansker. Studiets konklusioner er derfor skævvredet af et alvorligt, dobbelt selektionsproblem, der kan føre til en voldsom undervurdering af det faktiske smittetal.

For medierne ligger der således stadig en udfordring i at skille skidt fra snot i den kommunikation, der kommer fra hospitals- og universitetsverdenen. Gør man det, når man til bundlinjen, der viser at den viden vi som internationalt samfund har fået de sidste 2½ måned, peger på at coronavirus faktisk ikke er særligt farlig. Man kan med god grund være bekymret for de meget gamle og borgere med alvorlige respiratoriske lidelser, der har en forhøjet risiko. For resten af os har man lukket ned for samfundet, ødelagt økonomisk værdiskabelse for mindst 150 milliarder kroner og revet to måneder ud af folks liv for at stoppe noget, der ikke er værre end den influenza vi har levet med i et århundrede.