Allerførst skal man holde sig for øje, at de 1,1 % ikke er det nuværende antal danskere, der har været smittede, men antallet omtrent 2-3 uger før testen. Grunden er, at det tager tid før kroppen har dannet antistoffer og man derfor overhovedet kan finde dem. Undersøgelsen er således retvisende for antallet af smittede i cirka sidst i april. Det kan man derfor sammenholde med de tests af aktiv smitte, som man har lavet siden slutningen af februar, og den ændring i teststrategi, som man implementerede fra omkring den 20-21 april (se figuren).

Et centralt faktum i det følgende er, at når man ser på dataene for testede danskere, er der testet godt 6 gange så mange efter ændringen i teststrategi (og godt 10 gange så mange per dag; se figuren). Blandt andet på grund af manglen på testudstyr, kunne danske læger slet ikke sende alle dem til test, som de fandt havde symptomer på aktiv smitte. Antager man, at lægerne efter ændringen har fået lov til at teste alle dem, de gerne ville have testet før ændringen, kan man således gange testtallet før 20. april med 6 for at nå, hvor mange der ville være blevet testet uden begrænsninger. Det andet centrale faktum er, at smittetrykket, målt på antallet af nyindlagte, var 4 gange så stort før 20. april. Antager man, at lægerne har sendt patienter tilfældigt til test – dvs. at dem, der ikke blev testet havde samme smitterisiko som dem der blev testet – når man således resultatet, at der ikke var 7600 symptomatisk smittede – det antal smittede, man faktisk fandt i tests – men 24*7600 ≈ 182.000.

Det giver dog ikke det korrekte antal smittede, da studier har fundet at mellem 50 og 80 % af alle smittede ingen symptomer har. Et rimeligt medianestimat er således, at der var to smittede uden symptomer – som man ikke testede – for hver smittet med symptomer. Med en ratio mellem asymptomatiske og symptomatiske smittede på 2, giver det derfor et bud på 546.000 smittede.

Man kan naturligvis angribe antagelsen om, at lægerne sendte patienter tilfældigt til test – også selvom det måske ikke er en dårlig antagelse, når det gælder en helt ny sygdom – og det ovenstående overvurderer således smittetallet. Hvis man derfor i stedet antager, at smitterisikoen i de testede falder lineært, så den første patient der testes mest sandsynligt er smittet, og den sidste ikke er smittet (så dem der ikke blev testet før 20. april havde mindre smitterisiko), ender man i stedet på en faktor på knap 13, der skal ganges med. Det giver et smittetal på cirka 290.000.

En anden antagelse, som synes ganske rimelig, er at lægerne sendte de patienter til test, der sandsynligvis stadig kunne have aktiv smitte (dvs. de næste 14 dage), til test da de kunne. Det er cirka 40.000 patienter efter ændringen, der ikke er nye patienter, men nogen der ville have været testet allerede. Trækker man dem fra de ekstra tests efter 20, april, får man på denne måde en faktor 4,7 i stedet for en faktor 6 for lægernes foretrukne testantal, og en samlet faktor 9,7 der giver 222.000 smittede.

Bruger man således testene for aktiv smitte som indikatorer for, hvor mange danskere, der må have haft coronavirus, og justerer dem for hvad vi ved om begrænsninger på den tidlige, meget restriktive teststrategi, får man med forskellige antagelser smittetal, der er langt højere end 1,1 %. Det ekstremt vigtige her, er at disse tal giver voldsomt forskellige dødelighedsrater for coronavirus. Seruminstituttets vurdering på 60.000 smittede indebærer en fatalitet på 9,4 ‰, mens Ullum-studiet af bloddonorer fra midt-april, som vi tidligere har understreget lider af et alvorligt selektionsproblem og derfor undervurderer smittetallet, giver 5,2 % dødelighed. Omvendt giver mit eksempel med en faktor 13 – med en meget venlig antagelse om lægers kompetence – en dødelighed på 2 ‰; sundhedsmyndighedernes oprindelige laveste antagelse om mørketallet på 30 giver 1,6 ‰; og mine faktorer 18 og 24 ovenfor giver henholdsvis 1,3 ‰ og 1,0 ‰.

Slutvis skal det understreges, at alle disse eksempelberegninger fuldstændigt ignorerer selektionsproblemet: At langt fra alle med symptomer går til lægen. Man blev (og bliver) nødt til at have en henvisning fra en læge, før man kan blive testet – og i starten kunne ens egen læge ikke engang give den selv. Vi ved ikke noget som helst om, hvor stort dette måleproblem er, men ved at det er væsentligt. Hvis halvdelen af de muligt smittede vælger at gå til læge, kan man gange de ovennævnte smittetal med to og derfor også dele dødelighedsraterne med to. Hvordan man end vender og drejer resultaterne fra danske tests af aktiv smitte, passer de dermed overhovedet ikke med det nye studies 1,1 %. Det kan med andre ord slet ikke passe.

Vi stiller derfor et hypotetisk eksempel op, hvor man gerne vil vide noget om, hvor udbredt en bestemt ekstrem holdning er – det kunne være, om alle homoseksuelle skal have tæsk – eller hvor udbredt en sygdom er – i dagens eksempel corona. I vores hypotetiske eksempel er der 1 % af alle borgere, der har en bestemt holdning eller er smittede. Spørger man således 9000 borgere i en korrekt gennemført undersøgelse, vil de 90 erklære sig enige med det bestemte spørgsmål, eller være smittede. Spørgsmålet er så, hvordan store studier kan komme til helt andre konklusioner.

I vores virkelige befolkning vil der være 90 ekstremister / smittede – det kalder vi A – og 8910 almindelige / usmittede – det kalder vi B. Den korrekte sandsynlighed er derfor A / (A+B), eller 90 / 9000 = 1 %. Hvis man fanger et stort, repræsentativt udsnit af befolkningen – en såkaldt korrekt random sample – får man den samme sandsynlighed, omgivet af en kendt statistisk usikkerhed.

Samplingproblemet kan her opstå ved at man enten spørger / tester for mange i A-gruppen eller for få i B-gruppen. Man kan for eksempel forestille sig, at man primært spørger på Københavns vestegn, hvor flere hader homoseksuelle / er smittede end i resten af landet. Problemet bliver, at man måler for mange A’er og for få B’er fordi området ikke er repræsentativt for hele befolkningen. Det siger sig selv, at hvis holdningen / smitten er dobbelt så sandsynlig på vestegnen, ender man på en sandsynlighed på 2 %. Dette problem er ekstremt velkendt blandt meningsmålere og løses ofte ved at man vægter folks svar. Det kan lade sig gøre, fordi man kender sit samplingproblem og derfor kan give dem, der er overrepræsenterede en vægt lavere end 1, og dem der er underrepræsenterede en vægt over 1. Hvis man derimod ikke kender strukturen af sit samplingproblem, er der ikke nogen let løsning.

Et lignende problem kan opstå, hvis det er lettere at komme i kontakt med folk, der har mere ekstreme holdninger / er mere smittede. Det kan for eksempel være et praktisk problem, hvis de er mere arbejdsløse og derfor mere tilbøjelige til at tage telefonen, når man ringer med et spørgeskema om eftermiddagen. Hvis man på denne måde får dobbelt så mange A’er end man burde, men stadig det korrekte antal B’er – man har løst det ene af de to samplingproblemer – ender man stadig på en målt sandsynlighed på 180 / (180+8910) = 1,98 %.

Et værre problem, som ofte også plager eksperimentelle studier, er selektionsproblemet. Hvis folk selv aktivt kan søge at være med i en undersøgelse, er problemet at det næsten aldrig er tilfældigt, hvem der vælger at være med – det tekniske udtryk er, hvem der ’selv-selekterer’. Fænomenet kan nogle gange ses i meningsmålinger hos Ekstrabladet, hvor det typisk er stærkt indignerede læsere, det vælger at svare på de to spørgsmål, der popper op. Hvis de indignerede er dobbelt så tilbøjelige til at svare, ender man dermed med en målt sandsynlighed for et ekstremt svar på 180 / (180+4455) = 3,88 %. Et selektionsproblem med en faktor 2 ender således med en måling, der er næsten en faktor 4 for stor.

Det samme gælder sygdomsundersøgelser, hvor man indtil nu (teststrategien ændres disse dage) for eksempel kun har kunnet blive coronatestet, hvor man udviste symptomer – så kunne ens læge henvise en til test – eller tilhørte en særligt udsat gruppe som sundhedspersonale. Her får man mindst to selektionsproblemer. For det første er det langt fra alle smittede, der udviser symptomer. Forskellige studier har fundet, at mellem 50 og 80 % af alle smittede er asymptomatiske. Rundt regnet betyder det, at hvis man skal udvise symptomer der er konsistente med virussen, sender man kun 1/3 af de faktisk smittede til test. Det ’A’ man måler, bliver således undervurderet med en faktor 3. Medmindre andre lidelser, der kan give samme symptomer, har samme eller større risiko for at være asymptomatiske, giver det således et for småt ’A’ og et for stort ’B’. Det giver således en potentielt markant ’downward bias’, dvs. en målt sandsynlighed der er for lille.

Den anden kilde til selektionsproblemet er, at det ikke er tilfældigt hvem der vælger at gå til læge. Et eksempel vil være, hvis folk der er mere opmærksomme på deres helbred, eller vægter helbred højere end andre, også er mere tilbøjelige til at gå til læge. Dette problem kan også formuleres som, at dem der er mest sjuskede i deres sundhedsadfærd, er mindst tilbøjelige til at gå til læge. Denne type selvselektion har konsekvenser, der er helt parallelle til samplingproblemet ovenfor: Man kommer til at måle smitterisiko i en gruppe borgere, der qua deres adfærd ikke er særligt udsatte for smitte.

Et sidste problem kendes fra undersøgelser, der forsøger at måle omfanget af et akut problem. Umiddelbart efter terrorangrebene i London-tuben i 2005 viste meningsmålinger, at londonernes bekymringer var steget markant. Men da en undersøgelse allerede var i gang, da angrebene skete, kunne man også følge udviklingen i bekymringerne. Den længere undersøgelse viste, at de ekstra bekymringer var ganske kortvarige og at londonerne efter få uger var cirka tilbage til samme risikovurdering som før.

Lad mig illustrere problemet på følgende måde. Vi undersøger et holdningsspørgsmål over seks uger, hvor 50 % har holdningen i uge 1, 40 % i uge 2, 30 % i uge 3 osv. så ingen har holdningen i uge 6. Spørger man det samme antal borgere i alle uger, får man et gennemsnit på 25 % over perioden. Hvis man derimod ændrer sin teststrategi og -omfang, så man f.eks. fordobler antallet af adspurgte hver uge, ender man pga. udviklingen i folks holdninger med et mål på blot 9 %. Sagt lidt teknisk kan den temporale fordeling af undersøgelsen give et markant samplingproblem.

Disse problemer er af meget væsentlig betydning for tiden, da de også plager langt de fleste forsøg på at vurdere coronavirussens smitteudbredelse, og dermed også dens faktiske dødelighed. På præcist samme måde kan sampling- og selektionsproblemer helt åbenlyst skævvride vurderinger af f.eks. holdningsændringer og politiske præferencer – hvor det er et kendt problem, at populistiske partiers vælgere er noget mindre tilbøjelige til at svare på meningsmålinger, og man derfor undervurderer deres vælgertal. Vi mener at punditokraternes ellers velinformerede vælgere også bør være klar over, hvor store disse ellers lidt tekniske og kedelige problemer kan være. Uden en vis skepsis overfor alle undersøgelser af denne art, lader man sig hurtigt forlede til at tro, at problemer er større eller mindre end de faktisk er.