Seruminstituttets 1,1 % må være forkert

Forleden udgav Seruminstituttet det første studie af en random sample af faktisk coronasmitte i Danmark. Man havde testet cirka 1000 personer og fandt, at 1,1 % havde været smittede. Seruminstituttet konkluderede derfor, at med en vis usikkerhed var der cirka 60.000 danskere, der havde været smittede. Mens instituttet fremhævede, at det indebar at Danmark er meget langt fra flokimmunitet, var den vigtigste implikation måske, at det gav en dødelighedsrate på lidt under 1 %. Studiet så vigtigt ud, men der er blot ét problem: Seruminstituttets fund kan simpelthen ikke være retvisende, da de er helt inkonsistente med andre ting vi ved. Lad mig illustrere problemet med nogle eksempelberegninger.

Allerførst skal man holde sig for øje, at de 1,1 % ikke er det nuværende antal danskere, der har været smittede, men antallet omtrent 2-3 uger før testen. Grunden er, at det tager tid før kroppen har dannet antistoffer og man derfor overhovedet kan finde dem. Undersøgelsen er således retvisende for antallet af smittede i cirka sidst i april. Det kan man derfor sammenholde med de tests af aktiv smitte, som man har lavet siden slutningen af februar, og den ændring i teststrategi, som man implementerede fra omkring den 20-21 april (se figuren).

Et centralt faktum i det følgende er, at når man ser på dataene for testede danskere, er der testet godt 6 gange så mange efter ændringen i teststrategi (og godt 10 gange så mange per dag; se figuren). Blandt andet på grund af manglen på testudstyr, kunne danske læger slet ikke sende alle dem til test, som de fandt havde symptomer på aktiv smitte. Antager man, at lægerne efter ændringen har fået lov til at teste alle dem, de gerne ville have testet før ændringen, kan man således gange testtallet før 20. april med 6 for at nå, hvor mange der ville være blevet testet uden begrænsninger. Det andet centrale faktum er, at smittetrykket, målt på antallet af nyindlagte, var 4 gange så stort før 20. april. Antager man, at lægerne har sendt patienter tilfældigt til test – dvs. at dem, der ikke blev testet havde samme smitterisiko som dem der blev testet – når man således resultatet, at der ikke var 7600 symptomatisk smittede – det antal smittede, man faktisk fandt i tests – men 24*7600 ≈ 182.000.

Det giver dog ikke det korrekte antal smittede, da studier har fundet at mellem 50 og 80 % af alle smittede ingen symptomer har. Et rimeligt medianestimat er således, at der var to smittede uden symptomer – som man ikke testede – for hver smittet med symptomer. Med en ratio mellem asymptomatiske og symptomatiske smittede på 2, giver det derfor et bud på 546.000 smittede.

Man kan naturligvis angribe antagelsen om, at lægerne sendte patienter tilfældigt til test – også selvom det måske ikke er en dårlig antagelse, når det gælder en helt ny sygdom – og det ovenstående overvurderer således smittetallet. Hvis man derfor i stedet antager, at smitterisikoen i de testede falder lineært, så den første patient der testes mest sandsynligt er smittet, og den sidste ikke er smittet (så dem der ikke blev testet før 20. april havde mindre smitterisiko), ender man i stedet på en faktor på knap 13, der skal ganges med. Det giver et smittetal på cirka 290.000.

En anden antagelse, som synes ganske rimelig, er at lægerne sendte de patienter til test, der sandsynligvis stadig kunne have aktiv smitte (dvs. de næste 14 dage), til test da de kunne. Det er cirka 40.000 patienter efter ændringen, der ikke er nye patienter, men nogen der ville have været testet allerede. Trækker man dem fra de ekstra tests efter 20, april, får man på denne måde en faktor 4,7 i stedet for en faktor 6 for lægernes foretrukne testantal, og en samlet faktor 9,7 der giver 222.000 smittede.

Bruger man således testene for aktiv smitte som indikatorer for, hvor mange danskere, der må have haft coronavirus, og justerer dem for hvad vi ved om begrænsninger på den tidlige, meget restriktive teststrategi, får man med forskellige antagelser smittetal, der er langt højere end 1,1 %. Det ekstremt vigtige her, er at disse tal giver voldsomt forskellige dødelighedsrater for coronavirus. Seruminstituttets vurdering på 60.000 smittede indebærer en fatalitet på 9,4 ‰, mens Ullum-studiet af bloddonorer fra midt-april, som vi tidligere har understreget lider af et alvorligt selektionsproblem og derfor undervurderer smittetallet, giver 5,2 % dødelighed. Omvendt giver mit eksempel med en faktor 13 – med en meget venlig antagelse om lægers kompetence – en dødelighed på 2 ‰; sundhedsmyndighedernes oprindelige laveste antagelse om mørketallet på 30 giver 1,6 ‰; og mine faktorer 18 og 24 ovenfor giver henholdsvis 1,3 ‰ og 1,0 ‰.

Slutvis skal det understreges, at alle disse eksempelberegninger fuldstændigt ignorerer selektionsproblemet: At langt fra alle med symptomer går til lægen. Man blev (og bliver) nødt til at have en henvisning fra en læge, før man kan blive testet – og i starten kunne ens egen læge ikke engang give den selv. Vi ved ikke noget som helst om, hvor stort dette måleproblem er, men ved at det er væsentligt. Hvis halvdelen af de muligt smittede vælger at gå til læge, kan man gange de ovennævnte smittetal med to og derfor også dele dødelighedsraterne med to. Hvordan man end vender og drejer resultaterne fra danske tests af aktiv smitte, passer de dermed overhovedet ikke med det nye studies 1,1 %. Det kan med andre ord slet ikke passe.

10 thoughts on “Seruminstituttets 1,1 % må være forkert

  1. Kurt Dejgaard

    Citat:
    “Undersøgelsen er således retvisende for antallet af smittede i cirka sidst i april.”

    Kommentar:
    Okay. Antallet af smittede, d. 26 april, udgør 74% af det totale antal smittede pr dags dato.
    Nu er det ikke sværere at fremskrive med yderligere 26%.
    Det revidere tal bliver da 1,4% som så skulle være retvisende for idag?

    Citat:
    “Blandt andet på grund af manglen på testudstyr, kunne danske læger slet ikke sende alle dem til test, som de fandt havde symptomer på aktiv smitte. Antager man, at lægerne efter ændringen har fået lov til at teste alle dem, de gerne ville have testet før ændringen, kan man således gange testtallet før 20. april med 6 for at nå, hvor mange der ville være blevet testet uden begrænsninger.”

    Kommentar:
    Ikke desto mindre, har % andelen af positive prøver blandt de testede på intet tidspunkt være over 15%. Og da man øgede testmængden, gav det ikke anledning til et spring opad i daglige nye tilfælde. Derfor er der ikke meget der tyder på at begrænsningerne af tests i den tidlige fase, har haft den store betydning. Mørketal for asymtomatiske er imidlertid stadig den store ubekendte faktor.

    Men det virkelige problem med antistof tests, har allerede været omtalt før:
    Hvad er testens specificitet (falske positive)? og hvad er testens sensitivitet (falske negative)?

    Uden mål for de to værdier, er ethvert forsøg på estimater, meningsløst.

    Det var min indvending mod dataene fra de forrige antistof tests. Og den indvending gælder stadig idag og for de nye tests.

    Svar
  2. Peder Møller

    Jeg synes, at det kan siges meget kort.
    12 personer ud af 1071 tilfældigt udvalgte voksne danskere havde haft COVID-19. Det giver 1,1%. Testene er dog udført i 30 store kommuner, hvor man antager, at der er flere smittede end gennemsnitligt for landet og kun 41% af de tilfældigt inviterede mødte op. Begge disse usikkerheder bevirker, at de 1,1% kan være højt sat. Det giver også en IFR på ca 1%.
    Med al respekt, så kan jeg ikke se, hvordan ovenstående række af antagelser og eksempelberegninger kan modbevise denne relativt simple købmandsregning. Man kan selvfølgelig sige, at tallet er gammelt, da det tager noget tid at danne antistoffer, men der er jo ikke noget der tyder på, at vi har haft en eksplosiv stigning i smitten i de sidste par uger.
    Jeg må hellere understrege, at jeg ofte læser Punditokraterne med glæde, da jeg som ingeniør bliver klogere på økonomi og samfund, men jeg tror ikke, at jeg her bliver klogere på epidimiologi. Nærværende blog er på et vildspor med denne fremturen i, at det meste af videnskaben tager alvorligt fejl, når IFR estimeres til ca 1%, men tiden vil vise det.

    Svar
    1. Christian Bjørnskov

      Kære Peder. Jeg er ikke epidemiolog, men nationaløkonom med primært empirisk forskning. Jeg har derfor en del erfaring med statistik, hvilket har gjort mig noget skeptisk overfor nogle af de nye studier. Min eneste pointe her er, at erfaringerne fra studier af aktiv smitte og studier af afsluttet smitte – det faktiske smittetal – nødvendigvis bliver nødt til at line op med hinanden. Meningen med mine regneeksempler ovenfor er at vise, at det gør det overhovedet ikke. Det er et spørgsmål om statistik, ikke om biologi.

      Svar
      1. Peder Møller

        Kære Christian.
        Noget stemmer helt sikkert ikke. Faktoren 24, som ganges på de 7600 smittede for at finde aktivt smittede, forekommer for mig noget spekulativ. Man kan omvendt sige, at hvis de 1,1% fra SSI skulle være en faktor 5-10 forkert, så må det betyde, at de 1071, der møder op til SSIs test, er meget stærkt urepræsentative. Alt er muligt, men det lyder bare ikke sandsynligt, synes jeg.

        Svar
        1. Christian Bjørnskov

          Kære Peder. Jeg er enig i, at en faktor 24 er for høj som korrektion på de problemer, den skal løse. Mit bedste bud i den retning er faktisk en faktor 13. Men man bliver nødt til at huske, at den faktor – hvilken man end vælger – skal ganges med en korrektion for det fundamentale selektionsproblem, der kommer af de mange, der slet ikke går til lægen. Så for mig vil en faktor 13 være en absolut nedre grænse. Derudover skal man lige huske, at SSIs 1,1 % kommer fra 12 smittede i deres sample. Det er ekstremt få.

          Svar
          1. Ramon Harud (@ScorkCrew)

            Udviklingen i antallet af indlagte og en hypotetisk antistofdannelseskurve vil minde om hinanden med ikke alt for stor tidsmæssig forskydelse. Det – sammen med den serologiske stikprøve – bør man med få, simple antagelser kunne bruge til at estimere andelen af smittede til forskellige datoer. Uden at skele til resultaterne af de daglige test, som du fint illustrerer er problematiske.

            Der er afgjort også store udfordringer med antistofstudiet, men den korrektion, du bevæger dig ud i, slår også mig som et vildspor. Hvordan skulle ratio mellem asymptomatiske og symptomatiske eksempelvis have indvirken på udfaldet af den serologiske stikprøve? Deltagerne er ikke jo ikke udvalgt ved henvisning af læge eller på baggrund af sygdomshistorik. Jo, der er stadig er et selektionsproblem, som har at gøre med folks villighed til at deltage i studiet, men din korrektion baserer sig på noget reelt urelateret.

            Svar
  3. Theis Dekkers Gjedsted

    Kære Christian

    Du mener, at antistofstudiets resultat ikke kan passe, men det ser ikke ud til, at du kommer med et bud på, hvorfor tallet i studiet bliver forkert (for lavt). Hvis tallet er forkert, som du mener, så kan der, som jeg ser det, være tre forklaringer:

    1) De 41 % af de indbudte, der valgte at deltage, er ikke repræsentative.

    Men der skal godt nok være en stor bias for at få et tal, der er flere gange for lavt, som du vurderer. Er det overhovedet realistisk? Det er nogle år siden, at jeg læste på universitetet, men er 41 % deltagelse så dårligt sammenlignet med så mange andre stikprøver? (Det ville selvfølgelig have været fedt, hvis man havde valgt at give de deltagende fx 1000 kr. for at deltage, så man måske kunne få banket deltagelsesprocent op på 80-90 eller noget i den dur.) Man kunne sikkert opstille mange hypoteser om, hvorfor personer der havde haft corona i mindre grad ønsker at deltage end personer uden corona, men det virker lidt spekulativt. Omvendt er det vel ret klart, at da undersøgelsen kun er foretaget i 30 kommuner rundt om testcentrene i de større byer, hvor smitten har været mest udbredt, kan stikprøven også have flere smittede end landsgennemsnittet.

    NB: Kan det passe at man ikke har vægtet resultaterne? De 1,1 % er blot de 12 positive divideret med de 1.071 deltagende. Af notatet, der beskriver resultaterne, fremgår det, at folk i Hovedstaden (34,8 %), 18-29-årige (28,9 %) og mænd (38,3 %) alle har en lavere deltagelsesprocent end gennemsnittet.

    2) Falske negative.

    Jeg ved ikke noget om, hvad risikoen er for dette. Men det skal jo i så fald sammenholdes med risikoen for falske positive.

    3) Usikkerhed pga. de få positive resultater i stikprøven.

    Dette løser sig jo heldigvis i takt med, at undersøgelsen af antistofprøver fortsætter. Men denne usikkerhed er vel af en helt anden størrelsesorden end den undertælling, som du antager.

    Christian, jeg undrer mig over, at du ikke inddrager data for andelen af positive test. Ifølge SSI’s data har andelen af positive test generelt været lav også inden testkapaciteten blev kraftigt forøget. Kun nogle enkelte dage har andelen været over 10 %. Samtidig faldt andelen af positive test tydeligt, da testvolumen blev øget. Det tyder i mine øjne på, at antallet af test ikke har været så begrænsende for antallet af positive prøver, som du fremfører. Den lave andel positive tests taler i min optik mod et meget stort mørketal. Jeg vil således mene, at mørketallet i fx New York vil være langt højere, da man her i flere uger så en andel af positive test på omkring 50 %. Se her: https://twitter.com/NateSilver538/status/1255544138235248641/photo/1

    Svar
    1. Christian Bjørnskov

      Kære Theis
      Jeg er enig i dit punkt 1), da det ikke kan give den helt store bias. Mht. punkt 1b) ser det ikke ud til, at de har vægtet.
      Mht. usikkerheden tror jeg, at de lave antal er den primære grund til udfaldet. Der er jo kun 12 positive i samplen. Og mht. din pointe i, at andelen af positive tests faldt, da man udvidede testvolumen, er problemet, at det skete samtidig med at smittetrykket som målt ved indlæggelser også faldt. Man har derfor to sammenfaldende events og et såkaldt ‘signal extraction problem.’ Det er derfor, jeg beregner de to faktorer 24 og 13, hvor den ene regner med at der ikke er noget problem og den anden overkompenserer.

      Svar
      1. Theis Dekkers Gjedsted

        Kære Christian

        Jeg tillader mig at vende tilbage til dette indlæg, da der nu er kommet nye resultater fra den randomiserede antistofundersøgelse i Danmark.

        Her er hovedresultaterne efter de første to runder:

        Resultater pr. 20. maj – 1.071 testede, 41,2% deltagelse, 12 positive, 1,1% positive [0,5-1,8 (95%CI)]
        Resultater 29. juni – 2.427 testede, 47% deltagelse, 34 positive, 1,2% positive [0,7-1,7 (95%CI)]

        Så andelen af positive test er fortsat meget lavt og er ikke vokset særligt den seneste måned. Christian, da de første resultater kom, mente du, at den primære grund til den lave andel med antistoffer var, at tallene endnu var så små. Nu har man så undersøgt væsentlig flere, og andelen er fortsat lav. Er det på tide, at du reviderer dit syn på, hvor udbredt smitten har været i Danmark og derved også synet på, hvad dødeligheden for COVID-19 er?

        OBS: Jeg kan ikke helt forstå, hvordan de når frem til 1,2%, da en simpel beregning af 34/2427 giver 1,4 % – måske har de vægtet tallene. Forskellen er dog ubetydelig.

        Svar

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.