SSI’s forudsigelser af pandemiens udbredelse rammer helt ved siden af

Jeg har set lidt nærmere på SSI’s regionale fremskrivninger. I fremskrivningerne forsøger SSI at estimere smittens udbredelse ved et konstant antal tests, så stigninger og fald ikke er drevet af antallet af tests. En ok idé (når nu man ikke kan finde ud af at få sat gang i nogle ordentlige stikprøver), men er kvaliteten god nok til at fremskrivningerne leverer et troværdigt billede?

Inden jeg gik i gang med at se nærmere på dem vidste jeg godt, at fremskrivningerne ikke sad helt i skabet. Men hvor skæve, de er, overrasker mig alligevel lidt.

Min første observation er, at der ikke er styr på de historiske data. Ser man fx på SSI’s estimerede antal smittede d. 1. oktober (altså historiske data, hvor man korrigerer for antallet af tests), så estimerer man samme antal positive (143) i uge 44, 45 og 46, selvom man ændrer antal test. I uge 47 korrigerer de derimod for antallet af tests, men kun i forhold til uge 46.

Her er tallene for 1. oktober for Region Hovedstaden:

  • Uge 44: 143 v. 14.000 tests
  • Uge 45: 143 v. 15.000 tests
  • Uge 46: 143 v. 16.000 tests
  • Uge 47: 179 v. 20.000 tests (179 = 143/16.000*20.000)

Jeg får også samme tal for andre datoer (særligt estimaterne i uge 45 og 46 ligner hinanden, selvom uge 46 er for 1.000 test mere), og det er jo lidt mystisk. Men lad nu det ligge for nu.

Ser vi på SSI’s forudsigelser, bliver det dog bestemt ikke mere betryggende. Nedenstående figur viser forudsigelserne sammenholdt med deres estimat for den reelle udvikling fra uge 47. Jeg har justeret alle forudsigelser ift. antal tests på baggrund af formlen fra dette notat fra SSI (P = It Ttβ , hvor P er antal positive tests, ved sygdomsudbredelsen I og T test pr. dag og β = 0,7 (SSI’s estimat). Dette er selvsagt en ret grov korrektion, men det er næppe denne lille korrektionsfejl, der driver de vilde fejlskud.

Kun én gang – i uge 45 – har de ramt rigtigt. Forudsigelserne fra uge 44 og uge 46 er til gengæld helt skæve, mens vi af gode grunde ikke kender skæbnen fra uge 47 (som “forudsiger” uge 48 og 49).

Så hvad sker der hos SSI? Inspireret af tankegangen i Freakonomics, har jeg prøvet at forestille mig, hvad jeg ville gøre, hvis jeg var den stakkels fuldmægtige i SSI, der havde fået besked på at forudsige fremtiden, men ikke havde nogen anelse om, hvad jeg skulle gøre?

Måske ville jeg tænke: “Den bedste vejrudsigt for vejret i morgen er vist, at det bliver ca. som i dag. Måske gælder det også for pandemier? “. Og så ville jeg forsøge at forudsige fremtiden på baggrund af den seneste uges data. Men inden man får sendt data og notater frem og tilbage, går der nemt et par dage. Derfor ville jeg estimeret fremtiden på baggrund af data 4-10 dage tidligere og korrigerer skæringen for mit estimat, så det starter i sidst kendte punkt (så forudsigelsen d. 25. oktober er baseret på data fra 15.-21. oktober og starter i niveauet for d. 25. oktober).

Denne ”Jonas som amatørfuldmægtig i SSI”-tilgang har jeg implementeret i nedenstående figur for Region Hovedstaden. De røde streger viser SSI’s forudsigelser, de grønne er mine lineære ”forudsigelser”, og den blå stiplede linje er SSI’s estimerede udvikling ved 20.000 test fra uge 47. Som man ser, er de i tre ud af fire tilfælde nærmest identiske. Mit alterego i SSI rammer ca. det samme som SSI. Og den gang, jeg rammer forkert, er det fordi jeg rammer betydeligt bedre end dem.

Jeg tænker selvfølgelig, at de har nogle mere avancerede måder at lave prognoserne på, men at det ikke er bedre end ”Jonas som amatørfuldmægtig i SSI”-tilgangen er påfaldende.

Forleden tweetede en række Socialdemokratiske ministre om, hvor rystende det var, at oppositionen havde sagt nej til en aftale om restriktioner, mens Magnus Heunicke var i medierne med samme historie. En af årsagerne til, at man ikke kunne indgå en aftale, var at Venstre ville have ”et såkaldt second opinion-panel bestående af danske og udenlandske eksperter, som skal udfordre myndighedernes anbefalinger.”

Måske ville det ikke være helt dumt med sådan en (uafhængig) “second opinion” til (de politiske) udmeldinger fra SSI’s?

4 thoughts on “SSI’s forudsigelser af pandemiens udbredelse rammer helt ved siden af

  1. Kurt Dejgaard

    Nu skal man ikke tro for meget på SSIs forudsigelser. De er nøje afstemt med Mette Frederiksens aktuelle behov og man mere end fornemmer en ført hånd, der. Det, dokumenterede jeg i en kronik på 180 grader for efterhånden mange måneder siden.

    Et væsentligere problem, er kausalsammenhænge i udviklingen: Man kan påstå hvadsomhelst (og gør det), hvorefter bevisbyrden påfalder dem der er uenige.
    Den tilgang dur ikke.

    SSI “forudsiger” en eksplosiv smitteudvikling i oktober. “Himlen falder ned! Vi må indføre flere stramninger”. Når eksplosionen så udebliver, bliver det til et “bevis” på at stramningerne har virket.

    Faktisk har man brugt både argumentet og “beviset” ved hver eneste stramning man har indført siden juli.
    Men har stramninger så faktisk virket?

    Men hvis vi ikke vender bevisførelsen, så er der ingen indikationer på at stramningerne siden juli har virket.
    Faktisk udvikler smittespredningen sig ret stabilt, siden vendepunktet i juli. Og alle stramninger, siden, er kommet til veje på basis af isolerede regionale smitteudbrud som siden er brændt ud.
    Se på grafen i linket og gæt selv tidspunkterne for hver af stramningerne siden juli. (Læseren behøver næppe mere end eet gæt for at ramme dem alle præcist)

    https://www.facebook.com/kurt.dejgaard/posts/10158900746898373

    Svar
  2. Pingback: SSI’s forudsigelser rammer helt ved siden af – HasToSee.com

  3. Peter Krogsten

    På Seruminstituttes nye dokumentationsside, det de i Microsoft lingo kalder et Dashboard, kan man følge den daglige udvikling. Kurven over døde pr dag, viser med al ønskelig tydelighed at i foråret med total nedlukning fulgte dødsfaldene en helt almindelig EPI-kurve, da det blev sommer døde meget få, og den frygtede 2’bølge har vist sig – ikke uventet – at være et skvulp i andedammen. Nu forsøger man at skræmme med en 3′ bølge.
    Indtil 1/9 viste SSI og SST dagligt en graf over antal testede, og hvor mange procent af de testede der var smittede. Procenten har været konstant siden sidst i april
    https://experience.arcgis.com/experience/aa41b29149f24e20a4007a0c4e13db1d Linket er kryptisk, man kan konspirere om hvorfor, men det er Statens Seruminstitut.
    De gamle grafer er væk, men heldigvis er der nogle der gemmer dem.

    Svar
  4. Pingback: Hvad fortalte SSI os om vigtigheden af frivillige adfærdsændringer? | Punditokraterne

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.