Videnskab.dk har udgivet en stærkt kritisk artikel om studiet fra danske forskere, Benn et al. (2022), som på baggrund af de randomiserede data, der førte til vaccinernes godkendelse, finder at mRNA-vaccinerne ikke reducerede den samlede dødelighed (Christian Bjørnskov har skrevet om studiet her). Jeg er ikke vaccineforsker og vil derfor ikke begive mig ud at vurdere studiet. Men jeg har en del erfaring med videnskab.dk[i] og har derfor set lidt på kritikken.

Min overordnede konklusion er, at intet af det, videnskab.dk bringer som en kritik af studiet, faktisk er reel kritik. Der er snarere tale om påpegning af, at der er rum for yderligere forskning (som Benn et al. også selv konkluderer). Videnskab.dk’s artikel havde været betydeligt mere videnskabelig, hvis den var gået til resultaterne med åbent sind og – i stedet for at forsøge at affeje resultaterne – havde formidlet de muligheder for yderligere forskning, der åbenlyst er på baggrund af de yderst interessante resultater i Benn et al. Der er trods alt en stor del af verdens befolkning, der endnu ikke er blevet vaccineret eller har behov for revaccination mod COVID-19, og de skal selvfølgelig have mulighed for at vælge den bedst mulige vaccine.

Men lad os tage kritikken punkt for punkt.

Hvorfor skriver videnskab.dk kritisk om netop dette studie?

Videnskab.dk kan naturligvis ikke skrive om alt, så lad os starte med at se på hvorfor videnskab.dk netop tager fat i dette studie.  Her er jornalisten fra videnskab.dk’s forklaring:

Dilemma, om vi på https://t.co/DprQ4UrjKO bør skrive om forskning, der ikke er peer reviewed. I dette tilfælde har forskere delt deres resultat på SoMe + de er omtalt andre steder uden forbehold. Så vi vurderede, at en kritisk gennemgang var på sin plads: https://t.co/marNpkFvL5

— Anne Ringgaard (@anneringgaard) May 6, 2022

Men forklaringen holder ikke helt. Her er fx en komplet ukritisk artikel af et ikke-peer reviewed studie om omikron fra bl.a. SSI, som forskerne delte på SoMe, og (som minimum) blev omtalt ukritisk i DR’s orientering (efter 1:30). NB: Jeg har ingen holdning til studiet – det er bare et eksempel, jeg stødte på)

Nuvel. Men videnskab.dk skal jo vælge et eller andet at skrive om, og det ER et interessant studie (hvilket sandsynligvis også var årsagen til, at Bjørnskov valgte at skrive om det her på punditokraterne.dk). Så lad os i stedet se på den konkrete kritik.

Første kritikpunkt: Ikke fagfælledbedømt

Vaccinestudiet er et såkaldt preprint (også kaldet arbejdspapir), som endnu ikke er peer reviewed (fagfælledbedømt). Det skal videnskab.dk selvfølgelig nævne, fordi det anses for et kvalitetsstempel inden for forskning (selvom man i mine øjne kan diskutere, hvor godt/vigtigt dette stempel reelt er). Jeg har talt, hvor mange gange det nævnes, at der er tale om et preprint og sammenlignet det med andre preprints, som videnskab.dk har omtalt (ovennævnte omikron-studie samt maskestudiet fra Bangladesh, som jeg tidligere har skrevet om her).

Nedenstående tabel viser, at preprint o.l. nævnes markant mere i artiklen om vaccine-studiet, end i de andre artikler. En af grundene er, at vaccine-studiet flere gange omtales som ”preprint-studiet” og ”preprint-artiklen”. Og billedet er soleklart. Af en eller anden grund var det netop for vaccine-studiet særligt vigtigt, at der var tale om et preprint.

I øvrigt er det ikke en valid kritik, at et nyt studie ikke er fagfællebedømt endnu. Alle nye studier begynder med ikke at være fagfællebedømt. Faktisk er en del af formålet med preprintsnetop at gøre dem tilgængelige for drøftelse blandt kolleger og andre. Forskningsresultater, der ikke har været gennem fagfællebedømmelse er naturligvis endnu mindre sikre, hvorfor det er værd at nævne, men ikke som en kritik.

Tabel: Hvor ofte nævner videnskab.dk, at der er tale om et preprint? Tre eksempler.

Note: Tabellen angiver hvor mange gange hvert søgeord optræder i de forskelleige artikler. Jeg har ikke talt ordene med, hvis de står i referencelisten til videnskab.dk. Jeg har talt ”ikke vurderet af fagfæller” og lignende med. Links til videnskab.dk’s artikler: Vaccine-studie, Omikron-studie og Bangladesh-studie.
* Videnskab.dk fjernede 9. maj boksen med titlen ”Studie eller debatindlæg” – se fx her.

Andet kritikpunkt: Alt for få er døde

Et af vaccine-studiets problemer er, at datamaterialet er relativt lille. Der er ganske enkelt meget få af deltagerne i vaccine-forsøgene, der døde inden forsøget blev stoppet, ved at man vaccinerede kontrolgruppen. Det skyldes bl.a., at mange af dem, der deltog i forsøgene, var ved relativt godt helbred og at man inkluderede voksne der var 18 og op efter, og derfor var en god andel af forsøgsdeltagerne ikke i nævneværdig risiko for at dø af COVID-19.

Men det kan ikke bruges som en kritik af vaccine-studiet, for i studiet bruger forskerne alle de data, der er til rådighed. Der er ganske enkelt ikke flere data. Desuden er deres resultater statistiske signifikante, så selvom der er få dødsfald, er forskellen i dødelighed altså næppe tilfældig.

I stedet for at afvise resultaterne, burde det snarere anspore kritikerne og andre forskere til at undersøge, om der er sket naturlige eksperimenter rundt om i verden, som kan bruges til at be- eller afkræfte de hypoteser som Benn et al. rejser. Det kan fx være, at der er lande, hvor det er tilfældigt, hvem der har fået en adenovirus-vektor-vaccine (AstraZeneca og Johnson & Johnson) og hvem der har fået en mRNA-vaccine (Moderna og Pfizer). Det kan fx ske, hvis folk ikke selv har kunnet vælge, men er blevet stukket med det, der nu engang var tilgængeligt den dag, de skulle vaccineres.

Der er altså rum for fremtidig forskning. Men man kan ikke bare afvise resultaterne med, at der er for få data. I øvrigt er det værd at bemærke, at det er præcis de samme data, der førte til, at vaccinerne  blev godkendt i første omgang (i mine liberale øjne i øvrigt alt for sent – det bør være op til den enkelte, om man vil tage en vaccine, man tidligt vidste ikke var direkte farlig).

Tredje kritikpunkt: Kun Johnson & Johnson slår ud

Videnskab.dk skriver også, at det kun er Johnson & Johnson-vaccinen, der giver lavere dødelighed, og ikke alle adenovirus-vektor-vaccinerne. ”Det underminerer hypotesen om, at det er adenovirus-platformen, som i sig selv på en eller anden måde har en uspecifik beskyttende effekt på den overordnede dødelighed”, lyder det fra deres kilde, en amerikansk Ph.d.-studerende.

I mine øjne er det dog ikke en kritik af resultaterne, men uenighed om hvilken tese, der kan forklare resultaterne. Benn et al. har forsket i vacciners uspecifikke effekter (som fx styrkelse af det generelle immunsystem) igennem en årrække, og de har sikkert deres grunde til at tro, at resultaterne kan være drevet af uspecifikke effekter knyttet til adenovirus-vektor-vacciner. Men det er selvfølgelig kun en tese, og man kan ikke afvise, at det er en anden feature ved Johnson & Johnson-vaccinen, der driver resultaterne. Det kan kun yderligere forskning svare på.

Men forskerne skjuler ikke, at resultatet er drevet af Johnson & Johnson-vaccinen, så enhver har mulighed for at vurdere plausibiliteten i de forskellige hypoteser. Desuden lå estimatet for AstraZeneca i samme boldgade som for Johnson & Johnson, så selvom det ikke er statistisk signifikant, peger det middelrette skøn i retning af, at de har samme effekt.

Fjerde kritikpunkt: Forskerne har brugt foreløbige data

Dette kritikpunkt er yderst mærkværdigt. En af kritikerne siger, at der er nyere data, men de data indeholder ifølge en af forfatterne fra Benn et al. ikke de nødvendige informationer. Hvem der har ret, ved jeg ikke. Men det er muligt at finde ud af, og derfor burde videnskab.dk undersøge det ordentligt, inden de bringer kritikpunktet.

Femte kritikpunkt: Andre årsager – bl.a. aldersforskelle – kan spille ind

Benn et al. har samlet data fra flere forskellige forsøg, og det kan derfor som udgangspunkt ikke helt afvises, at der er forskelle i forsøgene, der driver resultaterne. Et par af kritikerne peger på alder, men det afviser en af forfatterne fra Benn et al., fordi der er tale om randomiserede forsøg.

Jeg er dog ikke sikker på, at argumentet nødvendigvis holder. For selvom alderen i de to grupper inden for ét forsøg er ens, kan der godt være forskelle mellem de forskellige vaccineteknologier. Hvis fx mRNA-testpersonerne er ældre end adenovirus-vektor-testpersonerne, vil der alt andet lige være flere dødsfald blandt mRNA-vaccinerne, og kan det ikke potentielt lede til et Simpson’s Paradox? (Jeg spørger, fordi jeg ikke er helt sikker). Uanset hvad forklarer det ikke effekten indenfor det enkelte forsøg, fordi randomiseringen sikrer, at aldersfordelingen er den samme i vaccine- og placebogruppen.

Uanset hvad ville det være en fordel, hvis forskerne kan få adgang til forsøgspersonernes alder, køn mv., så man kan se, om det er særlige aldersgrupper eller køn, der driver resultaterne (selvom det naturligvis er svært at opdele i fx aldersgrupper, når der er så få dødsfald).

Sjette kritikpunkt: Bias kan ikke udelukkes

Nu bliver det grimt. Jeg behøver nærmest ikke andet end at citere videnskab.dk

”Det er svært at efterprøve, om forskerne i deres nye studie er påvirket af deres tidligere forskning, så de – bevidst eller ubevidst – er kommet til at udvælge og tolke data på en måde, som understøtter deres hypotese. Det er velkendt, at forskere på den måde kan være biased i deres tolkning af data.”

Hvad var det, du lige læste? Jeg tjekkede lige de to andre studier (omikron-studiet og Bangladesh-studiet). Der er bias ikke nævnt med ét ord. Hvorfor skal det nævnes i forbindelse med Benn et al.?

Det er ikke fordi, jeg er uenig i, at forskere kan være biased. Selvfølgelig kan de det. Men enten nævner man det konsekvent i alle artikler, eller også gør man ikke. Hvis videnskab.dk vil leve op til navnet, kan de ikke sidde og vurdere biases fra artikel til artikel. Det vil jo netop blive biased imod det, de ikke politisk bryder sig om.

Syvende kritikpunkt: En protokol ville være en fordel

Her graver videnskab.dk dybt for at finde noget at skrive om. Ja, det ville være ”rart, hvis de havde præregistreret studiet i en protokol”, som videnskab.dk citerer Anders Hviid for at udtale. Men der er jo ikke tale om et klinisk forsøg eller noget meget komplekst. De indsamler data fra eksisterende randomiserede forsøg og kigger på forskelle i dødelighed. I bedste fald spilder videnskab.dk deres læseres tid. I værste fald skaber de ubegrundet usikkerhed om resultaterne.

---

---

[i] Videnskab.dk havde følgende indlæg om vores meta-studie om nedlukninger:

• 3. februar 2022: Forskere kritiserer: Nej, ny analyse kan ikke konkludere, at nedlukninger kun har reddet fem danske liv.
  • Artiklen bliver refereret i Berlingske d. 4. februar og på Netavisen Pio d. 7. februar
• 5. februar 2022: Britisk professor: Absurd at påstå, at nedlukninger ikke virker.
• 7. februar 2022: Britisk professor om nedlukningskritisk studie: »Svagt og fejlbehæftet« (bragt i Jyllands-Posten, men skrevet af en journalist fra videnskab.dk).
• 10. februar 2022: Dét kan 60 milliarder tweets lære os om misinformation og anti-vaxxere (jeg ved ikke, hvad vores meta-studie har med anti-vaxxere at gøre, men nævnt bliver det).
• 11. februar 2022: Økonomer peger på fundamentale problemer i analyse fra CEPOS-konsulent.
• 19. februar 2022: Derfor er det svært at måle den præcise effekt af corona-nedlukninger.

Desuden skrev følgende danske medier om meta-studiet:

• 1. februar skriver indblik.dk om studiets resultater.
• 3. februar skriver tre forskere et kritisk debatindlæg i Berlingske (de tre forskere er med i stort set alle artikler ovenfor).
• 19. februar 2022 skriver Politiken om studiets resultater og noget af kritikken (egentlig en fin artikel, men overskriften svarer slet ikke til indholdet af selve artiklen).
• 22. februar skriver Detektor om studiet.