Et af de store spørgsmål i de senere års debat om de danske universiteters forskningsoutput og kvalitet har været, hvordan man måler en så uhåndterbar størrelse som kvaliteten af den forskning, der bedrives. Internt på de enkelte universiteter er det også en diskussion, der må tages, ikke mindst når man skal evaluere, hvilke institutter, der klarer sig bedre end andre og internt på institutterne hvilke individuelle forskere, der klarer sig bedst og derfor bør stå forrest i køen til tillæg osv.
Spørgsmålet er også relevant i andre debatter og lad mig blot indrømme at en af grundene til at skrive dette indlæg, har været Christopher Bugge Harders fortsatte forsvar for en af det internationale klimapanels, IPCCs, ledende forfattere, Nebojsa Nakicenovic. Jeg har karakteriseret ham som andenrangsforsker, Bugge har forsvaret ham og blandt andet hævdet andetsteds, at Nakicenovic har været i betragtning til Nobelprisen i økonomi. Der er således noget af en forskel på vores vurdering af mandens kvaliteter, som en formel evaluering måske kan kaste lidt lys over.
På et helt andet plan er der rent personligt også ofte svært at forklare familie og venner, hvor man står i hierarkiet, og hvorfor man tager de valg, man tager på sit arbejde. Et spørgsmål, som man for eksempel ret ofte må svare på, er Hvorfor har du ikke skrevet en bog? Det bliver forhåbentlig klart i det følgende, hvorfor jeg ikke har skrevet en bog, og i øvrigt heller ikke har planer om det i den nærmeste fremtid. Så formålet med dette indlæg er at forklare, hvordan man på solid basis evaluerer forskningskvalitet.
En vurdering af enkelte institutters og enkelte forskeres kvalitet kan på det mest fornuftige grundlag foretages på basis af, hvad der udgives. Alt andet lige er mere i et vist omfang naturligvis bedre, men alt er stort set aldrig lige. Man må derfor skelne mellem hvilke typer udgivelser, der er tale om, og hvilken kvalitet, de på den ene eller anden måde har. Lige så vel må man se på, om den enkelte forsker konsistent publicerer i et bestemt kvalitetslag en enlig svale gør som bekendt ingen sommer, heller ikke i den videnskabelige verden. Men det er ikke så svært: Indenfor nationaløkonomi gælder det, ligesom det helt generelt gælder for naturvidenskaberne, de mere kvantitativt orienterede og/eller angelsaksisk orienterede dele af statskundskab, og i stigende grad den kvantitative del af sociologi, at den tunge del af forskningen publiceres i internationale videnskabelige tidsskrifter, og at der er et helt klart kvalitets- og prestigehierarki blandt tidsskrifterne.
Et sådant hierarki kan naturligvis lyde underligt, og en af mine mest begavede venner har da også undret sig over, at hvorfor man løber efter prestigen. Sagen er blot, at prestige i denne sammenhæng ikke er et hult begreb. Jo bedre og dermed jo mere prestigiøst et tidsskrift er, afhænger af hvor skrap kvalitetskontrollen er hos tidsskriftet. Når et videnskabeligt tidsskrift modtager et manuskript, sendes det nemlig til review hos andre forskere indenfor samme område. Disse forskere, og ofte også manuskriptets forfattere, holdes strengt anonyme så man minimerer risikoen for nepotisme eller personopgør. Det er reviewernes grundige tilbagemelding til redaktøren, samt redaktørens egen vurdering, der bestemmer om manuskriptet skal 1) optages, 2) skal genovervejes såfremt en række ændringer foretages, eller om det 3) bør afvises blankt. Denne kvalitetskontrol varierer dermed fra tidsskrift til tidsskrift, og med strengere krav og flere topforskere som reviewers, jo bedre tidsskriftet er. Omvendt får tidsskrifter med et særligt godt ry flere manuskripter tilsendt, og kan derfor tillade sig at være mere kræsne og dermed hæve overliggeren for hvad det kræver, at få en artikel publiceret. Selvom processen ikke er perfekt enkelte smuttere sniger sig igennem og selv Nobelprisvindende bidrag bliver nogle gange afvist betyder den at de mest kvalitetsbevidste tidsskrifter også i gennemsnit publicerer de bedste artikler, og at der herefter er et klart hierarki, afhængigt af hvor strenge krav, tidsskrifterne stiller og hvor strenge krav de kan tillade sig at stille.
Og kravene er strenge hos de bedste! For at tage et af de klareste eksempler, får man hos det amerikanske Quarterly Journal of Economics, der har været udgivet i mere end 100 år, flere tusinde manuskripter tilsendt om året. Af de mange modtagne manuskripter kommer en mindre del (et godt gæt er cirka 800) forbi redaktørens skrivebord mange afvises før de når ud i review-processen fordi de, for eksempel, ikke har tilstrækkeligt bred interesse for læserskaren eller er åbenlyst under niveau. Af den mindre del, der faktisk når processen, afviser man derefter cirka 95 procent af alle manuskripter. På denne måde holder tidsskriftet kvaliteten oppe i de relativt få artikler, der trykkes i de fire årlige numre.
På denne baggrund opstår der altså et klart hierarki blandt de mange videnskabelige tidsskrifter. Indenfor nationaløkonomi mit eget område, eksisterer der et klart A-hold: Den lille håndfuld absolut prestigiøse tidsskrifter omfatter som minimum American Economic Review, Journal of Political Economy, Econometrica og (naturligvis) Quarterly Journal of Economics. For nationaløkonomer med lidt bredere forskningsfelter kan det også diskuteres om de to supertidsskrifter indenfor statskundskab, American Political Science Review og American Journal of Political Science, skal tælles med. Bredt set indenfor naturvidenskaberne er der samme type hierarki, og langt de fleste vil sandsynligvis placere Nature og Science i spidsen for enhver liste.
Det siger sig selv at en meget lille gruppe får publiceret konsistent i A-holdet, men mindre kan gøre det. Næste trin på kvalitetsstigen, og stadig et særdeles prestigefyldt trin, består af de såkaldte leading field journals, dvs. toptidsskrifterne indenfor mere specialiserede områder. For mit eget vedkommende vil det inkludere Journal of Economic Growth, Journal of Development Economics, og Journal of Economic Behavior & Organization, dvs. de to toptidsskrifter indenfor udviklingsøkonomi plus det absolut førende specialtidsskrift der behandler mere adfærdsøkonomiske problemstillinger. Tidsskriftet Public Choice som denne blogs tidligere redaktør Peter Kurrild-Klitgaard er europæisk redaktør for er sværere at placere, da det er leading field journal indenfor et område, der befinder sig midt mellem nationaløkonomi og statskundskab, men skal muligvis tælles med for de forskere, hvis interesseområde netop befinder sig i gråzonen mellem politisk økonomi og statskundskab.
Længere nede kommer så en lang, lang række fornuftige og kvalitetsbevidste tidsskrifter, som jeg ikke vil opliste her der er over hundrede af dem alene indenfor økonomi. Og i bunden af det hele kommer så bøgerne og bidragene til redigerede bøger. Grunden er ganske simpel: Mange bøger har slet ingen review-proces, og for de redigerede bøger der har, betyder den som oftest at man kan risikere at måtte lave småændringer i sit bidrag, men at manuskriptet ikke kan afvises. Derfor er svaret på det indledende spørgsmål hvorfor har jeg ikke skrevet en bog eller bidraget til ret mange ret klart: For mange bogkapitler eller selvstændige bøger er et sikkert signal om, at ens forskning ikke har kvalitet til at blive publiceret andre steder. Dette skaber derfor også lidt af et skisma mellem hvad den almindelige offentlighed ser som betydningsfulde forskere det er ofte dem med bøgerne, ikke mindst dem på dansk og dem, der i virkeligheden har høj kvalitet og er med på forskningsfronten.
Udstyret med lidt viden om hvad de vigtige parametre er, kan læserne så selv tage et kig på tre ikke helt
tilfældigt udvalgte forsk
ere: Harvard-professoren Robert Barro, mig selv, og IPCCs Nebojsa Nakicenovic (tryk på navnet for at komme til forskerens CV). Barro har de sidste tre år været bookmakernes topkandidat til Nobelprisen, og er et usædvanligt sikkert bud på en pris i fremtiden. Hans forskningsbidrag har været indenfor politisk økonomi, inflationsforhold og ikke mindst har hans bidrag til den empiriske vækstforskning revolutioneret måden, man måler økonomiske vækstfaktorer. Mine egne bidrag i mine tre år som PhD-studerende og tre år som forsker derefter har af mange grunde været mere beskedne, men jeg har taget mig selv med som eksempel på en sådan cirka rimeligt fornuftig dansk forsker. Sidste på listen er Nakicenovic, hovedforfatteren bag IPCCs økonomiske estimater og et interessant eksempel på hvor langt man kan komme med en stor organisation i ryggen, og masser af publicity.
I modsætning til de fleste indlæg her på stedet, vil jeg ikke konkludere noget som helst. Læserne kan reflektere over hvordan man bedømmer forskningskvaliteten, og de kan hver især gå ind og læse de tre eksemplers CVer og publikationslister. Enhver er fri til at danne sin egen mening, ligesom enhver er fri til at lufte den i kommentarerne nedenfor.