Man ser ofte betegnelsen ’topøkonom’ eller ’topforsker’ i medierne. Ganske ofte henviser det til danskere med en professortitel, men måske lige så ofte betyder det, at den pågældende økonom bare er ofte citeret i de samme medier, der bruger betegnelsen. Det er for eksempel blevet meget almindeligt, at medierne bruger bankøkonomer, som f.eks. Sten Bocian fra Danske Bank, som eksperter i stedet for at kontakte universiteterne (læs f.eks. her). En fordel er, at Bocian og visse andre er gode til at forklare økonomiske problemstillinger – og en del bedre end overvismand Peter Birch Sørensen, der nok næppe ville regne medietække som en personlig kompetence. Men hvor gode er mediernes bud på danske topøkonomer egentlig? Hvad er det for et billede som medierne tegner, og som i høj grad bliver overtaget af almindelige danskere? Og hvorfor bruger man stadig en mand som Jesper Jespersen (RUC) og hvor er en videnskabelig profil som David Dreyer Lassen (KU)?

For at illustrere problemet på en simpel måde, kiggede jeg på publikationslisterne for et lille udsnit af danske nationaløkonomer. Udsnittet er fuldstændigt subjektivt, og målet for kvalitet er hvor mange og hvor gode publikationer de pågældende forskere har fået ud i 2006, 2007 og 2008. Mens måling af publikationskvalitet ikke er en eksakt videnskab, bruger jeg det mest almindelige mål for det – Impact Factors fra Thomson Reuters; billedet er ikke markant anderledes hvis man f.eks. bruger den alternative rangering fra det tyske Handelsblatt. Udsnittet af danske økonomer er Sten Bocian (Danske Bank), Jesper Jespersen (RUC), Peter Birch Sørensen (København, Overvismand), Carl-Johan Dalgaard (København), David Dreyer Lassen (København), Helena Skyt Nielsen (Aarhus), Torben M. Andersen (Aarhus), Martin Paldam (Aarhus), Philipp Schröder (Aarhus) og mig selv (Aarhus). Som en slags referencepunkt har jeg også taget en enkelt udlænding: Axel Dreher (Göttingen), som udover at være en god ven, er en af de mest produktive unge økonomer i Europa.

Og hvordan ser billedet så ud? Ikke overraskende har hverken Sten Bocian eller Jesper Jespersen publikationer de tre år, der når nogen internationale lister. Bocian har, så vidt jeg ved, aldrig publiceret noget internationalt, da han er ’opdraget’ i Danske Bank og Arbejderbevægelsens Erhvervsråd. Jespersen har en enkelt i European Studies Review, et åbenbart relativt nyt tidsskrift, som jeg aldrig havde hørt om før. Deres pædagogiske evner fraset er de derfor næppe at betragte som ’topøkonomer’ på trods af mediernes flittige brug af netop de to. Tabellen nedenfor lister de andre ni – tallene er i rækkefølge: Antal internationale publikationer, antal vægtet med impact factors (antal gange med impact factors), gennemsnitsscore, og impact for bedste publikation i økonomi. Tabellen tager kun publikationer med i tidsskrifter, der har en officiel impact factor.

Peter Birch Sørensen 4 3,59 0,89 1,40

Carl-Johan Dalgaard 4 4,20 1,05 2,29

David Dreyer Lassen 3 2,46 0,82 1,13

Helena Skyt Nielsen 3 2,89 0,96 1,32

Torben M. Andersen 6 3,50 0,58 0,86

Martin Paldam 8 5,13 0,64 0,80

Philipp Schröder 5 2,08 0,42 1,04

Christian Bjørnskov 9 6,15 0,68 1,32

Axel Dreher 18 13,36 0,74 1,81

Som læserne ret let kan se, er der først og fremme
st stor forskel på, hvor produktive de otte har været. Nuværende overvismand Peter Birch Sørensen er næstmindst produktiv, men er tydeligvis tynget af sit arbejde i Det Økonomiske Råd, hvilket levner relativt lidt tid til rigtig forskning. Alligevel er det ikke så imponerende, som man skulle tro af en overvismand, hvis man ellers stoler på medierne. Den umiddelbart mindst produktive ser ud til at være David Dreyer Lassen, men her snyder tabellen: David publicerer også udenfor nationaløkonomi, og når han gør det, er det bl.a. sket i American Journal of Political Science, et tidsskrift der regnes som et af de to absolutte toptidsskrifter i statskundskab. I perioden er Davids toppublikation således udenfor hans oprindelige felt, men med en impact factor på 2,4!

På samme måde ligger Carl-Johan Dalgaard midt i feltet med fire publikationer og et vægtet output på 4,20 ’enheder’. Men Carl-Johans bedste artikel er i Journal of Economic Growth, der med en impact factor på ikke mindre end 2,29 er stormet ind i gruppen af de mest prestigefyldte outlets i nationaløkonomi efter dets grundlæggelse i 1996. Det samme ses på Carl-Johans kvalitetsgennemsnit, som med 1,05 er klart det bedste i nimandsgruppen. Danmarks nok bedste kvindelige økonom (som er aktiv, vel at mærke) – Helena Skyt Nielsen – står heller ikke tilbage. På trods af at kun tre publikationer er listet pænt, er hendes top impact 1,32 (og i år har hun to artikler ude i Journal of Human Resources, der må regnes for endnu finere).

Og hvad så med undertegnede, min tidligere vejleder Martin Paldam og den tyske sammenligning? Martin ser ikke måske ikke imponerende ud på kvalitetsgennemsnittet, men han er stadig mere produktiv end de fleste økonomer og har nogle fine laurbær at hvile på som den næstmest citerede danske økonom nogensinde. Ingen af delene er ikke dårligt når man er blevet 67! Sammenligningen viser også, at Martin på trods af at han ofte er blevet meget dårligt behandlet af medierne, stadig er at regne blandt toppen i Danmark. For mit eget vedkommende placerer jeg mig okay i midterfeltet (men trøster mig lidt med at min højeste impact på 2,26 er udenfor økonomi som sikkert alligevel ikke kan sammenlignes) – ikke noget at være flov over, men der er plads til forbedring.

Bundlinjen med denne lille sammenligning er ikke at pege fingre af nogen, men blot at få læserne til at tænke lidt over, hvem der bliver lanceret som eksperter i medierne og at der altså er forskel, når medierne sætter to økonomer op overfor hinanden for at få dem til at sige henholdsvis bøh og bæh. Måske skulle man google dem og tage et kig på deres CV’er? For det er ret let at skille en fornuftig gruppe som de ni i tabellen fra den store, grå mellemgruppe og de rigtigt dårlige. Og det er faktisk også forbløffende let med en smule indsigt at pege på de bedste: Her er det Carl-Johan Dalgaard og David Dreyer Lassen, der måske ikke publicerer så meget som nogle andre, men holder et imponerende kvalitetsniveau. Og så er det for til sidst at pege på én ting: Danske universiteter har svært ved at følge med. Axel Dreher, vores tyske ven, fik mere end dobbelt så mange publikationer ud som de otte danskere i løbet af de tre år, hans gennemsnitsscore er ikke specielt dårlig, og hans bedste publikation i de tre år (Journal of Law and Economics) kan konkurrere med de bedste danskeres. Så selvom man måske synes, at man følger fornuftigt med det hjemlige felt, kan en mere international sammenligning godt give lidt røde ører en gang imellem.

Det er næppe gået nogens næse forbi, at regeringen vil have at vi skal leve længere. I den forbindelse har de ikke blot rejst det store fy-flag, men endda nedsat en kommission, som har givet en laaang række anbefalinger til, hvordan staten skal styre borgerne til at leve længere, hvis de ikke selv vil. En af ideerne er naturligvis at stoppe rygning. Mange af os er ikke bare ved at have fået nok af detailstyring af vores privatliv, men ikke nok med det er Forbudskommissionens arbejde i nogle tilfælde baseret på tvivlsomme, og nogle gange faktuelt forkerte, grundlag.

Vores gode ven Niclas Berggren skrev forleden om et af disse tilfælde. Et hold amerikanske forskere fra Duke University og University of Michigan (sagt på jysk, ikke de værste steder at være) har undersøgt ideen om, at rygere ryger fordi de ikke ved, hvor skadeligt det er. Deres konklusioner er opsummeret i abstractet her:

While there are many reasons to continue to smoke in spite of its consequences for health, the concern that many smoke because they misperceive the risks of smoking remains a focus of public discussion and motivates tobacco control policies and litigation. In this paper we investigate the relative accuracy of mature smokers’ risk perceptions about future survival, and a range of morbidities and disabilities. Using data from the survey on smoking (SOS) conducted for this research, we compare subjective beliefs elicited from the SOS with corresponding individual-specific objective probabilities estimated from the health and retirement study. Overall, consumers in the age group studied, 50–70, are not overly optimistic in their perceptions of health risk. If anything, smokers tend to be relatively pessimistic about these risks. The finding that smokers are either well informed or pessimistic regarding a broad range of health risks suggests that these beliefs are not pivotal in the decision to continue smoking. Although statements by the tobacco companies may have been misleading and thus encouraged some to start smoking, we find no evidence that systematic misinformation about the health consequences of smoking inhibits quitting.

Man kan derfor stille spørgsmålet, hvorfor i alverden staten vil tillade sig at styre privat adfærd, der ikke bare giver nogle mennesker nydelse, men også synes fuldt og rationelt informeret. Og hvis nogen skulle være ved at være godt trætte af den socialistiske puritanisme, som samfundet synes ramt af, er her en opmuntring. The Daily Show har været i Sverige! Men det er en helt anden snak.

Et af de store spørgsmål i de senere års debat om de danske universiteters forskningsoutput og –kvalitet har været, hvordan man måler en så uhåndterbar størrelse som kvaliteten af den forskning, der bedrives. Internt på de enkelte universiteter er det også en diskussion, der må tages, ikke mindst når man skal evaluere, hvilke institutter, der klarer sig bedre end andre og – internt på institutterne – hvilke individuelle forskere, der klarer sig bedst og derfor bør stå forrest i køen til tillæg osv.

Spørgsmålet er også relevant i andre debatter – og lad mig blot indrømme at en af grundene til at skrive dette indlæg, har været Christopher Bugge Harders fortsatte forsvar for en af det internationale klimapanels, IPCCs, ledende forfattere, Nebojsa Nakicenovic. Jeg har karakteriseret ham som andenrangsforsker, Bugge har forsvaret ham og blandt andet hævdet andetsteds, at Nakicenovic har været i betragtning til Nobelprisen i økonomi. Der er således noget af en forskel på vores vurdering af mandens kvaliteter, som en formel evaluering måske kan kaste lidt lys over.

På et helt andet plan er der rent personligt også ofte svært at forklare familie og venner, hvor man står i hierarkiet, og hvorfor man tager de valg, man tager på sit arbejde. Et spørgsmål, som man for eksempel ret ofte må svare på, er ”Hvorfor har du ikke skrevet en bog?” Det bliver forhåbentlig klart i det følgende, hvorfor jeg ikke har skrevet en bog, og i øvrigt heller ikke har planer om det i den nærmeste fremtid. Så formålet med dette indlæg er at forklare, hvordan man på solid basis evaluerer forskningskvalitet.

En vurdering af enkelte institutters og enkelte forskeres kvalitet kan på det mest fornuftige grundlag foretages på basis af, hvad der udgives. Alt andet lige er mere i et vist omfang naturligvis bedre, men alt er stort set aldrig lige. Man må derfor skelne mellem hvilke typer udgivelser, der er tale om, og hvilken kvalitet, de på den ene eller anden måde har. Lige så vel må man se på, om den enkelte forsker konsistent publicerer i et bestemt kvalitetslag – en enlig svale gør som bekendt ingen sommer, heller ikke i den videnskabelige verden. Men det er ikke så svært: Indenfor nationaløkonomi gælder det, ligesom det helt generelt gælder for naturvidenskaberne, de mere kvantitativt orienterede og/eller angelsaksisk orienterede dele af statskundskab, og i stigende grad den kvantitative del af sociologi, at den tunge del af forskningen publiceres i internationale videnskabelige tidsskrifter, og at der er et helt klart kvalitets- og prestigehierarki blandt tidsskrifterne.

Et sådant hierarki kan naturligvis lyde underligt, og en af mine mest begavede venner har da også undret sig over, at hvorfor man ’løber efter prestigen’. Sagen er blot, at prestige i denne sammenhæng ikke er et hult begreb. Jo bedre – og dermed jo mere prestigiøst – et tidsskrift er, afhænger af hvor skrap kvalitetskontrollen er hos tidsskriftet. Når et videnskabeligt tidsskrift modtager et manuskript, sendes det nemlig til ’review’ hos andre forskere indenfor samme område. Disse forskere, og ofte også manuskriptets forfattere, holdes strengt anonyme så man minimerer risikoen for nepotisme eller personopgør. Det er reviewernes grundige tilbagemelding til redaktøren, samt redaktørens egen vurdering, der bestemmer om manuskriptet skal 1) optages, 2) skal genovervejes såfremt en række ændringer foretages, eller om det 3) bør afvises blankt. Denne kvalitetskontrol varierer dermed fra tidsskrift til tidsskrift, og med strengere krav og flere topforskere som reviewers, jo bedre tidsskriftet er. Omvendt får tidsskrifter med et særligt godt ry flere manuskripter tilsendt, og kan derfor tillade sig at være mere kræsne og dermed hæve overliggeren for hvad det kræver, at få en artikel publiceret. Selvom processen ikke er perfekt – enkelte smuttere sniger sig igennem og selv Nobelprisvindende bidrag bliver nogle gange afvist – betyder den at de mest kvalitetsbevidste tidsskrifter også i gennemsnit publicerer de bedste artikler, og at der herefter er et klart hierarki, afhængigt af hvor strenge krav, tidsskrifterne stiller – og hvor strenge krav de kan tillade sig at stille.

Og kravene er strenge hos de bedste! For at tage et af de klareste eksempler, får man hos det amerikanske Quarterly Journal of Economics, der har været udgivet i mere end 100 år, flere tusinde manuskripter tilsendt om året. Af de mange modtagne manuskripter kommer en mindre del (et godt gæt er cirka 800) forbi redaktørens skrivebord – mange afvises før de når ud i review-processen fordi de, for eksempel, ikke har tilstrækkeligt bred interesse for læserskaren eller er åbenlyst under niveau. Af den mindre del, der faktisk når processen, afviser man derefter cirka 95 procent af alle manuskripter. På denne måde holder tidsskriftet kvaliteten oppe i de relativt få artikler, der trykkes i de fire årlige numre.

På denne baggrund opstår der altså et klart hierarki blandt de mange videnskabelige tidsskrifter. Indenfor nationaløkonomi – mit eget område, eksisterer der et klart A-hold: Den lille håndfuld absolut prestigiøse tidsskrifter omfatter som minimum American Economic Review, Journal of Political Economy, Econometrica og (naturligvis) Quarterly Journal of Economics. For nationaløkonomer med lidt bredere forskningsfelter kan det også diskuteres om de to supertidsskrifter indenfor statskundskab, American Political Science Review og American Journal of Political Science, skal tælles med. Bredt set indenfor naturvidenskaberne er der samme type hierarki, og langt de fleste vil sandsynligvis placere Nature og Science i spidsen for enhver liste.

Det siger sig selv at en meget lille gruppe får publiceret konsistent i A-holdet, men mindre kan gøre det. Næste trin på kvalitetsstigen, og stadig et særdeles prestigefyldt trin, består af de såkaldte ’leading field journals’, dvs. toptidsskrifterne indenfor mere specialiserede områder. For mit eget vedkommende vil det inkludere Journal of Economic Growth, Journal of Development Economics, og Journal of Economic Behavior & Organization, dvs. de to toptidsskrifter indenfor udviklingsøkonomi plus det absolut førende specialtidsskrift der behandler mere adfærdsøkonomiske problemstillinger. Tidsskriftet Public Choice – som denne blogs tidligere redaktør Peter Kurrild-Klitgaard er europæisk redaktør for – er sværere at placere, da det er leading field journal indenfor et område, der befinder sig midt mellem nationaløkonomi og statskundskab, men skal muligvis tælles med for de forskere, hvis interesseområde netop befinder sig i gråzonen mellem politisk økonomi og statskundskab.

Længere nede kommer så en lang, lang række fornuftige og kvalitetsbevidste tidsskrifter, som jeg ikke vil opliste her – der er over hundrede af dem alene indenfor økonomi. Og i bunden af det hele kommer så bøgerne og bidragene til redigerede bøger. Grunden er ganske simpel: Mange bøger har slet ingen review-proces, og for de redigerede bøger der har, betyder den som oftest at man kan risikere at måtte lave småændringer i sit bidrag, men at manuskriptet ikke kan afvises. Derfor er svaret på det indledende spørgsmål – hvorfor har jeg ikke skrevet en bog eller bidraget til ret mange – ret klart: For mange bogkapitler eller selvstændige bøger er et sikkert signal om, at ens forskning ikke har kvalitet til at blive publiceret andre steder. Dette skaber derfor også lidt af et skisma mellem hvad den almindelige offentlighed ser som betydningsfulde forskere – det er ofte dem med bøgerne, ikke mindst dem på dansk – og dem, der i virkeligheden har høj kvalitet og er med på forskningsfronten.

Udstyret med lidt viden om hvad de vigtige parametre er, kan læserne så selv tage et kig på tre ikke helt
tilfældigt udvalgte forsk
ere: Harvard-professoren Robert Barro, mig selv, og IPCCs Nebojsa Nakicenovic (tryk på navnet for at komme til forskerens CV). Barro har de sidste tre år været bookmakernes topkandidat til Nobelprisen, og er et usædvanligt sikkert bud på en pris i fremtiden. Hans forskningsbidrag har været indenfor politisk økonomi, inflationsforhold og ikke mindst har hans bidrag til den empiriske vækstforskning revolutioneret måden, man måler økonomiske vækstfaktorer. Mine egne bidrag i mine tre år som PhD-studerende og tre år som forsker derefter har af mange grunde været mere beskedne, men jeg har taget mig selv med som eksempel på en sådan cirka rimeligt fornuftig dansk forsker. Sidste på listen er Nakicenovic, hovedforfatteren bag IPCCs økonomiske estimater og et interessant eksempel på hvor langt man kan komme med en stor organisation i ryggen, og masser af publicity.

I modsætning til de fleste indlæg her på stedet, vil jeg ikke konkludere noget som helst. Læserne kan reflektere over hvordan man bedømmer forskningskvaliteten, og de kan hver især gå ind og læse de tre eksemplers CV’er og publikationslister. Enhver er fri til at danne sin egen mening, ligesom enhver er fri til at lufte den i kommentarerne nedenfor.