Kritisk sans i ny forskning

En af de længste diskussioner i nationaløkonomisk og politologisk forskning drejer sig om, hvorvidt demokratisering er godt for landes økonomiske udvikling, eller om det i højere grad drejer sig om markedsliberaliserende reformer. I december 2005 offentliggjorde tre topøkonomer et studie, der synes at vise støtte til den første mulighed. Ricardo Hausmann, Lant Pritchett og Dani Rodrik – førstnævnte en af de tungeste drenge i økonomisk statistik, de to andre toppen af udviklingsøkonomi – kiggede specifikt på episoder hvor landes økonomiske vækst accelererede, i stedet for at se på vækst generelt. Ved at se på disse vendepunkter i landes udvikling, hævdede de at deres resultater viste at “most instances of economic reform do not produce growth accelerations”. Politiske regimeændringer (demokratisering) førte derimod udvikling med sig.

Artiklen – der blev publiceret i det stærkt prestigiøse Journal of Economic Growth – var en stor sejr for den del af forskningen, der hidtil har ledt forgæves efter gode økonomiske effekter af demokratisering. Og når den kom fra tre så ekstremt velrenommerede forskere måtte det jo være rigtigt! Men så let er det ikke! Som vi har understreget mange gange her på stedet, er en af forskningens vigtigste opgaver at checke alt for fejl. Det er det, den kun 26-årige hollandske økonom Richard Jong-A-Pin har gjort.

Jong-A-Pin undrede sig nemlig over resultaterne i Hausmann/Pritchett/Rodrik-artiklen, og hvordan de kunne komme til så anderledes fund. Og han undrede sig over, hvordan de havde defineret en vækstacceleration. Så han skrev til Rodrik, der venligt og uden forsinkelse sendte ham alle data – som man bør gøre! Jong-A-Pin gik derefter igang.

Hvad han fandt kan ikke undgå at undre en, for hans forskning som han præsenterede i fredags i Amsterdam viser, at de tre superøkonomer har kodet data forkert. En række af deres vækstepisoder startede for eksempel med et eller to års negativ vækst. De var derfor timet helt forkert. I andre tilfælde var væksten de sidste par år op til det, superholdet definerede som vendepunktet, faktisk højere end efter vendepunktet. Så hvordan kunne det være en vækstacceleration? Svaret er selvfølgelig, at det kan det ikke.

Da Jong-A-Pin var færdig med at rydde op i data og kode dem korrekt, havde han fundet fejl i over en tredjedel af de 82 tilfælde. Det i sig selv var pinligt for Hausmann, Pritchett og Rodrik, men endnu værre var det, at deres efterfølgende resultater ikke holdt. Den unge hollænder viser nemlig i sit papir, at hvis man koder data korrekt, understøtter dataene ikke nogen demokrativirkning overhovedet. Derimod viser det sig, at økonomiske reformer – handelsåbning, ejendomsret osv. – som oftest udløser økonomiske vendepunkter og sætter lande på en hurtigere ‘vækststi’. Jong-A-Pin demonstrerer dermed med stor klarhed, at når man gør øvelsen korrekt, er markedsliberaliserende reformer en effektiv måde at få en udvikling igang på – ikke demokratisering. Det er ikke just en uvæsentligt forskel.

På at højere niveau viser eksemplet også, at en af forskeres fornemste opgaver er at gå hinanden efter i sømmene. Og for at kunne det, skal man ofte have fuld adgang til de relevante data. Dani Rodrik tøvede ikke med at give en relativt ukendt og ung hollandsk kollega komplet adgang, men i andre tilfælde holder forskere desværre deres datakilder og konkrete analyser tæt id til kroppen. Sidst har vi haft eksemplet med Steve McIntyres oplevelser som referee for FNs klimapanel oppe at vende. I den sag var hovedproblemet netop, at FN ikke tillod ham adgang til data, der var centralt relevante for hans opgave som kvalitetsbedømmer.

Ved at nægte den adgang , satte IPCC derfor et stort spørgsmålstegn ved sin egen troværdighed. I empirisk forskning fortjener man troværdighed ved at blotlægge sit arbejde for kritik fra sine kolleger. Det var det, Dani Rodrik gjorde da han lod Richard Jong-A-Pin gå hans arbejde efter. Rodrik har ikke tabt troværdighed på affæren, men blot vist at han ikke altid har ret – at han er menneskelig. Sådan bør forskning være: Åben, dynamisk og velkommen overfor kritik, ikke lukket og magtfuldkommen. Og så kan læserne jo tænke sig til, hvor jeg vil hen med den sidste kommentar.

4 thoughts on “Kritisk sans i ny forskning

  1. US

    Enig i at Rodrik et al. ikke bør være et mål for kritik efter en sådan affære – de begik en fejl og tillod andre at finde den og rette den.At fejlen ikke blev opdaget før artiklen blev trykt _i JoEG_ er en lidt anden diskussion – hvis ikke peer review processen fanger den slags, så er det begrænset, hvor længe JoEG kan blive ved med at være “stærkt prestigiøs”. Måske JoEG bør revurdere deres selektivitet i reviewprocessen, så selv top-forskernes værker ses efter i sømmene, før de bliver trykt – især hvis deres resultater i så høj grad afviger fra konsensus? Måske var det ligefrem en ide hvis andre journaler gjorde noget tilsvarende?

    Svar
  2. Christoffer Bugge Harder

    Der er vel næppe nogen, der for alvor er uenige i, at man bør give adgang til sine data kvit og frit. Den beskrevne sag fra JoEG er et fornemt eksempel på, hvordan den slags skal foregå.Men jeg synes nu, at din kritik af IPCC i forhold til McIntyre er urimelig. Det er jo ikke rigtigt, at IPCC “nægtede McIntyre adgang” – de henviste ham blot til selv at kontakte forfatterne. IPCCs review-proces er ikke det samme som den originale peer review før offentliggørelse i tidsskrifter og kan ikke sammenlignes med dette. IPCC har ikke selv alle rådata liggende, og de henviser til, at de ikke er i stand til at kræve af deres bidragydere, at de gør data tilgængelige i rapportprocessen på grund af krav fra de forskellige tidsskrifters reviewpaneler. Som Martin Manning skrev til McIntyre: “The second issue is availability of data used in cited literature. As you have recognized some of this is available at data centers. Often the original authors of the cited papers will release their data on request. However, the IPCC process assesses published literature, it does not involve carrying out research, nor do we have the mandate or resources to operate as a clearing house for the massive amounts of data that are used in the climate science community or referred to in the literature used by our authors. Given the many different approaches to intellectual property and data release in different countries and agencies such an undertaking would in any case not be possible”. Det fremgår af McIntyres egen hjemeside, http://www.climateaudit.org/?p=640at tidsskriftet Journal of Geophysical Researchs egen reviewproces ikke var fuldbyrdet på det tidspunkt, korrespondencen fandt sted, og derfor ville Hegerl ikke udlevere sine data, før denne var færdig. Jeg ved ikke, hvordan det er i samfundsvidenskaberne, men det er bestemt ikke nødvendigvis kotume at udlevere sine rådata mens reviewprocessen er i gang, i de biologiske videnskaber – det afhænger både af tidsskriftet samt af forskeren, om det kan lade sig gøre. Nu, hvor Hegerls artikel er udgivet, er jeg selvfølgelig helt enig i, at forfatterne bør give adgang til deres data uden større besvær. Men det er ikke IPCCs problem, og jeg synes ikke, at der er noget specielt uldent ved IPCCs indstilling udfra denne historie. MvhChristoffer

    Svar
  3. Richard

    Dear Christian,I wanted to let you know that our paper with the replication study of Hausmann, Rodrik and Pritchett (2005) is forthcoming in the Econ Journal Watch, next January 2008.cheersRichard

    Svar

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.