Vetenskapliga tidskrifter föredrar goda nyheter

En bluff med förfalskade rapporter avslöjar att vetenskapliga tidskrifter föredrar glädjande resultat framför besvikelser. Det kan leda till att patienter får fel behandling.

Forskare i USA skickade bluffrapporter till vetenskapliga tidskrifter för att se hur de skulle reagera. De skrev falska rapporter om ett påhittat experiment, en jämförelse mellan två olika behandlingar med antibiotika.

– Det kändes konstigt att fabricera resultat ur tomma luften. Men i det här fallet kände vi att det fanns ett högre syfte, säger Seth Leopold, professor i ortopedi och idrottsmedicin vid University of Washington i USA.

Syftet var att undersöka mekanismerna bakom ett fenomen som sällan diskuteras utanför forskarvärlden, men som påverkar vården vi får när vi är sjuka: skev rapportering i den vetenskapliga litteraturen.

Pengarna styr

Det är väl känt att sannolikheten är större för att resultaten från en vetenskaplig studie blir publicerade om den innehåller goda nyheter om en ny behandling, än om den visar att den nya behandlingen inte är ett dugg bättre än de alternativ som redan finns. I många fall är sannolikheten för publicering dubbelt så stor.

Det sneda urvalet riskerar att ge en överdrivet positiv bild av nya behandlingar.

– Det kan skada patienter eller leda till slöseri med resurser, säger Björn Beermann, professor vid Läkemedelsverket i Uppsala.

En rad aktörer påverkar vilka resultat som till slut blir publicerade i vetenskapliga tidskrifter.

Läkemedelsföretag brukar vara måna att sprida rön om att nya mediciner är bättre än gamla, så kallat positiva resultat. När läkemedelsföretag finansierar tester av nya och gamla mediciner mot hjärt- och kärlsjukdomar ökar sannolikheten för att de publicerade resultaten är positiva, enligt en artikel i tidskriften JAMA år 2006.

Det händer också att forskare drar sig för att rapportera att en ny behandling inte är bättre än de gamla. Om de trots allt försöker publicera sina nedslående resultat är risken stor att de vetenskapliga tidskrifterna tackar nej.

Ett nej kan självklart vara välgrundat. Bristfälliga metoder och slarv är möjliga orsaker till att forskare misslyckas med att upptäcka skillnaden mellan två olika behandlingar. Men det har länge funnits misstankar om att vetenskapliga tidskrifter också ratar negativa resultat på ovetenskapliga grunder.

Bluffen fungerade

Det är bakgrunden till Seth Leopolds bluff. Tillsammans med sina medarbetare diktade han upp en jämförelse mellan två olika sätt att förebygga infektioner i såret efter en stor operation – antingen med en enda dos antibiotika före operationen, eller med en längre kur.

– Det är en mycket viktig fråga, och det finns i dag ingen välgjord studie som ger ett tydligt svar, säger Seth Leopold.

I hans påhittade jämförelse ingår över 3 000 patienter. Metodiken är förstklassig.

Han beskriver experimentet i två rapporter som är identiska i allt utom resultatet. Den ena rapporten säger att en längre kur ger bättre skydd mot infektioner än en enda dos. Den andra säger att båda behandlingarna är lika bra, alltså ett negativt resultat.

Han skickade båda versionerna till två olika vetenskapliga tidskrifter. Redaktörerna var införstådda med bluffen. De vidarebefordrade antingen den positiva eller den negativa versionen till var och en av sina externa granskare, experter som har till uppgift att rekommendera om en artikel ska publiceras, avslås eller kompletteras.

Granskarna gav fel betyg

De över hundra granskarna hos Journal of Bone and Joint Surgery var betydligt mer benägna att publicera de positiva resultaten än de negativa. Dessutom gav de högre betyg åt avsnittet om metodik i den positiva rapporten – trots att texten var identisk i båda versionerna.

Granskarna hos en annan tidskrift hade ingen statistiskt säkerställd benägenhet att avslå de negativa resultaten, men läste dem mer misstänksamt. Båda versionerna innehåller fem avsiktliga fel. Granskarna upptäckte dubbelt så många fel i den negativa rapporten som i den positiva.

Seth Leopold anser att vetenskapliga tidskrifter måste lära sina granskare att vara lika stränga mot alla rapporter. Han efterlyser också nya former av elektronisk publicering för att sprida välgjorda studier med negativa resultat på ett effektivt sätt.

– De måste bli tillgängliga så att läkare kan utnyttja dem för att fatta bra beslut för sina patienter, säger Seth Leopold.