Varför räcker inte en enda lyckad studie?

# Varför räcker inte en enda lyckad studie?

Det här är del 5 av 8 i serien "Så här vet forskare det de vet." Del 1: [Hur vet forskare något överhuvudtaget?](https://vetenskapforalla.se/samhallsvetenskap/hur-vet-forskare-nagot-overhuvudtaget) Del 2: [Varför behöver varje experiment en tvilling?](https://vetenskapforalla.se/samhallsvetenskap/varfor-behover-varje-experiment-en-tvilling) Del 3: [Vad är egentligen ett p-värde?](https://vetenskapforalla.se/samhallsvetenskap/vad-ar-egentligen-ett-p-varde) Del 4: [Varför vet inte läkaren vem som fick läkemedlet?](https://vetenskapforalla.se/samhallsvetenskap/varfor-vet-inte-lakaren-vem-som-fick-lakemedlet)

---

En enskild studie kan vara spännande. Den kan hamna på förstasidan. Men den kan också vara fel. Forskare har ett sätt att skilja robust kunskap från lyckträffar. För tio år sedan avslöjade det ett problem som skakade om hela vetenskapen.

Ett resultat är inte ett bevis

Tänk dig att en forskargrupp hittar något oväntat. En viss kroppshållning gör dig modigare. Ett visst kosttillskott skärper minnet. Resultatet är statistiskt signifikant, p-värdet ligger under 0,05. Studien publiceras och sprids.

Men kom ihåg vad du lärde dig om p-värdet. Om hundra forskargrupper testar effekter som egentligen inte finns, kommer ungefär fem ändå att få signifikanta resultat rent av slumpen. Den enda gången slumpen slår till kan se ut precis som en äkta upptäckt.

Hur skiljer du dem åt? Du gör om experimentet. Om effekten är verklig dyker den upp igen. Om den var en slump försvinner den. Det kallas replikation, och det är vetenskapens hårdaste test.

Studien som skakade psykologin

År 2015 gjorde en grupp på över 270 forskare något ovanligt. De valde ut hundra publicerade psykologistudier och försökte göra om dem, en efter en. Samma metod, nya deltagare.

Resultatet var nedslående. Bara drygt en tredjedel av studierna gav samma resultat igen. Och när effekten faktiskt dök upp var den ofta ungefär hälften så stor som i originalet.

Det blev känt som replikationskrisen. Plötsligt tvingades ett helt forskningsfält ställa en obehaglig fråga: Hur mycket av det vi trott att vi vetat, vet vi egentligen?

Varför så många föll

Ett skäl känner du redan igen. Tidskrifter publicerar hellre positiva och överraskande resultat än tråkiga nollresultat. De spektakulära fynden når trycket, medan de misslyckade försöken hamnar i byrålådan. Det kallas publiceringsbias.

Ett annat skäl är något som kallas p-hacking. En forskare kan, ofta helt utan ond vilja, pröva sina data på många olika sätt tills något råkar bli signifikant. Med tillräckligt många försök hittar du nästan alltid ett mönster, även i rent brus.

Och många av de gamla studierna byggde på förvånansvärt få deltagare. Ju mindre grupp, desto större spelrum för slumpen att skapa en skenbar effekt.

Kris eller mognad?

Här är den överraskande vändningen. Replikationskrisen var i själva verket ett tecken på styrka, inte svaghet. Det var vetenskapen som granskade sig själv och vågade skriva ut det obekväma svaret.

Sedan dess har mycket förändrats. Allt fler forskare bestämmer i förväg exakt vad de ska mäta och hur, innan de ens samlat in data. Det kallas förregistrering och gör p-hacking nästan omöjligt. Data delas öppet så att andra kan granska den. Och att göra om någon annans studie har gått från otacksamt slitgöra till något som ger status.

Ett fält som upptäcker sina egna fel och bygger om metoden är inte ett fält i förfall. Det är precis så vetenskap ska fungera.

Vad du ska ta med dig

En enda studie är en pusselbit, inte hela bilden. Den kan peka i en riktning, men den kan lika gärna vara den där femprocentiga slumpträffen. Kunskap blir pålitlig först när flera oberoende grupper, gärna i olika länder, hittar samma sak.

Nästa gång du läser "ny studie visar", ställ en enkel fråga: Har någon annan lyckats göra om det?

I nästa del tittar vi på metaanalysen — konsten att väga samman många studier till ett enda och tyngre svar.

---