Statistisk signifikans är en term som används i forskning för att beskriva hur sannolikt det är att en skillnad eller ett samband som observerats i data är verklig och inte bara en slump. När en skillnad eller ett samband är statistiskt signifikant kan man säga att skillnaden eller sambandet inte kan förklaras av slumpen, och därför är det sannolikt att skillnaden eller sambandet är verkligt.
Statistisk signifikans används för att avgöra om resultatet i en studie är betydelsefullt eller inte. Om resultatet är statistiskt signifikant kan man dra slutsatser om huruvida det finns en verklig skillnad mellan olika grupper eller om ett samband mellan variabler är verkligt.
För att avgöra om en skillnad eller ett samband är statistiskt signifikant använder man sig av p-värdet. P-värdet är en mått på hur sannolikt det är att observationen är en slump, och det beräknas genom att jämföra resultatet från studien med vad man skulle förvänta sig att se om alla förutsättningar för studien är sanna. P-värdet är en procentsiffra och anger hur sannolikt det är att nollhypotesen är sann. Nollhypotesen anger att det inte finns någon skillnad eller att det inte finns något samband. Som regel använder man sig av en gräns på 5% för att avgöra om ett fynd är statistiskt signifikant. Om p-värdet är lägre än 5% betyder det att det finns en mycket liten sannolikhet (<5%) att observationen är en slump, och därför är den statistiskt signifikant (därmed förkastas nollhypotsen). Om p-värdet är 5% eller högre (≥5%) kan observationen vara en slump och därför behålls nollhypotesen.
Exempel: Ponera att man genomför en studie för att undersöka om det finns en korrelation mellan att äta frukost och att prestera bättre på en skolprov. Man samlar in data från 100 elever och jämför resultatet på prov mellan de elever som äter frukost och de elever som inte gör det. Efter att ha analyserat data upptäcker man att eleverna som äter frukost presterar betydligt bättre på prov än de som inte äter frukost. Man beräknar sedan p-värdet för att se om resultatet är statistiskt signifikant. Om p-värdet är lägre än 5% kan man säga att det finns en statistiskt signifikant korrelation mellan att äta frukost och att prestera bättre på prov.
Nollhypotes
Nollhypotesen är den hypotes som man undersöker i en statistisk analys och som säger att det inte finns någon skillnad eller korrelation mellan de variabler som man undersöker. Nollhypotesen används som en utgångspunkt för att avgöra om det finns en statistiskt signifikant skillnad eller korrelation mellan variablerna, och man försöker bevisa att nollhypotesen är felaktig genom att samla in data och utföra statistiska tester.
Nollhypotesen betecknas \(H_0\). Den alternativa hypotesen säger att det finns en skillnad mellan grupperna och den betecknas \(H_1\).
Exempel: Låt säga att man vill undersöka om det finns en korrelation mellan att äta frukost och att prestera bättre på en skolprov. Nollhypotesen i detta exempel kan formuleras som: "Det finns ingen korrelation mellan att äta frukost och att prestera bättre på en skolprov." Man samlar in data från 100 elever och utför statistiska tester för att avgöra om nollhypotesen är riktig eller inte. Om man hittar en statistiskt signifikant korrelation mellan att äta frukost och att prestera bättre på prov kan man förkasta nollhypotesen och säga att det finns en verklig korrelation mellan de två variablerna.
Multipel testning
Multipel testning, även kallat "multiple comparisons" eller "multiple testing", innebär att man utför flera statistiska tester på samma data för att undersöka om det finns skillnader eller korrelationer mellan olika variabler. När man utför multipel testning ökar risken för så kallade falskpositiva resultat, det vill säga att man felaktigt konstaterar att det finns en signifikant skillnad eller korrelation mellan variablerna, trots att det inte finns.
Det finns olika anledningar till att multipel testning kan vara ett problem. En anledning är att man ofta vill undersöka många olika förhållanden eller samband i en och samma studie, och då ökar risken för att man stöter på falskpositiva resultat. Ett annat problem är att man kan vilseledas att tolka resultat som statistiskt signifikanta bara för att man har utfört många tester, trots att resultatet egentligen inte är signifikant.
För att undvika problemet med multipel testning finns det olika tekniker som man kan använda, till exempel Bonferroni-korrektion och False Discovery Rate (FDR). Dessa tekniker används för att höja tröskelvärdet för p-värdet, så att man minskar risken för falskpositiva resultat. Det är viktigt att vara medveten om risken för falskpositiva resultat när man utför multipel testning och att använda lämpliga tekniker för att hantera detta problem.