significatieniveau

Significatieniveau, aangeduid met alpha, is een drempel die wordt gebruikt bij statistische hypothesetoetsing om te bepalen of de nulhypothese H0 moet worden verworpen. Het geeft de kans aan op een Type I-fout: het onterecht verwerpen van H0. Het niveau wordt vóór de data-analyse gekozen en is meestal 0,05, maar ook 0,01 of 0,10 komen voor.

Bij een toets wordt de waargenomen teststatistiek vergeleken met een referentieverdeling onder H0; heeft men een p-waarde berekend, dan wordt H0 verworpen als p ≤ alpha. Voor tweezijdige toetsen wordt alpha meestal over beide staarten van de verdeling verdeeld, zodat elke staart een kritisch gebied krijgt.

Het signifcatieniveau heeft ook een relatie met betrouwbaarheidsintervallen: een tweezijdig 100*(1−alpha)% betrouwbaarheidsinterval komt overeen met een toets op niveau alpha, en als de nulwaarde buiten het interval ligt, leidt dit tot verwerping van H0.

Bij meervoudig toetsen neemt de kans op ten minste één valse positieve fout toe; correcties zoals Bonferroni of Holm–Bonferroni passen het per-toetsniveau aan om de family-wise error rate te controleren.

De keuze van alpha weerspiegelt een afweging tussen Type I- en Type II-fouten (respectievelijk valse positieven en valse negatieven) en beïnvloedt de statistische power. Een kleiner alpha vermindert de kans op valse positieven maar vereist doorgaans een grotere steekproef voor dezelfde power; krachtanalyse en preregistratie kunnen helpen.

Beperkingen: de p-waarde geeft geen effectgrootte of praktische significantie weer, en p-waarden zijn gevoelig voor de steekproefgrootte. Significatieniveau is een instrument in de frequentistische statistiek en moet in de context worden geïnterpreteerd.