Significantietesten

Significantietesten is een statistische methode om te bepalen of waargenomen effecten in steekproeven waarschijnlijk niet door toeval afkomstig zijn onder een nulhypothese (H0). Bij zo'n toets wordt een significatie-niveau α vastgesteld (vaak 0,05). De p-waarde geeft de kans op het observeren van de data of iets extremers, als H0 waar is. Een lage p-waarde wijst op tegenargument tegen H0. Besluitregel: als p ≤ α verwerpen we H0; anders kunnen we geen definitieve conclusie trekken.

Belangrijke concepten zijn onder andere de nul- en de alternatieve hypothese, type I-fout (ten onrechte H0 verwerpen) en type II-fout (ten onrechte niet verwerpen). De kracht (power) van een toets geeft de kans op het correct detecteren van een bestaand effect en hangt af van de steekproefomvang, het effect en α.

Toetskeuzes hangen af van het type data en aannames: t-toets en z-toets voor gemiddelden, chi-kwadraat voor categorische data, ANOVA voor meerdere groepen, en non-parametrische opties als normaliteit niet aannemelijk is. Het rapporteren gebeurt met vermelding van de gebruikte toets, de p-waarde, en een maat voor effectgrootte (bijv. Cohen's d, odds ratio) en vaak een betrouwbaarheidsinterval.

Let op interpretatie en beperkingen: de p-waarde is geen kans dat H0 waar is; significantieert niet dat het effect praktisch relevant is. Meervoudig testen en data-dredging kunnen leiden tot valse ontdekkingen; preregistratie en correcties voor meerdere testen worden aanbevolen.