Signifikanzniveaus

Signifikanzniveaus bezeichnet man in der Statistik als die vorab festgelegte Schwelle, mit der ein beobachtetes Ergebnis als signifikant angesehen wird. Formal ist das Signifikanzniveau α die maximal zulässige Wahrscheinlichkeit, bei richtiger Nullhypothese einen Fehler vom Typ I zu begehen, d. h. fälschlicherweise die Nullhypothese abzulehnen. Vor der Datenerhebung wird entschieden, welches α genutzt wird, häufig 0,05, gelegentlich 0,01 oder 0,10, je nach Fachgebiet und Forschungsfragen.

Bei zweiseitigen Tests wird α normalerweise auf beide Seiten des Verteilungsbereichs aufgeteilt (z. B. bei α = 0,05 ergibt sich je 0,025 pro Schwanz). Bei einseitigen Tests gilt das volle α für einen Schwanz. Der p-Wert ist das beobachtete Maß, das die Wahrscheinlichkeit angibt, unter der Annahme, dass die Nullhypothese wahr ist, Ergebnisse zu erhalten, die mindestens so extrem sind wie die beobachteten. Wird der p-Wert ≤ α, gilt das Ergebnis als statistisch signifikant und die Nullhypothese wird abgelehnt. Andernfalls bleibt die Nullhypothese bestehen. Wichtig ist, dass das Signifikanzniveau die Wahrscheinlichkeit eines Typ-I-Fehlers angibt, nicht die Größe eines Effekts.

Signifikanzniveau beeinflusst die Teststärke (Power) und die erforderliche Stichprobengröße. Ein niedrigeres α senkt die Wahrscheinlichkeit, fälschlich signifikante Effekte zu entdecken, erhöht aber tendenziell die benötigte Stichprobengröße. Umgekehrt kann ein höheres α zu mehr falsch positiven Ergebnissen führen. Die Wahl von α hängt oft von der Balance zwischen Risiken ab, z. B. in klinischen Studien.

Bei mehreren Tests steigt das Risiko eines Gesamttyp-I-Fehlers. Korrekturen wie die Bonferroni-Korrektur oder das Holm-Bonferroni-Verfahren sowie Verfahren zur Kontrolle der False-Discovery-Rate (FDR) werden angewendet, um das Gesamtrisiko zu kontrollieren. Praktisch bedeutet dies auch Pre-Registration, Transparenz der Analysen und Vorsicht bei p-Wert-Interpretationen, um p-hacking zu vermeiden.

Signifikanz allein reicht nicht aus; die praktische Bedeutung (Effektgröße) sowie Konfidenzintervalle sollten berücksichtigt werden. Ein Signifikanzniveau ist ein Werkzeug zur Entscheidungssteuerung, kein Beweis für die Wahrheit einer Hypothese. Die Interpretation erfordert Kontext, Methodik und gute Studienpraxis.