kappastatistik

Die Kappa-Statistik, oft als Cohen’s Kappa bezeichnet, ist eine Maßzahl zur Bestimmung der Zuverlässigkeit zwischen Beurteilenden bei kategorialen Merkmalen. Sie misst die Übereinstimmung jenseits zufälliger Übereinstimmungen. Ursprünglich von Jacob Cohen eingeführt, dient sie bei zwei Beurteilenden für nominale Daten; Erweiterungen ermöglichen Mehrfachbewertungen (Fleiss’ Kappa) oder gewichtete Kappa-Werte für ordinale Daten.

Die Berechnung basiert auf der beobachteten Übereinstimmung Po und der erwarteten Übereinstimmung Pe, die durch Zufall entsteht. Für zwei Rater gilt: Kappa = (Po − Pe) / (1 − Pe). Po ist der Anteil der Fälle, in denen die Rater übereinstimmen; Pe ergibt sich aus den Randverteilungen der Kategorien (Pe = Summe der Produkte der relativen Häufigkeiten der Kategorien). Bei ordinalen Daten kann man Gewichte einführen und das gewichtete Kappa verwenden, um unterschiedliche Grade der Abweichung zu bestrafen.

Es gibt verschiedene Varianten: Cohen’s Kappa für zwei Rater, Fleiss’ Kappa für mehrere Rater, sowie gewichtete Varianten für ordinale Merkmale. Als Alternativen zu Kappa werden etwa Scott’s Pi oder Krippendorff’s Alpha verwendet.

Die Interpretation von Werten erfolgt kontextabhängig; eine häufig zitierte Orientierung von Landis und Koch lautet: <0 schlecht, 0–0.20 gering, 0.21–0.40 fair, 0.41–0.60 moderat, 0.61–0.80 substantiell, 0.81–1.00 nahezu perfekt. Zu beachten sind Einflussfaktoren wie Merkmals-Prävalenz, Bias und Stichprobengröße; die Kennzahl kann verzerrt sein, wenn eine Kategorie sehr selten ist. Berichte sollten auch Konfidenzintervalle enthalten.