KappaWerte

Kappa-Werte sind eine Familie von Maßen zur Bestimmung der Übereinstimmung zwischen Beurteilern bei kategorialen Daten, wobei zufällige Übereinstimmung berücksichtigt wird. Die bekannteste Größe ist Cohen’s Kappa, eingeführt von Jacob Cohen. Für ordinale Kategorien kommt ein gewichtetes Kappa zum Einsatz, das Unterschiede zwischen Kategorien berücksichtigt. Bei drei oder mehr Beurteilern wird Fleiss’ Kappa verwendet.

Berechnungsmäßig wird zunächst die beobachtete Übereinstimmung Po bestimmt und die durch Zufall erwartete Übereinstimmung Pe ermittelt. Die Grundformel lautet κ = (Po − Pe) / (1 − Pe). Bei gewichteten Versionen werden Abstände zwischen Kategorien durch Gewichte berücksichtigt; die genaue Formel variiert je nach Gewichtungsmethode. Cohen’s Kappa bezieht sich auf zwei Beurteiler, während Fleiss’ Kappa sich auf mehrere Beurteiler erstreckt.

Interpretation: Kappa-Werte liegen zwischen −1 und 1. Werte größer als 0 zeigen eine bessere Übereinstimmung als durch Zufall. Typische, jedoch kontextabhängige Richtwerte lauten grob: 0,01–0,20 leicht, 0,21–0,40 fair, 0,41–0,60 moderat, 0,61–0,80 substantial, 0,81–1,00 nahezu perfekt. Negative Werte deuten auf systematische Uneinigkeit. Die Interpretation hängt stark von der Anzahl der Kategorien, der Verteilung der Kategorien und dem Studiendesign ab.

Anwendungsgebiete und Limitationen: Kappa-Werte werden breit eingesetzt, etwa in der Medizin, Psychologie, Inhaltsanalyse und maschinellem Lernen, um die Zuverlässigkeit von Beurteilungen zu quantifizieren. Sie messen Zuverlässigkeit relativ zu einem Zufallsniveau, nicht die tatsächliche Richtigkeit gegenüber einem Goldstandard. Einschränkungen ergeben sich durch Prävalenz- und Bias-Effekte der Kategorienverteilung sowie durch zu wenige Kategorien oder unausgeglichene Daten, wodurch Werte verzerrt erscheinen können. Variationen umfassen Cohen’s Kappa (zwei Beurteiler), Fleiss’ Kappa (mehrere Beurteiler) und das gewichtete Kappa (ordinales Data).