InterRaterReliabilität

Interrater-Reliabilität (IRR) bezeichnet das Maß der Übereinstimmung zwischen unabhängigen Beurteilern bei der Bewertung eines Merkmals oder Phänomens. Sie ist ein wichtiger Indikator für die Objektivität eines Messverfahrens. IRR wird in verschiedenen Formen gemessen, abhängig von der Art der Daten und der Zahl der Rater. Bei kategorialen Daten ermöglichen Kennzahlen wie Cohen's Kappa (zwei Rater) oder Fleiss' Kappa (mehrere Rater) die Berücksichtigung der Zufallsübereinstimmung; bei ordinal skalierten Merkmalen kommen gewichtete Kappas zum Einsatz. Für kontinuierliche Messwerte dienen Intraclass Correlation Coefficients (ICC) verschiedene Modelle, je nach Schätzungseffekt und Festlegung der Rater.

Die Interpretation von IRR ist je nach Kontext unterschiedlich; allgemein gelten höhere Werte als bessere Übereinstimmung. Als grobe Orientierung gelten Kappa-Werte von etwa 0,61–0,80 als substantial und Werte über 0,80 als nahezu perfekte Übereinstimmung, wobei diese Kategorien feldspezifisch variieren. Zu beachten sind jedoch Einflussfaktoren wie Basisverteilung, Rater-Schulung, klare Kriterien, Skalenqualität, Verfahren zur Bewertung (z. B. anonym, unabhängig) sowie die Anzahl der Rater und Stimuli.

Anwendungen finden sich in der Psychologie, Medizin, Bildungsforschung und Inhaltsanalyse, etwa bei Diagnosen, Einstufung von Symptomen oder der Codierung von Textdaten. Einschränkungen bestehen, etwa dass Kappa stark von der Randverteilung abhängen kann oder bei wenigen Ratern verzerrte Werte auftreten. Best Practices umfassen klare Operationalisierung, Training der Rater, Pilotstudien, Berichterstattung von Konfidenzintervallen und die Angabe der verwendeten IRR-Statistik.