InterraterVariabilität
Interratervariabilität bezeichnet Unterschiede in Bewertungen oder Klassifikationen, die entstehen, wenn mehrere Beurteiler denselben Sachverhalt unabhängig voneinander beurteilen. Sie ist eine Form des Messfehlers und beeinflusst die Zuverlässigkeit sowie oft die Interpretation von Daten.
Zur Quantifizierung werden verschiedene Kennzahlen verwendet. Cohen’s Kappa eignet sich für zwei Rater, Fleiss’ Kappa für
Faktoren, die Interratervariabilität erhöhen können, sind unklare oder mehrdeutige Kategorien, ungenaue Operationalisierungen, unzureichendes Ratertraining, Unterschiede im
Anwendungsgebiete liegen in der Medizin (Bildgebung, Pathologie), psychologischen Diagnosen, Inhalts- und Textanalyse, Bildungsbewertungen und Crowdsourcing. Die