interbedömarereliabilitet

Interbedömarreliabilitet, eller inter-rater reliability, är graden av överenskommelse mellan två eller fler bedömare när de skattar samma fenomen, observation eller datapunkt. Den används för att avgöra hur konsekventa bedömningar är och därmed hur tillförlitliga analyser av data blir.

Data kan vara nominal, ordinal eller kontinuerlig. Vanliga mått är Cohen's kappa för två bedömare med nominal eller ordinal data; Fleiss' kappa för flera bedömare; Krippendorff's alpha som kan användas för olika datatyper; och intraclass correlation coefficient, ICC, för kontinuerliga data. Beräkningarna kräver ett specificerat antal bedömare och observationer samt val av lämplig modell (t.ex. tvåvägs eller enkelrads modeller).

Bedömning av vad som är tillräcklig överenskommelse är kontextberoende. Som vägledning används ofta kategorier som 0,00–0,20 svag, 0,21–0,40 måttlig, 0,41–0,60 betydande, 0,61–0,80 mycket god och >0,80 nästan perfekt; dessa indelningar är dock vägledande och påverkas av data och applikation.

Faktorer som påverkar reliabiliteten inkluderar tydliga operativa definitioner, utbildning och träning av bedömare, enhetliga bedömningsinstruktioner, blindning där det är möjligt, och lämplig urvalsdesign samt antal bedömare och observationer. Reliabiliteten ökar ofta när bedömningen följer en standardiserad process.

Rapportering av interbedömarreliabilitet bör ange antalet bedömare, deras utbildning, bedökningsinstrumentet, datatyp, vilken beräkningsmodell som använts och konfidensintervall för måtten. Begreppet används inom klinik, radiologi, psykometri, psykologi och samhällsvetenskap för att bedöma reliabiliteten i observationer och diagnoser.