Interannotatorasteikkoa

Interannotatorasteikkoa, suomeksi interannotatorian samankaltaisuuden mittaus tai interannotaatio-asteikko, on käsite, jota käytetään kuvaamaan menetelmiä ja mittareita, joilla arvioidaan useamman annotaattorin antamien merkintöjen yhdenmukaisuutta datajoukossa. Sitä käytetään erityisesti kielentutkimuksessa, kausaatioanalyysissä ja muussa syväannotaatiossa, jossa luokittelu tai merkinnät tehdään manuaalisesti. Tavoitteena on varmistaa, että merkinnät ovat luotettavia ja toistettavia riippumatta siitä, kuka annotaattori on kyseessä.

Yleisimpiä mittareita ovat esimerkiksi Cohenin kappa kahdelle annotaattorille, Fleissin kappa useammalle annotaattorille, Krippendorffin alifa sekä perusprosentuaalinen yhteisymmärrys. Lisäksi voidaan käyttää muuten kuin katoavan mahdollisuuden korjaavia mittareita, kuten percent agreement tai confusion matrix -pohjaisia lukuja. Ennen laskentaa määritellään selkeä annotaatiomalli ja ohjeistus, ja annotaattorit voivat käydä läpi pilotointia sekä tarkistaa merkintöjen yhdenmukaisuutta ennen varsinaisen analyysin aloittamista.

Tulosten tulkinnassa kiinnitetään huomiota siihen, että mittarit voivat määräytyä epätasaisen luokkajakauman tai harvinaisten kategorioiden vuoksi. Eri mittareilla voi olla erilaiset herkkyydet ja herkkyyden heijastuminen käytännön päätöksiin. Interannotatorasteikon luotettavuus arvioidaan yleensä yhdessä annotaatio-ohjeiden ja koulutuksen kanssa, ja sitä pyritään parantamaan tarkentamalla luokituskuvauksia sekä harjoittelumenetelmiä.

Näytteitä sovelluksia ovat luonnollisen kielen käsittelyn korpustutkimukset, kuvien tai geotietojen merkintä sekä historiallisen tekstin annotointiprojektit. Lisätietoja saa aiheeseen liittyvistä menetelmäkäsikirjoista ja tilastollisista mittaustekniikoista. See also interannotator agreement, reliability, annotation guidelines.