korpusannotointia

Korpusannotointi on prosessi, jossa teksteihin lisätään järjestelmällisesti kielellistä tietoa. Tämä tieto muodostaa kerroksia eli annotation layers, joihin voidaan tallentaa muun muassa sanaluokkia, lemmatointia sekä syntaktista rakennetta ja nimeettyjen entiteettien tunnisteita. Korpusannotointi tukee sekä kielitieteellistä tutkimusta että luonnollisen kappaleen käsittelyn (NLP) sovelluksia, kuten konekäännöksiä ja puheentunnistusta. Eri kerrokset voivat olla erillisiä tai osittain päällekkäisiä riippuen tutkimustavoitteista.

Yleisimmät annotaatiokerrokset ovat tokenisointi ja sanaluokkien merkitseminen (POS), lemmatointi, syntaktinen rakenne (riippuvuustree tai puujäsenteet), nimeettyjen entiteettien tunnistus (NER), sekä viitteiden kohdistus ja coreference. Lisäksi on käytössä semanttinen roolitus, pronominointimerkkaukset ja mahdollisesti tunteeseen tai asenteeseen liittyviä merkintöjä. Käytetyissä standardeissa ja sanastoissa esiintyy muun muassa Universal Dependencies -puut sekä erilaiset Penn Treebank -tyyppiset merkintäjärjestelmät.

Prosessi ja laadunvarmistus muodostavat olennaisen osan korpusanannotoinnissa. Tyypillisesti mukana on ohjeistuksen laatiminen, esimerkki- tai automaattinen esimerkkimerkintä (pre-annotation), annotaattorien välinen luotettavaisuusmittaus (inter-annotator agreement) sekä adjudikaatio erimielisyyksien ratkaisemiseksi. Työkaluja kuten Brat, WebAnno ja GATE käytetään kerrosten luomiseen ja tarkastamiseen. Tiedostot tallennetaan yleisesti CoNLL-U-, XML- tai TEI-Formaatteihin.

Käyttökohteita ovat kielitieteen tutkimus, NLP-sovellukset sekä monikieliset kieliteknologiset projektit. Haasteita ovat annotaattorien välinen konsensus, domain- ja kieliriippuvuudet sekä datan saatavuuteen, lisensointiin ja eettisiin kysymyksiin liittyvät rajoitteet.