Korpusannotointi

Korpusannotointi on prosessi, jossa kielitieteelliseen aineistoon, eli korpukseen, lisätään merkintöjä eli annotaatioita. Nämä merkinnät kuvaavat tekstin kielellisiä piirteitä ja auttavat tutkijoita analysoimaan ja ymmärtämään kieltä syvällisemmin.

Annotointi voi kohdistua monenlaisiin kielellisiin tasoihin. Yleisimpiä ovat sanaluokka-annotaatio, jossa jokaiselle sanalle määritellään sen kieliopillinen luokka (esim. substantiivi, verbi, adjektiivi), ja lemmatus, jossa sanojen perusmuodot tunnistetaan. Lisäksi voidaan annotoida lauserakennetta (syntaksia), semantiikkaa eli merkityksiä, pragmatiikkaa eli kielenkäyttöä ja diskurssia eli tekstin rakentumista. Myös erityispiirteiden, kuten nimien, päivämäärien tai paikkojen, tunnistaminen (nimetyt entiteetit) kuuluu annotoinnin piiriin.

Annotointi voi olla automatisoitua tai manuaalista. Automaattinen annotointi hyödyntää tietokoneohjelmia ja tilastollisia malleja, kun taas manuaalinen annotointi tehdään ihmisen toimesta. Usein käytetään yhdistelmää, jossa automaattisesti luodut annotaatiot tarkistetaan ja korjataan ihmisten toimesta, mikä parantaa annotoinnin tarkkuutta.

Korpusannotoinnilla on keskeinen rooli monissa luonnollisen kielen käsittelyn sovelluksissa, kuten konekääntämisessä, puheentunnistuksessa ja tiedonhaussa. Se mahdollistaa suuria tekstimassoja koskevien kielitieteellisten tutkimusten tekemisen ja kehittyneiden kieliteknologioiden rakentamisen.