korpusteannotatsioonides

Korpusteannotatsioonid on tekstikorpuste jaoks tehtud märgenduste kogum, mille käigus lisatakse teksti erinevaid tähiseid ja struktuure, et muuta andmed masinloetavaks ja analüüsitavaks. Töö hõlmab tavapäriselt esmast eeltööd, sealhulgas tokeniseerimist ja lausete eraldamist, ning seejärel morfoloogilist märgistamist ja lemmatiseerimist. Järgnevad tasandid hõlmavad süntaktilist märgendamist, kas sõltuvus- või konstituentstruktuuri, ning vajadusel semantilisi märgiseid (nimed, organisatsioonid, kohad) ning ko-reference ja diskursiivseid seoseid.

Korpusteannotatsioonide standardid ja formaatide valik sõltuvad eesmärkidest ning koostööprintsiipidest. Levinud on juhised, mis tagavad ühtlase märgistuse ja hindamise, ning inter-annotator kokkulepe. Süntaktilise ja semantilise märgistuse jaoks on populaarseteks standarditeks Universal Dependencies, mis pakub morfoloogilisi ja sõltuvussuhteid ning on modelleerimiseks kasutatav koodeks. Andmete serialiseerimiseks kasutatakse sageli CoNLL-U, XML või TEI vormatisid. Tööriistad nagu BRAT, WebAnno ja INCEpTION aitavad annotaatoreid märgistuste lisamisel ja kvaliteedi kontrollimisel.

Väljakutsed hõlmavad märgenduse töömahukust, subjektiivsust ja vajadust selgete juhiste järele; kehva kognitiivse ühtsuse tõttu võib tekkida suurel määral erinevused annotatsioonides. Seetõttu on oluline juhendamise pidev arendamine, koolitus, läbiva audit ja vajadusel korduvannotatsioon. Korpusteannotatsioonid on tihedalt seotud andmete kättesaadavuse, lisandväärtuse ja uuendatavusega ning need on teadus- ja arendustegevuses keskne tööriist.