annotointiprosessi

Annotointiprosessi on prosessi, jossa data merkitään tai luokitellaan tarkoituksenmukaisilla merkinnöillä, jotta koneoppimismallit voivat oppia niistä. Merkinnöillä voidaan kuvata esimerkiksi sisällön luokkaa, objektien sijainteja tai ajallisia tapahtumia. Annotointia käytetään monenlaisessa datassa, kuten tekstissä, kuvissa, äänitteissä ja videoissa, ja sen lopputuotteena syntyy opetusdataa koneoppimiselle.

Prosessin yleinen kulku koostuu datan keräämisestä ja esikäsittelystä, ohjeistuksen laatimisesta annotaattoreille, annotaattoreiden koulutuksesta, itse merkinnästä sekä laadunvarmistuksesta. Tämän jälkeen merkinnät yhdistetään, puutteet korjataan ja datasta luodaan lopullinen opetusjoukko. Työ voidaan toteuttaa kokonaan sisäisesti, ulkoistettuna crowdsourcingina tai näiden yhdistelmänä. Työkalut vaihtelevat, mutta ne tukevat erilaisten merkintöjen tekemistä, tiimityön koordinointia ja versionhallintaa.

Merkintätyypit riippuvat datan modaalisuudesta: tekstiin voidaan lisätä luokituksia ja nimeäviä entiteettejä; kuviin ja videoihin voidaan piirtää rajauksia ja segmentointeja sekä merkitä ajallisia osuuksia; äänitteisiin voidaan tehdä litteraatiota ja puheen tunnistusta. Tyypillisiä tehtäviä ovat luokittelu, objektien tunnistus, semanttinen segmentointi sekä transkriptio tai puheentunnistus.

Laatuvarmistukseen kuuluu annotaattoreiden välinen yhtenäisyys, ohjeistuksen jatkuva tarkentaminen sekä virheiden analysointi. Gold standard -merkintöjä voidaan käyttää laadun mittaamiseen ja korjaustoimenpiteiden määrittämiseen. Annotointiprosessi on usein sidoksissa tietosuojaan, eettisiin kysymyksiin sekä datan hallintaan ja versionhallintaan, jotta jäljitettävyys säilyy.