datamerkintä

Datamerkintä on prosessi, jossa data merkitään annotaatioilla, jotta sitä voidaan käyttää ohjattuun koneoppimiseen. Merkinnät voivat olla luokituksia, raja-alueita, segmentointeja tai muita metatietoja, jotka auttavat mallia oppimaan yhteyksiä syötteen ja oikean vastauksen välillä. Datamerkintää sovelletaan muun muassa kuviin, tekstiin, puheäänitteisiin ja videoaineistoon.

Tyypillisiä merkintämenetelmiä ovat kuvien luokittelu (esim. kategoria), raja-alueiden määrittäminen (bounding boxes), tarkempi segmentointi sekä avainsanat ja tekstin entiteettimerkinnät. Puheäänitteissä voidaan tehdä puheen transkriptio ja tunnistaa puhujat, ja videoaineistossa voidaan merkitä toimintoja sekä seurata kohteita ajan mittaan. Merkintämenetelmät riippuvat sovellusalasta ja halutusta mallityypistä.

Työprosessi koostuu ohjeistuksen laatimisesta, annotoijien kouluttamisesta, merkintöjen tekemisestä sekä laadunvarmistuksesta. Käytettyjä työkaluja voivat olla annotaatiotyökalut sekä sisäisen tiimin että ulkoisen annotoinnin (crowdsourcing) käyttö. Laadunvarmistukseen kuuluvat inter-annotator agreement -mittarit, gold-standard -merkinnät sekä säännölliset tarkistukset, joilla varmistetaan johdonmukaisuus ja tarkkuus.

Datamerkintään liittyvät standardointi ja etiikka ovat tärkeitä. Ohjeistukset ja nimeämiskäytännöt tulisi olla yhdenmukaisia, ja datan lähteet sekä hankintaprosessit tulisi olla läpinäkyviä. Henkilötiedot ja arkaluontoiset tiedot on suojattava asianmukaisesti, esimerkiksi anonymisoinnilla tai suostumuksilla. Vinoumien minimoimiseksi on tärkeää seurata datan provenance ja tehdä jatkuvaa laadunvalvontaa.

Datamerkinnän laatu vaikuttaa suoraan koulutettavien mallien suorituskykyyn ja luotettavuuteen.