Dataetiketöinti

Dataetiketöinti on prosessi, jossa data merkitään tai luokitellaan siten, että koneoppimismallit voivat oppia niistä. Tavoitteena on tuottaa annotaatioita, kuten luokkia, kohteiden sijainteja tai tekstisisältöön liittyviä etikettejä, joita mallit voivat käyttää koulutuksessa. Merkinnät voivat koskea erilaisia modaliteetteja, kuten kuvia, tekstiä, ääntä tai videota.

Tyypillisiä annotoitavia tehtäviä ovat kuvatiedon luokittelu, kohdealueiden (raja-alueiden) tunnistus, segmentointi sekä avainsanojen tai entiteettien merkitseminen. Tekstiä varten voidaan suorittaa nimien- ja entiteettien tunnistusta, reunaneuvottuja asiasanoja sekä sentimentin merkitsemistä. Ääni- ja videoaineistoissa käytetään puheensiirtoa, puhetilan tunnistusta sekä tapahtumien ajallista merkkaamista. Eri tehtävissä käytetään erilaisia merkintäsyötteen malleja ja ohjeistuksia.

Prosessi koostuu ohjeistuksen laatimisesta, annotaattoriryhmän kokoamisesta ja laadunvarmistuksesta. Jokaiselle datakokonaisuudelle määritellään annotointiskeema ja luokitukset. Annoittajat merkitsevät aineiston, ja tulokset tarkistetaan toistettavalla laadunvarmistuksella sekä mahdollisella sovituksella. Tutkimuksessa ja käytössä käytetään usein inter-annotator agreement (IAA) -mittareita, jotka kuvaavat annotaattoreiden välistä yhdenmukaisuutta. Dataa hallitaan dokumentoidusti, mukaan lukien datan alkuperä, versiointi ja käytön rajoitteet (data provenance).

Eettiset ja oikeudelliset näkökohdat korostuvat turvallisuus, yksityisyys ja suostumukset huomioivassa datan keruussa ja merkinnässä. Biasin vähentäminen ja moninaisuuden huomiointi, sekä annotaattorien oikeudet ja palkitseminen, ovat olennaisia. Dataetiketöinti on keskeinen vaihe monien valvottujen koneoppimisjärjestelmien kehittämisessä, laadunvarmistuksessa ja toistettavuuden turvaamisessa.