Labelingprocessen

Labelingprocessen er den systematiske proces, hvor data tildeles annoteringer eller labels for at danne træningsdata, metadata og søgbare ressourcer. Labels angiver typisk kategorier, egenskaber eller handlinger og bruges i maskinlæring, dataforvaltning og informationssøgning.

Den anvendes bredt i kunstig intelligens, herunder computer vision, naturlig sprogbehandling og lydanalyse, men også i arkivering og biblioteks- og informationsstyring for at forbedre søgbare data og automatisering.

Et typisk labelingforløb omfatter planlægning og retningslinjer, dataindsamling og udvælgelse, rekruttering og oplæring af annotatorer, selve annoteringen, kvalitetskontrol og afstemning (adjudering), samt integration og versionering af de mærkede data.

For at sikre konsistens bruges inter-annotator aftale (IAA) og lignende statistikker som Cohen's kappa eller Krippendorff's alpha, samt regelbaserede kontroller og prøveannoteringer.

Arbejdsgange understøttes af annoteringsplatforme og crowdsourcing; udfordringer inkluderer ambiguøsitet, bias, inkonsistens mellem annotatorer, usikkerhed og beskyttelse af personlige data.

De mærkede datasæt danner grundlag for træning, evaluering og opdatering af modeller og bliver ofte udgivet med tilhørende metadata og versionering.