Annotatieschemas

Een annotatieschema, ook wel annotatieschema genoemd, is een formele beschrijving van de labels die worden gebruikt bij het labelen van data, samen met de regels voor wanneer een label moet of mag worden toegepast. Het doel is consistentie en vergelijkbaarheid in datasets voor machine learning en onderzoek.

Een annotatieschema bevat doorgaans: de labelset met definities en inclusiecriteria; richtlijnen voor toepassing; de scope en het gewenste granulariteitsniveau; eventuele hiërarchie of relaties tussen labels; validatieregels en fallback-opties; metadata zoals bron en versie; en procedures voor adjudicatie bij meningsverschillen.

Governance en kwaliteitszorg behoren ook tot het schema: versiebeheer, documentatie en changelogs zorgen voor traceerbaarheid. Kwaliteit wordt vaak gemeten met inter-annotator agreement en regelmatige review. Open standaarden en ontologieën verbeteren interoperabiliteit tussen projecten en tools.

Toepassingen zijn onder meer natuurlijke taalverwerking (named entities, part-of-speech, sentiment), beeld- en videolabeling (objecten, eigenschappen) en multimodale datasets. Een eenvoudig voorbeeld is een sentiment-schema met labels zoals positief, neutraal en negatief, vergezeld van definities en voorbeelden.

Uitdagingen zijn onder meer ambiguïteit, culturele bias en domeinverschuiving. Een goed ontwerp van een annotatieschema ondersteunt reproduceerbare labeling, efficiënte annotatie en betrouwbare model-evaluatie.