Annotatörer

Annotatörer är personer eller system som tillför annotationer till innehåll för att skapa strukturerad metadata som underlättar indexering, analys och maskininlärning. De kan vara mänskliga annotatörer, crowdsourcade arbetare eller automatiserade pipelines som gör en första märkning som sedan förfinas av människor. Annotationer kan rikta sig mot text, bild, ljud eller video och kan omfatta etiketter, segment, transkriptioner, översättningar eller förklaringar.

Typiska uppgifter inkluderar språklig annotation (delar av tal, syntaktisk struktur, namngivna entiteter), sentiment- eller attitydtaggning, händelse- och relationsannotering, transkribering och tidsinpassning samt översättning. Inom bild- och multimodala data märker annotatörer objekt, gränser eller scener; i ljuddata transkriberar de och märker talare eller händelser. Annotationer styrs av scheman och riktlinjer för konsekvens och jämförbarhet.

Arbetsflöden innebär att definiera annoteringsscheman, utbilda annotatörer, köra kalibreringsomgångar, genomföra annotationen samt bedriva kvalitetssäkring och adjudikation. Mätmetoder för tillförlitlighet mellan annotatörer (inter-annotator agreement, IAA) som Cohen’s kappa eller Krippendorffs alfa används för att bedöma reliabilitet. Data kvalitet, provenance och versionshantering är viktiga, liksom etiska frågor när man arbetar med känsliga uppgifter.

Användningsområden sträcker sig över naturlig språkbehandling, datorseende, ljudanalys och digital humaniora. Annotatörer spelar en central roll i att skapa annoterade korpusar, träningsdata för modeller och forskningsdata, vilket möjliggör mer robusta analyser, reproducerbarhet och utveckling inom maskininlärning.