Videoannotering

Videoannotering är processen att märka innehållet i videomaterial för att skapa träningsdata till datorseende och relaterade AI-system. Annotering kan göras per bildruta eller över tidssekvenser och omfattar ofta identifikation av objekt, handlingar och scenklass.

Vanliga annoteringstyper inkluderar: rektangulära lådor runt objekt (bounding boxes); pixelnivå-segmentering eller masker; nyckelpunkter för kroppsdelar; klassificering och attribut som färg eller aktivitet. För video används även spatiotemporal-annotering och spårare som håller reda på objekt över flera ramar, ibland i form av spår eller tracklets. Annotering kan vara manuell, delvis automatiserad eller helt automatiserad med maskininlärning.

Arbetsflödet ofta består av dataförberedelse, annotering, kvalitetskontroll och export till standardformat. Verktyg som CVAT, VGG Image Annotator, Supervisely och Labelbox används för att skapa och hantera annotationer. Kvalitet mäts genom inter-annotator agreement, konsistenskontroller och stickprov. Vanliga exportformat inkluderar COCO-, PASCAL VOC- eller OpenImages-liknande strukturer samt anpassade JSON- eller XML-filer.

Användningsområden inkluderar autonom körning, övervakning och säkerhet, sportanalys, innehållsökning och medieproduktion. Många dataset för videoannotation används i forskning och industri, ofta med fokus på objektdetektion i videor, spårning och actionsigenkänning.

Utmaningar och etiska överväganden: subjektivitet i labelning, hantering av occlusioner och snabbrörliga objekt, anonymisering av personer, integritetsfrågor och bias i dataset. Kvalitet och kostnad är ofta en avvägning mellan noggrannhet och hastighet.