Handlinggenkendelse

Handlinggenkendelse er et forskningsområde inden for computer vision og mønstergenkendelse, der beskæftiger sig med at udlede menneskelige handlinger fra video eller sensoriske data. Opgaven kan bestå i at klassificere hvilken handling der udføres, hvornår den starter og slutter, og i nogle tilfælde hvor den forekommer i rummet.

Modaliteter og opgaver: Data kan være RGB-video, dybdedata, skeletdata (kropsledpunkter) eller indsamlet fra wearables. De centrale opgaver omfatter action recognition (klassificering af korte videoafsnit), activity recognition (længere, sammensatte aktiviteter) og action localization (tidsmæssig og rumlig lokalisering af handlinger).

Metoder: Tidlige tilgange byggede på håndfremstillede funktioner som HOG og HOF kombineret med klassifikatorer. Moderne metoder anvender dyb læring: to-stream netværk, der udnytter RGB og optisk strøm; 3D-konvolutionelle netværk (C3D, I3D); netværk som SlowFast; og skeletbaserede modeller som grafneuron-netværk (ST-GCN). Transformer-baserede modeller og multimodal fusion er også udbredt.

Datasæt og evaluering: Eksempler inkluderer Kinetics, UCF101, HMDB51 og NTU RGB+D. Evaluering sker typisk ved nøjagtighed (top-1, top-5) for klassifikation og ved præcision og recall for lokalisering og detektion. Kvalitetsvurdering kan også indebære tværsæt-evaluering og realtidskrav.

Anvendelser og udfordringer: Anvendelser findes inden for videoovervågning, sportanalyse, menneske–maskine interaktion og sundhedssektoren. Udfordringer omfatter stor variation i bevægelser, udsyn og baggrundsstøj, behov for realtidsfeedback, databias og etiske overvejelser samt privatlivslovgivning.