Handlingsdetektion

Handlingsdetektion är ett område inom robotik, datorseende och människa–robot-samarbete som syftar till att avgöra när och hur ett objekt hanteras eller manipuleras av en agent. Vanliga mål är att identifiera starten och slutet på en manipulationshändelse och att klassificera typen av manipulation, till exempel grepp, lyft, vridning eller placering. Systemet kan användas i autonoma robotar, industriella miljöer och säkerhetskritiska sammanhang där förståelsen av hanteringsaktiviteter är viktig.

Metoderna bygger vanligtvis på multimodala signaler. Visuell information från RGB- och djupkameror, eventuellt optisk flöde, kombineras med taktil- eller proprioceptiv sensorik för att fånga rörelser och kontaktupplevelser. Maskininlärning används för att detektera och klassificera manipulationer, där traditionella metoder inkluderar tidsbaserade modeller som HMM eller CRF, medan modern forskning ofta utnyttjar LSTM-, CNN- eller transformerbaserade nätverk och end-to-end-ramverk.

Användningar omfattar övervakning och kvalitetskontroll i tillverkning, stöd för människa–robot-samarbete där systemet behöver förstå när en person tar i ett objekt och anpassa robotens beteende därefter, samt hantering av föremål i lager och logistik.

Utmaningar inkluderar variationer i objekts utseende, occlusion, olika belysning och snabba manipulationer, krav på realtidsbearbetning samt överförbarhet över objekt och miljöer. Forskningen riktas mot bättre generalisering, själv- eller svag-supervised inlärning och bättre sensorfusion för robusthet och säkerhet i praktiska system.