teckenigenkänning

Teckenigenkänning, ofta kallad sign language recognition (SLR), är tekniken för att automatiskt identifiera tecken som görs i teckenspråk så att de kan förstås av datorer, program eller andra användare. SLR kan fokusera på isolerade tecken eller på kontinuerlig teckenigenkänning där ord och meningar följer teckenspråkets egen grammatik. Målet är ofta att översätta tecken till text eller tal och därigenom underlätta kommunikation mellan teckenspråkiga och talande personer.

Modaliteter och data används inom SLR inkluderar framför allt videoinspelningar av teckenspråk, där man analyserar handformer, rörelser, riktningslinjer och ansiktsuttryck samt kroppshållning. Sensoriska metoder som depth-kameror eller inertialsensorer kan också användas för att förbättra noggrannheten och robustheten vid varierande ljusförhållanden och bakgrunder. Dataförprocessning innefattar ofta hand- och ansiktsdetektion, spårning samt segmentering av tecken eller teckengrepp i kontinuerliga flöden.

Metodmässigt har SLR utvecklats från traditionella, handgjorda funktioner till end-to-end djupa inlärningssystem. Vanliga arkitekturer inkluderar konvolutionella nätverk för spatiala egenskaper och rekurrenta eller transformerbaserade modeller för tidsmässig kontext, ibland i flera avsnitt samtidigt för att hantera segmentering och kontext. Inom CSLR (kontinuerlig teckenigenkänning) och SLT (teckenöversättning) används ofta multistream- eller uppmärksamhetsbaserade metoder.

Datasamlingar som används i forskningen inkluderar stora uppsättningar som WLASL och MS-ASL samt CSLR-benchmarks. Prestanda mäts vanligtvis med noggrannhet för isolerade tecken och med ordfelhastighet eller liknande mått för kontinuerliga uppgifter. Utmaningar inkluderar betydande variation mellan teckenspråkiga användare, snabbhet i tecken, koartikulering, occlusion samt brist på resurser för mindre språkgrupper. Teckenigenkänning förblir en aktiv och snabbutvecklande forskningsgren med fokus på tillgänglighet och interaktion.