eleentunnistukseen

Eleentunnistus on tekoälyn ja tietokonenäön ala, joka keskittyy ihmisen eleiden automaattiseen tulkintaan tietokoneen tai laitteen toimesta. Tyypillisesti tarkastellaan käsien ja käsivarsien liikkeitä sekä joskus koko kehon liikkeitä. Eleet jaotellaan staattisiin eleisiin, joissa asento pysyy muuttumattomana, sekä dynaamisiin eleisiin, joissa liike kehittyy ajassa. Alalla yhdistetään näkö- ja liikeanalyysi sekä koneoppiminen.

Sensorointi ja data: Visuaaliset lähteet, kuten RGB-kamerat, syvyyskamerat ja infrapunatekniikka, sekä kantavat sensorit kuten kiihtyvyys- ja gyroskoopit sekä käsineisiin kiinnitettävät anturit. Yleisesti käytetään myös luurankomallinnusta kuvista tai videosta. Datan edustuksessa ovat yleisiä 2D-siluetit, luurankomallit sekä optinen virtaus tai suoraan 3D-koordinaatit. Monimodaalinen yhdistelmä parantaa luotettavuutta.

Menetelmät: Perinteisesti käytettiin piirteitä kuten HOG (Histogram of Oriented Gradients) tai HOF (Histogram of Optical Flow) sekä aikakontekstin malleja kuten Hidden Markov Models (HMM) tai Dynamic Time Warping (DTW). Nykyisin suurin osa järjestelmistä perustuu syväoppimiseen: CNN-verkot käsittelevät tilaspatiaalisia kuvioita, RNN/LSTM/GRU-verkot ja transformer-pohjaiset mallit mallintavat aikadynamiikkaa, ja monet järjestelmät ovat end-to-end- tai multimodaalisia.

Käyttökohteet ja haasteet: Käyttökohteita ovat ihmisen käyttöliittymät, viittomakielen tunnistus, videopelit, lisätty ja virtuaalinen todellisuus sekä robotiikka. Julkisia datakokoelmia ovat esimeriksi NTU RGB+D, Chalearn-gestures sekä Jester. Suorituskykyä mitataan yleisimmin tunnistuksen tarkkuudella; dynamiikassa arvioidaan virheprosenttia ja reaaliaikaisuutta. Haasteita ovat yksilöllisyys ja vaihtelu valaistuksessa sekä näkökulmassa, occlusion eli peittyminen, nopeiden liikkeiden tunnistaminen sekä riittävän määrän laadukasta annotated-dataa. Tulevaisuuden suuntia ovat itseohjautuva oppiminen, vähän labeled dataa hyödyntävät menetelmät sekä monimuotoinen data-fuusio ja tehokas suoritus reunalaitteissa.