videopiirteitä

Videopiirteet ovat videoaineistosta johdettuja ominaisuuksia, jotka kuvaavat sekä kuvan ulkoasua että liikettä. Niitä käytetään videon analysointiin, hakemiseen, luokitteluun ja vertailuun. Videopiirteet voivat olla sekä käsin valittuja että koneellisesti opittuja.

Ne jaetaan yleisesti ulkoasupiirteisiin ja liikkeeseen liittyviin piirteisiin. Ulkoasupiirteet kuvaavat väriä, tekstuuria ja reuna-alueita, esimerkiksi värihistogrammit, väri-momentit sekä Gabor-tekstuurit. Paikallisista piirteistä tunnettuja ovat SIFT, SURF ja ORB. Liikkeeseen liittyvät piirteet kattavat optisen virran sekä liikehistogrammit, lisäksi spatiotemporaaliset piirteet kuten STIP, HOG3D ja MBH. Tiheät liikkeen trajektoriat ovat myös yleisiä videopiirteitä.

Representointi videopiirteille perustuu usein tilastollisiin kuvaajiin, kuten Bag-of-Visual-Words, Fisher-vectors tai VLAD. Viimeaikaisessa tutkimuksessa korostuvat syvät piirteet: konvoluutioneuroverkot (CNN) ja 3D-CNN-verkot tuottavat videoille ominaisuuksia, joita käytetään suoraan luokitteluun tai yhdistetään perinteisten piirteiden kanssa. Tunnettuja lähestymistapoja ovat Two-Stream-mallit ja I3D.

Sovellukset sisältävät sisällönhaku ja videon indeksointi, toiminnan tunnistus ja luokittelu, tapahtumien tunnistus sekä videon suositus ja avainsanoitus sekä valvonta- ja turvallisuuskäytöt. Videopiirteet mahdollistavat suurten videokokoelmien nopean vertailun ja järjestämisen.

Haasteisiin kuuluvat suurin tiedon määrä ja laskennallinen kustannus, sekä valaistus- ja näkökenttäolosuhteiden sekä näkökulkarajoitusten vaihtelut. Standardointi on rajallista, ja menetelmät ovat usein toisiinsa liittyviä, mikä vaikuttaa yhteensopivuuteen. Viime vuosina syvät piirteet ovat kuitenkin vakiinnuttaneet asemansa videoprocessingissa, ja kehitys on nopeaa.