videosegmentatsioonini

Videosegmentatsioonini on mõiste, millega kirjeldatakse video ajaliselt koherentsete lõikude eristamist ja jaotamist. Protsess hõlmab peamiselt lõikude tuvastamist (shot segmentation) ning sageli ka stseenide või sündmuste semantilist eristamist. Lõpp-tulemus on järjestatud segmentide kogum, mis võimaldab efektiivset otsimist, analüüsi ning sisu mõistmist.

Tehnilised lähenemised on olnud mitmekesised. Varases staadiumis kasutati käsitsi määratletud muutuste signaale, nagu värvi histogrammid ja liikumise indikaatorid. Tänapäeval domineerivad sügava õppimise meetodid: ajaliselt orientatsioonilised võrgustikud, konvolutsioonilised ning transformeripõhised arhitektuurid. Õppimine võib olla juhendatud või juhendamata; sageli kombineeritakse visuaalseid ja sisuomaduste marginaale.

Rakendused hõlmavad videode indekseerimist ja otsingut, automaatset kokkuvõtmist, sisu märgistamist ning turvalisuse ja spordianalüüsi. Videosegmentatsioon aitab suurte arhivide haldamisel ning sisu kiirel leidmisel, pakkudes kasutajatele paremaid soovitusi ja lühikeseid videoosi.

Hindamine ja väljakutsed: tulemuste hindamine toimub piiride vastavuse, IoU ja F1-skoori abil, olenevalt ülesandest. Populaarsed testimiskogud hõlmavad TRECVIDi ja MovieNeti. Väljakutsed hõlmavad subjektiivsust sisu mõttes, mitmekeelse ja multikultuurilise sisu kaasamist, kaamera liikumist ning väga lühikeste või väga pikkade lõikude täpse eristamise raskust.