Kuvanluokitus

Kuvanluokitus on digitaalisten kuvien sisällön semanttisten luokkien tai tunnisteiden määrittämistä käyttämällä koneoppimista ja tilastollisia menetelmiä. Se kuuluu tietokonenäön kenttään ja sitä sovelletaan sekä tutkimuksessa että käytännön sovelluksissa. Tavoitteena on yleensä antaa kuvalle yksi tai useampi luokka, jotka kuvaavat sen sisältöä.

Toteutuksessa käytetään yleisesti valvottua oppimista ja suuria opetusaineistoja. Menetelmät ovat kehittyneet nopeasti: perinteisiä konvoluutioneuroverkkoja (CNN) on käytetty laajasti, ja viime aikoina vision transformer -malleja (ViT) on sovellettu menestyksekkäästi. Tehtävä voi olla yksiluokittelua (single-label) tai moniluokittelua (multi-label). Myös hierarkkinen ja hienojakoisempi luokitus on mahdollista.

Opetusaineistot koostuvat kuvista ja niille annetuista luokkien tunnisteista. Oheen kuuluvat esikäsittely, augmentointi ja koulutuksen jaon train/validation/test. Suoritus mitataan yleisesti tarkkuudella sekä luokkakohtaisilla mittareilla kuten precision, recall ja F1-score; moniluokituksessa käytetään makro- tai mikro-averaging. Kalibrointi ja luotettavuus ovat tärkeitä erityisesti päätöksiä vaativissa sovelluksissa.

Sovelluksissa kuvanluokitus parantaa kuvien hakua, organisointia ja sisällönhallintaa sekä on keskeinen osa lääketieteellistä kuvantamista ja verkkokaupan tuotepostausta. Käyttöön liittyy eettisiä kysymyksiä kuten yksityisyys, vinoumat sekä tarve läpinäkyvyydelle ja vastuullisuudelle.

Tulevaisuuden suuntia ovat itseohjautuva oppiminen, few-shot- ja zero-shot -menetelmät sekä multimodaaliset mallit, jotka yhdistävät kuvan ja tekstin. Kuvanluokitus kehittyy kohti parempaa suorituskykyä ja luotettavuutta eri sovellusalueilla.