instancesegmentaatiomallit

instancesegmentaatiomallit ovat tietokonenäön malleja, joiden tehtävänä on tunnistaa kuvasta yksittäiset kohteet ja antaa jokaiselle kohteelle erillinen maski sekä luokka, ja usein myös rajoittava laatikko (bbox). Mallit tuottavat siten sekä kohteen ilmaisevan segmentin että kohteen identiteetin, jolloin samanlaisia esineitä voidaan erottaa toisistaan.

Nämä mallit eroavat semanttisesta segmentaatiosta siten, että instanssisegmentaatiot erottavat yksilölliset ilmentymät samasta luokasta, kun taas semanttisessa segmentaatiosta koko sama luokkataso voi koostua yhtenä maskina ilman yksittäisten ilmentymien erottelua. Lisäksi instanssisegmentaatio on läheistä kytköksiä kohteiden detektioon ja paikannukseen.

Yleisimmät lähestymistavat jakautuvat alueeseen perustuvien arkkitehtuurien ja transformer-pohjaisten menetelmien mukaan. Perinteisissä malleissa, kuten Mask R-CNN ja sen jatko- ja parannusversioissa, hyödynnetään alue-ehdotuksia (ROI) ja ROIAlign-käsittelyä maskien ja luokkien ennustamiseen. Viime vuosina on korostunut end-to-end-tyyppiset mallit, kuten DETR-pohjaiset instanssisegmentaatiot ja Mask2Former, jotka pyrkivät vähentämään perinteisiä vaiheita ja parantamaan suorituskykyä sekä monipuolisuutta.

Käytännössä instanssisegmentaatiomallit oppivat menettämiskirjoa, jossa yhdistyvät luokka-, laatikko- ja maskihäviöt (esim. cross-entropy, dice- tai focal-häviöt). Harjoitusdataan kuuluvat usein COCO- ja LVIS -valtakunnat, ja mallien suorituskyky mitataan AP-arvoilla (Average Precision) eri IoU-kynnyksillä.

Sovelluksia ovat automaattinen kuva-analyysi, robotiikka, liikennejärjestelmät ja lääketieteellinen kuvantaminen. Haasteita ovat laskennallinen kustannus, pienet tai päällekkäiset kohteet sekä epätasaiset luokkajakaumat, jotka vaikuttavat sekä tarkkuuteen että läpimenoaikaan.