pildisegmenteerimises

Pildisegmenteerimine on arvutinägemise valdkond, mille eesmärk on eraldada pildilt või videolt erinevad objektid või piirkonnad ning määrata neile vastav klass või identiteet. Sageli on tulemuseks piksli tasemel mask, mis näitab, millised alad kuuluvad millistele objektidele. Segmenteerimine jaguneb peamiselt semantilisele segmenteerimisele, instantssegmenteerimisele ning nende kombinatsioonile panoptik segmenteerimise jaoks.

Töövoog hõlmab andmete ettevalmistust, mudeli valikut ja koolitamist ning väljundite rakendamist. Oluline on sobiv treeningandmestik, tasakaalustatud klasside esinemissagedus ning sobivad hindamiskriteeriumid. Tavaliselt eristatakse semantic segmentation, instance segmentation ja panoptic segmentation.

Meetodid: klassikalised lähenemised hõlmavad otsustamispõhist (thresholding), klasterdamist (nt k-means), serva- ja piirkonnapõhiseid meetodeid (Canny, Watershed) ning region growing. Süvaõpe on viinud suure muutuseni: FCN-id, U-Net, DeepLab ja Mask R-CNN on laialdaselt kasutatud, hiljuti ka transformer-põhised mudelid ning panoptic arhitektuurid.

Andmekogud ja hindamine: oluline on Cityscapes, PASCAL VOC, MS COCO, BSDS500. Hindamismeetmed hõlmavad IoU (Jaccard), Dice koefitsient, pixeli täpsus ja piiride F-skoor.

Rakendused hõlmavad meditsiinilist kujutistust (nt organite või rakkude eristamine), autonoomseid sõidukeid, kaugturustus ja satelliidi-/aeropiltide analüüsi ning dokumendianalüüsi.

Väljakutsed hõlmavad vaateväljade varieeruvust, väikeste objektide eristamist, klasside ebavõrdsust, andmekihti ning piiride täpsuse ja mudelite üldistamise parandamist.