visioonistransformersid

Visioonistransformersid on transformeri arhitektuurile põhinevad mudelid, mis on mõeldud visuaalsete andmete töötlemiseks. Pilt jaotatakse väikesteks tükkideks ehk patchideks (tavaliselt 16×16 pikslit). Iga tükk teisendatakse vektoriks ja lisatakse positsiooniline info; seejärel sisestatakse tükkide jada transformer-encoderisse. Seal rakendub mitmearuline self-attention, mis võimaldab igal tükkil arvestada konteksti kogu pildist. Lõpuks kasutatakse klassifitseerimise jaoks pead (MLP-peak).

Esimesed visioonistransformersid tutvustati 2020. aastal Dosovitski ja kaaslaste poolt töös "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale". Nad näitasid, et suurte andmestike puhul võivad ViT-mudelid saavutada konkurentsi või isegi ületada konvolutsioonipõhiseid mudeleid. Kuid need mudelid on tundlikud andmekoguse suurusele ja arvutusressurssidele, mistõttu on välja arendatud data-efficient lahendused nagu DeiT (Data-efficient Image Transformers), mis kasutab distillatsiooni ja väiksemaid andmestikke.

Olulised variandid ja täiustused hõlmavad Swin Transformerit, mis kasutab hierarhiat ja libistatavaid aknaid (shifted windows), vähendades keerukust ning võimaldades paremat skaleeruvust suurte sisendite korral. Teised märkimisväärsed lähenemised on CoaT ning erinevad ViT-iba variandid; ViViT laiendab ideed videote jaoks.

Eelised ja piirangud: visioonistransformersid pakuvad tugevat jõudlust suurte andmekoguste korral ja on paindlikud erinevate visuaalsete ülesannete jaoks, kuid need mudelid vajavad märkimisväärset arvutusressurssi ning sageli suuri jahtiandmeid. Väiksemate andmestike puhul on tavaliselt vaja distillatsiooni või täiendavaid õpetamismeetodeid.

Kasutusalad hõlmavad pildiklassifikatsiooni, objektide avastamist, semantilist segmenteerimist ja video mõistmist.