Transformerarkkitehtuurit

Transformerarkkitehtuurit ovat nykyaikaisten syväoppimismallien perusta erityisesti kielen ja visuaalisen tiedon käsittelyssä. Ne esiteltiin vuonna 2017 Vaswani ja kollegat artikkelissa Attention Is All You Need. Keskeinen idea on itsehuomiomekanismi (self-attention), jonka avulla malli voi painottaa syötteen kaikkia osia samanaikaisesti ja mallintaa pitkien riippuvuuksien vaihtelua ilman rekursiivisia rakenteita.

Arkkitehtuuri koostuu kerroksista, joissa on itsehuomiomekanismi sekä feed-forward-verkkoja. Itsehuomiomekanismi lasketaan kolmen matriisin avulla: kysymys (Q), avain (K) ja arvo (V), ja käytetään skaalattua pistetuloa. Useat huomioita yhdistetään useille päille (multi-head attention), jonka jälkeen seuraa residuaaliset yhteydet ja normalisointi. Malli voidaan rakentaa kooderin (encoder), dekooderin (decoder) tai niiden yhdistelmänä.

Variantteja ovat encoder-only mallit kuten BERT (tuki tehtävien esikoulutukselle), decoder-only mallit kuten GPT, sekä encoder-decoder -mallit kuten T5 ja BART. Vision-toteutukset, kuten Vision Transformer (ViT), soveltavat samaa rakennetta kuviin jakamalla ne paloihin ja käsittelemällä ne sanojen tavoin. Monimodaaliset mallit yhdistävät kielen ja kuvan tiedon sekä mahdollisesti muut modaliteetit.

Koulutus ja tavoitteet: Transformer-mallit esikoulutetaan suurilla kokoelmilla, kuten suurella tekstidatalla tai multimodaalisilla aineistoilla. Tavoitteina käytetään esimerkiksi maskeerattua kielenmallinnusta (MLM, BERT), autoregressiivista kielenmallinnusta (GPT) tai denoising-objektiivin (T5). Sen jälkeen mallit hienosäädetään tehtäväkohtaisesti.

Etuna ovat hyvä suorituskyky ja skaalautuvuus sekä kyky hallita pitkiä kontekstipituuksia. Haasteina ovat suurimmat datan ja laskennan vaatimukset, muistinkulutus itsehuomiomekanismissa sekä vinoumat ja tulkittavuuden rajoitteet. Tutkimuksessa pyritään energiatehokkuutta, pidempiin konteksteihin ja retrieviallisia sekä multimodaalisia lähestymistapoja.