transformerarkkitehtuuri

Transformer-arkkitehtuuri on neuroverkkomalli, joka otettiin käyttöön vuonna 2017 Vaswani ja kumppaneiden julkaisussa Attention Is All You Need. Sen ydin on itsehuomio-mekanismi (self-attention), jonka avulla malli voi arvioida kunkin syötteen osan merkityksen suhteessa koko sekvenssiin yhtäaikaisesti. Tämä mahdollistaa tehokkaan parallelisoinnin ja pitkien riippuvuuksien mallintamisen ilman perinteisiä toistopohjaisia rakenteita.

Rakenteeltaan Transformer koostuu encoder- ja decoder-osiosta, jotka koostuvat pinosta toistuvia kerroksia. Jokaisessa kerroksessa on moniotsikkoinen itsehuomio (multi-head self-attention) sekä eteenpäin verkko (feed-forward neural network), ja kerrosten välissä käytetään residuaalisia yhteyksiä sekä kerrosten normalisointia. Dekooderin itsehuomio on lisäksi maskattu, jotta tulevat token-arvot eivät vaikuta nykyiseen ennustukseen. Positional encoding lisätään syötteeseen säilyttämään järjestysinformaatio, koska itsehuomio ei itsessään tallennä sekvenssin järjestystä.

Koulutus ja sovellukset: alkuperäinen Transformer koulutettiin suurilla kaksikielisillä korpuksilla käännöstehtävän ratkaisemiseksi. Tämän rakenteen pohjalta on syntynyt lukuisia malleja, kuten BERT (enkooderi), GPT (dekooderi) sekä T5, RoBERTa ja monet muut. Transformer-arkkitehtuureja on sovellettu luonnollisessa kielessä ja sen ulkopuolella, mukaan lukien visuaaliset ja monimutkaiset monimodaaliset tehtävät.

Hyödyt ja rajoitteet: malli on erittäin tehokas pitkäaikaisten riippuvuuksien mallinnuksessa ja skaalautuu hyvin suurille datoille, mutta sen lasku- ja muistivaatimukset kasvavat merkittävästi sekvenssin pituuden mukaan. Tämä on johtanut tutkimukseen kevyemmille huomioinnin toteutuksille, lineaariselle tai harvemmalle huomioinnille sekä rekonstruktiolle, jotta käytännön sovellukset ovat kannattavampia ja resurssitehokkaampia.