transformerarkkitehtuuriin

Transformer-arkkitehtuuri, yleisesti tunnettu nimellä transformer, on syväoppimisen malli, joka perustuu huomiointimekanismiin ilman perinteistä toistuvaa rakennetta. Se esiteltiin vuonna 2017 Vaswanin ja kollegoiden julkaisussa Attention Is All You Need.

Arkitehtuuri koostuu encoder- ja decoder-osiosta, jotka ovat toistensa päälle pinottuja kerroksia. Jokaisessa kerroksessa on kaksi pääosaa: itse-attention (itse huomiointi) ja feed-forward-verkko. Malli hyödyntää monihihaista attentionia, jossa useita huomiointikanavia lasketaan samanaikaisesti. Järjestyksen tallentamiseksi käytetään positionaalista koodausta. Lisäksi kerroksissa käytetään residuaalisia yhteyksiä ja layer normalizationia.

Tehokkuuden ja skaalautuvuuden vuoksi transformerit soveltuvat hyvin rinnakkaislaskentaan; ne mahdollistavat suurten kielimallien koulutuksen nopeammin kuin perinteisemmillä malleilla kuten RNN- tai LSTM-verkot. Ne kuitenkin vaativat huomattavasti laskentatehoa ja muistia, erityisesti pitkäkestoisten syötteiden kanssa, koska huomiointi skaalautuu pääosin neliömäisesti syötteen pituuden mukaan.

Variaatiot ja laajennukset ovat muokanneet perusmallia erilaisiin tehtäviin. Encoder-only mallit kuten BERT, decoder-only mallit kuten GPT sekä seq2seq-mallit kuten T5 ovat yleisiä käyttötapoja. Esikoulutuksessa voidaan hyödyntää maskattua kielimallointia, autoregressiivista kielimallointia tai sekvenssispohjaista oppimista.

Transformer-arkkitehtuuri on muodostanut nykyisen luonnollisen kielen käsittelyn (NLP) perustan ja mahdollistanut suurten kielimallien kehittämisen sekä siirtämisen tehtävästä toiseen sekä monimodaaliset mallit.