itsehuomiomekanismi

itsehuomiomekanismi on syväoppimisessa käytetty mekanismi, jonka avulla sekvenssin jokainen elementti voi huomioida muut elementit ja muodostaa niihin liittyvän edustuksen. Yleensä se toteutetaan käyttämällä kolme projektioita: kysymykset (Q), avaimet (K) ja arvot (V). Attentionin peruslaskenta voidaan esittää muodossa Attention(Q,K,V) = softmax(Q K^T / sqrt(d_k)) V.

Jokaiselle sijainnille i lasketaan q_i ja kaikkien k_j suhteet pyyntönä: a_ij = softmax((q_i · k_j^T)/√d_k). Tämän jälkeen z_i = ∑_j a_ij v_j. Näin jokainen positio saa edustuksensa yhdistämällä muiden positioiden arvot painotetusti. Moninapeallinen (multi-head) attention jakaa Q,K,V useisiin päihin, joista kukin oppii erilaisten riippuvuuksien huomioimisen. Jokainen pää tuottaa oman z_i^h, ja lopuksi ne yhdistetään ja projisoidaan takaisin alkuperäiseen tilaan.

Rajoitukset ja kehityssuunnat: self-attention on usein O(n^2) sekä laskennallisesti että muistiltaan riippuvainen sekvenssin pituudesta, mikä rajoittaa pitkien tekstien tai muiden sekvenssien käsittelyä. Tämä on johtanut kehitettäviin vaihtoehtoihin, kuten harvennettuun (sparse) attentioniin, lineaariseen attentioniin ja muistia säästäviin variaatioihin. Positional encodingin avulla malli saa käsiteltyään järjestyksen tiedon sekvenssistä; yleisiä vaihtoehtoja ovat sinusoidaaliset koodaukset tai opitut koodaukset.

Sovellukset ja vaikutus: itsehuomiota käytetään laajasti transformer-pohjaisissa malleissa kuten BERT, GPT ja Vision Transformers, sekä puhe- ja monimodaalissa tehtävissä. Sen etuja ovat kyky mallintaa pitkän aikavälin riippuvuuksia ja skaalautuvuus tiettyihin arkkitehtuureihin nähden. Historia: konsepti nousi esiin vuonna 2017 tutkimuksessa Attention is All You Need (Vaswani et al.).