tähelepanumudeleid

Tähelepanumudelid on mehhanismid masinõppes, mis võimaldavad mudelil keskenduda sisendi eri osadele ja anda neile erineva tähtsuse. Tavaliselt toimib see nii, et iga sisendi osa jaoks luuakse päringud (queries), võtmed (keys) ja väärtused (values). Päringute ja võtmete vahelised skoorid arvutatakse ning pehmete kaaludena (softmax) normaliseeritakse. Seejärel kasutatakse neid kaale väärtuste kombineerimiseks, et moodustada kontekstivektor, mille alusel mudel teeb lõpliku väljundi või prediktsiooni. Tähelepanu võimaldab mudelist paremini hoida konteksti pikaajaliselt.

Erinevad tähelepanumudeli vormid hõlmavad additiivset (additive) tähelepanu ja dot-product (multiplicative) tähelepanu. Dot-product tähelepanu võib olla skaleeritud (scaled dot-product) tähelepanu, mis stabiliseerib treeningut. Kõige mõjukam kaasaegne arhitektuur on Transformer, mis kasutab mitmepealist enesetähelepanu ja külgset tähelepanu (cross-attention). Transformer, mille tutvustas 2017 Vaswani jt artikkel "Attention Is All You Need", võimaldas täielikult mitterekursiivset keele töötlemist ja saavutas ulatuslikku edu NLP-s.

Rakendused hõlmavad laia valikut: masintõlge, teksti genereerimine, küsimustele vastamine, kõnetöötlus ning multimodaalsed ülesanded, kus tekst ja pilt või video kombineeritakse. Tähelepanumudelid on hästi kõlavad ka arvutivisuaalses ning heliringluses. Piirangud hõlmavad suurte järjestuste töötlemiseks suurte arvutus- ja mälunõudeid (tihti O(n^2)). Selle lahendamiseks arendatakse salvestuslikku tähelepanu (sparse/local attention), lineaarset tähelepanu ja spetsiaalseid arhitektuure nagu Reformer, Longformer ja Performer.