Transformbaserade

Transformbaserade modeller är artificiell intelligens-system som bygger på Transformer-arkitekturen, först introducerad i 2017 års utgåva av Vaswani och kollegor. Kärnan i tekniken är självuppmärksamhet (self-attention), som gör det möjligt att modellera relationer mellan ord i en ström av text samtidigt, snarare än sekventiellt som tidigare arkitekturer gjorde. Detta möjliggör effektiv bearbetning av långa beroenden och gör det möjligt att träna på stora mängder data.

Vanliga varianter av transformbaserade modeller är encoder‑only (till exempel BERT), decoder‑only (till exempel GPT), samt encoder‑decoder (till exempel T5). Moderna modeller tränas ofta i två steg: först förpreat-träning på stora osupervised‑korpora för att lära generell språkförståelse eller generering, sedan finjustering på specifika uppgifter som textklassificering, frågesvar eller översättning. Modellerna används inom en mängd domäner, inte bara NLP utan även datorseende och andra områden där sekvensdata är centrala.

Fördelarna med transformbaserade modeller inkluderar starka prestationsnivåer på en rad uppgifter, förmåga till överföring mellan uppgifter genom förträning och finjustering, samt stöd för flera språk genom multilingual‑ eller språkspécifik träning. Utmaningar innefattar höga krav på beräkningskraft och data, miljöpåverkan, problem med inbyggd partiskhet och säkerhetsaspekter samt begränsad tolkbarhet i hur beslut förklaras.

Inom svensk språkbehandling har transformbaserade modeller blivit centrala, med utveckling av svenska och flerspråkiga versioner som möjliggör bättre förståelse och produktion av svenskt text, samt anpassning till specialiserade domäner.