Transformerbaserte

Transformerbaserte modeller er maskinlæringsmodeller som bygger på Transformer-arkitekturen, presentert av Vaswani og kolleger i 2017. De bruker oppmerksomhetsmekanismer, særlig self-attention, for å modellere avhengigheter mellom elementer i en sekvens og tillater effektiv parallellisering av trening og evaluering. Dette gjør dem spesielt effektive for oppgaver som involverer rekkevidde og kompleks avhengighet i data.

Hovedtyper inkluderer encoderbaserte, decoderbaserte og encoder-decoder-transformere. Encoderbaserte modeller (for eksempel BERT-lignende arkitekturer) er vanligvis sterke i forståelse og mellombundne oppgaver. Decoderbaserte modeller (for eksempel GPT-lignende) er ofte bedre egnet for generell tekstgenerering. Encoder-decoder-modeller (som T5 og BART) kombinerer begge deler og brukes blant annet til oversettelse og oppsummering. Kjernen består av stablete lager av multi-head self-attention, feed-forward-nettverk, posisjonell encodering og normalisering, med residuelle koblinger som gjør lange avstander i teksten lettere å håndtere.

Trening består vanligvis av stor forhåndstrening på store tekstkorpus med selvsuperviserte oppgaver, etterfulgt av finjustering på spesifikke oppgaver eller bruk av promptbasert tuning. Transformerbaserte modeller har vist sterke resultater på en rekke oppgaver innen naturlig språkbehandling, maskinoversettelse, oppsummering og spørsmål som svarer, og har også blitt tilpasset andre domener som bilde og lyd (multimodale anvendelser).

Fordeler inkluderer høy ytelse, evne til å lære transfer gjennom forhåndstrening, og forbedret håndtering av lange kontekster. Begrensninger omfatter store krav til data og beregning, hukommelse, potensiell skjevhet i data og utfordringer knyttet til tolkbarhet og sikkerhet.