Transformersbaserede

Transformersbaserede modeller er neurale netværk, der bygger på transformerarkitekturen og anvender selvopmærksomhed til at behandle sekvensdata. De trænes ofte på store tekstcorpora og finjusteres derpå for konkrete opgaver som klassificering, oversættelse eller spørgesvar.

Kernekomponenterne er lag af encoder- og/eller decoderblokke, multi-head selvopmærksomhed og feedforward-netværk, samt positionel kodning, der gør det muligt at håndtere rækkefølgelighed uden rekurrence. Encoder-only modeller fokuserer på at forstå tekst (f.eks. BERT); decoder-only modeller genererer tekst (f.eks. GPT); encoder-decoder-modeller håndterer både indgang og udgang (f.eks. T5).

Transformeren blev introduceret i 2017 af Vaswani et al. i papiret Attention Is All You Need og blev hurtigt dominerende i naturlig sprogbehandling på grund af effektiv parallelisering og evnen til at lære langdistanceafhængigheder.

Typiske eksempler er BERT (encoder-only), GPT-serien (decoder-only) og T5/BART (encoder-decoder). Mange sprogmodeller bygger videre på denne gruppe og skaleres med mere data og beregningskraft.

Træningen sker ofte i to faser: foruddannelse (pretraining) med selv-overvågede mål som maskeret sprogmodellering eller causal sprogmodellering, og finjustering (fine-tuning) til specifikke opgaver. Anvendelser omfatter tekstopgaver som klassificering, maskinoversættelse, spørgesvar, tekstoprettelse og opsummering.

Fordelene inkluderer stærk ydeevne på mange opgaver og god skalerbarhed med data og compute samt evnen til at lære komplekse mønstre. Udfordringer omfatter høje krav til regnekraft og data, hukommelsesbudgetter, risiko for bias og overfitting samt behov for fortolkning og ansvarlig brug.

Etiske overvejelser ved transformersbaserede modeller omfatter bias, datakvalitet, data-privatliv, miljøpåvirkning og risiko for misbrug. Forskning i sikkerhed og evalueringer fokuserer på at reducere skævheder og forbedre gennemsigtighed.