Transformatorbaserede

Transformatorbaserede modeller refererer til neurale netværk, der bygger på Transformer-arkitekturen, som blev introduceret i 2017 af Vaswani og kolleger og siden har domineret mange områder af kunstig intelligens, særligt naturlig sprogbehandling. Hovedideen er selvopmærksomhedsmekanismen, der gør det muligt at beregne relationer mellem alle positioner i en indgangssekvens samtidig, hvilket muliggør effektiv parallellisering og bedre håndtering af lange afhængigheder.

Et transformermodell består typisk af lag, der kan være encoder- og/eller decoderblokke. Hver blok indeholder en multi-head self-attention og et feed-forward-netværk, begge efterfulgt af residualforbindelser og lag-normalisering. For at bevare rækkefølgen af ordene uden rekurrens benyttes positionel kodning eller lignende metoder.

Der findes forskellige variationer: encoder-only modeller som BERT, decoder-only modeller som GPT og encoder-decoder modeller som T5. Træningen foregår normalt som forudtræning på store tekstdatamængder gennem selv-superviserede opgaver som maskeret sprogmodellering eller autoregressiv sprogmodellering, efterfulgt af finjustering til specifikke opgaver som oversættelse, spørgsmål og svar eller tekstoprettelse. Ud over sprog anvendes transformerbaserede modeller også i computer vision (Vision Transformer) og lydforarbejdning.

Fordelene ved transformerbaserede modeller inkluderer evnen til at lære generelle representationer fra store mængder data, fremragende skalerbarhed og kapacitet til at indfange lange kontekstuelle afhængigheder. Udfordringerne omfatter store krav til data og beregningsressourcer, risiko for bias og miljøpåvirkning samt behov for grundig evaluering og fortolkningsværktøjer.