BERTfamilien

BERTfamilien refererer til en gruppe av språkmodeller og avledede varianter som bygger på BERT-arkitekturen (Bidirectional Encoder Representations from Transformers). Den opprinnelige BERT-modellen, introdusert av Google i 2018, benytter en bidireksjonal transformer-encoder og ble trent med maskert språkmodellering og oppgave for å forutsi setningssammenheng. BERT etablerte et rammeverk for pretrening etterfulgt av finjustering på spesifikke oppgaver, noe som raskt ga ledende resultater i en rekke naturlig språk-behandlingsoppgaver.

Flere varianter i BERTfamilien adresserer forskjellige behov: RoBERTa forbedret treningsregimer ved å fjerne next-sentence-prediction og bruke større datasett; DistilBERT og TinyBERT fokuserer på modellkomprimering og distillasjon for raskere og mindre modeller; ALBERT introduserte parameterdeling og faktoriserte embedding for å redusere minnebruk; MobileBERT og andre optimaliseringer retter seg mot effektive kjøringer på mobile enheter. I tillegg finnes domene-spesifikke pretrente modeller som BioBERT og SciBERT, samt flerspråklige versjoner som mBERT.

BERTfamilien brukes bredt i oppgaver som spørsmålsbesvarelse, tekstklassifisering, navngitt enhetsgjenkjenning og semantisk søk. Modellene har drevet frem transfer learning i NLP, men har også begrensninger: høyt beregnings- og energibehov ved trening og inferens, faste maksimumssekvenslengder, samt svakheter knyttet til forsterkning av skjevheter i treningsdata og sårbarhet for visse typer angrep. Fortsatt forskning fokuserer på effektivisering, robusthet og etisk bruk.