Pretrening

Pretrening, eller pretraining, er en fase i maskinlæring hvor en modell trenes på store, generelle datasett før den finjusteres på en spesifikk oppgave. Hensikten er å lære brede representasjoner som kan overføres til flere oppgaver, noe som ofte gir bedre ytelse og reduserer behovet for omfattende merket data i nedstrømsoppgaver.

I ulike domener brukes forskjellige metoder. Innen natural language processing er selv-supervisert pretraining vanlig, for eksempel maskert språkmodellering eller neste ord-forventning. Innen datavisjon benyttes kontrastlæring eller rekonstruksjonsmål på store bilde-datasett. Multimodale tilnærminger lærer felles representasjoner over flere modaliteter som tekst, bilder eller lyd.

Arbeidsflyten består av en modellarkitektur, et stort pretrainingsdatasett og et tapsmål. Treningen er ofte beregningskrevende og krever betydelig maskinvare. Etter pretreningen finjusteres modellen på nedstrømsoppgaver med mindre datasett. Avanserte metoder som adapters eller prompt-tuning kan brukes for å bevare kunnskapen fra pretrainingen samtidig som man tilpasser seg oppgaven.

Fordeler inkluderer bedre generalisering, raskere konvergens og bedre ytelse ved databegrensning. Pretraining har drevet viktige fremskritt i språkmodeller (som BERT og GPT), i visjon (ViT) og i lyd- og multimodale modeller (wav2vec, CLIP).

Begrensninger og utfordringer omfatter høy beregningskostnad og miljøpåvirkning, risiko for at skjevheter i treningsdataet overføres til nedstrømsoppgaver, samt domeneavvik mellom pretraining og applikasjonen. Det er også spørsmål knyttet til personvern, lisensiering og datasikkerhet i brukerdata.