Forudtræning

Forudtræning er en fase i maskinlæring og kunstig intelligens, hvor en model trænes på et omfattende generelt datasæt forud for tilpasning til en specifik opgave. Formålet er at lære generelle repræsentationer og funktioner, som kan overføres til en bred vifte af downstream-opgaver og dermed forbedre ydeevne og dataeffektivitet ved finjustering.

Typiske metoder til forudtræning er selvsupervised eller unsupervised tilgange, hvor der ikke kræves mærkede data. I natur­sprogsbehandling er eksempler på objekter som maskeret sprogforudsigelse eller næste ord-forudsigelse, mens billedbehandling ofte anvender kontrastive eller generative opgaver. Store multimodale modeller kombinerer ofte tekst, billeder eller lyd. Efter forudtræningen finjusteres modellen på et mindre mærket datasæt til den konkrete opgave, og der kan anvendes teknikker som adaptere eller prompt-tuning for at tilpasse uden at ændre hele modellens vægte.

Fordelene ved forudtræning inkluderer forbedret generalisering og hurtigere læring i opgaver med begrænsede data, samt bedre overførselsmuligheder til relaterede opgaver. Udfordringerne omfatter betydelige beregningskrav, behov for store og højkvalitetsdatamængder samt risiko for at forstærke eksisterende skævheder i træningsdata. Evaluering af forudtrænede modeller sker normalt gennem resultater på standard downstream-benchmarks og reelle anvendelsestests.