Förträning

Förträning, eller pretraining, är en fas där en modell eller ett system utsätts för bred träning på stora mängder data innan den specialiseras genom finjustering mot en eller flera specifika uppgifter. Syftet är att lära generella representationer och funktioner som kan överföras till nya uppgifter med mindre domänspecifik data.

Typisk pipeline: samla in stort korpus, definiera en generisk uppgift (t.ex. självövervakad uppgift som masker i text eller kontrastiv inlärning), träna modellen i förträning, sedan finjustera på liten dataset för den specifika uppgiften. Förträningen ger bättre generalisering, snabbare konvergens och bättre dataeffektivitet men kräver stor beräkningskapacitet och risk för att lära in bias från data.

Vanliga språkmodeller förtränas via maskerad språkmodellering (BERT-liknande) eller autoregressiv modellering (GPT-liknande). I bild- och multimodala modeller används kontrastiv inlärning eller självövervakade uppgifter som att återställa transformatorrepresentationer. Efter förträningen finjusteras modellen på specifika uppgifter som frågesvar, översättning eller bildtextning.

Termen företräning återfinns mest i tekniska sammanhang som maskininlärning och artificiell intelligens; inom idrott och utbildning används i dagligt språk mer generella begrepp som uppbyggnads- eller grundträning.