selvsuperviserte

Selvsuperviserte læring, eller self-supervised learning, er en maskinlæringsparadigme der modeller trenes på umerkede data ved å løse oppgaver som genererer tilsynsignalene fra dataene selv. Målet er å lære informative representasjoner uten å kreve store mengder manuelt merkede eksempler.

Slik fungerer det: Modellen får et datapunkt og en forutbestemt oppgave (pretext-task), for eksempel å forutsi manglende deler, fargelegge et gråtonebilde, gjette omdreiningen av et bilde eller forutsi neste ord i en sekvens. Ved å løse disse oppgavene på store mengder umerkede data lærer modellen representasjoner som kan finjusteres for nedstrøms oppgaver som krever etiketter.

Historie og omfang: Tidlige arbeid innen ikke-supervisert representasjonslæring inkluderte autoencodere og prediksjon av signaler, mens moderne selvveiledet læring har fått sentral betydning innen språk, syn og lyd. Innen NLP brukes masker overvåking som pretekstoppgave, mens bildeoppgaver ofte involverer masker eller kontrastlæring. Metodene har blitt skalert og anvendt på mange datasett og multimodale settinger.

Fordeler: Reduserer avhengigheten av merkede data, utnytter store mengder umerket data og kan gi representasjoner som er bredt overførbare på tvers av oppgaver og domener. Dette kan forbedre datapunkt-effektivitet og innledende ytelse i nedstrøms oppgaver.

Begrensninger og utfordringer: Målet for pretext-oppgavene kan ikke alltid samsvare med nedstrøms mål, noe som kan kreve betydelig beregningskraft og nøye utforming. Det kan også føre til læring av korte eller skjeve representasjoner, og evaluering kan være mer kompleks enn for tradisjonelle supervised-tilnærminger.

Anvendelser: Forhåndstrening av representasjoner i naturlig språkbehandling, datamaskinsyn, tale og multimodale systemer, som deretter kan finjusteres på mindre merkede datasett.