selvsuperviserte
Selvsuperviserte læring, eller self-supervised learning, er en maskinlæringsparadigme der modeller trenes på umerkede data ved å løse oppgaver som genererer tilsynsignalene fra dataene selv. Målet er å lære informative representasjoner uten å kreve store mengder manuelt merkede eksempler.
Slik fungerer det: Modellen får et datapunkt og en forutbestemt oppgave (pretext-task), for eksempel å forutsi
Historie og omfang: Tidlige arbeid innen ikke-supervisert representasjonslæring inkluderte autoencodere og prediksjon av signaler, mens moderne
Fordeler: Reduserer avhengigheten av merkede data, utnytter store mengder umerket data og kan gi representasjoner som
Begrensninger og utfordringer: Målet for pretext-oppgavene kan ikke alltid samsvare med nedstrøms mål, noe som kan
Anvendelser: Forhåndstrening av representasjoner i naturlig språkbehandling, datamaskinsyn, tale og multimodale systemer, som deretter kan finjusteres