Siirtooppimisen

Siirtooppiminen on koneoppimisen lähestymistapa, jossa tietämystä siirretään yhdestä tehtävästä tai datasta toiseen. Sen tavoite on parantaa kohdefunktioiden oppimista tai vähentää tarvetta suurelle määrälabeloituja aineistoja kohdedatalla. Siirtöoppiminen hyödyntää usein aiemmin opittua kaavaa tai taitoa, jota voidaan soveltaa uudessa, mutta jossain määrin erilaisessa tehtävässä.

Käytännössä siirtooppiminen tarvitsee tyypillisesti määritelmän lähde- ja kohdeympäristöistä sekä niiden tehtävistä. Yleensä kyseessä on kohde, jossa on vähän labeled-dataa, tai jossa laskennallinen kustannus rajoittaa koulutusta. Siirtooppiminen jaetaan useisiin alagenreihin: induktiivinen siirtäminen, jossa kohdetehtävä eroaa lähdetehtävästä mutta dataa voidaan labeloida; transduktiivinen siirtäminen, jossa tehtävä on sama mutta havaintodistobusket/datasetit poikkeavat; sekä unsupervised siirtöoppiminen, jossa kohdedatassa ei ole ollenkaan laatukäyttöön soveltuvia label-tietoja.

Tyypillisiä lähestymistapoja ovat pre-trainatut mallit, jotka on esikoulutettu suurilla aineistoilla ja hienosäädetty kohdefunktioihin (fine-tuning) tai toimintoja käyttävät tekniikat kuten feature extraction, sopeutuvat adapterit sekä promptsäädöt kielimallien yhteydessä. Esimerkkejä sovelluksista: tietokonegrafiikka ja kuvanluokitus voi hyödyntää ImageNetissä esikoulutettuja malleja pienillä kohdedatalla; luonnollisen kielen käsittelyssä suuria kielimalleja hienosäädetään spesifisiin tehtäviin kuten sentimenttianalyysiin.

Hyödyt ja rajoitteet: siirtöoppiminen voi olla data- ja laskennallisesti tehokasta, ja se voi parantaa suorituskykyä pienilläkin kohdedatoilla. Riskejä ovat negatiivinen siirtöppiminen ja kohdedatan jakauman muutos, sekä mahdolliset eettiset ja bias-teemaiset vaikutukset esikoulutetun mallin kautta.