yliooppiminen

Yliooppiminen on tilanne, jossa koneoppimismalli oppii liikaa koulutusdataan, mukaan lukien sen kohinan ja poikkeavuudet, ja menettää siten kykynsä yleistää uuteen, näkemättömään dataan. Tällöin malli esiintyy hyvänä koulutusdatan perusteella mutta suoritus heikkenee käytännön sovelluksissa.

Yliooppimisen tyypillisiä piirteitä ovat suuri virhe koulutusdatalla ja huomattavasti heikompi virhe uudella, erillisellä testi- tai validaatiodatalalla. Tämä ilmenee usein erisuureisissa malleissa, varsinkin kun mallin kapasiteetti on korkea suhteessa käytettävissä olevaan dataan, tai kun data sisältää kohinaa, poikkeavia arvoja tai tietävuotoa. Väärä tai epätyypillinen validointi voi johtaa harhaanjohtavaan vaikutelmaan mallin suorituskyvystä.

Syytekijöitä ovat muun muassa liiallinen mallin monimutkaisuus, liian pienet tai huonosti edustavat datamassat, kohina datassa sekä datavuoto eli kohdistamaton tieto sekä koulutus- ja testidatan sekoittuminen. Yliooppiminen on tiukasti sidoksissa bias-variance -vaihteluun ja voi ilmetä erityisesti tilanteissa, joissa mallin kapasiteetti ylittää saatavilla olevan informaation määrän.

Diagnosointi perustuu muun muassa oppimiskäyriin, joissa koulutuksen ja validaation suorituskyvyn välinen gap voi osoittaa yliooppimista, sekä virheroskeikkoihin, kuten suurta eroa koulutus- ja testitehtävien välillä. Yleisimmät torjuntakeinot ovat säännöllistäminen (L1-, L2-säännöllistäminen), varhainen pysäytys, dropout-neuroverkoissa, sekä yksinkertaisemman mallin käyttö. Myös enemmän dataa, data augmentaatiota sekä oikeaoppinen train-test-split voivat vähentää yliooppimista.