validointijoukkoa

Validointijoukko on koneoppimisessa käytettävä datajoukko, joka erotetaan koulutusjoukosta (treenaukseen käytetty data) sekä testijoukosta (lopulliseen arviointiin tarkoitettu data). Sen tehtävänä on antaa riippumaton arvio mallin suorituskyvystä sekä mahdollistaa hyperparametrien säätö ja malli- tai konfiguraation valinta ennen lopullista testausta.

Validointijoukon tarkoitus on tukea mallin yleistyvyyden arviointia. Kun malli opetetaan eri parametriseteillä ja arvoidaan niiden suorituskykyä validointijoukolla, voidaan valita parhaiten tai optimaalisesti toimiva konfiguraatio ja estää ylikoulutusta koulutusdataan. Erityisesti se toimii apuna seuraavissa tehtävissä: hyperparametrien säätö, mallin valinta useamman ehdotuksen välillä sekä seuranta opetuksen aikana (esim. varhainen pysäytys, early stopping).

Käyttötavat vaihtelevat. Yleinen lähestymistapa on hold-out -jako, jossa osa datasta varataan validointikäyttöön. Toisinaan käytetään K-kertaista ristiinvalidointia (K-fold cross-validation), jolloin useita validointijoukkoja vuorottelee ja tulokset yhdistetään. Monimutkaisemmissa asetuksissa, kuten hyperparametrien sisäisessä optimoinnissa, sovelletaan nested cross-validationa, jotta estetään tietojen vuotaminen.

Rakenteellisesti validointijoukko tulisi olla edustava sekä sen koko vastuullinen: sen tulisi säilyttää luokkien jakauma, eikä sitä tulisi käyttää lopulliseen testaukseen. Vaarana on optimistinen arvio, jos validointia käytetään liikaa tai huijaavasti. Aikadatan tapauksissa tulisi noudattaa oikeaa aikajärjestystä, esimerkiksi walk-forward- tai jatkuvaa validointia, jotta arviot heijastavat tulevan datan suorituskykyä oikein.

Validointijoukko eroaa testijoukosta: testijoukko arvioi lopullisen yleiskäytännön suorituskyvyn, kun malli on vakioitu valinnan jälkeen. Ylläpidossa validointijoukko on väliaikainen arviointityökalu koulutuksen aikana.