ristiinvalidaatiossa

Ristiinvalidaatio on tilastollinen uudelleenarvioinnin menetelmä, jolla arvioidaan mallin yleistymiskykyä uusiin havaintoihin. Aineisto jaetaan useisiin osiin (fold). Malli koulutetaan useimmiten kaikilla jakson osista lukuun ottamatta yhtä osiota, ja testataan sen suoritus kyseisellä testiosuudella. Tämä toistetaan, kunnes jokainen osio on toiminut testijoukkona. Lopullinen arviointi muodostetaan useiden testauksien tulosten keskiarvosta.

Yleisimmät variantit ovat k-fold ristivalidaatio, leave-one-out (LOO) -ristivalidaatio sekä stratified k-fold, jossa kullekin foldille pyritään säilyttämään vastaava luokkajakauma. Repeated k-fold toistaa saman jakamisen useita kertoja tukea tulosten vakaammuutta. Aikajärjestykseen sovellettavassa datassa käytetään estettyä tai lohko-ristivalidaatiota, joka säilyttää aikaintervaalin.

CV:tä käytetään mallin suorituskyvyn arviointiin, mallien vertailuun sekä hyperparametrien virittämiseen. Nested cross-validation mahdollistaa sekä parametrihausta että oikeanlaisen arvioinnin erottamisen. Tärkeitä huomioita ovat datan riippumattomuus ja identtinen jakautuminen; jos data ei ole IID tai ajallisesti järjestetty, perinteinen k-fold voi antaa harhaisia arvioita. Datan esikäsittelyn, kuten skaalaamisen tai ominaisuuksien valinnan, tulisi olla sisäisesti jokaisessa koulutusta varten, ettei tieto vuoda testijoukolle. Laskennallinen kustannus kasvaa fold- ja toistomäärän kasvaessa.

Ristiinvalidaatio tuottaa arvion yleiskäyttöiselle virheelle, kuten tarkkuudelle, RMSE:lle tai AUC-arvolle, riippuen käytettävästä mittarista. Se on keskeinen työkalu tilastollisessa mallintamisessa ja koneoppimisessa, jolla halutaan luotettava yleisnäkymä mallin suorituskyvystä.