Ristikkäisvalidaatiota

Ristikkäisvalidaatio, tunnetaan myös nimellä ristiinvalidaatio, on tilastollinen menetelmä, jota käytetään koneoppimismallien suorituskyvyn arviointiin ja varmistamiseen, että malli yleistyy hyvin uusille, ennen näkemättömille tiedoille. Sen sijaan, että data jaettaisiin vain yhteen koulutus- ja testijoukkoon, ristikkäisvalidaatio jakaa datan useisiin osiin tai "taitteisiin".

Yleisin ristikkäisvalidaation muoto on k-taitteinen ristikkäisvalidaatio (k-fold cross-validation). Tässä menetelmässä alkuperäinen datasetti jaetaan satunnaisesti k yhtä suureen osaan. Tämän jälkeen k kertaa suoritetaan seuraava prosessi: yksi osa käytetään testijoukkona ja loput k-1 osaa käytetään koulutusjoukkona. Lopuksi mallin suorituskyky mitataan jokaisessa iteraatiossa, ja näiden mittausten keskiarvoa käytetään mallin lopullisena suorituskykynä. Tämä auttaa vähentämään yksittäisen datajaon aiheuttamaa satunnaisuutta ja antaa luotettavamman arvion mallin kyvystä generalisoitua.

Ristikkäisvalidaatiota käytetään yleisesti mallin valinnassa ja hyperparametrien optimoinnissa. Se auttaa tunnistamaan ylisovituksen (overfitting) ja alisovituksen (underfitting) ongelmat. Esimerkiksi jos mallin suorituskyky on huono sekä koulutus- että testijoukoissa, se voi viitata alisovitukseen. Jos taas suorituskyky on erinomainen koulutusjoukossa mutta huono testijoukoissa, se on tyypillinen merkki ylisovituksesta.