Ristivalidoinnissa

Ristivalidoinnissa (cross-validation) on tilastollinen menetelmä, jolla arvioidaan mallin yleistymiskyky ja suorituskyky käyttämällä olemassa olevaa dataa ilman erillistä suurempaa testidataa. Tavoitteena on antaa luotettava arvio siitä, miten malli suoriutuisi uusilla, näkemättömillä havainnoilla. Menetelmää käytetään erityisesti mallin valinnan ja hyperparametrien säätämisen yhteydessä sekä yleisen virheen estimoinnissa.

Yleisimmät variantit ovat k-fold ristivalidointi ja Leave-One-Out-ristivalidointi (LOOCV). K-foldissa data jaetaan k yhtä suureen osaan. Jokaisessa iteraatiossa malli koulutetaan yhdellä k-1 osalla ja testataan jäljellä olevalla osalla; tulokset yhdistetään keskiarvoksi. Stratified-kfold varmistaa, että jokaisessa osassa säilyy havaintojen luokkien suhde, mikä on tärkeää luokkatasa-arvon kannalta. LOOCV taas käyttää jokaisen havainnon erikseen testinä, jolloin koulutusjoukko koostuu kaikista muista havainnoista. Stratified-LOOCV ja muut järjestelyt ovat saatavilla, kun data on epätasapainossa.

Nested cross-validation sisältää sisäisen ristivalidoinnin hyperparametrien optimointiin ja ulkoisen arvioinnin suorituskyvyn estimoimiseksi, mikä vähentää yliopetusharjan mahdollisuutta. Ristivalidointi auttaa välttämään tietovuotoa: tietojen yleistäminen on taattu vain koulutusvaiheessa tehtyjen esikäsittelyjen sisällä.

Suorituskykymittareita voivat olla tarkkuus, precisiolle recall, F1-pisteet sekä ROC-AUC. Ristivalidointia käytetään sekä pienissä että keskisuurissa datoissa ja se soveltuu erityisesti tilanteisiin, joissa erillisen testijoukon hankkiminen on haastavaa. Huomioitavaa on, että aikakausien tai sarjadata käytettäessä on noudatettava aikainen järjestys eikä satunnaista uudelleenjakamista.