Ristivalidointia

Ristivalidointi on tilastollinen arviointimenetelmä, jossa aineisto jaetaan useisiin osiin ja mallin yleistyvyys testataan näiden osien avulla. Sen tarkoituksena on arvioida, miten hyvin malli suoriutuu tuntemattomilla havainnoilla ja välttää liiallista sopeutumista pienelle datamäärälle.

Tyypillisiä lähestymistapoja ovat k-fold-ristivalidointi, jossa data jaetaan k yhtä suureen osioon ja mallia testataan toistuvasti käyttämällä k-1 osiota harjoitteluun ja yhtä osiota testaukseen; sekä leave-one-out-ristivalidointi (LOOCV), jossa jokainen havainto testataan erikseen. Stratified-k-fold jakaa dataa luokkien suhteiden säilyttäen, mikä on hyödyllistä epätasapainoisissa luokkatapauksissa.

Ristivalidoinnissa on tyypilliset vaiheet: jakaminen k foldiin, mallin opettaminen k-1 osiosta ja arviointi jätetyllä osiosta, toistaminen kaikille osiolle ja tulosten yhteenvedon tekeminen keskiarvolla tai mediaanilla. Tämä antaa vakaamman estimaatin mallin yleistyvyydestä kuin yksittäinen train-test-split.

Harjoittelussa on syytä välttää datalekkeriä, jotka aiheuttavat tiedon vuotamista koulutuksen ja testauksen välillä. Puutteelliset datan jakotavat, hyperparametrien optimointi koko datalla sekä liian pienet otosmäärät voivat vääristää tuloksia. Aikajärjestyksestä riippuvaisia aineistoja varten on suositeltavaa käyttää aikaperusteista ristiivalidointia tai rolling-origin-tyyppisiä menetelmiä.

Ristivalidointi on yleinen työkalu mallin valinnassa, hyperparametrien säätämisessä ja yleistymisominaisuuksien arvioinnissa erilaisissa tehtävissä, kuten luokittelussa, regresiossa ja riskinarvioinnissa.