validointidataa

Validointidata on dataa, jota käytetään mallin suorituskyvyn arviointiin koulutuksen aikana. Sen tarkoituksena on antaa epäriippumaton arvio siitä, kuinka hyvin malli yleistyy opetettuun dataan. Validointidataa voidaan hyödyntää hyperparametrien säätöön sekä mallin valintaan ennen lopullista testausvaihetta.

Yleisiä lähestymistapoja ovat hold-out- validointi, jossa data erotetaan erikseen koulutus- ja validointiskennöön, sekä k-fold- tai stratified cross-validation, jossa data jaetaan useisiin osioihin ja malli arvioidaan useaan kertaan. Erityisissä tapauksissa kuten ajo- tai aikadatasiin liittyvissä ongelmissa voidaan käyttää erityyppisiä menetelmiä, kuten rolling-origin- tai pragmatisia menetelmiä. Early stopping -menetelmät hyödyntävät validointidataa koulutuksen aikana pysäyttämään oppimisen, kun suorituskyky ei enää parane.

Käyttöä suunniteltaessa on tärkeää välttää datavuotoa: validointidata ei saa sisältää tietoja, joita mallin pitäisi oppia koulutuksesta, eikä dataa saa valita ominaisuuksien perusteella käyttäen tietoja, joita käytetään myöhemmin päätöksenteossa. Dataa saatetaan lisäksi jakaa siten, että sen jakaumat pysyvät edustavina ja että aikajärjestykset huomioidaan oikein.

Metrikat validointiin voivat olla tarkkuus, F1-piste, ROC-AUC, RMSE tai muut soveltuvat mittarit riippuen ongelmasta. Tulosten dokumentointi ja toistettavuus ovat olennaisia, samoin yksityisyyden ja tietosuojan huomioiminen sekä puitteet, joiden puitteissa validointia käytetään mallin kehityksessä ja vertailussa.