malliarvio

Malliarvio on prosessi, jossa rakennettujen ennustemallien suorituskyky arvioidaan erillisellä datalla tai ennalta määritellyllä testausprotokollalla. Se kuuluu data-analyysiin, koneoppimiseen ja tilastolliseen mallintamiseen, ja sen tarkoituksena on mitata mallin tarkkuus, yleistettävyys sekä soveltuvuus käytäntöön. Malliarviointi kattaa sekä regressio- että luokittelutehtävät sekä todennäköisyyspohjaiset ennusteet.

Yleisimmät menetelmät ovat hold-out- testaus, jossa data jaetaan koulutus- ja testijoukkoihin, sekä ristiinvalidointi (k-fold, stratified k-fold), joka käyttää useita koulutus- ja validointijoukkoja. Bootstrapping on toinen lähestymistapa, jossa resamplingilla arvioidaan epätarkkuutta. Erityisesti aikasarjoissa käytetään aikasidonnaisia validointirakenteita, kuten walk-forward- tai backtesting-skenaarioita.

Merkittävät mittarit riippuvat tehtävätyypistä. Regression tapauksessa yleisiä ovat RMSE, MAE, MSE ja R-neliö. Luokittelussa käytetään tarkkuutta (accuracy), herkkyyttä (recall), tarkkuutta (precision), F1-pistettä sekä AUC-ROC-arvoa. Prototila- ja epävarmuusanalyyseja varten voidaan mitata log-loss tai Brierin pistettä sekä käyttää kalibrointidiagrammeja. Monimutkaisemmissa malleissa raportointi voi sisältää useita mittareita sekä epävarmuusestimaatteja (Esim. konfidenssivälinät).

Prosessi sisältää datan esikäsittelyn, koulutuksen, hyperparametrien hienosäädön, mallin valinnan ja lopullisen testauksen riippumattomalla testijoukolla. Tärkeitä huomioita ovat väärän tiedon vuotamisen (data leakage), ylioppiminen validointidatalle sekä epätasapainoiset luokat. Hyviä käytäntöjä ovat ennalta määritelty evaluaatiokäytäntö, useita metriikoita ja raportointi sekä toistettava tulosten varmennus.