Mallivalintasyistä

Mallivalintasyistä on käsite, joka kuvaa tilannetta, jossa tilastollisia malleja valittaessa syntyvät tulokset riippuvat siitä, millä kriteereillä malli valittiin. Tämä eli mallivalinnan vaikutus voi johtaa siihen, että raportoidut vaikutukset, parametrit tai tilastolliset merkit ovat optimistisia, koska ne ovat tulleet esiin juuri valitseman mallin perusteella.

Käytännössä mallivalintasyyt voivat ilmetä, kun muuttujia valitaan useasta mahdollisesta regressorista havaintoihin perustuen siihen, millainen malli antaa parhaat tunnusluvut tai ennusteet. Tällöin p-arvot, luottamusvälit ja vaikutusarviot voivat olla harhaanjohtavia, ja tulokset eivät välttämättä siirry toiseen, uuteen datajoukkoon.

Vastaanotto ja ehkäisy: Tieteellinen käytäntö suosii suunnitelmallista lähestymistapaa, jossa mallivalintaan ja arviointiin käytetään erillisiä datajoukkoja tai sisäkkäisiä menetelmiä (nested cross-validation). Dataa voidaan jakaa niin, että malli valitaan koulutusosuudella, ja testausta varten on erillinen varmistusjoukko. Muita keinoja ovat pre-registrointi, mallien valinnan rajoittaminen ennaltaehkäisevästi, sekä post-selection inference -menetelmät, jotka huomioivat mallivalinnan vaikutukset tilastollisessa päättelussa. Mallien keskiarvostus (model averaging) voi vähentää yksittäiseen malliin liittyvää epävarmuutta.

Lisäksi käsite liittyy mallivalinnan jälkeiseen inferenssiin, data-snoopingiin ja mallivalinnan aiheuttamaan epävarmuuteen. Tutkimuksissa kerrotaan aina, millä tavalla mallit valittiin ja miten tuloksia on testattu riippumattomassa aineistossa.