imputointien

Imputointien (imputoinnin) käsite viittaa puuttuvien arvojen käsittelyyn tilastollisissa aineistoissa, jossa puuttuvat arvot korvataan muulla arvolla perustuen muuhun dataan ja mallinnukseen. Tavoitteena on säilyttää aineiston käyttökelpoisuus sekä minimoida puuttuvien arvojen aiheuttama harha tilastollisissa analyyseissa.

Yksi- imputointi vs moninkertainen imputointi. Yksi-imputoinnissa jokainen puuttuva arvo korvataan yhdellä arvolla, mikä voi johtaa ali- tai ylivaraniin ja virheellisiin päätelmiin. Moninkertainen imputointi tuottaa useita täydennettyjä aineistoja, analysoi ne erikseen ja yhdistää tulokset Rubin'in pooling-metodilla, ottaen huomioon sekä arvojen että epävarmuuden vaihtelun.

Yleisimmät imputointimenetelmät. Keskiarvo- tai mediaani-imputointi korvaa puuttuvan arvon aineiston keskiarvoilla tai mediaanilla. Regressioimputointi käyttää riippuvuuksia muiden muuttujien perusteella. Hot deck -imputointi perustuu vastaavien havaintojen arvoihin. K-nearest neighbor (kNN) -imputointi käyttää lähimpiä naapureita. EM-imputointi nojautuu estimaatioihin neljästä vaiheesta. Moninkertaisessa imputoinnissa yleisiä menetelmiä on MICE (multivariate imputation by chained equations).

Puuttuvuuden mekanismit ja vaikutukset. Puuttuvuus voi olla MCAR (poikkeukset kainalossa riippumaton arvoista), MAR (riippuu muista havaituista tiedoista) tai MNAR (riippuu puuttuvasta arvosta). Oikea valinta menetelmälle riippuu mekanismista. Imputointi voi parantaa tilastollista tehokkuutta, mutta virheellinen oletus voi johtaa systemaattisiin virheisiin; moninkertainen imputointi auttaa kuvaamaan epävarmuutta paremmin.

Käyttö ja ohjelmistot. R:ssä yleisiä pakkauksia ovat mice ja missForest; Pythonissa sklearn.impute ja fancyimpute. Myös useat tilastolliset ohjelmistot kuten Stata, SAS ja SPSS tarjoavat imputointityökaluja.