imputaatiot

Imputaatiot, tai imputaatio, ovat tilastollisia menetelmiä puuttuvien arvojen korvaamiseksi datamassassa ennen analyysia. Tavoitteena on säilyttää näytteiden koko, estää systemaattinen harha ja parantaa estimointien tarkkuutta. Puuttuvien arvojen syntymekanismia ei aina tiedetä, mutta yleisimmin puuttuvuus voidaan ajatella MCAR-, MAR- tai MNAR-mekanismin alaisuuteen; imputaatio-oletukset voivat tässä vaikuttaa tuloksiin.

Yleisimmät lähestymistavat voidaan jakaa yksinkertaisiin ja kehittyneempiin menetelmiin. Yksinkertaiset täytöt korvaavat puuttuvan arvon yhdellä tilastollisella luvulla, kuten keskiarvolla, mediaanilla tai modaattorilla. Kehittyneemmät menetelmät käyttävät yhteyksiä muiden muuttujien kanssa, esimerkiksi regressioimputation, k-nearest neighbors -imputaatio tai hot deck -menetelmät.

Monimutkaisemmassa viitekehyksessä käytetään monikimputaatioa (multiple imputation, MI), jossa luodaan useita epävarmuutta kuvaavia täydennysdatasettejä. Jokaisessa datasetissä arvoja täydennetään hiukan eri tavalla, analyysit yhdistetään jälkeen Rubin’s rulesin avulla. MI huomioi epävarmuuden puuttuvien arvojen vuoksi ja yleensä johtaa parempiin luottamusväleihin kuin yksittäinen täyttö.

Imputaatiot ovat yleisiä lääketieteessä, taloudessa ja yhteiskuntatieteissä, missä puuttuvat tiedot voivat olla yleisiä. Riskit liittyvät siihen, että valittu imputaatio-malli ei vastaa todellista mekanismia, mikä voi johtaa harhaanjohtaviin tuloksiin. Siksi on suositeltavaa dokumentoida puuttuvuuden mekanismi, testata useita imputaatio-menetelmiä ja suorittaa sensitiivisyysanalyysi.

Suositut työkalut: R:n packages kuten mice, missForest ja Amelia sekä Pythonin kirjastot kuten scikit-learnin IterativeImputer tai SimpleImputer, sekä erikoistuneemmat työkalut.