Datapuhdistus

Datapuhdistus on prosessi, jossa havainnoidaan ja korjataan datassa esiintyviä virheitä, puutteita ja epäjohdonmukaisuuksia. Tavoitteena on parantaa datan laatua, luotettavuutta ja soveltuvuutta analysointiin sekä päätöksentekoon.

Datapuhdistus kuuluu osana laajempaa datan valmistelua ja laadunvarmistusta. Siihen kuuluu virheellisen tiedon tunnistaminen, puutteiden korjaaminen tai poistaminen, sekä duplikaattien poistaminen ja arvojen standardointi sekä muuntaminen yhdenmukaisiin formaatteihin.

Yleisimpiä ongelmia ovat kadonneet arvot, toistuvat rivit, epäyhteensopivat tai virheelliset tunnisteet, virheellinen datatyyppi, kirjoitusvirheet sekä erilaiset mittayksiköt tai koodit.

Menetelmät jakautuvat sääntöihin pohjautuvaan validointiin, puuttuvien arvojen täyttöön (imputation), duplikaattien poistamiseen tai yhdistämiseen, arvojen standardisointiin sekä virheellisten arvojen korjaamiseen. Myös tilastollisia ja koneoppimiseen perustuvia menetelmiä voidaan käyttää sekä tiedon laatumittareiden seuraamiseen että rikastamiseen.

Työn kulku on usein iteratiivinen: arviointi, suunnittelu, puhdistus, validointi ja dokumentointi. Prosessin aikana tallennetaan muutoshistoria ja laadunmittareita sekä noudatetaan tietohallinnon periaatteita ja metadataa.

Käytettyjä työkaluja ovat ohjelmointikielet kuten SQL sekä Python (esim. pandas) ja R, sekä erilliset tietojen puhdistustyökalut ja ETL-paketit. Datan puhdistusta voidaan suorittaa sekä ennen että osana tietovarastointia ja analytiikkaputkistoja.

Datapuhdistuksen hyödyt ilmenevät paremmassa analyysien tarkkuudessa, eheydessä ja johdonmukaisuudessa sekä luotettavammassa päätöksenteossa, vaikka prosessissa on tärkeää huomioida alkuperä ja mahdollinen tietojen häviö.