Esiprosessointi

Esiprosessointi on esikäsittelyvaihe, jota käytetään ennen varsinaista analyysia tai mallintamista. Sen tavoitteena on parantaa aineiston laatua sekä muokata data sopivaksi seuraaville vaiheille, kuten tilastolliselle analyysille tai koneoppimiselle.

Tyypillisiä toimenpiteitä ovat puuttuvien arvojen käsittely, virheellisen tai epäluotettavan datan korjaaminen sekä poikkeavien arvojen tunnistus ja mahdollinen poistaminen. Datan normalisointi tai standardointi sekä mittayksiköiden harmonisointi ovat yleisiä. Kategoriset muuttujat usein koodataan esimerkiksi one-hot- tai label-koodauksella; tekstissä voidaan suorittaa tokenisointia, pienentämistä sekä stopwordien poistoa ja lemmatisaatiota. Kuvien ja signaalien esiprosessoinnissa käytetään koon tasauksia, suodatusta ja denoisingia sekä intensiteetin normaalisointia. Yleisesti esiprosessointi kohdistuu sekä datan laadun parantamiseen että ominaisuuksien valmisteluun.

Esiprosessointi on usein osa data science -putkea. Työkalut kuten scikit-learnin pipeline, Pandas ja NumPy auttavat toistettavuudessa ja eriyttämisessä opetukseen, validoimiseen ja testaukseen. On tärkeää huomioida mahdollinen data leakage ja varmistaa, että käsittely tapahtuu koulutus- ja testijoukoille erikseen sekä dokumentoida prosessi.

Esiprosessoinnin tarkoitus on parantaa mallien suorituskykyä sekä yleistettävyyttä ja vähentää melua datassa. Toteutustavat vaihtelevat datan tyypin mukaan, mutta yleinen tavoite on valmistella data kannattavasti etukäteen.

Sovelluskohteita ovat muun muassa terveydenhuolto, rahoitus, teollinen diagnostiikka sekä luonnollisen kielen käsittely ja kuvien/signaalien esiprosessointi.