esiprosessoinnilla

Esiprosessoinnilla tarkoitetaan toimenpiteiden kokonaisuutta, jota sovelletaan ennen varsinaista analyysiä tai mallinnusta. Tämän vaiheen tavoitteena on parantaa lopullisen tuloksen laatua sekä vähentää kohinaa, vinoumia ja epäyhtenäisyyksiä datassa tai signaalissa.

Data- ja koneoppimisessa esiprosessointi sisältää muun muassa puuttuvien arvojen käsittelyn, epäjohdonmukaisten arvojen korjaamisen tai poistamisen sekä duplikaattien poiston. Lisäksi tehdään normaalisointia tai standardisointia, ominaisuuksien skaalausta sekä kategoristen muuttujien koodausta. Datan jakaminen koulutus- ja testijoukkoihin sekä mahdollinen data-augmentaatio voivat kuulua prosessiin.

Kuvankäsittelyssä esiprosessointi voi sisältää koon yhdenmukaistamisen, väriprofiilin ja kontrastin säätämisen, kohinanpoiston sekä geometrian muutokset kuten rajauksen ja kiertämisen. Näillä toimenpiteillä pyritään tarjoamaan malleille tasainen ja ennustettava syöte.

Ääni- ja puheaineistojen sekä tekstiaineistojen esiprosessointi eroaa alakohtaisesti. Äänidatalla yleisiä askelia ovat näytteenottotaajuuden normalisointi ja kohinanpoisto sekä taajuusominaisuuksien, kuten MFCC-toteutusten, hakeminen. Tekstissä tyypillisiä vaiheita ovat tokenisointi, kirjainten ja sanojen normalisointi sekä stopwordien poisto.

Esiprosessoinnin tarkoitus on tukea luotettavaa ja tehokasta seuraavaa vaihetta. Liiallinen puhdistus voi kuitenkin poistaa arvokasta tietoa, ja prosessin dokumentointi sekä toistettavuus ovat tärkeitä.