eeltöötlusel

Eeltöötlus on andmete töötlemise esimene etapp, mille eesmärk on valmistada algandmed analüüsiks või mudelite treenimiseks. See keskendub andmete kvaliteedi parandamisele ja sobiva vormi loomisele, et järgmised analüüsid oleksid usaldusväärsemad ja tulemuslikumad.

Eeltöötlus hõlmab tavaliselt: andmete puhastamist (vigade parandamine, valede kõrvaldamine), puuduvate väärtuste käsitlemist (asendamine või eemaldamine), normaliseerimist ja standardiseerimist, tunnuste kodeerimist ning andmete vormi muutmist (nt teisendamine, resampling). Näited: pilditöötluses mürasummutamine, kontrasti korrigeerimine ja piksli suuruse ühtlustamine; tekstis ühtlustamine, tokeniseerimine ja stopwordide eemaldamine; signaalitöötluses filtratsioon ja ajastusmuudatus.

Eeltöötlus on tihti osa masinõppe või andmeanalüüsi töövoost. Selle eesmärk on parandada kvaliteeti, tagada korduvus ning jagada andmed treening- ja testkogumiteks; tööriistade ja meetodite valik sõltub andmete tüübist ja eesmärgist.

Oluline on, et eeltöötlus suurendab analüüsi täpsust, kuid liigne töötlemine võib viia teabe kadumiseni või kallutatuseni. Seetõttu tuleb dokumenteerida kasutatud võtted ning tagada jälgitavus ja korduvus.