eeltöötluse

Eeltöötlus ehk preprocessimine on andmete ettevalmistamise protsess enne põhianalüüsi või masinõppemudelite treenimist. Selle eesmärk on parandada andmete kvaliteeti, vähendada müra, ühtlustada vormingut ning suurendada analüüside või mudelite jõudlust ja järjepidevust.

Eeltöötlus hõlmab mitmesuguseid tegevusi sõltuvalt andmetüübist. Puuduvate väärtuste käsitlemine (imputation või andmete eemaldamine), vigade parandamine ja duplikaatide kõrvaldamine on üldised sammud. Andmete teisendamisel teostatakse skaleerimine ja normaliseerimine, kategorialsete muutujate kodeerimine (nt one-hot encoding) ning tekstide eeltöötlus (sisaldab sagedusanalüüsi, väikekirjas kirjutamist, lemmatization või stemming, stopwords’ide eemaldamine).

Kui andmed on pildid või helid, lisanduvad spetsiaalsed toimingud, nagu pildi suuruse muutmine, denoising, kontrasti või histogrammi ühtlustamine ning helifailide resampling ja mürakäsitlemine. Mõnel juhul viiakse läbi omaduste vähendamine (nt PCA) või dimensioonide vähendamise meetodid, et vähendada mudeli treenimiseks vajaliku teabe hulka.

Õigesti korraldatud eeltöötlus suurendab mudelite jõudlust, parandab tulemuste usaldusväärsust ja generaliseeruvust ning muudab erinevate andmestike võrreldavuse. Oluline on dokumenteerida töötlusstandardid ning luua korduvate protsesside jaoks automatiseeritud andmepipeline, mis tagab järjepidevuse ja korduvuse.