eeltöötluses

Eeltöötlus ehk preprocessing on andmete, signaalide, piltide või teksti analüüsi ettevalmistav protsess, mille eesmärk on parandada sisendi kvaliteeti, vähendada müra ning standardiseerida vorm ja suurus. See etapp toimub enne peamist mudeldamist või klassifikatsiooni ning suurendab mudeli täpsust, kiirust ja stabiilsust.

Valdkondade lõikes jaguneb eeltöötlus tavaliselt andmete eeltöötluseks, pilditöötluseks ja loomuliku keele töötluseks (NLP).

Kõige levinumad sammud hõlmavad puuduvate väärtuste käsitlemist, vigade parandamist, andmete järjepidevuse tagamist, normaliseerimist ja skaleerimist, kategooriliste tunnuste kodeerimist ning sõltuvalt kontekstist ka vähendamist või tihendamist. Pilditöötluses kaasnevad müratöötlus, filtreerimine, kontrasti ja heleduse kohandamine, suuruse ühtlustamine ning värviruumide teisendamine. NLP-is tehakse teksti puhastamist, suur- ja väiketähtede ühtlustamist, stop sõnade eemaldamist, lemmatiseerimist või stemmerimist ning tokeniseerimist.

Õige eeltöötlus suurendab mudeli jõudlust ja generaliseeruvust, kuid liigne või sobimatu eeltöötlus võib põhjustada andmete kadumist või mudeli üle sobitumist. Seetõttu kasutatakse eeltöötlust järjepidevate ja dokumenteeritud protsessidena, sageli pipeline’ide kaudu.

Populaarsed tööriistad hõlmavad Pythonit koos pandas, NumPy ja scikit-learn, OpenCV pilditöötluseks ning spaCy või NLTK NLP jaoks.