elfeldolgozást

Előfeldolgozás vagy előkészítő feldolgozás a nyers adatok olyan átalakításainak összessége, amelyeket a későbbi elemzés, modellezés vagy értelmezés igényel. Célja a zaj csökkentése, a hiányzó adatok pótlása, a skálázás és az egységesítés, valamint a kimeneti formátum egységesítése, hogy a további lépések megbízhatóan működjenek.

Az előfeldolgozás alkalmazási területei szélesek: gépi tanulás és adatelemzés, kép- és hangfeldolgozás, jel- és szenzoradatok feldolgozása, valamint a természetes nyelvfeldolgozás.

Általános technikák közé tartozik a hiányzó adatok pótlása, az adatok normalizálása vagy standardizálása, zajcsökkentés és szűrés, illetve a jellemzők kiválasztása vagy kódolása. Az adathalmaz típusától és a feladattól függően előfordulhat transzformáció, például logaritmikus transzformáció vagy dimenziócsökkentés. Bizonyos területeken domain-specifikus lépések is szükségesek: képeknél átméretezés, vágás és kontrasztkorrekció; természetes nyelv esetén tokenizálás, kisbetűsítés, lemmatizálás és stop szavak eltávolítása.

Fontos szempontok közé tartozik, hogy az előfeldolgozás reprodukálható legyen és dokumentált, a forrásadatok és a felhasznált módszerek nyomon követhetők legyenek, és kerüljük a tréning és kiértékelés közötti adatkeveredést. A túlzott vagy irreleváns előfeldolgozás információvesztést okozhat, és ronthatja a modell általánosítását. Gyakran ez egy iteratív folyamat, amely során az eredményeket értékelik és szükség esetén a folyamatot módosítják.