normalizálása

Normalizálás vagy normalizáció olyan átalakítási folyamat, amely során egy adathalmazt, mérési értéket vagy adatstruktúrát egységes skálára vagy formára hozunk. A cél az összevethetőség és a konzisztencia növelése: a különböző forrásokból származó adatok könnyebben kerülnek összehasonlításra, és a későbbi számítások stabilabban futnak.

Az adatfeldolgozás és a gépi tanulás területén a normalizálást gyakran alkalmazzák, hogy a jellemzők értékei hasonló tartományba kerüljenek. Gyakori módszerek közé tartozik a min-max normalizálás (értékek [0, 1] közé húzása), a z-score szerinti standardizálás (átlag 0 és szórás 1), valamint a L2-normálás vagy egységvektor-normálás. A különbség: a standardizálás az adatok eloszlását, a normalizálás pedig a tartományt módosítja.

Az adatbázis-tervezésben a normalizálás célja a redundancia és a függőségek csökkentése úgy, hogy az adatok logikailag elkülönült táblákban legyenek, és a kapcsolatok kulcsokkal legyenek definiálva. Ennek megfelelően kialakulnak az 1NF, 2NF, 3NF (és néha BCNF, 4NF) normálformák. A normalizálás erősíti adatok integritását, de növeli a lekérdezések összetettségét és a szükséges összekapcsolások számát.

Szöveg- és nyelvfeldolgozásban a normalizálás magában foglalja a szöveg egységesítését: például kisbetűsítés, diakritikus jelek egységes kezelése, Unicode normalizálás, szóképzési egységesítés, stemming vagy lemmatizálás. A cél, hogy a különböző alakú kifejezések összehasonlíthatóak legyenek, és a feldolgozás könnyebbé váljon.

Fontos megfontolások: túlzott vagy helytelen normalizálás információvesztéshez vezethet, ezért a módszer kiválasztásakor figyelembe kell venni a feladat jellegét és az adatok tulajdonságait. A modell vagy elemzés kiértékelése segít megbizonyosodni arról, hogy a normalizálás javítja-e a teljesítményt anélkül, hogy lényeges információt veszítene.