Datanormalisering

Datanormalisering betegner processer der bringer data til et fælles format eller struktur for bedre sammenligning, vedligeholdelse og analyse. Begrebet bruges i to tilgange: database-normalisering, der fokuserer på databasens struktur og integritet, og dataforbehandling i statistik og maskinlæring, der justerer dataværdier til sammenlignelige skalaer.

I databasesammenhæng indebærer normalisering at reducere redundant data og forebygge anomali ved at opdele data i mindre tabeller og definere relationer gennem primære og fremmednøgler. Databasens normalisering følger normalt normalformer (1NF, 2NF, 3NF, BCNF). Målet er at eliminere opdaterings-, indsætnings- og sletteproblemer ved at sikre, at ikke-nøgleværdier er afhængige af nøgle og ikke af hinanden. Processen består i at opdele tabeller, definere relationer og indføre constraints. I praksis kan høj normalisering medføre flere joins og påvirket ydeevne; derfor anvendes ofte denormalisering i performancekritiske applikationer.

I dataforbehandling for maskinlæring og statistik betyder normalisering at ændre data til en ensartet skala uden at ændre deres relative forhold. Almindelige metoder er min-max-normalisering (skala 0-1), z-score standardisering (middelværdi 0, standardafvigelse 1) og robust scaling (median og interkvartilafstand). Disse metoder anvendes når algoritmer er følsomme over for forskellig skala, f.eks. k-nearest neighbours, klyngeanalyse, SVM og gradientnedstigning. Det er vigtigt at bevare referencen til transformationsparametre, som fittet på træningsdata og anvendes på testdata.

Overordnet er datanormalisering et vigtigt værktøj for at sikre konsistens, sammenlignelighed og effektivitet i både lagring og analyse. Valg af metode afhænger af dataenes egenskaber og anvendelsen; i nogle tilfælde er skala ikke nødvendig. Sideløbende med normalisering bør man vurdere datakvalitet og dokumentere transformationerne for reproducerbarhed.