normalisointimenetelmien

Normalisointimenetelmien tarkoituksena on muuttaa muuttujien mittakaavat vertailukelpoisiksi, jotta data soveltuu paremmin tilastolliseen analyysiin sekä koneoppimismalleihin. Ilman asianmukaista skaalautumista erilaiset ominaisuudet voivat vaikuttaa mallien oppimiseen epätasaisesti, erityisesti etäisyyksiin ja lineaarisuuteen perustuvissa menetelmissä.

Yleisimmät lähestymistavat ovat min-max-normalisointi, standardisointi ja robust scaling. Min-max-normalisoinnissa uusi arvo on x' = (x − min(X)) / (max(X) − min(X)), jolloin arvot ovat väliltä 0–1. Standardisoinnissa x' = (x − μ)/σ, jossa ominaisuudet päätellään keskiarvon ja hajonnan mukaan. Robust scaling käyttää mediaania ja IQR: x' = (x − median(X)) / IQR(X), jolloin poikkeavat arvot vaikuttavat vähemmän.

Laajemmasta muunnosvalikoimasta löytyvät logaritmimuunnokset sekä muunnokset Box-Cox ja Yeo-Johnson. Box-Cox on tarkoitettu positiivisille arvoille; Yeo-Johnson laajentaa tämän myös ei-positiivisiin arvoihin. Kvantile- tai rank-normalisointi muuntaa arvot vastaamaan tietyn jakauman kuviota ja säilyttää järjestyksen.

Käyttö ja valinta riippuvat datan ominaisuuksista ja mallin vaatimuksista. Monissa tapauksissa tasaisesti skaalatut ominaisuudet parantavat konvergenssia ja tulosten tulkittavuutta. On hyvä huomioida, että tietyt menetelmät ovat herkkiä poikkeaville arvoille (esimerkiksi min-max) tai vaativat positiivisia arvoja (Box-Cox). Muunnokset tulisi toteuttaa koulutus- ja testijoukkoihin samalla tavalla, ja parametrit kannattaa tallentaa uutta dataa varten.