dataskaalausmenetelmät

Dataskaalausmenetelmät ovat tekniikoita, joilla numeeriset ominaisuudet muutetaan samanlaiseen mittakaavaan, jotta koneoppimismallit oppivat helpommin ja optimoituminen on vakaampaa. Skaalaus ei yleensä muuta ominaisuuksien järjestystä tai niiden välisiä riippuvuuksia, vaan arvojen suuruutta ja jakautumista.

Yleisimmät menetelmät ovat min-max-skaalaus, jossa x' = (x - min) / (max - min) ja arvot rajoittuvat [0, 1]. Z-skorin standardointi määrittelee x' = (x - μ) / σ, jolloin ominaisuudet ovat keskimäärin nollia ja hajonta yksi. Robust-skaalaus käyttää mediaania ja IQR: x' = (x - median) / IQR, jolloin poikkeavat arvot vaikuttavat vähemmän. MaxAbs-skaalaus jakaa arvot suurimman todellisen absoluuttisen arvon mukaan, jolloin skaalat pysyvät lähellä nollaa ja ovat hyödyllisiä sparse-datassa. Unit norm -skaalaus, kuten L2-normalisointi, normalisoi kappaleen koon verran, esimerkiksi x'/||x||.

Kvantiilitransformaatiot, kuten QuantileTransformer, muuntavat jakauman halutuksi (esim. uniform tai Gaussian) säilyttäen ominaisuuksien järjestyksen. Power-transformit, kuten Box-Cox ja Yeo-Johnson, voivat muuttaa jakauman lähemmäs normaalijakaumaa, mikä voi parantaa mallin suorituskykyä tietyissä tilanteissa.

Käyttötilanteet ja käytännöt: gradienttivetoiset mallit ja etäisyyspohjaiset algoritmit hyötyvät yleensä skaalaamisesta, kun taas puu- ja pinomallit voivat olla vähemmän riippuvaisia siitä. Skaalaus tulisi sovittaa koulutusdatasta ja soveltaa johdonmukaisesti testidataan, esimerkiksi putoamatta tietovuotoon. Käytä pipelinea ja muistuta, että jotkin skaalaukset voivat hävittää sparsity-ominaisuuksia tai olla herkkiä poikkeaville arvoille. Categorical-ominaisuudet käsitellään erikseen, ja skaalauksella ei yleensä ole niiden arvojen suoraa merkitystä.