normalisointitekniikat

Normalisointitekniikat ovat tilastollisia ja laskennallisia menetelmiä, joiden tarkoituksena on muuttaa aineistoa vertailukelpoiseksi tai helpottaa mallien oppimista ja tulkintaa. Tyypillisesti ne vaikuttavat arvojen skalaukseen, jakaumaan tai ominaisuuksien esitystapaan siten, että eri muuttujat ovat yhteensopivia käytettävien algoritmien kanssa.

Keskeisiä ryhmiä ovat datan skaalaus ja standardointi sekä jakauman muokkaus. Min-max-skaalaus muuttaa arvot välille 0–1: x' = (x − min(x)) / (max(x) − min(x)). Z-skorin standardointi poistaa hajonnan ja keskittää jakauman nollaan: x' = (x − mean(x)) / std(x). Max-abs-skaalaus jakaa kaikki arvot suurimman itseisarvon mukaan. Robust scaling käyttää mediaania ja interkvartiiliväliä (IQR) herkkyyden vähentämiseksi poikkeavien arvojen suhteen. Vaihtoehtoisesti voidaan käyttää jakauman muokkausta kuten log- tai Box-Cox/Yeo-Johnson -transformaatioita muokkaamaan vinoutuneita jakaumia. Kvantiilistransformaatio ja muut rank- tai empiiriset muunnokset voivat tuottaa tasaisemman tai normaalimman jakauman.

Käytännössä normalisointia valitaan mallin ja tehtävän mukaan. Parametrit lasketaan usein vain koulutusaineistosta ja sovelletaan testiaineistoon (vähentäen tietovuotoa). Datan ominaisuuksia sekä etäisyydet ja metriikat on syytä harkita: joillekin malleille suurin etäisyysmitta on tärkeä, toisille korrelaatioon perustuvat mittarit. Normalisointitekniikat ovat yleisiä tämän lisäksi kuvankäsittelyssä ja puhe- tai tekstiaineistoissa, missä esimerkiksi pikseliarvot tai kaltevien ominaisuuksien mittauksia tasapainotetaan.