Dummykoodaus

Dummykoodaus on tilastotieteessä ja koneoppimisessa käytetty menetelmä, jolla kategoriset muuttujat muutetaan numeeriseksi muodoksi. Tässä menetelmässä jokaisesta kategorian tasosta luodaan binäärinen indikaattorimuuttuja, eli dummy, jonka arvo on 1 sen havainnon kohdalla, joka kuuluu kyseiseen kategoriaan, ja 0 muulloin.

Jos kategorioita on k, voidaan luoda enintään k dummy-muuttujaa. Usein käytetään k−1 muuttujaa, jolloin jätetään viitemuuttuja pois, jotta malli ei kohtaa täydellistä lineaarista riippuvuutta (dummy trap). Viitekategoriaa vastaan tulkitaan kunkin dummyn kertoimet; vaihtoehtoisesti voidaan käyttää muita koodauksia, kuten efektikoodaus.

Sovellukset: dummykoodaus mahdollistaa kategoristen tekijöiden käytön lineaarisissa ja logistisissa malleissa sekä monissa koneoppimisen algoritmeissa. Se säilyttää informaation kategorian olemassaolosta ilman oletusarvoista järjestystä ja estää vääristyneen numeerisen mittan. Yleisin muoto on one-hot encoding, jossa k kategoriasta muodostetaan k−1 tai k dummia riippuen kontekstista.

Haasteet: suurissa kardinaliteeteissa dummien määrä kasvaa nopeasti, mikä voi johtaa harvaan matriisiin ja suureen muistivaatimukseen; uuden, näkemättömän kategorian käsittely vaatii huolellista suunnittelua ja pitävyyttä koulutus- ja testidataan. Tavanomaisia ratkaisuja ovat jättää viitekategoria pois, käyttää lisäkoodauksia tai säilyttää konsistentti koodaus sekä koulutuksessa että tuotannossa.

Esimerkki: muuttuja väri, jonka arvot ovat punainen, sininen ja vihreä. Kun vihreä on viitekategoria, syntyvät muuttujat väri_punainen (1 punainen) ja väri_sininen (1 sininen); vihreä saa molemmat nollat.

Työkalut: Pythonin pandas get_dummies, scikit-learnin OneHotEncoder; R:n model.matrix tai vastaavat.