Onehotkoodaus

Onehotkoodaus, englanniksi one-hot encoding, on tilastollisessa ja koneoppimisessa käytetty menetelmä kategoristen muuttujien muuntamiseksi numeeriseksi dataksi. Jokaiselle muuttujan mahdolliselle arvolle luodaan oma binäärinen ominaisuutensa, joka on 1 silloin kun havainto kuuluu kyseiseen arvoon ja 0 muussa tapauksessa. Menetelmä mahdollistaa sen, että kategorioiden välillä ei oleteta järjestystä tai etäisyyksiä.

Esimerkki: Väriarvot {punainen, vihreä, sininen}. One-hot-vasteet ovat punainen -> [1,0,0], vihreä -> [0,1,0], sininen -> [0,0,1]. Kun kategorioita on useampia, vektorin pituus vastaa kategorioiden lukumäärää. Tällaiset vektorit tallennetaan usein harvassa muodossa suurissa datasetissä, jotta muistia säästetään.

Käyttö ja huomiot: Onehotkoodausta käytetään yleisesti, kun malli tarvitsee numeerista syötettä, kuten useissa tilastollisissa malleissa ja monissa neuroverkkoarkkitehtuureissa. Se soveltuu hyvin pienille ja keskisuurille kategoriamäärille, mutta korkea kardinaliteetti johtaa erittäin pitkäihin, harvoihin vektoreihin ja voi kasvattaa laskennan kustannuksia sekä vaikeuttaa mallin oppimista. Lisäksi, jos vektori lisätään regressiomalliin interceptin kanssa, voi syntyä tilanne, jota kutsutaan dummy-variabelitehtaaksi; tämän välttämiseksi voidaan jättää pois yksi kategoria.

Sovellukset ja kehitys: Perinteisesti onehotkoodausta käytettiin laajasti luonnollisen kielen prosessoinnissa (bag-of-words -tyylisissä esityksissä). Nykyään suurissa sanastoissa käytetään usein tiiviimpiä upottamisia (embeddings), jotka tiivistävät informaation pienempään, jatkuvaan avaruutta. Silti onehot voi olla käyttökelpoinen perusvaihe tai malleissa, joissa läpinävyys ja yksittäisten kategoria-arvojen erottuvuus ovat tarpeen.