datavektoroinnin

Datavektoroinnin on prosessi, jossa erilaiset datalähteet muunnetaan numeerisiksi vektoreiksi siten, että ne soveltuvat koneoppimis- ja tilastolliseen analyysiin. Tavoitteena on säilyttää olennaiset rakenteet ja suhteet siten, että dataa voidaan vertailla, yhdistää ja syötää mallien koulutukseen. Vektorien laatu riippuu sekä datan luonteesta että valitusta reprezentaatio‑menetelmästä.

Erot datatyyppien vektoroinnissa liittyvät siihen, miten tekijät kuten kategoria, sana tai kuva ilmaistaan numeerisesti. Kategorisille muuttujille käytetään tyypillisesti one-hot‑enkoodia tai label-enkoodausta. Tekstiaineistossa suosittuja tekniikoita ovat vanhat sanaston pohjaiset menetelmät kuten bag-of-words ja TF‑IDF sekä nykyaikaiset sanapareihin ja kontekstiin perustuvat embeddings (esim. Word2Vec, GloVe, BERT). Kuvia varten voidaan käyttää konvoluutio­neuroverkkojen poimintoja tai perinteisiä piirteitä kuten HOG/SIFT. Aikasarjoille ja signaaleille sovelletaan ikkuna-analyysejä, Fourier- tai Wavelet‑muunnoksia. Yleisesti taustalla käytetään myös ulottuvuuden pienentämisstrategioita, kuten PCA tai SVD, sekä tilastollisia normalisointi- ja skaalausmenetelmiä.

Datavektoroinnin tarkoituksena on muuttaa dataan liittyvät ominaisuudet siten, että ne ovat käyttökelpoisia suorituskykyisten mallien syötteinä. Oikea vektorointi helpottaa luokittelua, regressiota, klusterointia sekä suositus- ja hakualgoritmeja. Eri vektorointimenetelmät vaikuttavat sekä mallin tulkittavuuteen että siihen, miten hyvin tietoja voidaan yhdistää ja verrata.

Haasteita ja harkittavia tekijöitä ovat muun muassa ulottuvuuden lisääntyminen, harvajen vektorien sparsity, datan laatu ja edustus, sekä valittujen piirteiden tulkittavuus. Lisäksi vektorointi voi vaikuttaa mallitulosten vinouksiin ja yleiseen suorituskykyyn, jos tietty data ei saa oikein edustavia piirteitä. Datavektorointi on usein iteratiivinen prosessi, jossa valitaan tehtävän mukaan sopivat ominaisuudet ja mahdollisesti yhdistetään useita reprezentaatioita.