sanavektoroinnin

Sanavektorointi tarkoittaa tekstin muuntamista numeerisiksi vektoreiksi siten, että sanojen ja lauseiden semanttinen sekä syntaktinen merkitys voidaan kuvata matemaattisesti. Tämä mahdollistaa koneille tehtäviä, kuten sanayhteyksien mittaamisen, tekstin luokittelun sekä informaatiohakua. Hyvin koulutetut vektorit mittaavat sanojen välisiä suhteita siten, että saman merkityksen sanat ovat lähellä toisiaan ja erilaiset sanat erossa.

Perinteisiä menetelmiä ovat bag-of-words ja TF‑IDF, joissa sanoja edustetaan suurikokoisina, harvoin esiintyvinä vektoreina tai niiden painotettuina tilastoina. Näiden rajoituksia ovat korkeahintaisten, harvoin täytettyjen vektorien vaikea käsiteltävyys ja kontekstin puute. Kehityksen edetessä on kehitetty tiheämpiä sanavektoreita, kuten Word2Vec (CBOW ja Skip-gram), GloVe ja FastText. FastText hyödyntää myös sanan morfologiaa, mikä parantaa harvinaisempien sanojen käsittelyä. Viime aikoina kontekstuaaliset vektoroinnit, kuten ELMo, BERT ja muut transformer-mallit, antavat sanoille merkityksiä, jotka riippuvat niiden kontekstista lauseessa tai dokumentissa.

Käyttökohteita ovat muun muassa hakujärjestelmien tarkkuuden parantaminen, tekstin luokittelu, käännökset, tiedon louhinta sekä suurten kielimallien sisäisen tilan ymmärtäminen. Vektorien etäisyyksiä ja suuruutta voidaan käyttää sanayhdistelmien ja teemojen havaitsemiseen sekä dokumenttien klusterointiin. Oikeanlaisen vektorisoinnin valinta riippuu käyttötapauksesta, datasta ja resursseista.

Haasteita ovat sanojen moniselitteisyys, vaihtelevat kielet ja kulttuuriset kontekstit, sekä riippuvuus koulutusdatasta aiheuttamien vinoumien ja virheiden mahdollisuus. Lisäksi suurten vektorimaailmojen opettaminen ja tallentaminen kuluttavat muistia ja prosessointia, mikä asettaa käytännön rajoituksia erityisesti pienemmille järjestelmille.