Sanalähtöinen

Sanalähtöinen on suomalainen adjektiivi, jota käytetään kuvaamaan ilmiötä, menetelmää tai järjestelmää, joka perustuu sanoihin ja sanojen välisiin suhteisiin. Termiä käytetään erityisesti kielitieteessä ja luonnollisen kielen käsittelyssä sekä tekstin analysoinnissa sen sanatasolla sen sijaan, että keskityttäisiin yksittäisiin merkeihin, tavuihin tai rakenteisiin.

Kielitieteessä sanalähtöinen viittaa yleensä lähestymistapaan, jossa merkitykset ja rakenteet rakennetaan suurimmaksi osaksi sanojen kautta. Luonnollisen kielen käsittelyssä (NLP) sanalähtöiset mallit käsittelevät tekstiä sanoina eli tokenkeina. Edut ovat olennainen yhteys sanaston semantiikkaan, helpompi semanttinen tulkinta sekä ajoittain parempi suorituskyky perusluokittelutehtävissä. Haasteina ovat kuitenkin suurikokoiset sanastot, erityisesti morfologisesti rikkaassa kielessä kuten suomessa, sekä yleinen out-of-vocabulary -riski. Näiden ongelmien ratkaisemiseksi käytetään lemmatisaatiota tai stemmingiä sekä monipuolisia lähestymistapoja, joissa sanojen lisäksi tullaan hyödyntämään osasanoja tai morfologista analyysiä. Näin voidaan käsitellä erilaisten taivutusmuotojen kantamuotoja ja parantaa kattavuutta.

Sovelluskonteksteja ovat esimerkiksi hakukoneet, tekstiluokitus, konekäännökset ja kieliopillinen analyysi. Sanalähtöiset mallit tarjoavat suoran yhteyden sanojen merkitykseen ja käyttävät usein perinteisiä sanalistointeja sekä semanttisia ominaisuuksia. Nykyteknologiassa sanalähtöisiä menetelmiä täydentävät usein subword- tai morfologiset lähestymistavat, jotta järjestelmät voivat käsitellä sekä yleisiä että harvinaisia sanamuotoja tehokkaasti.