stemmingtoimintoja

Stemmingtoimintoja tarkoitetaan sanojen muodon normalisointia siten, että taivutus- ja johdannaismutoja poistetaan ja sanat palautuvat yleisimpään stemmiinsä. Tavoitteena on vähentää sananmuotojen variaatiota ja helpottaa tekstin käsittelyä, kuten tiedonhakua ja tilastollista analyysiä.

Toimintamuodot jakautuvat sääntöihin perustuviiin stemmeriin ja algoritmisiin ratkaisuihin. Sääntöperusteiset stemmerit soveltavat kielikohtaisia taivutuskaavoja, kun taas Snowball-tyyppiset stemmerit ja muut algoritmiperusteiset mallit hyödyntävät ennalta määriteltyjä sääntöjä sekä tilastollisia malleja. Suomen kielen stemmerit on suunniteltu huomioimaan agglutinaation sekä pitkien yhdyssanojen taipuvaisuutta, mikä asettaa haasteita stemmerin tarkkuudelle. Tästä johtuu usein over-stemming (liiallinen yhdisteleminen) tai under-stemming (liian pieni yhdisteleminen).

Stemming on yleisesti osa luonnollisen kielen käsittelyn (NLP) putkea ja sitä käytetään esimerkiksi hakukoneissa sekä tekstin louhinnassa. Sillä voidaan parantaa hakutulosten kattavuutta, mutta se ei aina säilytä semanttista tarkkuutta. Lemmatointi on vaihtoehto, joka palauttaa sanoja sanakirjamuotoon ja voi tarjota tarkemman semanttisen yhteenkuuluvuuden.

Stemmingtoimintoja kehitetään kielikohtaisesti, ja niiden käyttö riippuu sovelluksesta sekä halutusta tiivistämis- ja tarkkuustasosta.