stemmingiä

Stemmingiä, eli stemmingointia, on luonnollisen kielen käsittelyn menetelmä, jossa sanojen taivutus- ja johdostunnisteet pyritään poistamaan tai palauttamaan samaan perusmuotoon. Näin eri muodoissa esiintyvät samaan sanaperheeseen kuuluvat sanat voidaan käsitellä yhtenä kokonaisuutena. Stemmointi on keskeinen osa tiedonhakua, tekstin louhintaa ja esikäsittelyä suurissa tekstikokoelmissa, koska se pienentää sanalistojen hajontaa. Toisaalta se voi heikentää sanan tarkkaa merkitystä ja johtaa virheisiin esimerkiksi over-stemmingin tai under-stemmingin seurauksena.

Stemmingiä toteutetaan eri tavoin: sääntöihin perustuvilla stemmerillä (esim. Porter- ja Snowball-tyyppiset stemmerit) sekä kevyemmillä ratkaisuilla, jotka poistavat vain yleisimmät päätteet. Toisaalta lemmatisaatio palauttaa sanan sanakirjamuotoon (lemma) ja on yleensä tarkempi, mutta vaatii sanakirjan tai kielimallin. Stemming ja lemmatisaatio ovat erillisiä lähestymistapoja, joita voidaan käyttää yhdessä tai erikseen.

Suomen kieli asettaa erityisiä haasteita, koska se on agglutinatiivinen ja muodostaa pitkiä taivutus- ja johdannaismotoja. Kielikohtaiset stemmerit, kuten Snowball-projektin Finnish-stemmeri, tarjoavat ratkaisuja, mutta usein käytetään lemmasointia tai kombinaatiota sekä stemming-toimintoja että lemmatisaatiota minimikohtaisten virheiden vähentämiseksi.

Käyttökohteita ovat hakukoneet, tekstin analyysi ja tiedonlouhinta, joissa stemming voi parantaa hakutulosten kattavuutta, mutta saattaa alentaa tarkkuutta. Esimerkkejä työkaluista: NLTK:n SnowballStemmer tukee suomen kieltä; spaCy painottaa lemmasointia kielimalleilla; monissa kirjastoissa on sekä stemming- että lemmatisaatio-ominaisuuksia.