stemmerillä

Stemmerillä tarkoitetaan ohjelmistoa tai menetelmää, jolla sanojen taivutusmuotoja palautetaan niiden kantamuotoon tai juuriin. Tämän tarkoituksena on normalisoida sanasto siten, että saman sanan eri muodot voidaan käsitellä yhtenäisenä. Stemmerin avulla sanojen käsittelyyn voidaan soveltaa yhdenmukaista analyysiä esimerkiksi tekstin analysoinnissa, haussa tai suurten tekstimassojen käsittelyssä.

Käyttökohteita ovat lukuisia: hakukoneet, tekstin louhinta, informaation järjestäminen ja konekääntäminen. Kun sanojen taivutusmuodot palautetaan kantamuotoon, järjestelmä voi löytää useampia osumia ja tehostaa tilastollista analyysiä. Stemman haittoja ovat liiallinen aggressiivisuus (over-stemming), jolloin eri sanoja yhdistetään liian nopeasti, sekä under-stemming, jolloin oikean muodon löytäminen epäonnistuu.

Esimerkkejä yleisistä malleista ovat Porterin stemmeri ja Snowball-stemmeri. Kielikohtaisia ratkaisuja on kehitetty erityisesti morfologisesti rikkaiden kielten kuten suomen tarpeisiin. Suomelle on käytössä sekä yleisiä että kielen omaan taivutukseen sovitettuja stemmeriä.

Historiallisesti stemming kehittyi informaationhakemisen tarpeisiin 1960–1980-luvulla. Porterin algoritmi julkaistiin vuonna 1980, ja Snowball-projekti tarjosi laajemman, monikielisen pohjan 2000-luvulla. Nykyään monet kirjastot ja ohjelmointikielet sisältävät stemmeriasennuksia, joita voidaan yhdistää lemmatisaatioon tai morfologiseen analyysiin paremman tarkkuuden saavuttamiseksi.