lemmatoinnissa

Lemmatoinnissa sanan taivutusmuodosta pyritään löytämään sen lemmaversio, eli sanakirjassa esiintyvä perusmuoto. Esimerkiksi taivutusmuodot kuten koirien, koirat ja koirilla palautetaan lemmaksi sana koira. Lemmatisointi on keskeinen vaihe luonnollisen kielen käsittelyssä (NLP), jossa tekstin semanttista ja syntaktista tulkintaa helpotetaan palauttamalla sanojen perusmuodot.

Eroa stemmingistä on usein korostettu: stemming on heuristinen, affiksien leikkaaminen ilman varmuutta siitä, mikä on oikea sanakirja-lemma. Lemmatisaatiossa käytetään kieliopillista tietoa ja sanakirjoja, jotta lopputuloksena on syntaktisesti ja semanttisesti kelvollinen perusmuoto. Tämä on erityisen tärkeää kielissä, joissa sanojen taivutus on monimutkaista ja sanan loput voivat johtaa useisiin mahdollisiin lemmiin.

Menetelmät lemmatoinnissa vaihtelevat sääntöihin ja sanakirjoihin perustuvista ratkaisuista tilastollisiin ja neuroverkkoihin pohjautuviin malleihin. Perinteiset järjestelmät yhdistävät morfologisen analyysin sanakirjatietoihin, kun taas modernit menetelmät voivat oppia yhteyksiä kontekstin perusteella suuresta tekstiaineistosta. Suomessa käytetään erityisesti suomalaisiin morfologisiin ominaisuuksiin suunniteltuja työkalupakkoja, kuten Omorfi ja Voikko.

Käyttötarkoitukset kattavat hakukoneet, tiedon louhinnan, konekäännökset sekä tekstianalyysin eri alueet. Lemmatisoinnin laatu riippuu kieli-, sane- ja sovelluskohtaisista vaatimuksista sekä käytetystä resurssista. Haasteita ovat monimutkainen taivutus, yhdyssanat ja nimekkeiden oikea lemman valinta.