lemmatizációval

Lemmatizációval a szövegfeldolgozásban a szavak ragozott vagy képzett alakjait visszavezetik az alapformájukra, a lemma-ra. A lemma a szó szótári formája, amelyhez kapcsolódóan összefogható a többi alak. A lemmatizáció célja a normalizálás: egy szó minden alakja egyetlen lemma-hoz tartozik, így javul a keresés és a nyelvi elemzés hatékonysága.

Az eljáráshoz morfológiai elemzés, gyakran szófaji címkézés és egy lexikon szükséges. A folyamat lehet szabályalapú, szótár-központú vagy statisztikai/machine-learning alapú, gyakran hibrid megközelítés. A disambiguáció, azaz hogy egy formához melyik lemma tartozik, kulcsfontosságú része a rendszernek.

Különösen nehéz sokragozó nyelveknél, mint a magyar, ahol a többértelmű alakok és komplex képzők miatt a helyes lemma kiválasztása kontextust igényel. Mindazonáltal a lemmatizáció alapvető eszköz a természetes nyelvfeldolgozásban, és széles körben alkalmazzák információkeresésben, szövegbányászatban, gépi fordításban és kérdés-válasz rendszerek előfeldolgozásában.

Példák: a „futott” lemma-ja lehet „futni”, a „kutyák” lemma-ja „kutya”.