Lemmatizácia

Lemmatizácia je proces v spracovaní prirodzeného jazyka, ktorý redukuje ohnuté alebo inak odvodené formy slov na ich základný tvar, známy ako lemma. Napríklad slová "bežím", "bežal" a "beží" by boli všetky lemmatizované na slovo "bežať". Podobne slová ako "knihy" a "kniha" by sa zredukovali na "kniha". Cieľom lemmatizácie je normalizovať slová tak, aby ich bolo možné analyzovať a porovnávať konzistentne.

Na rozdiel od tzv. stemmingu, ktorý často jednoducho odrezáva koncovky slov, lemmatizácia využíva slovníkovú znalosť a morfologickú analýzu na určenie správnej lemy. To znamená, že lemmatizácia je presnejšia, pretože zohľadňuje kontext a význam slova. Napríklad, stemming by mohol nesprávne zredukovať slovo "meeting" (stretnutie) na "meet" (stretnúť sa), čo je síce podobné, ale nie vždy presné v kontexte použitia. Lemmatizácia by v tomto prípade správne identifikovala "meeting" ako podstatné meno.

Lemmatizácia je kľúčovým krokom v mnohých úlohách spracovania prirodzeného jazyka, vrátane vyhľadávania informácií, strojového prekladu, analýzy sentimentu a budovania chatbotov. Umožňuje systémom lepšie porozumieť štruktúre a významu textu tým, že sa zameriavajú na základné lexikálne jednotky. Tým sa zvyšuje presnosť a efektívnosť týchto aplikácií.