Szófajazonosítás

Szófajazonosítás, vagy part-of-speech tagging, a szövegben minden szóhoz vagy tokenhez hozzárendeli a szófajtát. A leggyakoribb kategóriák közé tartoznak a főnév, ige, melléknév, határozószó, névmás, előljáró, kötőszó és számnév. A feladat célja, hogy egy tagelt korpusz későbbi feldolgozásra legyen alkalmas, például mondatfák, szintaktikai elemzések vagy fordítás előkészítésére.

Általában egységes tagrendszert használnak, például a Universal Dependencies (UD) jelöléseit. A szófaji kategóriákhoz gyakran morfológiai tulajdonságokat is társítanak, például eset, szám, személy, igeidő és mód. A magyar nyelv speciális jellemzője a gazdag ragozás, ezért a szófajazonosítás gyakran morfológiai elemzőkkel és lemmatizációval is együttműködik a pontosabb eredményért.

Módszertanilag két fő irányt különböztetnek meg. A szabályalapú rendszerek kézikönyvi szabályokra és szótárakra támaszkodnak, míg a modern megoldások felügyelt gépi tanulást alkalmaznak, például rejtett Markov-modelleket (HMM), CRF-típusú modelleket, illetve mély neurális hálózatokat és transformer-alapú tagelőket. A magyar nyelv gazdag morfológiája miatt gyakran integrálnak morfológiai elemzést a szófajazonosításhoz, hogy a kontextusban helyes kategóriát találják meg.

Kihívások közé tartozik a kontextusfüggő disambiguáció, a homonímia, a komplex ragozás és az összetett szavak kezelése, valamint az out-of-vocabulary szóalakok és domain-eltérések hatékony kezelése. Szófajazonosítást széles körben alkalmaznak nyelvi feldolgozásban, például szintaktikai elemzésben, gépi fordításban, információkinyerésben és kereső rendszerekben. Forrásként kiemelkednek a Universal Dependencies magyar korpuszai és a helyi magyar nyelvi adathalmazok.