Szófeldolgozás

Szófeldolgozás a természetes nyelvű szövegek számítógépes elemzésének olyan területe, amely a szavak szintű feldolgozására összpontosít. Gyakran a teljes szövegfeldolgozás részeként tekintik, de közvetlenül a szavakhoz kapcsolódó feladatokra koncentrál. Célja a nyelvi információk hatékony kiszűrése, értelmezése és felhasználása különböző alkalmazásokban.

Jellemző feladatok közé tartozik a tokenizáció (szavakra bontás), a normalizáció (például kisbetűre alakítás, diakritikus jelek kezelése), valamint a morfológiai elemzés és a szófaj-címkézés. A szóalakokból lemmatizációval vagy stemminggel származtatható a gyökérforma. Továbbá gyakori a szóbeágyazás és a nyelvi információk kinyerése, például stopword-ök eltávolítása vagy igekötők vizsgálata. A magyar nyelvnél különösen fontos a gazdag ragozás és a többértelműség kezelése.

Az alkalmazási területek közé tartozik a keresőmotorok indexelése és keresése, szöveges adatbányászat, helyesírás- és nyelvtan-ellenőrzés, gépi fordítás előfeldolgozása, illetve mély tanulás-alapú nyelvi modellek előkészítése.

Kihívások közé sorolható a magyar nyelv összetett morfológiája, a szóalakok sokfélesége, kontextuális disambiguáció és az adatok hiánya. A szófeldolgozás fejlődését statisztikai és neurális módszerek, valamint nagy korpuszok és annotált adatok táplálják.