nyelvfeldolgozásra

Nyelvfeldolgozás, illetve természetes nyelvfeldolgozás (NLP) a számítástechnika és a nyelvészet kölcsönhatásában kialakult terület, amely emberi nyelvek automatikus elemzésére és értelmezésére törekszik. Célja a szövegek és beszéd hatékony feldolgozása, értelmezése és automatizált szolgáltatások létrehozása.

A terület története a szabályalapú rendszerekkel kezdődött, később a statisztikai módszerek és napjainkban a mélytanulás vált meghatározóvá. A modellek egyre nagyobb nyelveket és egyre összetettebb feladatokat képesek kezelni, miközben a hozzáférhető adatok és számítási kapacitás bővült.

Fő feladatok közé tartozik a tokenizáció, morfológiai elemzés és szófaj- vagy címkézés (POS tagging), lemmatizálás vagy stemming, valamint a szintaktikus vagy függőségi elemzés. Ezzel párhuzamosan megvalósul a nyelvi modellek fejlesztése, gépi fordítás, összefoglalás, kérdés‑válasz rendszerek és a nevezetes entitások felismerése (NER). Emellett érzelem- vagy vélemény-elemzés is gyakran a gyakorlat része, hasonlóan a beszédfeldolgozáshoz, amelyet beszédfelismerés és beszédszintézis alkalmanként ötvöz.

Technikai alapot adnak a nagyméretű korpuszokon és annotációkon alapuló tanulási megközelítések, a tokenizáció és lemmatizáció hatékony megvalósítása, valamint a neurális architektúrák, például a transformer-alapú modellek. Ismertek például a BERT- és GPT-szerű modellek, amelyek nyelvfüggetlen vagy többnyelvű verziókkal érhetők el.

Kihívások közé tartozik a nyelvek közötti és nyelvi sokféleség, adatkínálat és adatvédelmi, etikai kérdések, valamint a kevés erőforrással rendelkező nyelvek alulreprezentáltsága. Gyakorlati alkalmazások között szerepelnek a keresőmotorok, chatbotok, automatikus fordítás, szöveges tartalmak összefoglalása és nyelvi szolgáltatások.