keeletöötlejaid

Keeletöötlejaid on tarkvara ning süsteeme, mis tegelevad loomuliku keele töötlemisega arvutites. Need võivad analüüsida, mõista ja tekitada teksti või kõnet ning neid rakendatakse nii teksti töötlemisel kui ka kõne põhinevate rakenduste loomisel. Keeletöötlussüsteemid koosnevad sageli mitmest moodulist, mis teevad näiteks tokeniseerimise, morfoloogilise analüüsi, lausete eraldamise, süntaktilise ja semantilise mõistmise ning vajadusel kõnetöötluse toimingud.

Peamised ülesanded hõlmavad teksti ja kõne analüüsi: tokeniseerimine (teksti jagamine sõnadeks ja märgenditeks), morfoloogiline analüüs, lausete eraldamine, sõnade kuju ja tähenduse tuvastamine ning süntaktiline ning semantilise tähenduse mõistmine. Lisaks on oluline kõnetuvastus, kõnesüntees ja masintõlge. Keeletöötlejaid kasutatakse nii keelevaldkonnas kui ka rakendustes, kus on vaja teksti või kõnet automaatselt töödelda. Tüübid: reeglipõhised, statistilised ja süvaõppe põhised.

Rakendused hõlmavad otsingumootoreid, masintõlget, kõnetuvastust ja kõnesünteesi, vestlusroboteid ning klienditoe automatiseerimist ning keelelist analüüsi suurtes tekstikogudes.

Arendus ja piirangud: eestikeelne keeletöötlus on osaliselt piiratud ressurside ja väikeste korpuste tõttu; areng keskendub paremate Eesti keele andmete loomisele ning mudelite kohandamisele Eesti keele jaoks. Lisaks on oluline andmete privaatsus ja eetika ning kultuurilise konteksti arvestamine.