keeleprotsessimine

Keeleprotsessimine, tuntud ka kui keeletöötlus, on arvutiteabe tehnoloogia ja keeleteaduse valdkond, mis käsitleb arvutite võimet mõista ja töödelda inimkeelt. Selle eesmärk on luua süsteeme, mis suudavad lugeda, kirjutada, rääkida ja kuulata nagu inimesed. Keeleprotsessimine hõlmab laia spektrit ülesandeid, alates lihtsast tekstianalüüsist kuni keeruka dialoogisüsteemide loomiseni.

Põhilised keeleprotsessimise ülesanded hõlmavad teksti normaliseerimist, nagu suurte ja väikeste tähtede teisendamine ning kirjavahemärkide eemaldamine, samuti sõnade lemmastamist ja tüvedamist, mis vähendab sõnade eri vorme ühiseks aluseks. Tähenduse mõistmiseks kasutatakse lausete struktuuri analüüsi, nagu osade kõne märkimine (nt. nimisõna, tegusõna) ja süntaktiline parsingu (lausete grammatilise struktuuri tuvastamine).

Semantiline analüüs keskendub sõnade ja lausete tähenduse mõistmisele. See võib hõlmata nimeeritud üksuste tuvastamist (inimeste, kohtade, organisatsioonide nimed), suhete ekstraheerimist (nt. kes tegi mida) ja tundeanalüüsi (kas tekst väljendab positiivset, negatiivset või neutraalset hoiakut). Rakendused keeleprotsessimisel on arvukad, sealhulgas masintõlge, kõnetuvastus, tekstikokkuvõte, otsingumootorid, vestlusrobotid ja autoriõiguse rikkumise tuvastamine. Viimastel aastatel on masinõppe, eriti süvaõppe meetodite areng oluliselt parandanud keeleprotsessimise süsteemide täpsust ja võimekust.