tekstiklassifikatsioon

Tekstiklassifikatsioon on masinõppe ja tekstitöötluse valdkond, mille eesmärk on määrata teksti kategooriad või märgised ning liigitada dokumendid nende sisule vastavalt. Ülesanne võib olla ühe- või mitmetähline ning leida rakendust nii ärilises kui teaduslikus kontekstis, näiteks teabehalduse, otsingutulemite ja klienditeeninduse automatiseerimisel.

Töötlemisprotsess algab andmete kogumise ja eeltöötlusega: teksti puhastamine, normaliseerimine, tokeniseerimine ja vajadusel stoppsõnade eemaldamine. Seejärel vektoriseeritakse tekst, kasutades näiteks tf-idf-esitust või sõna- ning lauseembeddingsi (nt Word2Vec, GloVe või suurte keelemudelite väljundid). Seejärel treenitakse klassifitseerimismudel, mis võib olla traditsiooniline (logistiline regressioon, SVM, Naive Bayes) või sügav (neuraalvõrgud, transformerid) ning vajadusel lisatakse kohandamist domäänispetsiifilisteks.

Tavapärased rakendused hõlmavad e-posti spämmi filtreerimist, sotsiaalmeedia postituste ja uudiste teema- või sentimentiklassifikatsiooni, dokumentide märgistamist ning klienditoe automatiseerimist. Õppimine võib olla järeltõstetud (supervised), pooljäreltõstetud või mitmekeelsel/domäänilisel ülekandel põhinev.

Hindamine ja väljakutsed: metrikad hõlmavad täpsust, tundlikkust (recall), F1-skoori ja ROC-AUC-d. Olulised teemad on andmekogu kvaliteet ja jaotumine, domänimuutused, konteksti mõistmine, mitmekeelne sisu ning eetilised ja privaatsusküsimused ning mudelite läbipaistvus.

---