tekstiklassifikatsiooni

Tekstiklassifikatsioon on loomuliku keele töötluse (NLP) ülesanne, mille käigus antud teksti määratakse üks või mitu eelnevalt määratletud kategooriat või sildi. See hõlmab nii ühe sildi kui mitme sildi klassifikatsiooni. Eesmärk on muuta tekst masinõppemudelile käsitletavaks ning anda süsteemidele automaatsed kategooriad teksti sisu kohta.

Tööprotsess tavaliselt sisaldab andmete kogumist ja märgistamist, teksti puhastamist ning esitamist (tokeniseerimine, stop-sõnade eemaldamine). Seejärel teisendatakse tekst funktsioonide hulka (nt Bag-of-Words, TF-IDF või sõnapõhised embeddingud) ning valitakse ja õpetatakse klassifikaator mudel (supervised learning). Mudelit hinnatakse testandmete abil ja tulemused väljendatakse tavaliselt mõõdikutega nagu täpsus, tundlikkus (recall) ja F1-skoor või ROC-AUC.

Levinud meetodid jagunevad klassikalistele masinõppe mudelitele (Naive Bayes, logistiline regressioon, SVM, Random Forest) ja sügava õppimise meetoditele (nt LSTM- ja transformeripõhised mudelid nagu BERT), mis kasutavad kontekstuaalseid representatsioone ning suudavad paremini mõista teksti tähendust.

Kasutusalad hõlmavad meili rämpspostivastast filterit, uudiste ja dokumentide teemade kategooriseerimist, sotsiaalmeedia sisu moderatsiooni, keele tuvastust, teemapõhist otsingut ning vestlusrobotite ja klienditeeninduse süsteeme.

Väljakutsed ja arenguvõimalused hõlmavad andmekogust ja märgistuse kvaliteeti, mitmekeelsel ja erialasel tekstil ning mudelite tõlgendatavust ja eetilisi kaalutlusi. Viimastel aastatel on suurt tähelepanu pälvinud transformeri-põhised mudelid, mis kasutavad konteksti ja suuri andmestikke, kuid nõuavad märkimisväärseid ressursse ja hoolikat koolitusandmete valikut.