Tekstiluokitus

Tekstiluokitus on luonnollisen kielen käsittelyn (NLP) tehtävä, jossa teksteille annetaan ennalta määriteltyjä luokkia. Luokitukset voivat olla yksiluokkaisia (jokaiselle tekstille yksi pääluokka) tai moniluokkaisia (samalle tekstille voidaan antaa useita luokkia). Tekstiluokitus palvelee tiedon organisointia, sisällön hakua sekä sisällönhallintaa.

Menetelmät: Varhaisissa järjestelmissä käytettiin sääntöihin perustuvaa luokitusta ja avainsanahakuja. Nykyisin yleinen lähestymistapa on koneoppiminen: ominaisuuksien, kuten TF-IDF- tai sanapainojen, avulla koulutetaan luokittajia kuten logistinen regressio tai tuki-vektorikone (SVM). Viimeaikaiset ratkaisut hyödyntävät syväoppimista ja esikoulutettuja kielimalleja (transformers, esimerkiksi BERT), joita hienokäytetään juuri luokitus tehtäviin. Moniluokkainen luokitus toteutetaan usein käyttämällä useita luokkia samanaikaisesti ja sovittamalla kynnysarvoja.

Sovellukset: Tekstiluokitusta käytetään esimerkiksi roskapostin suodatukseen, mielipiteen (sentiment) analyysiin, aihepiirin luokitteluun, uutisten kategorisointiin, sisällön moderointiin sekä asiakaspalvelun reititykseen ja hakutulosten parempaan relevanttiuteen.

Arviointi ja haasteet: Luokitusmenetelmien suorituskyky mittataan testidatalla ja mittareilla kuten tarkkuus, precision, recall ja F1-pisteet sekä joissain tapauksissa ROC-AUC. Tärkeimpiä huomioita ovat luokkien epätasapaino, domain-adaptaatio, lyhyiden tekstien käsittely sekä monikielisyyden ja eettisten tekijöiden arviointi, kuten läpinäkyvyys ja bias. Suomessa ja muilla kielillä on tarjolla sekä kotimaisia että yleismaailmallisia korpuksia ja avoimia datalähteitä tekstiluokituksen kehittämiseen.