szövegbányászat

Szövegbányászat (text mining) a strukturálatlan vagy félig strukturált szövegadatokból származó hasznos információk és mintázatok kinyerésének tudománya és gyakorlata. A terület a természetes nyelvfeldolgozás, az adatbányászat, a gépi tanulás és az információ-visszakeresés módszereinek integrációját jelenti, és számos területen alkalmazzák, például üzleti intelligenciában, kutatásban és közösségi médiában.

Az adatforrások között lehetnek vállalati dokumentumok, e-mailek, weboldalak, cikkek és közösségi média bejegyzések. A szövegbányászat tipikus folyamata magában foglalja az előfeldolgozást: tisztítás, normalizálás, tokenizáció, stopword-eltávolítás, lemmatizáció vagy stemming, és gyakran nyelvi eszközökkel végzett elemzést.

Az adatok reprezentációja történhet hagyományos módszerekkel, mint a bag-of-words vagy TF–IDF, vagy fejlett beágyazásokkal (word embeddings) és transformer-alapú modellekkel. A tipikus feladatok közé tartozik a dokumentumok osztályozása, kulcsszavak és összefoglalók kivonása, témamodellezés (például LDA), érzelem- és vélemény-elemzés, valamint entitás- és viszonyrendszerek kinyerése.

Az alkalmazások közé tartozik a piaci és versenyképes intelligencia, ügyfél visszajelzések elemzése, reputáció- és kockázatfigyelés, automatizált tudományos összefoglalók és klinikai szövegek feldolgozása.

Fontos szempontok a hitelesség és átláthatóság, a magánélet védelme és az adatvédelmi rendelkezések betartása (például GDPR), valamint a torzítás és a nemzetközi nyelvi sokféleség kezelése. A szövegbányászat interdiszciplináris, és gyakran ötvözi az informatika, a nyelvészet és a domain-specifikus tudásokat.