korpuszszöveggyjtemények

A korpuszszöveg a korpuszban található szövegegység, amelyet nyelvészeti vizsgálatok és természetesnyelv-feldolgozási (NLP) feladatok céljából gyűjtöttek, tároltak és adott esetben annotáltak. A korpusz egységei általában nyelvi példákat képviselnek, és a cél az, hogy a szövegek valós nyelvhasználatát tükrözzék egy adott nyelvi változatban vagy doménben.

Típusai között megtalálhatók általános és területspecifikus korpuszok, frekvencia-korpuszok, illetve tanuláshoz készült learner-korpuszok. A gyűjtés forrásai változatosak: nyilvános online szövegek, digitizált nyomtatott anyagok, beszélt nyelvet tartalmazó beszédfrekvencia-korpuszok vagy különféle műfajú dokumentumok. A reprezentativitás és a jogi/licencfeltételek tisztázása alapvető szempont a korpusz összeállításánál.

Az előfeldolgozás és annotáció során a szövegeket normalizálják, tokenizálják, lemmatizálják, és nyelvi jelölésekkel látják el (például POS-tagging, szintaktikus szerkezet, entitásfelismerés). Az annotált korpuszok esetében meghatározott konvenciók és taxonómiák biztosítják az adatok összehasonlíthatóságát és újrahasznosíthatóságát.

Felhasználási területek közé tartozik a szógyakoriság- és kolokáció-elemzés, kontextuális keresés, nyelvi modell-képzés, fordított és korpusz-alapú nyelvészeti vizsgálatok, valamint számtalan NLP-feladat, például POS-taging és nyelvtani elemzés. Kihívások közé sorolhatók a szerzői jogi és etikai kérdések, a reprezentativitás hiányosságai, valamint a nyelvi és forrásbeli sokszínűség megfelelő kezelése.