tekstiaineistoihin

Tekstiaineistoihin viitataan yleisesti kokoelmiin kirjallista ja muuta tekstiä, joita käytetään kielitieteellisessä tutkimuksessa sekä luonnollisen kielen käsittelyyn (NLP). Tekstiaineisto tarkoittaa yksittäistä kokoelmaa tekstejä, kun taas tekstiaineistoihin viitataan usein moninaisen valikoiman kokoelmien kokonaisuutena. Tavoitteena on tarjota todentuva, laajasti analysoitavissa oleva data-aines, jonka avulla voidaan tutkia kieltä käytännön tilanteissa.

Keskeisiä käsitteitä ovat sisällöt, keräämistavat ja muotoilu. Tekstiaineistot voivat olla maankielisiä tai monikielisiä, suuria tai pienempiä, sekä sisällöltään erilaisia kuten sanomalehtiä, kirjallisuutta, verkkosivustoja tai virallisia dokumentteja. Ne voivat olla raakatekstiä tai sisältää lisättyä annotaatiota kuten sanaluokkia (POS), syntaksi- tai semanttisia merkintöjä. Annotoituja tekstiaineistoja käytetään erityisesti kielentutkimukseen sekä koneoppimiseen, kun taas raakatekstiä käytetään frekvenssi- ja corpus-tutkimuksiin.

Käyttö ja prosessointi etenevät usein keräämisestä, puhdistuksesta ja standardoinnista annotaatioon sekä validointiin. Keräystä ohjaavat oikeudet, tekijänoikeudet sekä henkilötietosuoja. Puhdistus ja normalisointi(variaatioiden käsittely, erikoismerkkien hallinta) parantavat toistettavuutta. Annotointi vaatii koulutettua työvoimaa ja metadataa, jotta aineistosta voidaan tehdä vertailukelpoista ja reprodutuvaa.

Käytännön sovelluksia ovat kieliesimerkkien hakeminen ja kontekstianalyysi, tilastolliset tutkimukset, sekä luonnollisen kielen järjestelmien koulutus ja arviointi. Suomessa Kielipankki ja muut tutkimuslaitokset tarjoavat pääsyn tekstiaineistoihin sekä työvälineitä niiden käsittelyyn, aina pysyvien käytäntöjen ja eettisten ohjeiden huomioimisesta lähtien. Tekstiaineistoihin liittyy jatkuvasti kehitys, erityisesti suurten monikielisten kokoelmien ja laadukkaiden annotaatiomäärien myötä.