tekstiaineistojen

Tekstiaineisto (tekstiaineistot) on kokoelma kirjoitettua tai transkriboitua tekstiä, jota käytetään kielitieteellisessä tutkimuksessa, luonnollisen kielen käsittelyssä (NLP) sekä digitaalisessa humanistisessa tutkimuksessa. Aineiston laatu ja kattavuus määritellään usein kattavalla metadatalla sekä huolellisella kuvauksella sen keruusta ja käsittelystä.

Tyypit vaihtelevat: yksikieliset ja monikieliset aineistot, kirjoitettu teksti kuten sanomalehdet ja kaunokirjallisuus, sekä puhuttu teksti kuten puhetranskriptioita. Lisäksi on rinnakkais- tai parallel corpora, joita käytetään käännös- ja monikielisten mallien kehittämiseen, sekä annotoituja aineistoja, joissa on esimerkiksi sanastot, tunnisteet ja syntaktinen tai semanttinen tieto.

Muoto ja metadatointi vaihtelevat, mutta yleisiä tallennusmuotoja ovat raakateksti, TEI-XML, CoNLL sekä NAF. Metatiedot kuvaavat lähdettä, kieltä, julkaisuaikaa, tekijänoikeuksia ja lisenssejä, ja niihin liittyy usein useita annotaatio-kerroksia kuten sanastatunnisteet, ositus- tai riippuvuustiedot sekä semanttinen rakenne.

Aineiston luominen ja kuratointi sisältää keruun eri lähteistä (esim. kirjastoista, arkistoista, verkkolähteistä), puhdistuksen, normalisoinnin, tokenisoinnin sekä laadunvarmistuksen. Oikeudelliset ja eettiset kysymykset huomioidaan lisenssien, tekijänoikeuksien ja henkilötietojen suojan osalta, usein osana datanhallintasuunnitelmia.

Käyttötarkoitukset kattavat kielitieteen tutkimuksen, NLP-mallien kouluttamisen sekä digitaalisen humanismin projektit. Suomessa tekstiaineistoja hallinnoidaan muun muassa Kielipankin kaltaisissa arkistoissa, jotka tarjoavat päässeudun sekä ohjeistukset käyttö- ja lisenssikäytännöistä.