korpusaineistoja

Korpusaineistot (kielikorpukset) ovat järjestäytyneitä kielidatan kokoelmia, jotka sisältävät kirjoitettua tekstiä ja/tai puheaineistoja. Ne ovat keskeisiä kielitieteellisessä tutkimuksessa sekä luonnollisen kielen käsittelyssä (NLP), sanastotyössä ja kielenopetuksessa.

Korpusaineistot voivat olla tekstiaineistoja tai puheaineistoja. Tekstiainesta koostuu kirjoitetusta aineistosta, kuten kirjallisuudesta, sanomalehdistä ja verkkosisällöistä. Puheaineistot sisältävät äänitteitä ja niistä tehtyjä transkriptioita. Lisäksi on paralllelisia ja monikielisiä korpuksia sekä alakohtaisia aineistoja, jotka keskittyvät tiettyyn terminologiaan.

Korpusaineistoihin liittyy metatietoja: kieli, genre, aikaväli, lähde ja tekijänoikeustiedot. Annotaatiot voivat sisältää sanaluokkien merkinnät, lemmatoinnin, nimien kohdistamisen, syntaktisen rakenteen sekä semanttisen roolin. Datan formaatit vaihtelevat; tyypillisiä ovat TXT, XML/TEI ja JSON, ja joissain tapauksissa käytetään erityisiä rakenteita kuten CoNLL.

Keräys ja laadunvarmistus ovat olennaisia: datan hankinta toteutetaan eettisten periaatteiden ja tekijänoikeuksien puitteissa, ja usein kerätään anonymisointi- ja laadunarviointitietoja. Tällä varmistetaan kattavuus, puhtaus ja toistettavuus sekä muuttuvien kielenkäyttöjen huomiointi.

Käyttö ja saatavuus vaihtelevat: julkiset korpora ovat usein saatavilla tutkimuslaitosten kautta tai avoimena datana, kun taas joissain tapauksissa aineisto on rajoitettu lisenssien vuoksi. Korpuspalvelut, yliopistojen ja tutkimuslaitosten tarjoamat järjestelmät, helpottavat pääsyä ja hakua.