kielidatasarjat

Kielidatasarjat ovat kokoelmia kielidataa, jotka on koottu tutkimuksen ja kieliteknologian kehittämisen tarpeisiin. Ne käsittävät autenttista kielellistä aineistoa, kuten kirjoitettua tekstiä, puhuttua kieltä, käännettyjä tekstejä sekä niihin liittyvää metadataa, ja niihin usein liitetään annotaatioita kuten sanaluokituksia, syntaktisia rakenteita tai semanttisia rooleja. Termi viittaa sekä yksittäisiin kokoelmiin että sarjoihin, joita voidaan käyttää kielitieteelliseen analyysiin, luonnollisen kielen prosessoinnin (NLP) mallien kouluttamiseen sekä kielen dokumentointiin. Sarjat voivat olla sekä suomen- että muiden kielien erillisiä tai monikielisiä ja ne kattavat erilaisia rekistereitä, genrejä ja käyttötarkoituksia.

Kielidatasarjat muodostuvat kokoamis-, transkriptio-, annotaatio- ja laadunvarmistusvaiheiden kautta. Ne tallennetaan tietokanta- tai standardiformaatteihin kuten TEI-koodatut tekstit, CoNLL-tyyliset annotoidut korporaat tai puheelle ajastustranskriptioineen. Pääsy aineistoihin vaihtelee rajoitetusta avoimeen dataan; käyttölisenssit ja lähdekoodin jäljitettävyys ovat tärkeitä, ja monet aloitteet pyrkivät edistämään avointa dataa samalla kun suojataan yksityisyyttä ja tekijänoikeuksia. Metadata kuvaavat kieltä, kielellistä vaihtelua, lähdettä, annotaatiota ja kattavuutta.

Kielidatasarjat ovat keskeisiä kieliteknologiassa ja tutkimuksessa sekä suomen että muiden kielten parissa, mahdollistamalla esimerkiksi korpuslingvistiikan, konekäännöksen, puheentunnistuksen ja kielen dokumentoinnin kaltaiset tehtävät. Tunnettuja esimerkkejä ovat suomenkieliset korporaatit kuten Turun riippuvuussuhteen puu- (Turku Dependency Treebank) sekä monikieliset parallelkorpora, joita käytetään kieltenvälisissä tutkimuksissa. Termi korostaa systemaattista kielen datan keruuta ja annotointia resurssina tieteelle ja koulutukselle.