kielikokoelmia

Kielikokoelmat ovat kieliaineiston kokoelmia, joita kerätään ja järjestetään tutkimus- ja kehitystarpeita varten. Ne voivat sisältää kirjoitettua tekstiä, puheaineistoa sekä näiden annotaatioita sekä metatietoja kuten genre, lähde ja aikakausi. Kokoelmia voi olla sekä monikielisiä että yksikielisiä; ne palvelevat kielitieteellistä tutkimusta ja kielenkäsittelyn sovelluksia.

Tyypillisiä ovat kirjoitettua kieltä sisältävät korpukset, puhetta sisältävät äänite- ja transkriptioaineistot, rinnakkaiskokoelmat (kieliparit), sekä oppilaskokoelmat, joita käytetään kieltenopetuksessa ja -oppimisessa. Erikoiskokoelmat voivat keskittyä tiettyihin aihealueisiin kuten lainsäädäntö, lääketiede tai tekniset tekstit.

Rakentaminen edellyttää aineiston hankintaa ja luvanhallintaa sekä mahdollisesti anonymisointia. Kerätty materiaali merkitään ja annotoidaan eri tasoilla — esimerkiksi sanaluokitus- ja syntaktinen merkintä sekä semanttiset roolit — ja varustetaan metatiedoilla kuten lähde, julkaisuvuosi, genre ja kieli. Suuret kokoelmat voivat sisältää miljardeja sanoja.

Käyttötarkoitukset ovat laajat: kielitiede, sanakirjojen kehittäminen, kieltenopetus sekä luonnollisen kielen käsittelyn (NLP) järjestelmien kehittäminen, kuten konekäännökset ja puheentunnistus. Julkisesti saatavilla olevat kokoelmat, kuten Kielipankki, mahdollistavat laajan tutkimuksen, mutta niiden käyttöön liittyy lisenssi- ja yksityisyyden suojan rajoitteita.