korpuslingvistiikassa

Korpuslingvistiikka on kielitieteen suuntaus, jossa kielen rakenteita ja vaihtelua tutkitaan suurten digitaalisten tekstikorpusten avulla. Korpukset voivat koostua sekä kirjoitetusta että puhuttua kielestä eri rekistereistä, aikakausista ja tyylilajeista. Tavoitteena on havaita yleisiä ilmiöitä, testata hypoteeseja sekä tarjota tilastollista evidenssiä sanojen, muotojen ja rakenteiden esiintymisestä.

Korpusten suunnittelu ja rakentaminen korostavat representatiivisuutta, kattavuutta ja läpinäkyvyyttä. Tekstikorpus voidaan merkitä eli annotoida esimerkiksi sanaluokkien (POS-tunnisteet), lemmatoinnin sekä syntaktisten ja semanttisten rakenteiden tasolla. Laadukas korpus huomioi oikeudelliset, eettiset ja tekijänoikeudelliset näkökohdat sekä sisältää dokumentaation lähteistä ja keruumenetelmistä.

Analyyttiset menetelmät perustuvat frekvenssianalyysiin, kontekstuaaliseen tutkimukseen (konkordanssit), kollokaatioihin, n-grammeihin sekä tilastollisiin mittareihin kuten yhteis­esiintymien ja riippuvuuksien arviointiin. Korpuslingvistiikka mahdollistaa kielen kuvauksen sekä sanaston ja kielioppien muuttuvuuden tarkastelun eri kieliversioissa, rekistereissä ja ajanjaksoina.

Sovelluksia ovat sanakirjojen ja oppimateriaalien laatiminen, kielentutkimus ja kielikontaktin sekä vaihtelun analyysi sekä luonnollisen kielen käsittelyn (NLP) järjestelmien kehittäminen. Rajoitteina voivat olla korpusten edustavuus, annotaatioiden laatu, typillisten vinoumien vaikutus sekä tekijänoikeudelliset ja yksityisyyteen liittyvät seikat.