Korpusanalyysin

Korpusanalyysi on kielitieteellinen tutkimusmenetelmä, jossa analysoidaan suuria digitaalisen tekstikokoelmia eli korpuksia kielen rakenteiden, sanaston ja semantiikan piirteiden selvittämiseksi. Korpukset voivat koostua kirjoitetusta tekstistä useista genreistä ja aikakausista, jolloin tavoitteena on havaita yleisiä kielenkäytön ilmiöitä sekä poikkeamia yksittäisistä teksteistä.

Menetelmät ja liittyvät tehtävät: Frekvenssianalyysi, kolokaatioanalyysi, konkordanssi, n-grammit sekä sanaston ja syntaktisten rakenteiden tutkimus. Korpusta voidaan annotoida osan puheesta tunnistuksella (POS-tunnistus), lemmatointi, syntaktinen parsing sekä semanttinen roolitus. Ennen analyysiä suunnittelussa on tärkeää huomioida otanta, edustavuus, koko sekä tiedonlähteet, samalla huomioiden tekijänoikeudet ja käytön rajoitukset.

Käyttökohteet ja korpustyypit: Kielentutkimus, sanastotyö, kieltenopetuksen materiaalit sekä teknologia-aloilla kuten automaattinen käännös, puheentunnistus ja hakukoneiden kielimallien kehittäminen. Eri korpustyyppejä ovat yleiskorpukset, erikoiskorpukset (esimerkiksi tekniset, kirjalliset tai verkkotekstit), sekä vertailevat korpukset ja diakroniset korpukset. Haasteita ovat korpusten edustavuus, annotaatiovirheet, koko ja laatu sekä eettiset ja tekijänoikeudelliset rajoitukset.