korpuslingvistiikkaa

Korpuslingvistiikka on kielitieteen ala, joka tutkii kieltä suurten digitaalisten tekstikorpusten avulla. Sen keskeinen tavoite on kuvata kielen rakenteita, sanastoa ja käyttöä tilastollisesti sekä löytää säännönmukaisuuksia kielessä.

Korpukset ovat digitaalisia tekstijoukkoja (ja usein puheaineistoja), jotka on merkitty sekä metatiedoilla (kielitaso, lähde, aikaväli, rekisteri) että kielellisillä merkinnöillä kuten sanaluokilla, lauseenjäsennystellä tai nimettyjen entiteettien tunnistuksella. Korpus voidaan rakentaa monipuolisesti yhdistämällä kirjoitettua ja puhuttua kieltä sekä erilaisten rekisterien ja aikakausien aineistoja. Analyysissa käytetään usein standardoitua merkintäaineistoa, kuten TEI- tai XML-merkintöjä sekä kontrolloituja sanastoja.

Korpuksessa tehtävät analyysit ovat usein kvantitatiivisia: frekvenssianalyysiä, kontekstianalyysiä (konkordanssit), kollokaatio- ja n-grammianalyysiä sekä tilasto- ja koneoppimismenetelmiä. Tuloksena syntyy esimerkiksi sanastollisia kuvaustapoja, sanan käyttöyhteyksien karttoja sekä rakenteellisia ja semanttisia löydöksiä kielestä.

Käyttökohteita ovat kielitiede ja kielioppi sekä sovellukset kuten sanakirjien ja terminologian kehittäminen, käännösteknologia, puheentunnistus sekä hakukoneiden ja kieliteknologian kehittäminen. Tärkeitä ovat edustavuus, kattavuus ja laadunvarmistus sekä eettiset näkökohdat, kuten yksityisyyden suoja, tekijänoikeudet ja annotaatiovirheiden vaikutukset tuloksiin.