Korpusanalyysit

Korpusanalyysit ovat kielitieteellisiä tutkimusmenetelmiä, joissa tutkitaan suuria, elektronisesti tallennettuja tekstiaineistoja tai puheaineistoja. Korpusaineiston avulla voidaan kartoittaa sanaston käyttöä, syntaktisia rakenteita sekä kielen variaatiota eri genrejen, aikakausien ja puhujien välillä. Korpusanalyysi perustuu usein tilastollisiin ja kvantitatiivisiin menetelmiin, mutta siihen voi liittää myös laadullisen analyysin.

Korpukset eli kokoelmat tekstiä tai puhetta voivat olla yleisiä, kuten suuria yleiskorpuksia, tai erikoistuneita, esimerkiksi uutis-, tieteellinen tai sosiaalisen median aineistoja sisältäviä kokoelmia. Metatieto on tärkeää: kieli, aikakausi, ala tai genre sekä tallennustapa ja puhujan tai kirjoittajan tausta. Korpusten koko ja kattavuus vaikuttavat tulosten yleistettävyyteen ja analyyttisiin päätelmiin.

Menetelmät ja mittarit: sanatason tilastointi eli frekvenssit; kollokaatioanalyysi; konkoranssit; n-gram- ja syntaktinen analyysi; sekä osatunnistus (POS-tunnistus) ja syntaktinen jäsentäminen. Nykyanalyysit voivat yhdistää koneoppimisen ja semanttiset mallit sekä kehittyneet hakulausekkeet. Haasteisiin kuuluvat aineiston edustavuus, kielen muutokset sekä eettiset ja lisensointikysymykset.

Sovelluksia ovat sanakirjojen ja terminologian laatiminen, kieltenopetus, luonnollisen kielen käsittely (NLP) sekä kielen käyttöä koskeva tutkimus, politiikan ja kulttuurin analysointi sekä sovellukset kieliteknologiassa.

Korpusanalyysien toteutuksessa käytetään erilaisia työkaluja sekä alustoja, kuten concordancer-työkaluja, tilastollisia ohjelmistoja ja erityisiä korpustenhallintajärjestelmiä (esim. Sketch Engine, AntConc, Corpus Workbench) sekä suomalaisia ratkaisuja kuten Korp. Prosessi etenee datankeruusta esikäsittelyyn, annotointiin ja tulosten tulkintaan.