korpusanalyyseja

Korpusanalyyseja tarkoittaa suurten tekstikorpusten systemaattista tutkimusta kielen käytön kuvaamiseksi ja ymmärtämiseksi. Korpusten avulla voidaan tuottaa tilastollisia kuvauksia sanaston yleisyydestä, sanojen yhteydestä, kollokaatioista sekä syntaktisista ja semanttisen rakenteista. Korpusanalyyseja sovelletaan kielitieteessä, sanakirjatyössä ja luonnollisen kielen käsittelyssä (NLP).

Korpus on digitaalisessa muodossa oleva tekstiaineisto, joka voi sisältää metatietoa kuten kieli, genre, kirjoitusvuosi ja lähde. Korpuset voivat olla yksikielisiä tai monikielisiä, rinnakkaisia (parallelkorpus) sekä ne voivat sisältää annotaatioita kuten sanojen muoto, lemmatointi, osanpuheen tunnistus (POS), syntaktinen rakenne tai semanttinen rooli. Korpusanalyyseja toteutetaan sekä valmiiksi annotated-korpusten että raakatekstin pohjalta.

Yleisimmät menetelmät ja tulokset kattavat frekvenssianalyysit, konkordanssit (KWIC), kollokaatioanalyysit sekä n-gram- ja avainsana-analyysit. Tuloksia esitetään usein sanalistoina, konkordansilukemina, kollokaatio- ja termiprofiileina sekä visuaalisina esityksinä kuten grafiikkana. Korpusanalyyseissa voidaan yhdistää lemma-, POS- ja syntaktiset tiedot sekä käyttää tilastollisia malleja kielen käyttöä kuvaavien trendien erottamiseksi.

Työprosessi koostuu suunnittelusta, aineiston keruusta ja valinnasta, puhdistuksesta sekä annotaatiosta, analyysistä ja raportoinnista. Työkaluina käytetään muun muassa yksinkertaisia hakutyökaluja sekä tehokkaita korpusanalyysiohjelmia ja ohjelmointikirjastoja. Haasteisiin kuuluu edustavuus, annotaation laatu, tekijänoikeudet ja tietosuoja sekä kustannukset.