korpusanalyysissä

Korpusanalyysissä korpusten, eli suurten tekstikokoelmien, tarkastelu käsittää kielen tilan, muodon ja käytön. Tavoitteena on löytää yleisiä kielellisiä ilmiöitä, kuvata sanaston käyttöä sekä seurata kielimuutoksia ja variaatioita eri konteksteissa ja aikakausina.

Korpusaineisto voi olla yleiskorpusta, joka kattaa monipuolisia tekstejä, tai erikoiskorpusta, joka keskittyy tiettyyn genreen, aihepiiriin, aikakauteen tai kielelliseen rekisteriin. Ennen analyysiä teksti esiprosessoidaan: tokenisointi, normalisointi, lemmatointi sekä mahdollisesti osapuolien tunnistus ja syntaktinen analyysi.

Analyysimenetelmät kattavat frekvenssianalyysin, konkoranssit eli sanan kontekstin tarkastelun sekä kollokaatioanalyysin. Lisäksi voidaan soveltaa n-grammi-analyysejä ja tilastollisia malleja. Tulokset esitetään usein listauksina, tilastoina ja visuaalisina kuvauksina kuten sanakirjoina tai verkko- ja aikasarjakuvauksina. Työkaluina käytetään sekä erillisä sovelluksia kuten Sketch Engine ja AntConc että ohjelmointikirjastoja kuten Pythonin NLTK tai spaCy.

Rajoitteet huomioivat aineiston edustavuuden, mahdolliset vinoumat ja tekijänoikeudet sekä yksityisyyden suojan. Tutkimusraportoinnissa on tärkeää selostaa aineiston lähde, valintaperusteet ja mahdolliset rajoitteet. Korpusanalyysiä sovelletaan kielentutkimukseen, käännösten kehittämiseen sekä kieliteknologian ja kieltenopetuksen apuvälineisiin.