tekstikorpuksissa

Tekstikorpukset ovat digitaalisia kokoelmia kirjoitettua tekstiä, joita käytetään kielitieteellisen tutkimuksen sekä luonnollisen kielen käsittelyn (NLP) sovellusten pohjana. Tekstikorpuksissa tarkoitetaan laajoja, järjestettyjä aineistoja, joista voidaan tilastollisesti tarkastella kielen piirteitä kuten sanastoa, rakennetta ja tyylejä.

Ne voivat koostua yleiskokoelmista kuten sanomalehtiartikkeleista, kirjallisuudesta ja verkkoteksteistä sekä erikoisaloihin keskittyvistä kokoelmista (esimerkiksi laki, lääketiede, tekninen dokumentaatio). Korpukset voivat olla yksikielisiä tai monikielisiä, ja osa niistä on parallel-korpuksia, joissa saman sisällön tekstit ovat eri kielillä. Usein niihin liitetään annotaatioita kuten POS-tunnisteita, syntaksia sekä semanttista merkintää.

Ennen analyysiä tekstit käsitellään: tokenisointi, normalisointi ja mahdollinen lemmatointi. Osa korpuksista on annotoitu siten, että niissä on POS-tunnisteet, riippuvuussuhteet tai semanttinen merkintä. Tyypillisiä analyysejä ovat frekvenssitaulukot, koncordanssit ja kollokaatioiden kartoitus. Korpuksia voidaan myös jakaa subkorpuksi ajanjakson, lajityypin tai ilmiön mukaan.

Käyttötarkoitukset ovat kielen profiilien kuvaaminen, sanaston kehittäminen ja kieliopillisten ilmiöiden tutkimus sekä NLP-mallien koulutus ja testaus. Korpuksista voidaan hakea tilastollista tietoa sanaston kehityksestä, tyylierojen analysointia sekä kielten vertailua. Rajoitteisiin kuuluvat edustavuus ja vinoumat, tekijänoikeudet ja anonymisointi sekä annotaation laatu ja suurten aineistojen tekniset haasteet.