rinnakkaiskorpuksia

Rinnakkaiskorpukset ovat kaksikielisiä tai monikielisiä tekstikokoelmia, joissa sama sisältö on käännetty useampaan kieleen ja tekstit on yhdistetty lause- tai dokumenttitasolla. Näitä kokoelmia käytetään ensisijaisesti konekäännöksen kehittämiseen, käännösten arviointiin sekä kielitieteelliseen tutkimukseen.

Rinnakkaiskorpuksen rakentaminen sisältää useita vaiheita: keräyksen lähdekielestä ja käännöksistä, puhdistuksen ja normalisoinnin, segmentoinnin sekä tekstien yhdistämisen siten, että lauseet vastaavat toisiaan. Lauseparien oikeellisuus on kriittinen laatutekijä, ja käytössä on sekä automaattisia että käsin tarkistettuja alignointimenetelmiä. Koska kielet voivat olla morphologisesti rikkaita, erityisesti suomen kielessä tokenointi, lemmatointi sekä sananmuodostuksen erottelu vaativat huolellista käsittelyä.

Tunnetuimpia rinnakkaiskorpuksia ovat esimerkiks EA-tyyppiset suurten kieliparien kokoelmat kuten Europarl-korpukset sekä OpenSubtitles -kokoelmat, sekä YK:n ja JRC-Acquisin kaltaiset julkiset tai lisensoidut kokoelmat. Näitä kokoelmia on saatavilla useilla kielipareilla, ja niiden laatu sekä kattavuus vaihtelevat riippuen lähteistä ja lisensseistä.

Käyttöalueita ovat erityisesti käännösmallien kouluttaminen tilastollisissa ja neurokielimallissa sekä käännösten laadun arviointi. Rinnakkaiskorpuksista voidaan myös eristää kaksikielisiä sanakirjoja ja termistöjä sekä tukea monikielistä tiedonhakua ja tutkimusasetelmia, joissa tutkitaan kahden tai useamman kielen välisiä vastineita ja rakenteita.

Haasteisiin kuuluu tekijänoikeudet ja lisenssit, datan laatu ja kattavuus, sekä domain- ja tyylierojen aiheuttama eroavuus käännösten laadussa. Lisäksi suomen kaksikielisyyden ja morfologian monimuotoisuus asettavat erityishaasteita automaattiselle alineeraukselle ja esikäsittelylle.