leksikaalikannat

Leksikaalikannat ovat kielellisten tutkimusten kohteena olevia leksikaalisten yksiköiden kokoelmia, jotka kuvaavat, mitä sanoja ja niiden muotoja tietyssä kielessä tai korpuksessa esiintyy. Ne voivat kattaa sekä koko kielen sanaston että tietyn aineiston erityispiirteet, ja niihin liitetään usein tietoja kuten lemmasanoista, sanaluokista, frekvensseistä sekä semanttisten kenttien rakenteesta.

Leksikaalikantojen rakentaminen perustuu suurten tekstiaineistojen keräämiseen, käsittelyyn ja annotointiin. Tekstiaineisto muunnetaan lemmasanoiksi ja niille annetaan sanaluokat; inflektiomuodot voidaan tallentaa erikseen tai yhdessä perusmuodon kanssa. Frekvenssit lasketaan, ja annettavia attribuutteja voivat olla esimerkiksi perusmuotojen kokonaismäärä sekä muotojen jakautuminen. Käytössä ovat automatisoidut työkalut kuten lemmatisaatio, sanaluokkien tunnistus ja normalisointi, joita täydennetään tarvittaessa käsin.

Käyttötarkoituksia ovat sanakirjojen ja kielikuvan sekä kielitieteellisen tutkimuksen tukeminen, sanaston koon ja monipuolisuuden mittaaminen sekä semanttisen kentän kartoitus. Leksikaalikantoja voidaan käyttää esimerkiksi type-token-suhteen, sanastollisen monipuolisuuden ja frekvenssianalyysien tekemiseen.

Haasteisiin kuuluu murteiden ja tekstilajien varianssit, polyseemian hallinta, uusien sanojen ja muotojen synty sekä datan laatu ja kattavuus. Lisäksi jokainen kannan laatiminen liittyy oikeuksien ja lisenssien kysymyksiin sekä kielen muutoksen huomioimiseen.