Tekstikogumid

Tekstikogumid (korpusid) on suurte tekstide kogumid, mis kogutakse ja hoitakse selleks, et uurida keelt ja arendada keeletehnoloogiat. Iga kogum sisaldab tekste ning sageli ka metaandmeid, nagu keel, allikas, kuupäev, tekstiliik ja litsents. Korpused võivad olla ükskeelsed (sisaldavad tekste ainult ühes keeles) või mitmekeelsed (paralleelsed korpused, kus sama teksti on esindatud erinevates keeltes).

Struktuur ja märgendus: paljud korpused on märgendatud, pakkudes täiendavat teavet nagu sõnelemendid (lemma ja osa kõne märgendus), nimekesksed entiteedid ja mõnikord süntaktilised struktuurid. Märgendus võib olla täielik või osaline, sõltuvalt kogumi eesmärgist. Salvestusformaadid hõlmavad tavaliselt lihtteksti, XML/TEI, JSONi või muid struktureeritud vorme.

Koostamine: korpuse loomine hõlmab andmete kogumist erinevatest allikatest, nende puhastamist, duplikaatide kõrvaldamist ning märgendamise ja kvaliteedikontrolli. Allikate stiilid ja žanrid võivad oluliselt erineda, mistõttu on oluline tagada esindatus ja järjepidevus.

Kasutusvaldkonnad: tekstitulemustel põhinevad uuringud keelearvutuses, kõnetuvastus, masinõpe ja mudelite treenimine, sõnavara ja grammika uuringud, tõlkeabilised süsteemid ning keeleõppe ressursid. Korpused on ka väärtuslikud keelearvuliste muutuste ja trendide jälgimisel ajas.

Õigus ja ligipääs: paljud korpused on avatud andmed või litsentsitud Creative Commonsi alusel, kuid teised on piiratud autoriõigustega. Kasutuseeskirjad, privaatsus ja eetika tuleb enne tööd selgelt läbi vaadata.

Väljakutsed: esindatuse tasakaal, keelelise mitmekesisuse kajastamine, dialektide ja slängi jäädvustamine, andmete kvaliteet ning suurte andmemahtude haldamine ja ressursside kulutamine.