Sagedusloendid

Sagedusloendid on korpuste analüüsi tööriist, mis järjestab sõnad või sõnavormid sageduse järgi antud keelekorpuses. Loendid võivad olla tokenipõhised, kus iga esinemine loetakse eraldi, või lemmatiseeritud, kus erinevad vormid koondatakse sama lemmasse. Lisaks võib koostada mitmesõnaliste väljendite loendeid või muid kategooriaid (nt sõnaliigid või terminid). Sagedusloendid annavad ülevaate keelekasutusest, sõnavarast ja süntaktist ning neid kasutatakse keeleteaduses, keeleõppes ning loomuliku keele töötlemise (NLP) tööriistades.

Konstruktsioon hõlmab korpuse valikut ja töötlust: teksti puhastamist, tokeniseerimist ja normaliseerimist (väiketähtede kasutamine, diakriitiliste märkide käsitlemine), vajadusel lemmatiseerimist või morfoloogilist märgendamist. Seejärel loendatakse esinemised ja arvutatakse sagedused; tulemus võib olla absoluutsed sagedused (esinemiste arv), suhtelised sagedused (protsentides või per miljon) või mõlemad. Sõnavara üldist tugevust võivad näidata nii tokenipõhised kui lemmatiseeritud loendid; mitmesõnaliste väljendite või n-grammide lisamine on sageli kasulik.

Kasutusvaldkonnad hõlmavad keeleõpet, sõnaraamatute ja leksikograafia koostamist, keeleteadust ning NLP-mudelite arendamist. Sagedusloendid aitavad terminoloogia kogumisel ning kollokatsioonide ja kontekstuaalse sõnavara analüüsil ning neid kasutatakse ka otsingu- ja tekstitöötlusrakendustes. Piirangud tulenevad korpuse esindatusest: väikesed või spetsiifilised korpused võivad anda tulemusi, mis ei kajasta laiemat keelt. Seetõttu tuleb sagedusloendite tulemusi tõlgendada koos korpuse kontekstiga.