Frekvenslister

Frekvenslister er lister som ranger ord eller andre lingvistiske enheter etter hvor ofte de forekommer i et korpus. De kan vise absolutte tellinger eller relative frekvenser per million ord, og gir en rask oversikt over hvilke enheter som dominerer et språk eller et bestemt tekstområde.

Frekvenslister brukes i lingvistikk, leksikonutvikling og språkopplæring, samt i natural language processing. De ligger til grunn for oppbygging av ordbøker, ordforrådsfunksjoner i språkdata og forbedring av søk, stavekontroll og tekstanalyse. De vanligste typene er bokstav- eller tegnfrekvenslister, ordfrekvenslister (for typer eller token), og n-gram frekvenslister. Ved bygging av ordfrekvenslister velger man ofte å normalisere til små bokstaver, lemmatisere eller slå sammen bøyningsformer for å redusere variasjon.

Metoden innebærer å samle et representativt korpus, rense data og tokenize teksten, deretter telle frekvenser og sortere enhetene etter frekvens. Valg av lemmatisering, språklig variasjon og domene påvirker resultatene, og man bør være oppmerksom på tidspunkt og kildeområde, som kan skape bias.

Begrensninger inkluderer korpuskvalitet og representativitet, domene- og tidsbias, vanskelig håndtering av morfologi i polymorfene språk, samt forskjeller mellom skriftlig og muntlig språk. Frekvenslister gir verdifull innsikt i språkstruktur, men må tolkes i lys av kontekst og formål. Det er vanlig å bruke flere frekvenslister samtidig, for eksempel både ord- og n-gramlister, for en mer nyansert forståelse.