Ordfrekvenser

Ordfrekvenser er et mål på hvor ofte ord forekommer i et tekstmateriale eller korpus. En frekvens kan være absolutt, altså antallet forekomster av et ord, eller relativ, som andelen av alle ord (ofte uttrykt som prosent). Frekvenslister oppsummerer et korpus ved å sortere ordene etter hvor ofte de forekommer og gir innsikt i språkbruk og stil.

Beregningsprosessen innebærer først tekstbehandling: tokenisering for å dele teksten inn i ord eller andre enheter, og ofte normalisering som å gjøre alt til små bokstaver og fjerne tegn. Avhengig av formålet kan man ta med eller utelate stoppord. Deretter telles forekomster for hvert ord, og frekvenslisten konstrueres. Relativ frekvens kan uttrykkes som antall forekomster per million ord (ppm) eller som prosent, noe som gjør det enklere å sammenligne tekster av ulik lengde.

Anvendelser inkluderer språkforskning, hvor man studerer ordvalg og ordforråd, samt naturlig språkbehandling og tekstsøk. Frekvensdata brukes i bygging av språkmodeller, i informasjonsgjenfinning, og i tekstklassifisering og markedsanalyse. Zipfs lov beskriver ofte en skjev fordeling: noen få ord er svært hyppige, mens mange ord forekommer sjeldent.

Kilder og utfordringer er knyttet til korporets representativitet og størrelse. Frekvenser kan endres med språk, sjanger og tidsperiode, og derfor må man være konsistent når man sammenligner tekster. Relaterte begreper inkluderer absolutt og relativ frekvens, termfrekvens (TF), dokumentfrekvens (DF) og TF-IDF, som kombinerer frekvenser med informasjonsinnhold i tekster. Ordfrekvenser er et grunnleggende verktøy i tekstanalyse og språkforståelse.