frekvenslisten

Frekvenslisten, ofte kalt en ordfrekvensliste, er en rangert oversikt over ord eller morfemer etter hvor ofte de forekommer i et språk innenfor et definert korpus eller domene. Den gir et overblikk over hvilke ord som er mest utbredt og kan brukes som grunnlag i forskning, ordbokarbeid og språkopplæring.

Frekvenslister bygges ved å telle forekomster av ord i et tekstsamling, og deretter beregne relative frekvenser, ofte som antall forekomster per million ord. Listene kan være basert på tokenfrekvens eller typefrekvens, og de kan også være lemmatiserte slik at forskjellige bøyningsformer telles som ett ord. For mer presis analyse kan man også telle n-grammer (for eksempel bigrams og trigrams).

Bruksområder inkluderer prioritering ved ordbokutvikling, språkopplæring, språkforståelse i NLP-systemer, tekstanalyse og stilvurdering. Stopplister er ofte basert på høyfrekvente ord som gir liten informativ verdi i tekstanalyse. Frekvenslister kan også brukes til å måle lesegrenser eller til å overvåke språkendringer over tid.

Ulike korpora gir ulike lister, og representativitet er viktig. Genre, stil, dialekt og tidsperiode påvirker frekvensene, så frekvenslister er kontekstavhengige. I språkteknologi er det vanlig å presentere både rå tokenfrekvenser og lemmatiserte frekvenser, samt normaliserte tall som prosentandeler.

Se også: korpuslingvistikk, ordfrekvens, lemmatisering, stoppliste.