teckenfrekvenser

Teckenfrekvenser är fördelningen av teckenens förekomst i en text. Den omfattar bokstäver, siffror, mellanslag och övriga symboler. Vanligt är att ange antingen absoluta frekvenser (antalet förekomster av varje tecken) eller relativa frekvenser (andelen av alla tecken). Beroende på syfte kan man besluta hur skiftläge och vilka tecken som räknas.

Så beräknas teckenfrekvenser: samla ett textkorpus, definiera teckenuppsättningen och hur man hanterar gemener vs versaler. Förbehandla texten (t.ex. Unicode-normalisering), räkna varje tecken och beräkna relativa frekvenser genom att dela varje räknat antal med det totala antalet tecken. Resultatet kan presenteras som en lista över tecken och deras sannolikheter; vidare kan man även använda log-frekvenser eller kumulativa frekvenser beroende på behov.

Användningar inkluderar språkigenkänning och språkidentifiering, textanalys i NLP, kryptografi (frekvensanalys av substitution ciphers), textkompression (Huffman- eller aritmetisk kodning) samt optimering av typsnitt och tangentbordslayout. Frekvenser används också som grund i statistiska språkmodeller och i kvalitetssäkring av OCR-system.

Frekvenser följer ofta Zipfs lag och andra långsiktiga mönster i naturligt språk; vissa tecken är mycket vanliga medan andra är ovanliga. För svenska texter påverkas fördelningen av att alfabetet innehåller å, ä och ö, samt användningen av diakriska tecken i lånord. Be teckenfrekvenserna vara representativa krävs stor och varierad textkorpustillgång samt tydlig dokumentation av hur datan beräknats.