Ngramfördelningar

Ngramfördelningar beskriver frekvensen av N-gram i ett textkorpus. Ett N-gram är en följd av N närliggande tokens, vanligtvis ord, men det kan också vara tecken beroende på hur texten tokeniseras. Dessa fördelningar ligger till grund för statistiska språkmodeller och många NLP-uppgifter.

Beräkning görs genom att tokenisera texten, extrahera alla N-gram och räkna deras frekvenser. Den grundläggande sannolikheten för ett N-gram är dess frekvens delat med det totala antalet N-gram (en maximal sannolikhetsuppskattning). Praktiskt används ofta glättning eller bakåtsläpp för att hantera saknade N-grams och förbättra generalisering.

Egenskaper: fördelningen följer ofta en tungt spetsig kurva där ett fåtal N-gram dominerar medan många är mycket sällsynta. Ökande N ger längre kontext men också större data-spars? och kräver oftast större korpusar samt särskild hantering för att få tillförlitliga estimat.

Användningar: N-grammodeller används som ord- eller teckenbaserade språkmodeller, för förutsägelse av nästa ord, stavningskontroll och maskinöversättning. Vanliga glättningstekniker inkluderar Laplace/Lidstone, Good-Turing och särskilt Kneser-Ney-smoothing samt backoff eller interpolation.

Överväganden: hur man tokeniserar, hur man hanterar interpunktion och normalisering påverkar resultaten. Val av N påverkar modellens komplexitet och beräkningskrav; större N kräver mer data och bättre förbehandling.

Utvärdering mäts ofta med perplexity eller log-sannolikhet och används även som mått i NLP-uppgifter där N-grammodeller fungerar som baslinjer.

---