Frequenzensammlung

Frequenzensammlung bezeichnet in der Sprachwissenschaft und verwandten Feldern eine Zusammenstellung von Häufigkeitsstatistiken über eine Menge von Elementen, meist Wörtern, Morphemen oder Lautformen. Sie basiert typischerweise auf der Auszählung von Vorkommnissen in Textkorpora, Experimentdaten oder anderen Datensätzen. In einer Frequenzsammlung werden sowohl absolute Frequenzen (die reinen Zählwerte) als auch relative Frequenzen (Anteile am Gesamtvorkommen) aufgeführt. Ziel ist es, Muster der Sprachverwendung zu quantifizieren, zu vergleichen und Modelle der Sprachstruktur zu unterstützen.

Eine Frequenzsammlung enthält oft Ranglisten der häufigsten Elemente, Verteilungen der Häufigkeiten über Kategorien oder Genres sowie Normalisierungen wie Häufigkeiten pro Million oder pro 1.000.000 Tokens. Sie berücksichtigt häufig auch Metadaten wie Sprache, Domäne, Textsorte, Datum der Erhebung und methodische Details (Tokenisierung, Abgrenzung von Wortformen, Umgang mit Groß-/Klein-Schreibung). Für linguistische Analysen werden häufig mehrere Korpora oder Teilkorpora verglichen, um Unterschiede zwischen Stil, Register oder Zeiträumen zu untersuchen.

Anwendungen reichen von Lexikografie, Spracherkennung, maschinellem Lernen und Textvorhersage bis hin zu Datenkompression und psycholinguistischen Studien. Herausforderungen umfassen Repräsentativität und Verzerrungen durch Stichprobenwahl, Domänenspezifität, zeitliche Veränderungen der Sprache sowie Schwierigkeiten bei der Standardisierung von Tokenisierung und Annotation. Eine sorgfältige Dokumentation der Erhebungsmethoden und eine klare Definition der Abgrenzungen sind zentral, um Verlässlichkeit und Vergleichbarkeit zu gewährleisten.