wortellengtedichtheid

Wortellengtedichtheid is een maat uit de kwantitatieve taalkunde die de verdeling van woordlengtes in een tekst beschrijft. De term verwijst naar de densiteitsverdeling over woordlengtes, meestal gemeten in aantal letters per woord. In veel toepassingen wordt de lengte van elkewoord geteld en wordt nagegaan hoeveel woorden er voorkomen bij each lengte, zodat een densiteitsfunctie D(k) ontstaat voor lengtes k.

Berekening en kenmerken: voor een tekst met N woorden tel je voor elke lengte k het aantal woorden n_k. De woordlengte-densiteit op lengte k is D_k = n_k / N. De gemiddelde woordlengte L wordt berekend als L = (sum over k van k · n_k) / N. De variabiliteit van woordlengtes wordt vaak uitgedrukt als de standaarddeviatie σ = sqrt((sum over k van (k − L)^2 · n_k) / N). De definities hangen af van de tokenisatie: wat telt als een woord, hoe worden hyphenaties en afkortingen behandeld, en of men in tekens of morfemen telt.

Overwegingen: de meting is afhankelijke van taal en schrijfwijze. In talen met samengestelde woorden (zoals het Nederlands) kan het tellen verschillende uitkomsten geven afhankelijk van of samenstellingen als één woord of als meerdere tokens worden gezien. Punctuatie, cijfers en afkortingen dienen consistent te worden behandeld om vergelijkbare resultaten te garanderen.

Toepassingen: wortellengtedichtheid wordt gebruikt bij stijl- en leesbaarheidsanalyse, auteursherkenning, typografie en tekstanalyse. Het kan aanvullende inzichten geven naast gemiddelde woordlengte of zinslengte bij het evalueren van tonaliteit, complexiteit en ritme in een tekst. Software voor tekstanalyse kan automatisch de D_k-waarden en statistische samenvatting leveren.