Kodenheter

Kodenheter er de grunnleggende enhetene i en tekst når den er lagret med en bestemt tegnkodering. De er de minste elementene som kan behandles av encodingen, og størrelsen varierer mellom ulike kodinger. For eksempel består et enkelt Unicode-tegn ofte av én til fire kodeenheter i UTF-8, mens UTF-16 bruker én eller to kodeenheter per tegn. Et kodepunkt er den abstrakte Unicode-verdien som tegnet representerer, og er uavhengig av hvordan det er kodet. Derfor kan lengden til en streng måles i antall kodeenheter eller i antall kodepunkter, avhengig av konteksten.

En viktig distinksjon er mellom kodepunkter, kodeenheter og grapheme-kluster. Et kodepunkt er en Unicode-verdi som representerer et enkelt tegn; en kodeenhet er en del av en encoding som lagrer dette tegnet; og et grapheme-kluster representerer et brukerpersepsjonelt tegn, som ofte består av flere kodepunkter eller inkluderer diakriser og sammenslåingselementer. Å skille disse begrepene er viktig for riktig tekstbehandling, som tekstsøk, sortering og redigering.

Praktisk innebærer kodenheter at lagring, overføring og behandling av tekst kan variere i effektivitet og riktighet. I JavaScript telles lengden i antall UTF-16-kodeenheter, noe som gjør at tegn som består av to kodeenheter gir en høyere lengde enn antall synlige tegn. For å arbeide med individuelle kodepunkter eller grapheme-kluster, må man bruke spesialiserte metoder eller biblioteker som itererer etter kodepunkter eller grapheme-grupper. Valg av encoding påvirker også minnebruk og dataoverføring, spesielt for internasjonale tekster.