Teckenrepresentation

Teckenrepresentation är beteckningen på hur tecken i ett skriftsystem kartläggs till de lagrings- och överföringsformat som används i datorer. Den beskriver hur abstrakta symboler i ett alfabet översätts till konkreta byten och bitmönster, hur program tolkar dessa och hur olika system kan tolka samma tecken på olika sätt.

Det dominerande ramverket inom moderna datorer är Unicode, som tilldelar varje tecken en unik kodpunktnummer. Exempel: U+0041 motsvarar bokstaven A. För att lagra kodpunkterna används teckenkodningar som UTF-8, UTF-16 och UTF-32. UTF-8 är variabellängd och bakåtkompatibel med ASCII, vilket gör den vanlig i textfiler och nätverk. UTF-16 och UTF-32 är fasta längder respektive två, fyra eller fler bytes per tecken.

Metoderna skiljer sig också i hur de representerar ordningen av bytes (endianness). Inom Unicode används i praktiken ofta en Byte Order Mark i vissa sammanhang för att indikera slutlig ordning, men den är frivillig i UTF-8.

Grapheme-kluster och normalisering är centrala i teckenrepresentation. Ett visuellt tecken kan bestå av flera kodpunkter (t.ex. ligaturer eller kombinationsmarkörer). Normaliseringsformerna NFC, NFD, NFKC och NFKD används för att säkerställa att två teckensträngar som ser likadana ut behandlas likadant av program.

Utmaningar inkluderar felaktig avkodning (mojibake), konvertering mellan encodings, och bevarande av data då olika system använder olika standarder. Valet av teckenkodning påverkar lagring, prestanda och interoperabilitet i programvara, databaser och kommunikation över nätverk.

Standards: Unicode Consortium och ISO/IEC 10646 reglerar tecken och kodpunkter; UTF-8, UTF-16 och UTF-32 specificeras inom Unicode. Praktiskt krävs ofta att mjukvara väljer en lämplig kodning och hanterar normalisering och felhantering i teckenrepresentation.