Teckenkodningen

Teckenkodningen är processen att översätta tecken till bytes så att datorer kan lagra och överföra text. En teckenkodning anger hur varje tecken i ett teckensystem motsvaras av ett eller flera bytes, och vilka tecken som ingår i uppsättningen. På så sätt kan text lagras i filer, skickas över nätverk och visas på olika enheter.

Historiskt användes olika enkla system. ASCII, en 7-bitars kod, täckte engelska bokstäver och några kontrolltecken. För europeiska och andra språkmiljöer utvecklades 8-bitars teckenkodningar som ISO/IEC 8859-1 (Latin-1) och dess varianter. Andra familjer som Windows-1252, MacRoman och ISO-8859-5 innehöll olika tecken beroende av språk.

Unicode-projektet skapade en universell uppsättning av tecken och kodpunkter som täcker nästan alla skript och symboler som används i världen. För praktisk användning används olika teckenkodningar för att lagra Unicode, mest frekvent UTF-8, men även UTF-16 och UTF-32. UTF-8 är dominerande på webben: det är bakåtkompatibelt med ASCII, har variabel längd och är effektiv för vanlig text.

I praktiken måste teckenkodningen alltid vara känd eller deklarerad, till exempel i HTTP-headers eller i HTML- eller XML-dokument. Felaktig eller saknad kodning kan leda till mojibake, där tecken visas felaktigt. När textdata flyttas mellan system bör man använda Unicode och konvertera till rätt kodning vid behov. Teckenkodningen är central för hur text behandlas och utbyts i datorer och nätverk.