merkistökoodaukset

Merkistökoodaukset ovat järjestelmiä, joiden avulla teksti ja muut merkit voidaan tallentaa ja siirtää tietokoneen ja verkkopalveluiden välillä. Ne määrittävät, millä koodinumerolla kukin merkki esitetään ja miten binäärinen tallennus palauttaa alkuperäisen tekstin.

Historian alkuvaiheissa käytettiin 7-bittistä ASCII-koodausta, joka tuki noin 128 merkkiä. Tämä johti rajoituksiin ja tarpeeseen laajennuksille, joista kehittyivät useat 8-bittiset koodaukset kuten ISO/IEC 8859-1 (Latin-1) sekä alueelliset vaihtoehdot. 1990-luvulla kehittyi laajempi Unicode-järjestelmä, jonka tavoitteena on kattaa mahdollisimman suuri kirjoitusjärjestelmä.

Unicode tarjoaa yhden yhtenäisen merkkikokoelman. Käytännössä Unicode toteutetaan useissa koodauksissa; suosituin on UTF-8, joka on ASCII-yhteensopiva ja käyttää muuttuvan pituuden koodiyksiköitä. Muita yleisiä ovat UTF-16 ja UTF-32. Lisäksi on kieli- ja maakohtaisia koodauksia, kuten Windows-1252 ja ISO/IEC 8859-1, sekä monia muita laajennuksia, joita käytetään erityisissä järjestelmissä.

Endianness ja byte order mark (BOM) liittyvät erityisesti UTF-16- ja UTF-32-koodauksiin, koska järjestyksen vaihtelu vaikuttaa tallennetun datan tulkintaan. Verkkosivuilla ja ohjelmointirajapinnoissa käytetään usein ilmoitusta koodauksesta (esim. Content-Type: text/html; charset=UTF-8).

Merkistökoodaukset ovat keskeisiä monikielisessä nykypäivän tietoliikenteessä ja tietokannoissa: väärä koodaus voi aiheuttaa lukukelvottomia tekstejä ja tiedonsiirron epäonnistumisia. Oikea valinta ja konfigurointi ovat olennaisia tekijöitä.