UTF8koodausta

UTF-8 on Unicode-merkistön koodausmuoto, jossa merkkijonot tallennetaan yhdestä neljään tavua per merkki. Se on ASCII-yhteensopiva: kaikista ASCII-merkkeistä ensimmäinen 128 koodipistettä sijoittuu samaan tavujärjestykseen.

Koodaus rakentuu muuttuvasta pituudesta: 1 tavun merkit ovat 0xxxxxxx (U+0000–U+007F), 2 tavun merkit 110xxxxx 10xxxxxx (U+0080–U+07FF), 3 tavun merkit 1110xxxx 10xxxxxx 10xxxxxx (U+0800–U+FFFF), 4 tavun merkit 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx (U+10000–U+10FFFF). Koodauksen virheellisiä muotoja ovat muun muassa overlong-enkoodaukset, surrogaat-koodit U+D800–U+DFFF sekä koodipisteet yli U+10FFFF; tällaiset koodaukset on hylättävä.

Historia ja standardointi: UTF-8 kehitettiin 1990-luvulla Ken Thompsonin ja Rob Piken toimesta. Ensimmäinen yleinen versio julkaistiin 1993, ja siitä on sittemmin tullut käytännön standardi. Nykyiset määräykset löytyvät RFC 3629 (2003) ja RFC 8259 (2017), jotka vahvistavat UTF-8:n Unicodein virallisena koodauksena ja määrittelevät sen säännöt.

Käyttö ja yhteensopivuus: UTF-8 on webin de facto -merkistö ja laajasti käytössä tiedostoissa ja rajapinnoissa (JSON, XML, HTML). Se on ASCII-yhteensopiva ja säilyttää alkuperäisen ASCII-tavukoodauksen, mikä helpottaa yhteensopivuutta olemassa olevien järjestelmien kanssa. Useimmat ohjelmointikielet ja käyttöjärjestelmät tukevat UTF-8:ää oletusarvoisesti.

Vahva suositus: käytä UTF-8:aa kaikkialla ja varmista oikea koodaus sekä tiedoston että verkkoliikenteen metatiedoissa (esim. Content-Type: text/plain; charset=UTF-8). BOM on vapaaehtoinen eikä aina toivottu, koska se voi häiritä joissakin ympäristöissä.