tekstrecodering

Tekstrecodering is het proces waarbij tekst van de ene tekencodering wordt omgezet naar een andere, zodat tekens correct kunnen worden weergegeven op verschillende systemen en toepassingen. Het is een fundamentele stap bij data-uitwisseling, migratie van bestanden en digitale archivering in multiculturele omgevingen.

Historisch gezien bestaan er veel encoderingen naast elkaar: ASCII, ISO/IEC-normen (zoals ISO-8859-1), Windows-1252, Shift JIS, EUC-KR en anderen. Unicode met UTF-8 werd de gangbare standaard omdat het alle belangrijkste tekens wereldwijd kan representeren. Tekstrecodering houdt doorgaans in dat tekens uit een bronencodering worden gemapt naar codepunten in een doelencodering, met behoud van de oorspronkelijke betekenis waar mogelijk.

Belangrijke aspecten zijn onder meer detectie van de bronencodering, correcte mapping van tekens en het omgaan met tekens die niet in de doelencodering kunnen worden weergegeven. Bij mismatches kan informatie verloren gaan of kan er mojibake ontstaan. Unicode-normalisatie (bijvoorbeeld NFC of NFD) kan helpen bij consistente representatie. Ook moet rekening worden gehouden met tekenvolgorde, surrogateparen in sommige encoderingen en de aanwezigheid van het Byte Order Mark bij bepaalde bestanden.

Praktische uitvoering gebeurt via softwarebibliotheken en hulpprogramma’s zoals iconv, of via programmeertalen als Python, Java en .NET die transcoding ondersteunen. In web- en databaseomgevingen is het aan te raden om waar mogelijk UTF-8 te gebruiken en encodingen consequent te beheren om interoperabiliteit en data-integriteit te waarborgen.

Tekstrecodering is cruciaal voor correcte weergave, data-integriteit en uitwisseling in meertalige omgevingen.