formaattivaihtelut

Formaattivaihtelut tarkoittavat erilaisten esitystapojen vaihtelua tiedoissa: sama tieto voidaan esittää monin tavoin riippuen käytetyistä ohjelmistoista, kielialueista ja tiedostomuodoista, jolloin muoto ei ole standardoitu. Ne syntyvät, kun data siirtyy järjestelmästä toiseen tai kun järjestelmät eivät käytä samaa standardia.

Tyypillisiä esimerkkejä ovat päivämäärämuodot (2024-01-03; 03.01.2024; 01/03/2024), lukujen desimaalierottimet (piste tai pilkku) sekä tuhaterottimet (1,000; 1 000), valuutan merkit (EUR 1 234,56 vs $1,234.56), mittayksiköt (cm versus inch) ja koodaukset (UTF-8 vs ISO-8859-1). Tekstissä voi esiintyä erilaista otsikointia, rivinvaihtoja ja lainausmerkkejä. Nämä vaihtelut voivat ilmetä myös tiedostomuodoissa ja markup-kielissä (HTML, XML, JSON, CSV).

Formaattivaihtelut vaikuttavat kiinteästi tiedon hakuun, yhdistämiseen ja analysointiin. Eri lähteistä peräisin olevaa tietoa voidaan koota, mutta tunnistus ja yhdistäminen voivat epäonnistua ilman normaali- tai canonicalisointia. Tietojen laatua heikentää myös epäyhtenäinen tallennus ja virheellinen tulkinta OCR-prosessien seurauksena.

Käsittelyyn käytetään normalisointia, locale-tietoon perustuvaa parsintaa, standardien mukaisia esittämisiä sekä metadatointia. Näihin kuuluvat esimerkiksi ISO 8601 -date-formaatit ja yhtenäiset desimaalierottimet sekä koodausstandardeja noudattava tallennus. Formaattivaihtelut ovat yleisiä arkkistoissa, kirjastoissa, tietokannoissa ja verkkosovelluksissa.