OCRvirheet

OCRvirheet ovat optisen tunnistuksen (OCR) prosessissa syntyviä virheitä tekstiin. Kun skannatut sivut tai valokuvista otetut kuvat muunnetaan digitaaliseksi tekstiksi, tulos voi poiketa alkuperäisestä kirjoitusasusta ja asettelusta.

Tyypillisiä virheitä ovat merkki- ja sanavaihtojen, puuttuvien tai ylimääräisten merkkien sekä virheellinen rivien ja sanojen jako. Esimerkiksi O:n ja 0:n, I:n ja L:n sekä rn:n ja m:n välinen sekoittuminen on yleistä. Diakriittien katoaminen tai epäjohdonmukainen käyttö sekä ligatuurien ja erikoismerkkien tulkinnan epäonnistuminen voivat myös ilmetä.

Syyt virheisiin liittyvät pääosin kuvan laatuun: kohina, epäselvä kontrasti, skannauksen kulma, kuluneet tai harvinaisemmat kirjaimet sekä epäedullinen asettelu. Monimutkaiset asettelut kuten sarakkeet, taustakuvat ja käsin kirjoitetut tekstit lisäävät virheiden riskiä. Myös kielimallin rajoitteet ja erikoissanasto voivat aiheuttaa virheellistä tunnistusta.

Virheitä voidaan mitata merkkivirheprosentilla (CER) ja sanavirheprosentilla (WER). Parantamiseksi voidaan hyödyntää kuvanlaadun parantamista (esimerkiksi denoising, deskew ja binarointi), kouluttaa mallia kohdealueen kielellä, sekä käyttää sanakirja- ja kontekstuaaliperusteista jälkikäsittelyä, kuten kielimallien avulla tehtyä korjausta. Usein sisältyy myös manuaalinen oikoluku tai tarkistus.

Sovellukset kattavat digitointiprojektit, kirjastot ja arkistot sekä tutkimus- ja teollisuusalat. OCRvirheet ovat yleinen haaste, mutta oikeilla menetelmillä niiden vaikutusta voidaan vähentää ja tekstin hyödyntämistä tehostaa.