Eraldusvigu

Eraldusvigu on mõiste, mida kasutatakse kirjanduses ja tehnilises kontekstis kirjeldamaks vigu, mis tekivad andmete, teksti või meedia üksuste eraldamisel või tähenduste eristamisel. Sõna aluseks on eraldus (piiride määramine) ja viga (viga), ning see märgib piiride vale määramise tõttu tekkivat vale grupi- või jagamise probleemi.

Eraldusvigu esinevad peamiselt neljas valdkonnas: keelte töötlus (NLP) tokeniseerimisel ja sõnade piiride määramisel, optilises märgistamises (OCR) ja skaneeritud teksti eraldamisel, andmete integreerimisel ja rekordihalduses ning ajalooliste või mitmekeelsete tekstide puhul, kus märgid ja vormid võivad olla ebakonsistentse kõrval. Sellised vead võivad põhjustada tähenduse muutumist, teksti osa kadumist või valede seoste tekkimist.

Põhjused hõlmavad konteksti puudumist, sarnaste märgistuste või nimede segamist, halba sisendkvaliteeti (nt degradeerunud või mürapõhine skaneering), keelelise struktuuri eripärasid ning piiratud või sobimatut segmenteerimisalgoritmi. Eraldusvigu võivad soodustada ka keerulised vormid ja heterogeensed andmekogud, kus erinevad allikad kasutavad erinevaid märgistamise norme.

Tagajärjed võivad olla andmete kvaliteedi langus, otsingutulemuste ja analüüsi usaldusväärsuse vähenemine ning raskem andmete ühtlustamine. Eraldusvigu on eriti kriitilised suurte ja mitmekeelte lahenduste puhul, kus vigade kumulatsioon halvendab lõpptoote kasutatavust.

Ennetuseks kasutatakse tugevamat kontekstipõhist modelleerimist, paremaid tokeniseerimis- ja segmenteerimisreegleid ning kvaliteedikontrolli, sealhulgas inimvalvet ja käsitsi parandusi.