Metadatalaadun

Metadatalaadun on tarkvara komponent või teenus, mille eesmärk on koguda, laadida ja ühtlustada metaandmeid erinevatest allikatest ning tuua need koondkataloogi või andmebaasi. Selline lahendus on levinud digitaalkogude, arhiivide, raamatukogude ja meediapankide kontekstis, kus on vaja hallata metaandmete struktuuri, päritolu ja ajakohasust.

Töövoog sisaldab peamisi etappe: andmete kogumine allikatest (näiteks OAI-PMH, REST API või failide import); metaandmete tuvastamine ja dekodeerimine; parsimine ja standardimine (Dublin Core, MODS, METS, MARCXML, schema.org, RDF/JSON-LD); skeemi kohandamine ja kaardistamine organisatsiooni sisemisele skeemile; kvaliteedi kontroll ja vigade käsitlemine; ning lõpuks salvestamine ja indekseerimine kataloogis või andmebaasis.

Arhitektuur võib olla lihtne ETL-laadija või tööstuslikum andmevoo lahendus, mis ühendub erinevate allikatega adapterite kaudu, sisaldab transformatsioonimootorit ja salvestus- ning indekseerimisühikut. Vajadusel lisatakse versioonihaldus ja pärinikontroll (provenance).

Kõrgema taseme standardid ja ühised praktikaid hõlmavad Dublin Core, MARCXML, METS ning schema.org; OAI-PMH käsitlus on süstematiseeritud laadimise kontekstis levinud. Metadatalaadurid võivad toetada nii partiide kui reaalajas laadimist ning erinevaid andmebaase või indekseerimis- ja graafandmeakenkaid.

Väljakutsed hõlmavad kvaliteedierinevusi, erinevate skeemide ühilduvust, kodeeringute ja keeleliste metadata erinevusi ning päritolulugude jälgitavuse säilitamist. Hea metadatalaadur logib ja auditeerib toimingud.