Dataobservabilitet
Dataobservabilitet er praksisen med å vurdere og overvåke helsen til data mens data beveger seg gjennom datasystemet. Målet er å avgjøre om dataene er komplette, nøyaktige, tidsaktuelle og brukbare, og å oppdage problemer før de påvirker analyse eller drift.
Den bygger på innsamling av telemetri fra datakilder, ETL/ELT-pipelines og lagringssystemer. Vanlige søyler inkluderer datakvalitet, datafreshhet
Hovedkomponenter inkluderer metrikker og varsler, linje- og opprinnelsediagrammer, deteksjon av skjemadrift, data-kontrakter eller forventninger og dashbord
Fordeler inkluderer økt tillit til analyse, raskere rotårsaksanalyser, sikrere utrulling av endringer i data og klarere
Utfordringer inkluderer skala, dekning av ulike datasystemer, å definere riktige kvalitetsregler, varslingsutløsing og å sikre personvern