Datareservoarer

Datareservoarer er lagringssystemer som samler store mengder data fra ulike kilder og lagrer dem i opprinnelig eller lite bearbeidet format. Formålet er å gjøre dataene tilgjengelige for utforskning, bearbeiding og analyse av datafagfolk og virksomheter.

Kjennetegn ved datareservoirer inkluderer schema-on-read, omfattende metadata, en datakatalog og data lineage, samt tilgangs- og samsvarsregler. Arkitekturen omfatter innlasting, lagring, bearbeiding og styring av tilgang. Vanlige dataformater er Parquet, ORC, JSON og CSV, og lagringsinfrastrukturen er vanligvis skalerbar, for eksempel i objektlagring i skyen eller på stedet.

Relasjon til andre begreper: Datareservoirer er ofte relatert til eller overlappende med begrepene data lake og data lakehouse. En data lake refererer ofte til lagring av rå data, mens et datareservoir kan omfatte både rå og bearbeidede datasett. Begrepet brukes som et bredt og fleksibelt lagringsbegrep for data fra ulike applikasjoner og systemer.

Bruksområder og fordeler inkluderer støtte for dataanalyse, prototyping og maskinlæring ved å samle data fra applikasjoner, transaksjonslogger og sensorer på ett sted. Fordeler er fleksibilitet, mulighet til å oppdage og gjenbruke data, og potensielt lavere kostnader ved lagring. Utfordringer inkluderer risiko for data swamp hvis metadata og katalog mangler, samt behov for god styring av kvalitet, sikkerhet og samsvar.

Praktiske tiltak inkluderer bruk av metadata-kataloger, data lineage, livssyklusstyring, tilgangskontroller og kontinuerlig datakvalitetsovervåkning. Bransjestandarder og rammeverk kan bidra til sikkerhet og samsvar. Typiske teknologier omfatter skybasert objektlagring (for eksempel hos ulike tilbydere) og åpne verktøy for ETL/ELT og stor-data-behandling som Hadoop og Spark.