dataindgangssystem

Dataindgangssystem, også kaldet data ingestion system, er en softwareplatform eller tjeneste som indsamler og overfører data fra en række kilder til et centralt lager eller analysemiljø. Det udgør en del af dataintegrations- og datapipeline-arkitekturen og fokuserer på at gøre data tilgængelige til videre behandling og analyse.

Kernedokumentfunktioner omfatter forbindelser til kilder som databaser, logfiler, IoT-enheder og tredjeparts-API’er, understøttelse af batch- og stream-baseret indlæsning, validering og rensning af data, håndtering af skemaer og metadata, transformation og berigelse, routing, idempotens, fejlbehandling, tilbagekobling og sikkerhed. Et dataindgangssystem sikrer ofte gennemsoning af data, tidsstempling, versionering og overvågning af dataleverancer.

Typiske arkitekturer og mønstre inkluderer brug af connectors og adapters, meddelelses-køer og streamingplatforme, såsom Apache Kafka, samt batch-processering og skemaregistre eller data-kataloger. Systemet kan støtte ETL, ELT eller rene ingest-workflows og har som formål at få data sikkert og konsekvent ind i lagre som data lakes eller data warehouses, uden nødvendigvis at ændre dataene ved indlæsning.

Anvendelser omfatter datalagring og analyse i virksomheder, realtidsanalyse af strømme fra sensorer og applikationer samt integration af data fra forskellige forretningsenheder. Eksempler på teknologier og værktøjer, der ofte bruges til dataindgangssystemer, inkluderer Apache NiFi, Apache Kafka Connect, AWS Glue, Google Cloud Dataflow og Azure Data Factory.

---