Datainngang
Datainngang, også kjent som data ingestion, er prosessen der data kommer inn i et system fra eksterne kilder for lagring, behandling og analyse. Det representerer inngangsfasen i en datastrøm eller data-pipeline og følges ofte av transformasjon og lasting i et datalake eller data warehouse, før videre analyse.
Datainngang kan være batchbasert eller sanntidsbasert (streaming). Kildene varierer og inkluderer databaser, filer, API-er, sensorer, logger
Teknologier og mønstre: Data ingestion brukes ofte sammen med ETL eller ELT. Det finnes innhentingsverktøy og
Viktige vurderinger inkluderer datakvalitet og validering, metadata og datakataloger, schema-evolusjon og data governance, samt sikkerhet og
Anvendelser omfatter forretningsanalyse, operasjonell overvåking, IoT og sanntidsdashboards. God datainngang gir rask tilgang til riktige data