Datainngang

Datainngang, også kjent som data ingestion, er prosessen der data kommer inn i et system fra eksterne kilder for lagring, behandling og analyse. Det representerer inngangsfasen i en datastrøm eller data-pipeline og følges ofte av transformasjon og lasting i et datalake eller data warehouse, før videre analyse.

Datainngang kan være batchbasert eller sanntidsbasert (streaming). Kildene varierer og inkluderer databaser, filer, API-er, sensorer, logger og sosiale medier. Leveringsmekanismer kan være filoverføring, API-kall, meldingskøer eller hendelsesbaserte webhooks, og data kan målrettes til lagringssystemer eller strømmes til bearbeidingsmotorer.

Teknologier og mønstre: Data ingestion brukes ofte sammen med ETL eller ELT. Det finnes innhentingsverktøy og plattformer som trekker data fra ulike kilder, håndterer format- og schema-heterogenitet, og støtter metadata og datakatalogisering. Inngangsprosesser kan være sanntids-streaming eller batchbasert, med fokus på pålitelighet og skalerbarhet.

Viktige vurderinger inkluderer datakvalitet og validering, metadata og datakataloger, schema-evolusjon og data governance, samt sikkerhet og personvern. Infrastrukturvalg påvirker latency og gjennomløp, og relaterer seg til hvordan data lagres i datalake eller datavarehus, hvilken transformasjon som skjer ved innhenting, og hvordan data registreres og spores gjennom data lineage.

Anvendelser omfatter forretningsanalyse, operasjonell overvåking, IoT og sanntidsdashboards. God datainngang gir rask tilgang til riktige data i riktig format og tidspunkt, noe som forbedrer beslutningsgrunnlag og respons i ulike sektorer.