dataintagning

Dataintagning är processen att fånga in och registrera data i ett informationssystem. Den omfattar insamling från olika källor, validering av data och förberedelse för vidare användning. Begreppet används i IT och datahantering och syftar ofta till den första fasen i ett dataflöde, ibland kallad data ingestion, data capture eller data acquisition.

Processen innefattar flera steg: insamling av data, validering mot regler och affärslogik, standardisering och mapping mot den målstruktur som används i databasen eller lagringslösningen, eliminering av dubbletter och, vid behov, berikning och transformationer. Efter detta laddas data in i en datalagringslösning såsom en data lake eller data warehouse, antingen i batch eller i realtid. Viktig är även dokumentation av metadata och spårbarhet i dataflödet.

Källor och format varierar och inkluderar strukturerad data från databaser, semi-strukturerad data som JSON- eller XML-filer, samt ostrukturerade källor som dokument och mediefiler. För att upprätthålla kvalitet och följa integritetskrav inriktar dataintagningen sig mot datakvalitet, datavalidering och hantering av personuppgifter enligt gällande sekretess- eller integritetlagstiftning.

I praktiken används ETL- eller ELT-verktyg, integrationsplattformar, API-gateways och köbaserade lösningar för både batch- och strömmande intag. Viktiga delar är också registrering av ursprung och transformationshistorik samt versionering.

Utmaningar inkluderar varianter i kvalitet, standardisering av data, hantering av fel och återförsökslogik, samt behov av stark data governance, spårbarhet och skydd av personuppgifter. Dataintagning är en central del av data governance och samverkar med datakvalitet, metadata, data lineage och data integration för att säkerställa pålitlighet och användbarhet av data.