datainhämtning

Datainhämtning är processen att samla in data från olika källor för vidare bearbetning, analys eller lagring. Den kan vara automatiserad eller manuell och omfattar ofta både strukturerad och ostrukturad information. Syftet är att tillhandahålla korrekta, aktuella och relevanta data till beslutstöd, operativt arbete eller forskningsändamål.

Vanliga källor inkluderar interna affärssystem (ERP, CRM), databaser, externa databaser, sensor- och maskinloggar (IoT), webbdata samt filer som dokument eller kalkylblad. Data kan hämtas genom API:er, direkt databaskontakt, filuppkoppling, FTP/SFTP, web scraping eller med realtidsströmning.

Metoderna för datainhämtning varierar mellan realtidsströmning och batchhämtning. Processen omfattar planering, extraktion, validering, rengöring och ibland transformation innan data lagras i ett målformat, data lake eller datalager. Vanliga verktyg inkluderar ETL-/ELT-processer och integrationsplattformar.

Kvalitet och säkerhet är centrala. Viktiga aspekter är noggrannhet, fullständighet, aktualitet, konsekvens och spårbarhet (data lineage) samt metadata. Regler för dataskydd och åtkomstkontroller tillämpas ofta för att uppfylla sekretesskrav och lagstiftning som GDPR.

Användningsområden inkluderar affärsanalys, rapportering, operativt beslutsstöd och maskininlärning. Effektiv datainhämtning kräver ofta tydlig data governance, dokumentation av källor och processer samt övervakning av dataflöden.