datafångst

Datafångst är processen att samla in digital data från olika källor för bearbetning, analys och arkivering. Begreppet används inom it-drift, nätverksövervakning, industriell automation och forskning. Fokus ligger ofta på att fånga rådata i realtid eller nära realtid när händelser inträffar.

Källor och metoder inkluderar loggar från servrar och applikationer, sensorer i industriell utrustning, nätverkstrafik fångad med paketinspelning, samt händelseströmmar från system via API eller meddelandebussar. Vanliga tekniker är realtidsströmning, batchfångst och batchloggar. Data lagras i olika format som textfiler, JSON, CSV eller kolonnorienterade format som Parquet. Datafångst kan ske lokalt, i edge-miljöer eller i molnet och är ofta del av en större datapipeline.

Bearbetning och kvalitetskontroll råder i själva fältet: insamlade data transformeraras, berikas och indexeras, med tydlig dokumentation av provenance och metadata. Det krävs hänsyn till latens, skalbarhet och datakvalitet samt hantering av volym och heterogena datatyper. Sökord som governance, datakataloger och metadatahantering förekommer ofta i praktiken.

Juridiska och etiska aspekter är centrala: insamlade uppgifter kan innehålla personlig information, vilket kräver integritetsskydd, samtycke och följsamhet med regler som GDPR. Säkerhet, anonymisering och åtkomstkontroller är viktiga delar av datafångst. Utmaningar inkluderar hantering av olika källor, dataströmmars tempo och effektiva lagringslösningar.