datafangstsystem

En datafangstsystem er et teknisk system som innhenter og overfører data fra ulike kilder til et behandlingsmiljø. Målet er å gjøre data tilgjengelig for analyse, overvåkning og beslutningsstøtte. Systemet kan operere i sanntid eller i batch og brukes i alt fra industriell IoT og helsesektoren til finans og forskning.

Datakilder kan være sensorer, programlogg, brukerinteraksjoner, eksterne API-er eller filsystemer. Data kan samles inn via protokoller som MQTT, OPC UA, HTTP/REST eller Kafka, og formater som JSON, XML, CSV eller mer komprimerte binære formater. Datafangst kan innebære enkel logging, semiautomatisk registrering eller fullstendig streaming av hendelser.

Arkitekturen inkluderer ofte datafangstagenter eller klienter, nettverk og en eller flere ingestor-/inndata-komponenter, samt et mellomlager eller data lake/warehouse for lagring. Metadatahåndtering, datakvalitet og rensing er vanlige mellomledd, og dataene kan transformeres før lagring eller videre analyse. Sikkerhet og personvern er viktige, med mekanismer som autentisering, tilgangskontroll, kryptering og dataintegritet.

Bruksområder omfatter overvåking av produksjon og maskiner, innsamling av loggdata fra IT-systemer, sanntidsanalyse av finansielle transaksjoner og innsamling av forskningsdata. Fordeler inkluderer rask tilgang til data, forbedret beslutningsgrunnlag og bedre overvåking. Begrensninger kan være kostnad, kompleksitet ved heterogene kilder og utfordringer knyttet til kvalitet og personvern.

Standarder og praksis omfatter bruk av protokoller og rammeverk som MQTT, OPC UA og Kafka samt dataformater som JSON og Parquet. Designet bør legge vekt på skalerbarhet, fleksibilitet og samsvar med relevante regler som GDPR ved håndtering av personopplysninger.