endringsdatafangst

Endringsdatafangst, ofte referert til som change data capture (CDC), er et sett metoder og prosesser som registrerer endringer i data ved kilden og overfører dem til ett eller flere målsystemer. Målet er å gjøre oppdateringer tilgjengelige i sanntid eller nær sanntid for andre applikasjoner, databaser eller analyseplattformer uten å måtte foreta fullstendige datagjenopprettinger.

CDC fanger typisk inserts, updates og deletes som transaksjoner i kilden, og produserer hendelser som downstream-systemer kan konsumere. Avanserte løsninger ivaretar rekkefølgen av transaksjoner, identifiserer primærnøkler og tilrettelegger for idempotent levering og enkel gjeninnlasting ved feil. Metodene varierer fra loggbasert CDC til triggere og tidsstempelbasert polling.

Teknisk er loggbasert CDC vanligst fordi det gir lav påvirkning på kildesystemet og kan dekke sanntidsbehov. Dette inkluderer ofte databaser som bruker redo-logg eller transaksjonslogg. Mange løsninger bygger på strømbehandling og meldingssystemer, som Kafka, og bruker verktøy som Debezium eller tilsvarende plattformer for å koble kilder og målsystemer.

Vanlige bruksområder inkluderer sanntids datavarehus og data lakes, synkronisering mellom applikasjoner og oppretting av en revisjonslogg som viser hva som ble endret og når. Viktige vurderinger er konsistens, latenstid, skjemamigrasjon og personvern. Riktig implementering krever styring av tilgang, støtte for skjema- versjonering og robust feilbehandling for å sikre pålitelig dataflyt.