Förändringsdatahämtning

Förändringsdatahämtning (CDC) är en metod för att identifiera och överföra ändringar som görs i en källdatabas eller annan datakälla till en målplattform i realtid eller nära realtid. CDC fokuserar på händelser som INSERT, UPDATE och DELETE och möjliggör kontinuerlig synkronisering utan att behöva läsa hela databasen vid varje uppdatering.

Vanligtvis består en CDC-pipeline av tre steg: fångst av förändringar i källan (capture), transport av förändringshändelser till mål eller meddelandebuss (routing), och tillämpning i mål där data uppdateras eller nya rader läggs till. Loggbaserad CDC läser transaktionsloggar eller ändringsloggar utan att belasta applikationen; triggerbaserad CDC använder databasspecifika triggers men kan öka belastningen på källsystemet.

Tekniker och verktyg inom CDC inkluderar Debezium (öppen källkod, byggt på Kafka), Oracle GoldenGate, SQL Server CDC, PostgreSQL logical replication och MySQL binlog. Många moderna lösningar utnyttjar strömningsplattformar som Apache Kafka eller molnbaserade tjänster där CDC-flöden konsumeras av ETL/ELT-processer eller data lakes. En CDC-pipeline kan drivas i realtid eller i batchar beroende på krav på latens och genomströmning.

Fördelar inkluderar låg latens i överföring av förändringar, minskat behov av fullständiga laddningar, förbättrad audit- och spårbarhet samt enklare replikering och disaster recovery. Nackdelar innefattar komplexitet vid schemaväxlingar, hantering av misslyckade händelser, behov av idempotenta konsumenter och potentiell påverkan på källsystemets prestanda.

Användningsområden inkluderar realtids- eller near real-time-analys i data warehouses och lakehouses, kontinuerlig synkronisering mellan system samt migreringar och mikroservicearkitekturer med event sourcing.