batchindlæsning

Batchindlæsning er processen med at indlæse data i et mål-system i separate portioner (batches) på faste tidspunkter eller tidsvinduer, i stedet for kontinuerlig, realtidsopdatering. Den er centralt i datawarehouse- og rapportsystemer, hvor lave latenser ikke altid er nødvendige, eller hvor belastningen på kilde- og netværkssystemerne gør batchbaseret indlæsning mere økonomisk.

Processen består typisk af dataudtræk fra én eller flere kilder, transformation og rensning af data, validering og kontroller, og til sidst indlæsning i måldatabasen eller datalagret. Arbejdet organiseres ofte som ETL- eller ELT-flows, der køres i batchvinduer og styres af en orkestreringstjeneste. Under batchkørsler håndteres fejl, genkørsel, og logging for revision og rekonstruktion.

Forskellen mellem batchindlæsning og streaming er latenstid og kontinuitet: batch indlæser data periodisk og med begrænset tidsmæssig forsinkelse, mens streaming prøver at indlæse data næsten i realtid.

Der findes varianter som fuld indlæsning og inkrementel (incremental) indlæsning, hvor kun ændrede eller nye poster behandles. Fordelene ved batchindlæsning inkluderer forudsigelig belastning, enkel implementering og god egnethed til store dataaflejringer. Ulemperne omfatter højere latenstid og potentiel data-staleness samt kompleksitet ved afhængigheder og schemaændringer.

Typiske spørgsmål og designovervejelser omfatter data kvalitet, versionering af data, idempotens, og hvor ofte batchkørsler skal afvikles. Relaterede begreber omfatter dataintegration, ETL/ELT og data warehouse.

Fremtiden ser ofte en hybride tilgang, hvor batchkørsler kombineres med kortere batcher eller micro-batching for at opnå tættere realtidsfeedback uden at ofre stabilitet.