Batchprocessering

Batchprocessering, eller batchbearbetning, är en metod där data och uppgifter samlas i en eller flera batchar och körs utan mänsklig interaktion. Arbetsflödet körs ofta enligt schemalagda fönster eller när en viss mängd data har samlats in. Denna modell fokuserar på genomströmning och effektiv resursanvändning snarare än omedelbar svarstid.

Karakteristiskt för batchprocessering är att indata samlas upp, lagras mellan stegen och bearbetningen utförs som en helhet. Batchar kan köras över natt eller under lågnivåbelastade perioder, vilket ger förutsägbara prestanda och möjligheter till optimerade resursallokeringar. Arbetsflöden styrs vanligtvis av jobbköer eller schemaläggare och kan vara idempotenta för att hantera fel och omkörning.

Processen består ofta av inhämtning av data, lagring i stagingområden, alternativt transformering och beräkning, följt av utdata till databaser, datawarehouses eller rapporteringssystem. Vanliga verktyg inkluderar ETL/ELT-plattformar, SQL-skript, batchjobb via cron eller arbetsflödesmotorer, samt ramverk som Hadoop MapReduce och Apache Spark i batchläge.

Typiska användningsområden är löner, fakturering, rapportering, daglig eller nattlig dataaggregering och uppbyggnad av datawarehouses eller data lakes. Fördelarna inkluderar hög genomströmning för stora datamängder, kostnadseffektiv resursanvändning och stabilt felåterhämtning. Nackdelar är längre svarstider per enskild post, mörkret mellan indata och färdig beräkning och ibland komplexa felhanteringsstrategier.

I moderna system uppträder batchlösningar ofta i relation till realtidsbearbetning, där batcher används tillsammans med stream-processing för att balansera latens och genomströmning.