batchbewerking

Batchbewerking, oftewel batch processing, is een methode om een verzameling taken als één groep uit te voeren, meestal zonder voortdurende menselijke tussenkomst. De taken staan in een batchqueue en worden achtereenvolgens of parallel verwerkt door een batchprocessor of batchsysteem. Een batch kan invoerbestanden, transformaties en uitvoer bevatten en wordt doorgaans gepland om buiten piekuren te draaien of wanneer gegevens beschikbaar zijn.

Belangrijke kenmerken zijn de afwezigheid van voortdurende menselijke tussenkomst, verwerking van grote hoeveelheden data in één of meerdere jobs, en de mogelijkheid tot afhankelijkheidsregels, retries en foutafhandeling.

Toepassingsgebieden omvatten data- en informatiesystemen zoals ETL voor datawarehouses, rapportgeneratie en archivering; daarnaast worden batchtaken gebruikt bij massale beeld- en videoconversie en in industriële productie waar recepten en kwaliteitscontrole in batches plaatsvinden.

Een typische batch-omgeving omvat staging van invoer, een batchqueue en een scheduler die taken plant, en een uitvoering-omgeving die ze uitvoert. Taken kunnen afhankelijkheden hebben, wat foutafhandeling en herstartlogica vereist. Uitvoer wordt opgeslagen of doorgegeven aan vervolgstappen. Moderne omgevingen draaien batchtaken op lokale systemen, in virtualisatie of in de cloud en worden soms gecoördineerd met orkestratietools.

Voordelen zijn hoge doorvoer en efficiënt gebruik van bronnen, evenals automatisering van repetitieve taken. Nadelen zijn latency bij individuele taken, beperkte geschiktheid voor real-time vereisten en de complexiteit van foutafhandeling bij grote batchstromen.

Historisch ontstond batchbewerking in het mainframetijdperk als antwoord op beperkte interactie en I/O. Tegenwoordig blijft het relevant voor datawarehousing, ETL en industriële productie, waar repetitie en transformatie van data en goederen geautomatiseerd en gepland worden.