gagnaflowskerfi

Gagnaflowskerfi er kerfi sem stýrir flæði gagna frá uppruna til notanda eða annarra kerfa. Slík kerfi safna, umbreyta og dreifa upplýsingum með það að markmiði að auka nýtingu gagna, góðan gæði og rekjanleika. Gagnaflowskerfi eru oft lagið til að tengja mörg innri og ytra kerfi, bæta stjórnun gagna og stytta tíma frá upptökum að notkun.

Gagnaflowskerfi innihalda oft eftirfarandi þætti: uppsprettur gagna (t.d. gagnagrunnir, forrit, tækjabúnaður), gagnainnflæði og samþættingu, umbreytingar (ETL/ELT eða rauntíma streymi), gagnageymslu (t.d. gagnalóð eða gagnageymsla/warehouse) og notendur eða íþróttun gagnanna (forrit, BI-verkfæri eða gagnanotendur). Auk þess eru metadata, gagnastýring, öryggi og aðgangsstýring, rekjanleiki og starfsæfingar mikilvægir hlutir. Oft eru verkfæri fyrir orkestration og sjálfvirkni notuð til að raða og stýra vinnu, eins og Airflow eða sambærileg lausn.

Arkitektúr gagnaflowskerfa getur falið í sér batch-úrvinnslu, streymi í rauntíma og atburðastýringu. Gagnaöryggi og persónuvernd eru grundvallaratriði, þar sem geymd og fluttur gögn innihalda oft viðkvæmar upplýsingar. Fyrirtæki þurfa að uppfylla reglur eins og GDPR, vegna rekjanleika, aðgangsstýringar og dulkóðunar.

Notkun gagnaflowskerfa nær yfir gagnagreiningu og skýrsluhald, raðaða birtingu upplýsinga í stjórnunar- og rekstrarumhverfi, sjálfvirkni vinnu og samþættingu kerfa. Með vaxandi flókin gagnaflæði hafa þau orðið kjarnasverkfæri í annars konar gagnamannau.