Datafabrikker

Datafabrikker er et begreb inden for datahåndtering, der beskriver systemer eller organisatoriske mønstre, som automatiserer hele dataens livscyklus fra indsamling af rådata til transformation, lagring og levering af færdige dataprodukter til analytikere og beslutningstagere.

Et datafabrik-setup består typisk af datakilder, datapipelines til indsamling og ETL/ELT, datatransformation, kvalitetskontrol, metadatastyring, orkestrering og et opbevaringslag som en datalake eller et datavarehus. Fokus ligger også på dannelse og vedligeholdelse af dataprodukter og stærk adgangsstyring og sporbarhed.

Arkitektur kan være centraliseret eller distribueret gennem en data-mesh; der kan være realtids- og batchprocesser; og automatiseret orkestrering via planlægningsværktøjer. Datafabrikker skal have governance, datakataloger og overholdelse af regler som GDPR.

Fordelene inkluderer hurtigere levering af pålidelige dataprodukter, genanvendelighed og ensartet datakvalitet på tværs af organisationen samt bedre kontrol med omkostninger og sikkerhed.

Udfordringerne omfatter kompleksitet i design og vedligeholdelse, krav om fælles standarder, latens i datalevering og risiko for leverandør-låsning ved valg af platforme.

I praksis bruges datafabrikker i både offentlige og private organisationer og understøttes af teknologier som ETL/ELT-rammer, dataorkestrering (for eksempel Apache Airflow) og værktøjer til datakatalogisering og datamodellering.