Andmetarbimise

Andmetarbimine on protsess, mille käigus kogutakse, säilitatakse, töödeldakse ja analüüsitakse andmeid eesmärgiga toota kasulikke teadmisi. Seda nimetatakse sageli ka andmetöötluseks ning see hõlmab nii struktureeritud kui ka struktureerimata andmete käsitlemist organisatsiooni vajaduste rahuldamiseks, otsuste tegemiseks ja teenuste parendamiseks.

Andmetarbimise tsüklik algab planeerimisest ja nõuete kogumisest, jätkub andmete kogumisega erinevatest allikatest, andmete puhastamise ja ühtlustamisega ning andmete integreerimisega, seejärel nende analüüsi ja aruandlust ning lõppkokkuvõttes jagamist või arhiveerimist. Olulised osad on andmekogud, andmebaasid ning metadata, mis aitavad andmeid leida ja mõista.

Erinevad töötlusviisid hõlmavad partiitöötlemist (batch processing) ja reaalajas tööd ning voolude (streaming) kasutamist. Üks levinumaid arhitektuure on ETL (extract, transform, load) või ELT (extract, load, transform), mis kirjeldab andmete üleviimist ja puhastamist enne analüüsi. Tööriistad võivad olla andmelaod (data warehouses), andmekorralduse platvormid ja analüütika tööriistad.

Andmetarbimisega seotud olulised aspektid on andmekvaliteet, metadata haldamine ja andmete kontekst. Privaatsus ja turvalisus on hädavajalikud ning neid tagatakse ligipääsupiirangute, krüpteerimise, pseudonimise ning vastavusega õigusraamistikule, nagu isikuandmete kaitse üldmäärus (GDPR).

Ettevõtted kasutavad andmetarbimist teenuste parandamiseks, riskide hindamiseks, tegevuste optimeerimiseks ja teaduslike uuringute läbiviimiseks. Peamised väljakutsed on andmete hajuvus, kvaliteet, ühtse metadata puudus ja regulatiivsed nõuded. Hea andmetarbimise kultuur keskendub vastutusele, dokumentatsioonile ja läbipaistvusele.