Datankeruujärjestelmä

Datankeruujärjestelmä on kokonaisuus, joka kerää, tallentaa ja jakaa dataa sekä sisäisiin että ulkoisiin käyttäjiin ja sovelluksiin. Sen tarkoituksena on tukea päätöksentekoa, raportointia ja analyyttistä toimintaa tarjoamalla ajantasaista ja laadukasta tietoa.

Järjestelmä koostuu useista osa-alueista: data-lähteet kuten sovellukset ja sensorit; keruuvaihe eli ETL/ELT tai striimaus; tallennus ratkaisuna data-lake tai data warehouse; datan käsittely, laadunvalvonta ja metadatahallinta sekä turvallisuus ja pääsynhallinta.

Tyypillinen arkkitehtuuri jakautuu useisiin kerroksiin: tuonti ja autentikointi, tallennus, datankäsittely ja laadunvarmistus sekä haku ja jakelu lopputulokseen kuten BI-työkalut ja raportointipalvelut. Järjestelmät voivat toimia sekä eräajo- että reaaliaikaisesti (streaming).

Teknologisesti datankeruujärjestelmiin liittyy monia käytäntöjä ja välineitä: tiedon keruuseen ja integraatioon esimerkiksi Apache NiFi tai Apache Kafka; datan käsittelyyn Apache Spark tai Flink; orchestrointiin Apache Airflow; sekä tallennukseen data lake tai data warehouse sekä pilvipalvelut.

Käyttötapaukset kattavat liiketoiminnan analytiikan, operatiivisen raportoinnin, tuotannon seurannan, terveydenhuollon ja julkisen hallinnon tiedonhallinnan. Tietosuoja ja sääntely—kuten GDPR—ohjaavat datan minimointia, anonymisointia ja pääsynvalvontaa sekä datan säilytyksen aikarajoja.

Haasteita ovat datalaatu ja -yhteensopivuus, erilaisten lähteiden integrointi, skaalautuvuus, viiveet sekä kustannusten hallinta sekä tietoturva.