Dataintensiivisyys

Dataintensiivisyys kuvaa järjestelmiä ja prosesseja, joissa toiminnallisuus ja suorituskyky riippuvat suurelta osin datan määrästä, datan virroista sekä sen hallinnan laadusta. Käytännössä dataintensiiviset sovellukset keräävät, tallentavat, siirtävät ja käsittelevät suuria määriä dataa nopeasti, jolloin infrastruktuuri ja tietojen laadun hallinta muodostuvat kriittisiksi tekijöiksi. Tällainen lähestymistapa esiintyy erityisesti suurten datakokonaisuuksien analyysissä, reaaliaikaisessa stream- ja koneoppimisessa.

Ominaisuuksiin kuuluu massiivinen datamäärä, korkea läpivirta sekä hajautettu laskenta ja skaalautuvuus. Dataintensiivisyyden ratkaisuissa hyödynnetään usein datalake-arkkitehtuuria sekä pilvipohjaisia tallennus- ja käsittelypalveluita, jotka mahdollistavat joustavan lisäkapasiteetin. Keskeistä on myös datan laatu, metadata ja data lineage, jotta tiedon hallinta, laadunvarmistus ja läpinäkyvyys ovat kunnossa.

Haasteita ovat kustannusten hallinta, tallennus- ja siirtokustannukset sekä viiveet, tietoturva ja yksityisyys, säilyttämisen vaatimukset ja lainsäädäntö sekä data governance. Datan hallintaan liittyy erityisesti kyky seurata alkuperää, muokkauksia ja käyttöoikeuksia sekä varmistaa tietojen eheys ja eettisyys.

Käyttökohteita ovat muun muassa telekommunikaatio, verkkopalvelut ja IoT, teollisuus 4.0, biotieteet sekä ilmasto- ja ympäristötutkimus. Dataintensiivisyys mahdollistaa suuret analytiikkaputket, koneoppimisen suurilla datamäärillä sekä reaaliaikaisen päätöksenteon.

Arkkitehtuurilta dataintensiiviset järjestelmät painottavat data- ja laskentatehon läheistä yhteistoimintaa. Tällöin käytetään data-centric arkkitehtuuria, datalake- ja datavarastoratkaisuja sekä ETL- tai ELT-prosesseja. Reaaliaikaisessa käsittelyssä hyödynnetään striimausmenetelmiä ja hajautettuja laskentakehikoita, kuten Apache Kafka, Apache Flink ja Apache Spark. Yhteenvetona dataintensiivisyys kuvaa tapaa rakentaa ja käyttää järjestelmiä, joissa arvo syntyy pääasiassa tiedon määrästä ja sen nopeasta käsittelystä. Edistyneet käytännöt keskittyvät skaalautuvuuteen, tietoturvaan ja datan hallintaan sekä siihen, miten dataa voidaan käytännön päätöksenteossa hyödyntää.