suurandmetes

Suurandmed on mõiste, mis kirjeldab andmete kogumeid, mis on traditsiooniliste tööriistade jaoks liiga suured, liiga kiiresti voolavad või liiga mitmekesises vormis. Selle keskmes on võime koguda, säilitada ja analüüsida suures mahus informatsiooni eesmärgiga avastada mustreid, trendide ja seoseid ning parandada otsuste kvaliteeti. Üldiselt räägitakse neljast või viiest omadusest: mahu (volume), kiirus (velocity), mitmekesisus (variety) ning usaldusväärsus või tegelikkus (veracity). Mõiste hõlmab ka mitmesuguseid andmetüüpe - struktureeritud, struktureerimata ja semi-struktureeritud ning eri allikatest pärit andmeid.

Suurandmete analüüs tugineb kaasaegsetele arhitektuuridele ja tööriistadele, nagu jaotatud arvutus, andmeladu (data lake) või andmelao (data warehouse), ning tööpõhiste raamistikud (Hadoop, Apache Spark) ja vooluandmete töötlus (Apache Kafka). Tulemuste tarbimiseks kasutatakse masinõpet, andmete kaevandamist ning reaalajas analüüsi. Pilvepõhised platvormid pakuvad skaleeritavat salvestust ja töötlemist, mis vähendab kohaliku infrastruktuuri vajadust.

Rakendused hõlmavad tervishoidu, finantssektorit, jaekaubandust, tööstuslikku tootmist ning teaduslikke uuringuid. Näiteks kliendi käitumise analüüs, prognoosimised, reaalajas häiresüsteemid ja personaliseeritud soovitused.

Väljakutsed hõlmavad andmekaitset ja privaatsust, andmete kvaliteeti ja ladustamise maksumust, andmete koostoimet ja standardiseerimist ning eetilisi küsimusi, nagu algoritmide läbipaistvus ja diskrimineerivate mustrite vältimine. Õigusaktid, andmekaitse ja hea andmete haldamise puudumine võivad piirata andmete kasutamist.