Andmekomplekte

Andmekomplekt on süsteemselt kogutud andmeridade kogum, mis on seotud kindla teema või uurimisvaldkonnaga. Iga kirje kirjeldab üht näidet ning iga tunnus annab selle näite kohta mõõdetava omaduse. Andmekomplektidega töötatakse tavaliselt andmeteaduse, statistika ja masinõppe kontekstis.

Andmekomplektid võivad olla struktureeritud (tabelid CSV või Excel), poolstruktureeritud (JSON, XML) või mittestruktureeritud (pildid, helid, tekst). Tavaliselt sisaldab komplekt ka metaandmeid, mis kirjeldavad andmete päritolu, kogumise meetodit, veergude nimetusi, mõõtühikuid ja piiranguid. Andmed võivad esineda eri formaatide ja kvaliteediga, mistõttu on oluline mõista nende struktuuri enne analüüsi.

Kvaliteet ja korraldus on andmekomplekti töös keskendunud teema. Olulised omadused on täpsus, täielikkus, järjepidevus, ajakohasus ja representatiivsus. Puuduvad väärtused, mittesobivad väärtused ja duplikaadid tuleb märgistada või kõrvaldada ning andmed võivad vajada normaliseerimist või ühtlustamist.

Kasutusvaldkonnad hõlmavad masinõpet, statistilist analüüsi, andmeanalüüsi, modelleerimist ja baasteadmisi teaduslikes uuringutes. Hea praktikaga kaasneb järgitavus ja taaskasutatavus: versioonimine, andmete päritolu jälgitavus ja kirjeldavad datasheets-d või andmete kaardid.

Õiguslik ja eetiline külg on olulised. Isikuandmete kaitse, anonüüsimine ja nõusolek on prioriteedid ning andmekäitlemine tuleb vastavusse viia kehtivate seaduste, nagu GDPR, ning hoolimata potreeritavate litsentside, näiteks CC0 või CC BY, tingimustega. Avatud andmed viivad suurema läbipaistvuseni ja koostöövõimalustele, kuid samas nõuavad hoolikat juurdepääsu kontrolli ja vastutust.