tietojoukosta

Tietojoukko on joukko tietueita ja muuttujia, jotka on järjestetty tiettyyn rakenteeseen ja tarkoitettu tiedon tallentamiseen sekä分析iin. Yleisimmin tietojoukkoja käytetään taulukkomuodossa: jokainen rivi vastaa yhtä havaintoa ja jokainen sarake mittaavaa muuttujaa. Tietojoukot voivat sisältää sekä numeerista että luokittelevia arvoja.

Tietojoukkoja voidaan luokitella rakenteellisuuden perusteella. Rakenteellinen data noudattaa tiukkaa skeemaa, kuten CSV- tai TSV-tiedostoja. Semistrukturoitu data kuten JSON- tai XML-tiedostot sallii erilaisia kenttiä ja rakenteita. Epästrukturoitu data voi olla esimerkiksi tekstiä, kuvia tai ääntä. Suurissa järjestelmissä käytetään lisäksi tehokkaita tallennusformaatteja kuten Parquet tai ORC, jotka soveltuvat suurten datasetien käsittelyyn.

Käyttökohteet kattavat tilastollisen analyysin, koneoppimisen ja tekoälyn, raportoinnin sekä päätöksenteon tukemisen. Datan valmistelu sisältää esikäsittelyn, puuttuvien arvojen käsittelyn, normalisoinnin sekä virheiden ja poikkeamien kartoituksen.

Laadunvarmistus ja metatiedot ovat keskeisiä. Metatiedot kuvaavat alkuperän, aikaleimat, mittayksiköt ja muuttujien kuvaukset. Henkilötietojen suojaus, anonymisointi sekä tietosuoja- ja tekijänoikeuslainsäädännön noudattaminen ovat tärkeitä eettisiä näkökohtia.

Jakaminen ja käyttöosa esim. avoin data -periaatteet: julkiset tietojoukot ovat vapaasti käytettävissä ja usein lisensoitu avoimesti (esim. CC0 tai CC BY). Tämä tukee tutkimusta, kehitystä ja yleistä tiedon saatavuutta.