tietojoukkojen

Tietojoukko on havaintojen tai mittaustulosten kokoelma, jolla on sama rakenne. Yleensä rivit vastaavat yksittäisiä havaintoja ja sarakkeet muuttujia tai ominaisuuksia. Jokaisella rivillä on arvoja kullekin muuttujalle, ja kokoelma mahdollistaa tilastollisen analyysin sekä mallinnuksen.

Tietojoukkoja käytetään muun muassa tilastollisiin ja tekoälyyn liittyviin tehtäviin. Ne voivat olla tabulaarisia tietojoukkoja, kuvatiedostoja, ääniteaineistoja tai tekstiä sisältäviä aineistoja. Kliinisessä, taloudellisessa tai tutkimuksellisessa kontekstissa puhutaan usein valvotusta oppimisesta (supervised learning), ei-valvotusta oppimisesta ja mahdollisesti vahvistusoppimisesta (reinforcement learning), riippuen siitä, miten dataa käytetään mallien opettamiseen.

Laatu ja valmistelu ovat olennaisia: puuttuvat arvot, virheelliset merkinnät sekä mittaus- ja kalibrointivirheet voivat vaikuttaa analyyseihin. Ennen mallinnusta tietojoukko puhdistetaan, virheet korjataan, puuttuvat arvot täytetään tai poistetaan, ja ominaisuudet skaalataan tai normalisoidaan.

Tiedot voivat olla monessa muodossa: CSV- tai TSV-tiedostot, JSON, Parquet tai HDF5 ovat yleisiä tallennusmuotoja. Metatiedot kuvaavat muuttujien nimeä, tyyppiä ja yksiköitä sekä tarjovat kontekstia käytölle. Hyvin dokumentoidut tietojoukot helpottavat uudelleenkäyttöä, vertailua ja toistettavuutta.

Yksityisyys ja etiikka ovat keskeisiä asioita tietojoukkoja käytettäessä. Monet tietojoukot sisältävät henkilötietoja, jolloin anonymisointi, minimointi ja asianmukainen luvankäyttö ovat tärkeitä. Lisenssit ja käyttöehdot määrittävät, miten dataa saa käyttää ja jakaa.