adathalmazoknál

Adathalmazoknál olyan adatkészleteket értünk, amelyek megfigyeléseket és jellemzőket foglalnak magukba, és amelyeket statisztikai elemzésekre, adatmodellezésre vagy gépi tanulásra használnak. Egy adathalmaz általában strukturált formában van megjelenítve: sorokban az egyes megfigyelések, oszlopokban a jellemzők vagy változók. Bizonyos adathalmazok időbeli vagy térbeli kontextust is tartalmazhatnak, például idősort vagy helyspecifikus adatokat.

Két fő típusa a strukturált és strukturálatlan adathalmazok; a strukturált adathalmazban egyértelműen definiált oszlopok és adattípusok vannak (numerikus, kategorikus, dátum). Az adatok gyakran tartalmaznak hiányzó értékeket, ezért előfeldolgozásra van szükség, például hiányzó értékek imputálása, skálázás vagy kódolás (például one-hot encoding).

Az adathalmazokat gyakran felosztják a gépi tanulásban: tanító (training), validációs (validation) és teszt (test) készletekre. Szupervised tanulás esetén gyakran különválasztva dolgoznak a bemeneti változókból és a célváltozóból; a kimutatások és a modellek értékelése ezekkel a készletekkel történik.

Formátumok és tárolás vonatkozásában az adathalmazokat gyakran CSV, JSON, Parquet vagy relációs adatbázisokban tárolják, kísérő metaadatai pedig a forrás, a gyűjtés dátuma, a felelősségi körök és a licencelés információit tartalmazzák. Az adathalmazok kezelése során kiemelt szerepe van a minőség- és adatgazdálkodásnak, az adatvédelmi és etikai szempontoknak, valamint a példányszépség és torzítás csökkentésének.