Datamängden

Datamängden är en samling data som används för analys, modellering och kommunikation av insikter. Den består oftast av poster (observationer) och variabler (attribut). Varje post representerar ett exempel och varje variabel beskriver en egenskap hos det exemplet. Datamängder kan vara strukturerade, ostrukturerade eller semi-strukturerade och varierar i storlek och kompleksitet.

Strukturerade datamängder är organiserade i tabeller med rader och kolumner och ofta lättare att analysera med relationsdatabaser eller kalkylverktyg. Ostrukturerade datamängder innehåller data som inte följer ett fast schema, till exempel textfiler, bilder, ljud eller video. Semi-strukturerade data, som JSON eller XML, har något schema men är mer flexibla än helt strukturerade data.

Användningen av en datamängd beror på syftet: beskrivande analys, modellering, maskininlärning eller dataregistrering. Inom maskininlärning delas ofta en datamängd upp i tränings-, validerings- och testdelar. Märkning eller annotering kan krävas för övervakad inlärning. Kvaliteten på en datamängd påverkar resultaten; vanliga åtgärder inkluderar rensning, normalisering, kodning av kategorivariabler, hantering av saknade värden och åtgärder mot över- eller underfitting.

Metainformation om datamängden – vem som samlat in den, hur den samlades in, licensiering och versionering – är viktig för reproducibilitet och ansvarstagande. Lagring sker ofta i databaser, data lakes eller data warehouses, i olika format som CSV, JSON och Parquet.