datauppsättningar

Datauppsättningar, eller dataset, är samlingar av data som kan vara strukturerade eller ostrukturerade och som används för analys, träning av maskininlärningsmodeller eller benchmarking. En uppsättning består vanligtvis av poster (rader) och attribut (kolumner) i tabellform, men kan också vara filer med bilder, ljud eller text.

Struktur och format: Vanliga format är CSV, JSON, Parquet och XML; data uppdelas i variabler och observationer och följer ett beskrivet schema som anger variablernas namn, typ och enheter. Metadata är viktig och beskriver källa, uppkomsttidpunkt, uppdateringsfrekvens, rättigheter samt eventuella begränsningar.

Källor och rättigheter: Data kan hämtas ur offentliga register, forskningsprojekt eller kommersiella källor. Licenser som CC0, CC BY eller företagsvillkor reglerar användning, distribution och kommersiell användning. Behov av anonymisering eller pseudonymisering kan finnas när uppgifter innehåller personuppgifter.

Kvalitet och bias: God data har hög fullständighet, noggrannhet och konsekvens, medan saknade värden, felaktigheter och systematiska skevheter kan påverka analyser och modeller. Dokumentation av urval, insamlingsmetoder och eventuella begränsningar är viktig för reproducerbarhet.

Användning: Datauppsättningar används inom forskning, statistik, beslutsstöd och maskininlärning. Reproducerbarhet uppnås genom tydlig dokumentation, versionering och citerbarhet (t.ex. DOI eller datakataloger).

Rättsliga och etiska aspekter: Integritetsfrågor hanteras genom GDPR, anonymisering och lämpliga åtkomsträttigheter. Åtkomstpolicyer och användningens syfte bör dokumenteras.

Standarder och tillgång: Det finns internationella och lokala standarder för metadata och öppna data, till exempel DCAT-AP och ISO/IEC-standarder. Offentliga uppsättningar bör göras sökbara i kataloger eller databaser så att andra kan reproducera analyser.