datasparsitet

Datasparsitet är ett begrepp inom statistik och maskininlärning som beskriver att en stor andel av de möjliga värdena i ett dataset är nollvärden eller saknade. Det är vanligt i högt dimensionella representationer där de flesta funktioner eller attribut inte är närvarande för varje exempel. Vanliga exempel är textdata som vektorer med en stor mängd ord där endast ett fåtal ord förekommer i varje dokument, eller användar–objekt-matriser i rekommendationssystem där de flesta användare inte interagerar med större delen av objekt.

Konsekvenserna av datasparsitet inkluderar ökade minnes- och beräkningskrav om man lagrar data i opaka format samt en ökad risk för överanpassning när antalet icke-nollobservationer är litet i förhållande till antalet funktioner. Det kan också göra inlärningen av modeller mer utmanande eftersom informationen är spridd över många dimensioner och vissa mönster kräver kompletta eller nära fullständiga observationer för att kunna upptäckas.

Mätning och dimensioneringsaspekter: datasparsitet mäts ofta med densitet (andelen icke-nollvärden av antalet möjliga) eller sparsitet (1 minus densitet). Andra mått kan inkludera fördelningen av icke-nollvärden över dimensioner och andelen saknade värden.

Åtgärder och metoder: för att hantera sparsitet används ofta datastrukturer och algoritmer som är optimerade för sparsamma matriser, såsom komprimerad radform (CSR/CSC), samt tekniker som dimensionsreducering, glesa modeller (t.ex. L1-regularisering), matrisfaktorering, hashing-trick och embedding-tekniker. Inom NLP och rekommendationssystem används ofta förenklingar som TF‑IDF, ord- eller användar- och objektembeddings samt matrisfaktorisering för att lära effektiva representationsmått trots hög sparsitet.

Relaterade begrepp: datasparsitet diskuteras ofta i kontrast till datamängder med utbredd fullständighet eller med kontext där nollor kan ha meningsfull betydelse. Det är viktigt att förstå hur sparsiteten uppstår i varje domän för att välja lämpliga metoder.