Featurestorlek

Featurestorlek är inom dataanalys termen för antalet egenskaper eller features i ett datapunkt eller en indata. Den beskriver dimensionen hos den vektor som används som indata till en modell. En större featurestorlek kan fånga mer information men ökar också beräkningskostnader, minnesbehov och risken för överpassning om mängden data inte ökar i motsvarande takt.

Inom olika domäner upplevs olika delar av problematiken. I strukturerade tabelldata kan featurestorleken vara antalet kolonner. Vid textanalys leder textrepresentationer som one-hot encoding till mycket hög dimensionalitet, medan mer effektiva representationer som ord- eller sentence embeddings minskar dimensionaliteten. I bildbehandling kan råa pixlar ge oerhört hög dimension, men idag används oftast nedströms representationer som lärs av modellen eller förutbildade features, vilket minskar effektiv featurestorlek.

Att hantera stor featurestorlek involverar ofta metoder för dimensionellity reduction eller feature selection. Till exempel inkluderar filter- och wrapper-metoder, eller inbäddad regularisering i modeller som L1/L2, beslutsträd eller gradientbaserade metoder. Vid modellering är prestanda och generalisering kopplade till hur väl dimensionerna används och hur korrelerade de är.

Normalisering och skalning påverkar hur olika dimensioner bidrar. Valet av att reducera dimensioner innebär en trade-off mellan bevarad information och förenklad modell och snabbare träning. Se även: dimensionality reduction, feature selection, regularisering, överanpassning.