kenmerkenselectie

Kenmerkenselectie is het proces om een subset van relevante kenmerken uit een grotere verzameling te identificeren, met als doel een voorspellend model dat efficiënter en robuuster presteert. Door irrelevante of redundante variabelen uit te sluiten verlaagt men de dimensionaliteit, beperkt men overfitting en verbetert de interpretatie. Kenmerkenselectie is verwant aan dimensionaliteitsreductie, maar verschilt van feature-extractie zoals PCA, die nieuwe variabelen creëert.

Drie hoofdbenaderingen bestaan: filtermethoden, wrapper-methoden en embedded methoden. Filtermethoden beoordelen kenmerken op basis van statistische associaties met de doelvariabele, onafhankelijk van het gebruikte model. Wrapper-methoden evalueren subsets via de prestaties van een bepaald leeralgoritme. Embedded methoden integreren selectie in het leerproces, bijvoorbeeld via regularisatie of tijdens het bouwen van een model zoals een boom of ensemble.

Veelgebruikte technieken zijn: bij filtermethoden mutual information (MI), chi-kwadraat, ANOVA F-test en correlatie; bij wrapper-methoden recursieve feature elimination (RFE) en stapgewijze selectie; bij embedded methoden L1-regularisatie (lasso) en de belangrijkheid van kenmerken in beslissingsbomen, random forests en gradient boosting.

Evaluatie gebeurt meestal met cross-validatie om na te gaan of de selectie de prestaties verbetert en of de kenmerken stabiel zijn over trainingssets. Let op datalekkage, afhankelijkheid van het gekozen model en het risico dat belangrijke informatie verloren gaat bij agressieve selectie.

Toepassingen van kenmerkenselectie komen voor in bioinformatica, financiën, tekst- en beeldverwerking en sociale wetenschappen, waar hoge dimensionale data en beperkte trainingssets vaak voorkomen. Het vergroot inzicht in belangrijke factoren en kan rekentijd en geheugen besparen.