Wrappermenetelmät

Wrappermenetelmät ovat ominaisuusvalinnan tekniikoita, joissa parhaiten soveltuva ominaisuusjoukko valitaan arvioimalla mallin suorituskykyä useiden mahdollisten alijoukkojen avulla. Toisin kuin suodatinmenetelmät, wrappermenetelmät käyttävät ennustemallia arviointikriteerinä; jokainen alijoukko koulutetaan ja sen suorituskyky mitataan, ja parhaan tuloksen saavuttanut subset valitaan. Suorituskykyä arvioidaan usein luokitus- tai regressiomittareilla, kuten tarkkuudella, F1-arvolla, ROC-AUC:llä tai RMSE:llä, ja suorituskyky voidaan arvioida esimerkiksi k-fold ristiinvalidoinnilla.

Hakustrategiat wrappermenetelmissä sisältävät etenevän valinnan (forward selection), taaksepäin poiston (backward elimination) sekä näiden yhdistelmät (stepwise). Yksi tunnetuimmista wrapper-menetelmistä on Recursive Feature Elimination (RFE), jossa aloitetaan koko ominaisuusjoukosta ja poistetaan ominaisuuksia järjestelmällisesti, kunnes saavutetaan ennalta määrätty määrä ominaisuuksia. Wrappermenetelmät voivat käyttää erilaisia malleja, kuten logistista regressiota, päätöspuita tai tukivektoreita.

Hyödyt ja rajoitukset: Wrappermenetelmät voivat löytää vuorovaikutussuhteita ominaisuuksien välillä ja parantaa suorituskykyä, kun ominaisuudet vaikuttavat yhdessä. Ne ovat erityisen hyödyllisiä pienemmille ominaisuusjoukille tai kun mallikohtaiset vuorovaikutukset ovat tärkeitä. Samaan aikaan ne ovat laskennellisesti raskaita ja alttiita ylikoulutukselle, etenkin suurilla ominaisuusmääriä sisältävillä datasetillä. Käyttö kannattaa rajoittaa tilanteisiin, joissa laskentapotentiaali riittää ja halutaan optimoida ominaisuusjoukko tietylle mallille.