Reliefbaserade

Reliefbaserade metoder är en familj av övervakade funktion urval (feature selection) i maskininlärning som bedömer varje egenskaps (feature) relevans genom att jämföra liknande och olikartade exempel i datauppsättningen. Den centrala idén är att kvalitativa skillnader mellan närliggande exempel från olika klasser ska få större vikt än likheter inom samma klass, vilket gör det möjligt att fånga egenskapseffekter som inte är linjärt separerbara eller som uppvisar interaktioner mellan funktioner.

Historiskt utvecklades den ursprungliga Relief-algoritmen av Kira och Rendell 1992. Sedan dess har flera förbättrade varianter införts, bland annat ReliefF för flerklassproblem och bullerresistens, samt RReliefF för regression. Andra viktiga efterföljare inkluderar SURF, SURF*, MultiSURF och deras anpassningar. Dessa metoder används vanligtvis för att generera en rankad lista över funktioner snarare än ett enda urval, vilket gör dem lämpliga som förberedande steg inför andra inlärningsalgoritmer.

Principen varierar mellan varianterna men bygger ofta på att slumpmässigt välja instanser och hitta deras närmaste grannar från samma klass (nearest hits) respektive olika klass (nearest misses). Värdena på funktionerna uppdateras baserat på hur väl varje funktion skillnaderna mellan instanserna återspeglar klassolikheter och skillnader. Funktioner som bättre separerar olika klasser får högre vikt.

Fördelar med reliefbaserade metoder inkluderar bättre fångande av interaktioner mellan funktioner och viss motståndskraft mot brus jämfört med enkla univariata metoder. Begränsningar inkluderar känslighet för skalförändringar, beroende av rätt val av antal grannar och vissa problem vid mycket hög dimension eller ikonisk klassobalans. De används inom områden som biologi, textklassificering och sensoranalys där starka, icke-linjära relationer mellan egenskaper och målvariabeln förekommer.