regresjonstrær

Regresjonstrær er en type beslutningstre som brukes til regresjon, det vil si prediksjon av kontinuerlige variabler. Modellen deler data inn i underområder gjennom rekursive, binære delinger, og hver blad gir en prediksjon, vanligvis gjennomsnittet av målvariabelen i noden.

Treningsprosessen velger splits som minimerer prediksjonsfeil. For regresjon er ofte målet reduksjon i sum av kvadrerte feil (SSE). Delinger gjøres inntil stoppkriterier som treets dybde, minste antall observasjoner i en node eller gjennom pruning for å unngå overtilpasning. Pruning reduserer treets kompleksitet og forbedrer generalisering.

Fordeler: modellen er enkel å tolke, kan fange ikke-lineære forhold og interaksjoner uten eksplisitte antagelser, og håndterer ulike variabletyper. Noen implementasjoner går også inn for håndtering av manglende data ved surrogate splits. Begrensninger: høy varians og følsomhet for små endringer i data, skjevhet mot kategorier med mange nivåer, begrenset evne til å extrapolere utenfor treningsdata, og ofte stykkevis-konstante prediksjoner.

Relaterte metoder og utvidelser: ensembles som random forest og gradient boosting regression bygger mange regresjonstrær og kombinerer prediksjonene for bedre nøyaktighet og stabilitet. Dette inkluderer teknikker som gradient boosting, XGBoost og LightGBM.

Anvendelser: brukt bredt i finans, helse, miljømodellering og andre felt der tolkbarhet og evne til å modellere ikke-lineære forhold er verdifull.