beslutningstre

Beslutningstre er en modell som brukes til beslutningstaking og prediksjon. Den representeres som et tre der hvert indre node er en test på en egenskap, grenene viser mulige utfall av testen, og bladene gir endelige beslutninger eller forutsigelser. Beslutningstrær brukes både for klassifikasjon (målet er en kategori) og regresjon (målet er et numerisk tall).

I treningsfasen bygges treet fra data gjennom en topp-ned, greedy tilnærming. Ved hver node velges den testen som best deler dataene etter et kriterium som informasjonsgevinst eller Gini-impuritet når det gjelder klasifisering, eller reduksjon i varians ved regresjon. Basert på testens utfall fordeles dataene i undergrupper, og prosessen fortsetter rekursivt for hver gren til stoppkriterier møtes (for eksempel når en node er homogen eller antallet eksempler er lavt).

Vanlige varianter og algoritmer inkluderer ID3, C4.5 og CART. ID3 og C4.5 bygger tre for klassifikasjon basert på informasjonsbaserte kriterier (informasjonsgevinst og gain ratio); CART bygger enten klassifiserende trær med binære grenseoppdelinger basert på Gini-impuritet, eller regresjons-trær som minimerer sum av kvadratiske feil.

Fordeler inkluderer enkel tolkning, visuell representasjon og fleksibilitet med både numeriske og kategoriske variabler. Ulemper inkluderer ofte overtilpasning, sårbarhet for små endringer i data, og skjevhet mot attributter med mange nivåer. Pruning og kryssvalidering brukes for å bedre generalisering.

Beslutningstrær brukes i ulike felt som medisinsk diagnostikk, kundeatferd og risikovurdering, og utgjør en kjernekomponent i metoder som Random Forest og Gradient Boosting, som kombinerer mange trær for bedre ytelse og stabilitet.