päätöspuualgoritmeja

Päätöspuualgoritmit ovat luokittelu- ja regressio-ongelmiin sovellettavia koneoppimisen menetelmiä. Ne perustuvat puumaisen rakenteen hyödyntämiseen, jossa jokainen sisäsolmu edustaa testin suorittamista tietystä ominaisuudesta, jokainen oksa edustaa testin tulosta ja jokainen lehtisolmu edustaa luokkapäätöstä tai ennustettua arvoa. Algoritmi jakaa datajoukon rekursiivisesti pienempiin osiin, kunnes jokainen osajoukko on riittävän homogeeninen tai saavutetaan ennalta määritetty lopetusehto.

Keskeisiä päätöspuualgoritmeja ovat esimerkiksi CART (Classification and Regression Trees), ID3 (Iterative Dichotomiser 3) ja C4.5. CART käyttää Gini-epäpuhtautta tai varianssin vähennystä jakaumakriteerinä, kun taas ID3 ja C4.5 käyttävät informaatiovoittoa. Päätöspuita voidaan käyttää yksinään, mutta ne ovat usein tehokkaampia osana ensemble-menetelmiä, kuten satunnaismetsiä (Random Forests) tai gradienttivahvistusta (Gradient Boosting).

Päätöspuiden etuja ovat helppo tulkittavuus ja visuaalisuus, kyky käsitellä sekä numeerista että kategorista dataa, ja vähäinen esikäsittelytarve. Haittoja voivat olla taipumus ylisovittamiseen, herkkyys pienillekin muutoksille datassa ja potentiaalisesti epätasapainoiset puut. Ylisovittamista voidaan hallita esimerkiksi puun syvyyden rajoittamisella tai oksien karsimisella.