Päätöspuukoneet

Päätöspuukoneet ovat valinnallista rakenteen muodostamiseen perustuvia ennustavia malleja, joita käytetään sekä luokitteluun että regression tehtäviin. Ne esittävät päätöksentekopuun, jossa jokainen sisäsolmu kuvaa ominaisuuden arvojen tarkistuksen ja jokainen reitti johtaa lehteen, joka sisältää ennusteen tai luokituksen. Malli on helposti tulkittavissa, sillä päätökset voidaan jäljittää puun kautta.

Rakenne ja toiminta: Päätöspuu alkaa juurisolmusta ja etenee yksittäisten ominaisuuksien arvojen perusteella. Eri lehtisolmut antavat lopullisen ennusteen (esim. luokka tai arvo). Uudet päätökset tehdään vertaamalla havaintojen ominaisuuksia kunkin solmun ehtoja vastaan. Kasauletta voidaan kasvattaa useilla päätöksen teon kriteereillä ja käytetään erilaisia jakosuhteita.

Algoritmit ja metriikat: Erilaiset päätöspuu- algoritmit käyttävät erilaisia jakokriteerejä, kuten entropy- tai Gini-epäpuhtaus luokkien erottamiseen (luokittelussa) tai varianssin vähentämistä (regressionissa). Yleisiä esimerkkejä ovat ID3, C4.5 ja CART. Puuta voidaan kaventaa ennen tai jälkeen kasvun (esim. pre-pruning tai post-pruning), jotta ylikuormittuminen ja yliyhteenkkasuminen vähenevät.

Vahvuudet ja rajoitukset: Päätöspuut ovat tulkittavissa ja voivat käsitellä sekä numeerisia että kategorisia ominaisuuksia, sekä vähän esikäsittelyä. Ne kuitenkin voivat yliopppia ja olla herkkiä pienille muutosille koulutusdatassa. Yleinen ratkaisu parantaa tarkkuutta ja vakautta käyttämällä ensemblemenetelmiä, kuten random forests tai gradienttihypyt.

Sovellukset: Käytetään muun muassa luokitteluun ja riskinarviointiin, lääketieteelliseen päätöksentekoon, rahoitus- ja markkinointianalytiikkaan sekä laadunvalvontaan. Päätöspuut tarjoavat nopean, tulkittavan lähtökohdan monimutkaisille ongelmille, joita voidaan laajentaa tarvittaessa monimutkaisemmilla ensemble-malleilla.