luokituspuiden

Luokituspuut ovat päätöspuita, joita käytetään klasifikaatiotehtävissä. Niiden tarkoituksena on ennustaa havaintojen luokka ominaisuuksien arvojen perusteella. Puun juuresta alkaa jakaminen, jossa jokaisessa solmussa valitaan ominaisuus ja mahdollinen arvo, jolla data jaetaan haluttuun suuntaan. Tämä rekursiivinen jakaminen etenee, kunnes havaintojen joukko täyttää lopullisen luokan lehdessä eli päätöspuussa. Lopulliset luokat määritellään lehdissä.

Rakentaminen perustuu mittareihin, jotka arvioivat jakamisen laatua. Yleisimmät ovat informaatiopalamisen (information gain), Gini-epäpuhtaus sekä gain ratio. Eri algoritmit käyttävät eri lähestymistapoja: ID3 ja C4.5 sekä CART ovat tunnetuimpia. ID3 käyttää informaatiopalautetta ja toimii pääosin kategoristen ominaisuuksien kanssa, C4.5 käsittelee myös jatkuvia ominaisuuksia käyttämällä kynnysarvoja, kun taas CART tehdään usein binaarisidonnaisesti ja käyttää Gini-epäpuhtautta jakamisen mittarina.

Käyttöönotossa on otettava huomioon yleistettäväksi pyrkivä pruning-osa. Ennenaikainen varhainen lopettaminen (pre-pruning) tai jälkitoimenpiteellä tehtävä pruning (post-pruning) vähentävät liiallista monimutkaisuutta ja parantavat suorituskykyä uudella datalla. Puun rakentaminen voi altistaa ylioppimiseen, erityisesti monimutkaisilla tai epätasapainoisilla datasetillä.

Käytännössä luokituspuut ovat helppoja tulkita ja soveltuvat sekä numeerisiin että kategorisiin tietoihin. Niiden vahvuuksiin kuuluu intuitiivinen tulkittavuus ja nopea erottelu pienissä ongelmissa, mutta ne voivat olla herkkiä pienille datamuutoksille ja voivat tarvita lisämenetelmiä parantamaan suorituskykyä, kuten Ensemble-menetelmiä (Random Forest, Gradient Boosting). Luokituspuut ovat yleisiä monilla aloilla ideoiden ja päätöksenteon tukena.