CARTregteknologiat

CART-regteknologiat viittaa päätöspuumaisia menetelmiä, jotka perustuvat Classification and Regression Trees (CART) -malliin. CART-malli muodostaa binäärisen puun, jossa jokainen sisäsolmu määrittelee kynnysarvon tai ominaisuuden jakopisteen ja jokainen lehti antaa lopullisen luokituksen tai ennusteen. CART on sekä luokittelun että regression tehtäviin soveltuva perusmenetelmä, ja sitä käytetään laajasti sekä tutkimuksessa että sovelluksissa.

Puun kasvatus alkaa yläkerrasta, jossa dataa jaetaan ominaisuuksien perusteella siten, että jokaisen jaon jälkeen epäonnistuneisuus pienenee. Luokittelussa epäilevyys mitataan tavallisesti Gini-epäpuhtaudella tai entropialla, kun taas regressionissa minimikelautus on neliöllinen virhe (MSE) tai vastaava mittari. Jaoissa valitaan ominaisuus ja arvo, jotka tuottavat parhaan paremmuutuslyhyen parhaan parisuhteen mukaan. Puu kasvaa kunnes lisäjäot eivät enää paranna ennustetta tai eräin enimmäishaarautumissääntöjen täyttyessä.

Pruning eli karsinta on tyypillistä CARTin käytössä ylikoulutuksen ehkäisemiseksi. Yleisiä lähestymistapoja ovat kustannustehokkuusmenetelmät (cost-complexity pruning) ja ristiinvalidaatio, joiden avulla puuta supistetaan säilyttäen ennustuksellinen suorituskyky. CART-puita on helppo tulkita, mutta ne voivat olla herkkiä pienille muutoksille aineistossa ja niillä on rajoituksia, kuten epäluontevat lineaariset suhteet ja erilaisten ominaisuuksien vertailu.

Laajennukset ja sovellukset CART:ista ovat esimerkiksi yhdistelmät kuten Random Forest ja Gradient Boosting, joissa useita CART-puita yhdistetään paremman vakauden ja suorituskyvyn saavuttamiseksi. CART-reg-teknologiat löytyvät monista luokittelun ja regression sovelluksista terveydenhuollosta talousdataan. Historian kannalta CART esiteltiin 1984 Breimanin, Friedmanin, Olshenin ja Stonein toimesta.