boosttyyppiset

Boosttyyppiset ovat koneoppimisen ensemble-menetelmiä, joiden tarkoitus on parantaa ennusteita yhdistämällä useita heikkoja malleja. Yleensä perusmallina käytetään yksinkertaista mallia, kuten päätöspuuta, ja seuraavat mallit oppivat edellisen mallin virheistä, jolloin kokonaismallista muodostuu vahvempi.

Boosting-ideaa kehitettiin 1990-luvulla AdaBoostin ympärille, ja myöhemmin kehittyi gradient boosting -lähestymistapa, jossa seuraava malli optimoidaan virheen gradientin mukaan. Nykyään markkinoilla on lukuisia toteutuksia, kuten XGBoost, LightGBM ja CatBoost, jotka tarjoavat tehokkuutta, parempaa säännöllistämistä ja erityisominaisuuksia kuten parempi tuki suurille datamäärille ja kategoristen muuttujien käsittely.

Tyypiltään boostaus-menetelmät voivat kuulua AdaBoostin perheeseen (adaptive boosting) tai gradient boosting -perheeseen; moderneissa toteutuksissa yhdistyvät näiden ydinideat sekä lisämenetelmät kuten regularisointi, aliforma elintason hallinta ja spesifit optimointimallit. Yleisesti jokaisella kierroksella lisätään uusi heikko malli, joka käsittelee kulloinkulkevat residuaalit tai gradienttivirheet, ja mallit yhdistetään lopulliseksi ennusteeksi.

Käyttökohteet ovat erityisesti taulukkotiedot, joissa epälineariteetit ja vuorovaikutukset muuttujien välillä ovat tavallisia. Boosttyyppiset menetelmät voivat saavuttaa hyvän suorituskyvyn ilman suurta feature-engineeringia, mutta ne voivat olla laskennallisesti vaativia ja herkkiä hyperparametrien määritykselle sekä riskialttiita ylisovitukselle, jos säännöllistäminen ja validaatiot ovat puutteellisia.

Lisätietoja: AdaBoost, Gradient Boosting, XGBoost, LightGBM, CatBoost.