yhdistelmämenetelmillä

Yhdistelmämenetelmät ovat tilastotieteen ja koneoppimisen ryhmämenetelmiä, joissa useita malleja rakennetaan ja niiden ennusteet yhdistetään parantamaan ennustamisen tarkkuutta sekä vakautta. Perusidea on kompensoida yksittäisen mallin heikkouksia hyödyntämällä useamman mallin vahvuuksia.

Yleisimmät tyypit ovat bagging, boosting ja stacking. Baggingin ideana on luoda useita koulutusversioita bootstrap-tilaisista näytteistä ja yhdistää niiden ennusteet äänestämällä (klassifikointi) tai laskemalla keskiarvoa (regressio); tunnettu esimerkki on Random Forest. Boosting rakentaa malleja peräkkäin, jossa seuraavat mallit korostavat niistä virheellisiä tapauksia, jotta kokonaisuuden virhe pienenee. Tunnettuja boosting-menetelmiä ovat AdaBoost, Gradient Boosting ja XGBoost. Stacking taas yhdistää useita eri perusmalleja ja käyttää toisen tason metamodelia näiden ennusteista muodostuvan yhteisen päätelmän tekemiseen; tässä käytetään usein cross-validationia välttämään tiedon vuotamista.

Käytännössä yhdistelmämenetelmien toteutus edellyttää huolellista datan hallintaa: data jaetaan koulutus- ja testijoukkoihin, perusmallit opetetaan eri alikokoisilla satsseilla ja niiden ennusteet yhdistetään halutulla tavalla (äänestys, keskiarvo, tai meta-malli). Menetelmät voivat olla laskennallisesti vaativia ja vaativat hyperparametrien säätöä, mutta ne usein parantavat suorituskykyä etenkin monimutkaisissa ongelmissa.

Sovelluksia löytyy monilta aloilta, kuten finanssi- ja riskianalyysissä, lääketieteessä, valmistuksessa sekä kuvien ja tekstin käsittelyssä. Yhdistelmämenetelmät ovat kehittyneet 1990-luvulla ja ovat sittemmin vakiintuneet osaksi sekä tutkimus- että tuotantokäyttöä.