Yhdistelmämenetelmiä

Yhdistelmämenetelmillä (ensemble methods) tarkoitetaan tilastollisia ja koneoppimisen tekniikoita, joissa useita yksittäisiä malleja yhdistetään parempien ennusteiden tai luokituskyvyn saavuttamiseksi. Tavoitteena on vähentää yhden mallin virheistä aiheutuvaa epävarmuutta ja parantaa yleistämistä.

Keskeiset tyypit ovat bagging, boosting, stacking ja blending sekä äänestysmenetelmät. Baggingiin kuuluu useiden malleja kouluttaminen eri bootstrap-otuoksista ja niiden ennusteiden yhdistäminen, mikä vähentää tarkkuuspainotetun vaikutusvaihtelun vaihtelua. Yleisimmät esimerkit ovat satunnaismetsä (random forest), joka parantaa hyvin varioituvuutta.

Boosting rakentaa malleja peräkkäin siten, että jokaisen uuden mallin oppi pyrkii korjaamaan edellisen mallin virheitä. Tämä voi kasvattaa sekä tarkkuutta että herkkyyttä vaikeille havainnoille. Tunnettuja esimerkkejä ovat AdaBoost sekä gradient boosting -perheet, kuten XGBoost ja LightGBM.

Stacking ja blending yhdistävät erilaisten mallien ennusteita erillisen, toisen tason mallin avulla. Stackingin idea on käyttää perusmallien tuottamia ominaisuuksia toisen tason malliopetukseen, kun taas blending kuvaa tiiviimpää yhdistämistä vähän eri tavalla.

Voting-ensembleissa äänestetään tai yhdistetään todennäköisyyksiä hard- tai soft-äänestyksellä. Hard voting valitsee useimmiten eniten ääniä saanuttuhakemuksen, soft voting puolestaan laskee mallien antamien todennäköisyyksien keskiarvon.

Hyödyt ovat usein parempi suorituskyky ja tasaisempi yleistyminen, mutta kustannukset kasvavat sekä laskennallisesti että mahdollisesti tulosten tulkittavuudessa. Rajoituksia ovat myös riskit ylioppimiselle ja liialliselle mallien määrälle, sekä tarpeettoman monimutkaisuuden kasvattaminen.