Ensemblebaserad

Ensemblebaserad metodik inom statistik och maskininlärning går ut på att kombinera flera modeller för att förbättra prediktiv noggrannhet jämfört med en ensam modell. Idén är att olika modeller fångar olika mönster i data och att deras samlade prediktioner blir mer tillförlitliga än en enskild modell.

Vanliga tekniker är bagging, boosting och stacking. Bagging tränar flera modeller på olika bootstrap-samplingar av träningen och kombinerar deras prediktioner, ofta medelvärde eller majoritet. Boosting tränar modeller sekventiellt så att varje ny modell fokuserar på fel som föregående modell begått. Stacking använder en meta-modell för att väga de första modellernas prediktioner till en slutlig prediktion.

Användningar inkluderar klassificering och regressionsuppgifter inom områden som finansiell prognos, medicinsk bildanalys och sensordata. Fördelar är ökad noggrannhet och stabilitet samt reduktion av överanpassning i många fall. Begränsningar inkluderar högre beräkningskostnad, sämre tolkbarhet och risken för överfitting i vissa boosting-varianter utan lämplig reglering.

Historiskt utvecklades idén med bagging på 1990-talet av Leo Breiman och boostings framväxt av Freund och Schapire följde därefter. Idag är ensemblemetoder centrala inom många tillämpningar och används ofta för att kombinera olika modelltyper och hantera osäkerhet i data.