Ensemblemetoder

Ensemblemetoder är tekniker inom maskininlärning där flera modellutgångar kombineras för att förbättra prediktionsnoggrannhet jämfört med en enskild modell. Syftet är att utnyttja olika modeller komplementära styrkor och minska olika felkällor, såsom hög varians eller bias, vilket ofta leder till bättre generalisering.

Bagging, eller bootstrap aggregating, bygger flera träningsuppsättningar genom återläggning och tränar en modell på varje uppsättning. Resultatet kombineras vanligtvis genom majoritetsröst för klassificering eller medelvärde för regression. Ett vanligt exempel är Random Forest, som använder många besluts träd som basmodeller och ofta ger stabila prestanda med god motståndskraft mot överanpassning.

Boosting bygger modeller i sekvens där varje ny modell försöker korrigera felen hos föregående modeller. Prestandan förbättras genom viktning av tidigare modellers fel och vikten av nya modeller anpassas kontinuerligt. Exempel är AdaBoost, Gradient Boosting samt moderna implementeringar som XGBoost och LightGBM. Boosting kan ge mycket hög noggrannhet men är ofta mer känsligt för brus och kräver noggrann regelisering och parameterval.

Stacking och voting är andra strategier. Stacking använder olika typer av basmodeller i första lagret och tränar en meta-modell som kombinerar deras utdata. Voting kan vara hård eller mjuk: hård röst antar den mest förekommande klassens beslut, medan mjuk röst väger sannolikheter.

Fördelar inkluderar ökad noggrannhet, bättre robusthet och minskad risk för överanpassning jämfört med en ensam modell. Begränsningar är ökad träningskostnad, mindre tolkbarhet och behov av noggrant val av basmodeller och hyperparametrarna. Används ofta när tillgång till mycket data och beräkningsresurser finns samt i klassificerings- och regressionsproblem där olika signaler bör kombineras.