Entscheidungsbäume

Ein Entscheidungsbaum ist ein prädiktives Modell, das Merkmalswerte verwendet, um eine Zielvariable durch schrittweises Aufteilen der Daten vorherzusagen. Er besteht aus Knoten, von denen jeder eine Entscheidung oder Vorhersage repräsentiert, und aus Verzweigungen, die zu weiteren Knoten führen.

Der Wurzelknoten ist der Ausgangspunkt. Innere Knoten stellen Tests an Merkmalen dar, Blätter liefern Vorhersagen oder Klassen. Ein Baum kann sowohl kategoriale als auch numerische Merkmale verwenden; Verzweigungen folgen den Ergebnissen der Merkmalsprüfungen.

Die Konstruktion erfolgt meist rekursiv und greedily durch Aufteilen des Datensatzes in Untergruppen, bis ein Abbruchkriterium erfüllt ist. Gängige Maßzahlen zur Bestimmung der besten Teilung sind bei Klassifikation Gini-Impurity oder Informationsgewinn (Entropie) und bei Regression die mittlere quadratische Abweichung (SSE). Bekannte Algorithmen sind CART, ID3 und C4.5.

Um Überanpassung zu vermeiden, werden Pruning-Methoden eingesetzt. Pre-pruning stoppt weitere Aufteilungen bereits während des Lernprozesses, Post-pruning reduziert den Baum nach dem Training durch Kosten-Nutzen-Überlegungen.

Varianten umfassen Regressionsbäume (vorhersagende kontinuierliche Werte) und Klassifikationsbäume. Ensemble-Ansätze wie Random Forests oder Gradient Boosting erhöhen Genauigkeit, verringern Overfitting und verbessern Stabilität, gehen jedoch meist auf Kosten der Interpretierbarkeit.

Anwendungen finden sich in Medizin, Kreditrisikobewertung, Marketing, Betriebsforschung und Entscheidungsunterstützung. Die Modelle benötigen gelabelte Daten, werden oft mittels Kreuzvalidierung bewertet und anhand von Metriken wie Genauigkeit, RMSE oder AUC beurteilt.