Entscheidungsbaumanalysen

Ein Entscheidungsbaum ist ein graphisches Modell zur Darstellung von Entscheidungen und deren möglichen Folgen. In der Datenanalyse dient er sowohl der Klassifikation als auch der Regression. Der Baum besteht aus Knoten, Ästen und Blättern; Blätter tragen die Vorhersagewerte oder Klassen. Der Wurzelknoten repräsentiert typischerweise die aussagekräftigste Bedingung, innere Knoten testen Merkmale des Datensatzes, und Blätter liefern die Endergebnisse.

Aufbau und Funktionsweise: Ein Entscheidungsbaum verzweigt sich von der Wurzel über binäre oder mehrwertige Tests in Teilmengen des Datensatzes. Jeder Knoten teilt die Daten anhand eines Merkmals in Untergruppen auf, die in weiterer Folge ähnliches Zielverhalten zeigen. Die Pfade von Wurzel zu Blatt bilden Klassifikations- oder Regressionsregeln.

Lern- und Optimierung: Bäume werden induziert durch Algorithmen wie ID3, C4.5 oder CART. Diese wählen Merkmale anhand von Kriterien wie Informationsgewinn oder Gini-Impurity aus und bestimmen Split-Punkte. Um Überanpassung zu vermeiden, kommen Pruning, minimale Blattgrößen oder Begrenzung der Baumtiefe zum Einsatz. Für Regression liefern Blätter Mittelwerte.

Varianten und Ensemble: Klassifikationsbäume liefern Klassenkennwerte, Regressionsbäume numerische Werte. Ensemble-Verfahren wie Random Forest oder Gradient Boosting erhöhen Genauigkeit und Stabilität durch Aggregation mehrerer Bäume.

Anwendungen: Entscheidungsbäume finden Einsatz in Marketing, Medizin, Finanzen, Risikoanalyse und Entscheidungsunterstützungssystemen. Sie zeichnen sich durch Interpretierbarkeit, geringe Vorverarbeitung und schnelle Inferenz aus, können aber bei kleinen oder hoch korrelierten Datensätzen instabil sein.

Geschichte und Kontext: Die Konzepte entwickelten sich in der KI und im maschinellen Lernen; frühe Arbeiten von Ross Quinlan führten zu ID3 und C4.5. Heute sind Entscheidungsbäume Grundbausteine vieler Modellierungen, oft als Bausteine in Ensembles genutzt.