Modellkapazität

Modellkapazität bezeichnet in der Statistik und im maschinellen Lernen die Fähigkeit eines Modells, die Strukturen in den Daten abzubilden. Formal beschreibt sie die Komplexität des Hypothesenraums, aus dem Lösungen gewählt werden. Die Kapazität hängt eng zusammen mit der Architektur eines Modells, der Anzahl der Parameter, der Wahl der Aktivierungsfunktionen und möglichen Regularisierungstechniken. Eine hohe Kapazität erlaubt es dem Modell, komplexe Muster zu lernen, kann aber auch Rauschen in den Daten memorieren, was zu Überanpassung (Overfitting) führt. Eine geringe Kapazität hat tendenziell einen höheren Bias und kann Muster unterrepräsentieren (Underfitting).

Zu den Bestimmungsfaktoren zählen die Modellarchitektur (Tiefe, Breite, rekursive Strukturen), die Größe des Parameterraums, Aktivierungsfunktionen sowie Regularisierungsmethoden wie L1/L2-Regularisierung, Dropout, Frühstopp, Gewichtsbegrenzungen oder priordatenbasierte Regularisierung. Die Datenmenge, Merkmalsrepräsentation und der Lernalgorithmus beeinflussen ebenfalls die effektive Kapazität, also jene Kapazität, die das Lernverfahren tatsächlich nutzt.

Die Kapazität lässt sich durch theoretische Maße wie die VC-Dimension oder die Rademacher-Komplexität quantifizieren; praktische Ansätze betrachten auch die beobachtete Generalisierung. In der Praxis gilt: ausreichend große Kapazität in Relation zur Datenmenge und geeignete Regularisierung führen zu guter Generalisierung; zu viel Kapazität erhöht das Overfittingrisiko. Häufig wird die Kapazität durch Training, Validierung und Techniken wie Cross-Validation, Early Stopping oder Ensemble-Methoden moderiert. Beispiele: lineare Modelle weisen geringe Kapazität; tiefe neuronale Netze bieten hohe Kapazität und Lernmöglichkeiten, während Entscheidungsbäume und Ensembles wie Random Forests unterschiedliche Kapazitäten besitzen.