Modellkapazität
Modellkapazität bezeichnet in der Statistik und im maschinellen Lernen die Fähigkeit eines Modells, die Strukturen in den Daten abzubilden. Formal beschreibt sie die Komplexität des Hypothesenraums, aus dem Lösungen gewählt werden. Die Kapazität hängt eng zusammen mit der Architektur eines Modells, der Anzahl der Parameter, der Wahl der Aktivierungsfunktionen und möglichen Regularisierungstechniken. Eine hohe Kapazität erlaubt es dem Modell, komplexe Muster zu lernen, kann aber auch Rauschen in den Daten memorieren, was zu Überanpassung (Overfitting) führt. Eine geringe Kapazität hat tendenziell einen höheren Bias und kann Muster unterrepräsentieren (Underfitting).
Zu den Bestimmungsfaktoren zählen die Modellarchitektur (Tiefe, Breite, rekursive Strukturen), die Größe des Parameterraums, Aktivierungsfunktionen sowie
Die Kapazität lässt sich durch theoretische Maße wie die VC-Dimension oder die Rademacher-Komplexität quantifizieren; praktische Ansätze