InformationKriterien

Informationkriterien sind statistische Maßzahlen zur Modellselektion, die einen Kompromiss zwischen Passung der Modelle an die Daten und deren Komplexität herstellen. Sie basieren in der Regel auf der Maximum-Likelihood-Funktion und enthalten eine Strafe für die Modellgröße, um Überanpassung zu verhindern. Ziel ist es, das Modell zu identifizieren, das die beste Balance zwischen Güte der Anpassung und Einfachheit bietet.

Zu den bekanntesten Informationkriterien gehören der Akaike Information Criterion (AIC), der Bayesian Information Criterion (BIC, auch Schwarz-Kriterium genannt) sowie der HQIC (Hannan-Quinn Information Criterion). Zusätzlich gibt es für kleine Stichproben den korrigierten AIC (AICc). Die gängigen Formeln lauten grob: AIC = -2 log L + 2k, BIC = -2 log L + k log n, wobei L der Maximum-Likelihood-Wert, k die Zahl der frei schätzbaren Parameter und n die Stichprobengröße ist. AICc ergänzt AIC durch einen zusätzlichen Korrekturfaktor, um kleine Stichproben zu berücksicht; HQIC verwendet eine andere Strafe, typischerweise 2k log log n. In der Praxis werden Modelle anhand der relativen Werte miteinander verglichen, und Modelle mit niedrigerem Wert gelten als besser.

Interpretation und Einsatzmöglichkeiten: Bei der Modellwahl bedeuten niedrigere Werte eine bessere Balance zwischen Passung und Komplexität. AIC zielt stärker auf gute Vorhersage ab und neigt zu etwas mehr Komplexität (Überanpassung), während BIC eine konsistentere Wahl des wahren Modells bei großen Stichproben anstreben kann. Die Informationkriterien ermöglichen keinen absoluten Qualitätsbeweis, sondern nur den Vergleich innerhalb der betrachteten Modellmenge; sie hängen zudem von der zugrundeliegenden Wahrscheinlichkeitsannahme und Parametrisierung ab. Varianten wie DIC oder MDL ergänzen den Ansatz in bayesianischen oder informationstheoretischen Rahmen.