Modellverteilung

Modellverteilung bezeichnet in der Statistik und im maschinellen Lernen die Wahrscheinlichkeitsverteilung über mögliche Modelle, die ein Datenphänomen erklären oder vorhersagen können. In der Bayes'schen Sichtweise versteht man darunter die a posteriori-Verteilung der Modelle gegeben die beobachteten Daten. Sie dient dazu, Unsicherheit über die richtige Modellstruktur zu quantifizieren und gegebenenfalls Vorhersagen zu gewichten.

Formal wird die Modellverteilung durch p(M|D) beschrieben, wobei M ein Modell und D die Daten ist. Nach dem Bayes-Theorem gilt p(M|D) ∝ p(D|M) p(M). Die Likelihood p(D|M) ist die marginale Likelihood oder Evidenz, die sich erhält, indem man über die Modellparameter θ integriert: p(D|M) = ∫ p(D|M, θ) p(θ|M) dθ. Die prognostizierte Verteilung für neue Beobachtungen y unter Eingaben x ergibt sich als gewichtete Summe über Modelle: p(y|x, D) = ∑M p(y|x, M, D) p(M|D).

Anwendungen und Nutzen liegen in der Bayesian Model Averaging (BMA), dem Modellvergleich und dem Umgang mit Modellunsicherheit. Die Modellverteilung ermöglicht es, Vorhersagen nicht von einem einzelnen Modell abhängig zu machen, sondern die Unsicherheit über Modelle in die Vorhersage einzubeziehen. In der Praxis ist die exakte Berechnung oft schwierig, daher kommen Näherungsverfahren wie Laplace-Approximation, Informationkriterien (BIC/AIC), Markov-Chain-Monte-Carlo oder variationale Methoden zum Einsatz.

Wichtige Grenzen betreffen die Abhängigkeit von der Modellauswahl, den Prior-Wahrscheinlichkeiten und der jeweiligen Annahmen über die Parameter. Modellverteilung ergänzt Parameterverteilungen innerhalb einzelner Modelle und wird oft zusammen mit Ensemble-Methoden verwendet, um robuste und gut informierte Vorhersagen zu ermöglichen.