Modellrekalibration

Modellrekalibration bezeichnet den Prozess, bei dem die Vorhersagen oder Wahrscheinlichkeiten eines bestehenden Modells nachträglich an neue Beobachtungen angepasst werden, um die Übereinstimmung zwischen vorhergesagten Wahrscheinlichkeiten und den tatsächlich beobachteten Frequenzen zu erhöhen. Ziel ist es, die Kalibrierung von Wahrscheinlichkeiten zu verbessern oder Prognoseintervalle realistischer zu gestalten, ohne das zugrunde liegende Modell umfassend neu zu trainieren.

Typische Ansätze umfassen die Anpassung von Wahrscheinlichkeiten sowie die Feinabstimmung von Entscheidungsschwellen. In der Wahrscheinlichkeitskalibrierung kommen Techniken wie Platt-Skalierung (eine logistische Regression auf die vorhergesagten Scores), isotone Regression oder Temperaturskalierung zum Einsatz. Bei Regressionen kann auch die Kalibrierung von Prognoseintervallen erfolgen oder die zugrunde liegende Unsicherheit angepasst werden. In Umgebungen mit sich ändernden Daten werden oft Online- oder inkrementelle Methoden genutzt, um Concept-Drift zu begegnen.

Bewertung erfolgt unter anderem mit Kalibrierungstools wie Zuverlässigkeitsdiagrammen, dem Brier-Score oder anderen passenden Scores. Eine gut kalibrierte Vorhersage gibt die beobachteten Häufigkeiten angemessen wieder, während Sharpness die Trennschärfe der Vorhersagen berücksichtigt. Kalibrierung kann mit Trade-offs verbunden sein, etwa zwischen Kalibrierung und Vorhersagegenauigkeit, oder zwischen Robustheit und Empfindlichkeit gegenüber neuen Daten.

Anwendungen finden sich in der Wetter- und Risikovorhersage, Medizinischen Risikoeinschätzungen, Kreditbewertung sowie in vielen Bereichen des maschinellen Lernens, in denen Wahrscheinlichkeiten interpretiert und zuverlässig kommuniziert werden sollen. Modellrekalibration wird oft als leichteres Update gegenüber vollständiger Neukonstruktion des Modells eingesetzt, insbesondere bei regelmäßig anfallenden neuen Daten oder veränderten Bedingungen.