FairnessMetriken

FairnessMetriken bezeichnet in der Datenwissenschaft quantitative Größen, die verwendet werden, um die Fairness von maschinell erzeugten Vorhersagen oder Entscheidungen zu bewerten. Sie dienen der Erkennung von Verzerrungen zugunsten oder zulasten geschützter Gruppen, beispielsweise nach Geschlecht, Herkunft, Alter oder Behinderung. Anwendungsfelder liegen in der Modellauswahl, der Systemauditierung und der Governance von KI-Anwendungen.

Zu den wichtigsten Kategorien gehören gruppenbasierte Fairnessmetriken, individuelle Fairnesskonzepte und Kalibrierungsmaße. Gruppenbasierte Metriken messen Unterschiede zwischen Gruppen. Beispiele sind Demografische Parität (gleiche positive Vorhersagerate über Gruppen hinweg), Equalized Odds (gleiche Falsch-Positiv- und Falsch-Negativ-Raten über Gruppen) sowie Equal Opportunity (gleiche Falsch-Negativ-Rate). Predictive Parity verlangt gleiche Positive Predictive Value. Kalibrierung bedeutet, dass Vorhersagewahrscheinlichkeiten innerhalb jeder Gruppe der beobachteten Grundwahrscheinlichkeit entsprechen.

Individuelle Fairness erstreckt sich auf das Prinzip, dass ähnliche Individuen ähnlich behandelt werden sollten; dies ist häufig schwieriger operativ umzusetzen, da definieren, wer „ähnlich“ ist, kontextabhängig ist. In der Praxis werden oft mehrere Metriken gemeinsam berichtet, um unterschiedliche Fairness-Dimensionen abzubilden.

Herausforderungen und Grenzen: Es gibt fundamentale Trade-offs zwischen Metriken. Ergebnisse nach Kleinberg, Imbens und Lotker zeigen, dass Demografische Parität, Gleichte Chancen und Kalibrierung in general unterschiedlichen Grundraten widersprechen können, sodass nicht alle Ziele zugleich erreichbar sind. Datengrundlagen, Verfügbarkeit geschützter Attribute, rechtliche Rahmenbedingungen und Interpretierbarkeit beeinflussen die Wahl der Metriken.