Labelgenauigkeit

Labelgenauigkeit bezeichnet den Anteil der korrekt zugewiesenen Labels in einem Datensatz im Verhältnis zum wahren Label oder einem festgelegten Goldstandard. Sie misst, wie gut die Annotationen die tatsächliche Klasse oder Kategorie widerspiegeln. In der Praxis dient sie als zentrale Größenordnung für die Qualität von Trainingsdaten; eine geringe Labelgenauigkeit kann zu verzerrten Modellen und unzuverlässigen Evaluationen führen.

Die Messung erfolgt typischerweise durch Vergleich der annotierten Labels mit dem Goldstandard. Gängige Kennzahlen umfassen Accuracy, Präzision, Recall und F1-Score, oft entlang einer Konfusionsmatrix dargestellt. Bei mehrklasse- oder mehrdeutigen Aufgaben kommen zusätzlich Maßen wie Cohen’s Kappa oder Krippendorff’s Alpha zum Einsatz, die auch Zufallsübereinstimmungen berücksichtigen. Bei unausgeglichenen Klassen kann die rein globale Accuracy irreführend sein, weshalb oft per-Klasse-Metriken oder Macro-M-F1 berichtet wird.

Häufige Ursachen von Ungenauigkeit sind unklare oder inkonsistente Richtlinien, mehrdeutige Beispiele, ungenaue oder unvollständige Schulung der Annotatoren sowie menschliche Fehler. Labelnoise kann aus Inkonsistenzen zwischen Annotatoren, Änderungen im Labelset oder Daten, die schwer zu klassifizieren sind, entstehen. Die Labelgenauigkeit beeinflusst maßgeblich die Trainingsleistung von Modellen und die Interpretierbarkeit der Evaluation.

Zur Verbesserung werden klare Annotator-Richtlinien, Schulung und Adjudikation eingesetzt; oft arbeiten mehrere Annotatoren pro Instanz mit anschließender Konsensusbildung. Qualitätskontrollen, regelmäßige Audits, Wiederholungslabeling und Active-Learning-Ansätze helfen, Ungenauigkeiten zu reduzieren. Eine gute Praxis umfasst außerdem die Dokumentation der Goldstandards und die Angabe von Unsicherheiten in den Labels.