Zusammenfassungsqualität

Zusammenfassungsqualität bezeichnet in der Informationsverarbeitung die Güte einer Zusammenfassung im Hinblick darauf, wie gut sie den ursprünglichen Text wiedergibt, relevante Inhalte erfasst und gleichzeitig prägnant, kohärent und verständlich bleibt. Sie gilt sowohl für von Menschen verfasste als auch für maschinell erzeugte Zusammenfassungen und lässt sich auf einzelne Dokumente sowie auf Sammlungen mehrerer Texte beziehen.

Zu den zentralen Qualitätsdimensionen gehören die Wahrhaftigkeit oder Faktentreue (wie genau die Zusammenfassung die Inhalte des Originals wiedergibt), die Abdeckung der wesentlichen Informationen (Vollständigkeit bzw. Relevanz), die Knappheit (Kürze ohne wesentliche Verluste), die Lesbarkeit und Kohärenz (logische Struktur, klare Ausdrucksweise) sowie die Vermeidung von Redundanz. Je nach Anwendungsfall können zusätzlich Struktur, Fokus auf bestimmte Zielgruppen und die Einhaltung stilistischer oder fachlicher Anforderungen relevant sein.

Bewertung der Zusammenfassungsqualität erfolgt oft durch automatische Metriken wie ROUGE, BLEU, METEOR oder neuere Ansätze wie BERTScore, die Übereinstimmungen mit Referenzzusammenfassungen messen. Allerdings weisen diese Metriken Einschränkungen auf, insbesondere bei abstrakten Zusammenfassungen oder domänenspezifischen Texten. Menschliche Evaluierung ergänzt dies oft durch Kriterien wie Angemessenheit, Flüssigkeit, Kohärenz, Faktengenauigkeit und Anwendbarkeit des Textes.

Herausforderungen ergeben sich durch abstraktive versus extraktive Ansätze, Halluzinationen bei maschinellen Systemen, Fachsprache, Mehrsprachigkeit und unterschiedliche Zielgruppen, deren Informationsbedarf variiert. Zusammenfassungsqualität ist daher ein multidimensionales Konstrukt, das je nach Kontext unterschiedlich gewichtet wird.