Dokumentenkorpus

Ein Dokumentenkorpus ist eine Textkorpusform, die aus ganzen Dokumenten besteht, die als eigenständige Einheiten gespeichert und verwaltet werden. Im Gegensatz zu isoliert aus Textfragmenten zusammengesetzten Korpora fokussiert ein Dokumentenkorpus auf die Strukturen, Genres und Zusammenhänge ganzer Dokumente – etwa Zeitungsartikel, Gesetzestexte, Fachartikel oder Berichtsbände. Ziel ist es, linguistische Muster, stilistische Merkmale oder Informationsverhältnisse innerhalb realer Textsorten zu untersuchen und für Anwendungen im Information Retrieval, in der Computerlinguistik und der Digitalen Geisteswissenschaften nutzbar zu machen.

Aufbau und Verarbeitung: Ein Dokumentenkorpus enthält neben dem reinen Fließtext oft strukturierte Metadaten wie Autor, Datum, Quelle, Genre oder Rechtstitel. Die Dokumente liegen in Form von Fließtext oder maschinenlesbar in Formaten wie TXT, XML/TEI oder durch OCR aus Scans erzeugte Texte vor. Vorverarbeitung kann Segmentierung in einzelne Dokumente, Tokenisierung, Lemmatisierung und ggf. Annotationen umfassen. Größe und Vielfalt variieren stark: Von Tausenden bis zu Milliarden von Tokens, je nach Domäne und Sammlungsumfang.

Anwendungsfelder: Dokumentenkorpora dienen der sprachwissenschaftlichen Grundlagenforschung, historischer Linguistik, Genre- und Medienforschung sowie der Entwicklung von NLP-Tools wie Suchmaschinen, Named-Entity-Erkennung oder maschineller Übersetzung. Sie ermöglichen Reproduzierbarkeit durch klare Zitationsweisen und Lizenzinformationen. Rechtliche und ethische Fragen zu Urheberrecht, Nutzungsrechten und Bias müssen berücksichtigt werden.