Termgewichtung

Termgewichtung beschreibt die Verfahren, einem Wort bzw. einem Term in einem Dokument einen numerischen Wert zuzuweisen. Dieser Wert soll die Bedeutung des Terms für die Relevanz eines Dokuments bei einer Suchanfrage reflektieren. Häufig wird die Termgewichtung in der Informationsretrieval-Forschung genutzt, um die Wahrscheinlichkeit zu schätzen, dass ein Dokument zu einer Suchanfrage passt.

Ein stark verbreitetes Verfahren ist TF‑IDF, das die Termfrequenz (TF) eines Terms im Dokument mit der Inversen Dokumentfrequenz (IDF) kombiniert. TF misst, wie oft ein Term in einem Dokument vorkommt, während IDF konträre Gewichtung für sehr häufig auftretende Terms bietet, indem es die inverse Häufigkeit der Dokumente mit diesem Term verwendet. Das Produkt von TF und IDF ergibt ein Gewicht, das in vielen Ranking‑Algorithmen als Basis dient.

Neben TF‑IDF existieren weitere Verfahren wie BM25, welches als probabilistisches Rankingmodell die Gewichtung über Stapelung mathematischer Funktionen berechnet. Andere Ansätze berücksichtigen semantische Beziehungen, zum Beispiel durch Wort Embeddings, die in GPU‑1‑Cluster‑Modellen Termine mit vektoriellen Eigenschaften einordnen.

Die Wahl der Gewichtungsmethode hängt von der Domäne und dem Texttyp ab. In großen Korpora mit sehr vielen Dokumenten wirkt sich die genaue Wahl stark auf die Sucheffizienz und -qualität aus. Die Forschung erfordert daher oft Experimentieren und Optimierung, um die Performance eines Retrieval‑Systems zu maximieren.