RetrievalsModelle

RetrievalsModelle sind formale Rahmungen in der Informationsbeschaffung, die dazu dienen, aus einer großen Sammlung relevanten Dokumenten zu einer gegebenen Suchanfrage vorzuwählen. Sie definieren die Repräsentation von Abfrage und Dokumenten, eine Ranking-Funktion und Kriterien zur Evaluation. Ziel ist es, relevante Dokumente effizient zu identifizieren und möglichst brauchbare Suchergebnisse zu liefern.

Klassische Modelle beruhen vor allem auf lexikalischem Matching. Der Vector-Space-Ansatz nutzt Termhäufigkeiten wie TF-IDF und misst die Ähnlichkeit zwischen Abfrage und Dokumenten z. B. mittels Kosinus- oder Skalarprodukten. Diese Modelle arbeiten oft ohne tieferes inhaltliches Verständnis, profitieren aber von guten Indexstrukturen und Skalierbarkeit.

Wahrscheinlichkeitsbasierte Modelle ordnen der Relevanz Wahrscheinlichkeiten zu. Bekannte Ansätze sind BM25, das Frequenzen, Dokumentlängen und Smoothing kombiniert, sowie das Query-Likelihood-Modell aus dem Sprachmodell-Ansatz. Diese Modelle betonen statistische Beziehungen zwischen Begriffen in Abfrage und Dokumenten.

Neurale und hybride Ansätze gewinnen an Bedeutung. Dense Retrieval verwendet neuronale Netze, um flache Vektorrepräsentationen von Abfragen und Dokumenten zu erzeugen (Bi-Encoder), während Ranking-Modelle (Cross-Encoder) Abfrage und Dokument gemeinsam verarbeiten. Lernbasierte Ranking-Verfahren wie Learning-to-Rank, RankNet oder LambdaMART werden für die Optimierung der Reihenfolgen eingesetzt. Typische Systeme kombinieren schnelle Initial-Retrieval-Schichten mit anschließenden Re-Ranking-Schichten, die semantic- oder kontextuelles Verständnis nutzen.

Evaluation erfolgt mit Metriken wie Precision, Recall, Mean Average Precision (MAP) und Normalized Discounted Cumulative Gain (NDCG). Die übliche Pipeline umfasst Indexierung, ersten Retrieval, ggf. Re-Ranking und Anpassung an Domäne oder Sprache. Herausforderungen umfassen Vokabularvarianz, Mehrdeutigkeit, Skalierbarkeit und Transfer zwischen unterschiedlichen Anwendungsgebieten.