Der Retriever (das „R“ in RAG) sucht blitzschnell nach kontextuell passenden Inhalten in der Vektordatenbank. Das führt häufig dazu, dass zwar viele potenziell relevante Dokumente gefunden werden, aber auch solche mit geringer tatsächlicher Relevanz.
Diese irrelevanten Dokumente im Kontextfenster erhöhen das Risiko des Noise-in-Context-Problems. Das mindert die Präzision der finalen Antwort, denn das LLM muss unnötige Informationen verarbeiten – das kostet Zeit, Tokens und Qualität.
Die Lösung: ein Reranker.
Reranking (auch Cross-Encoding genannt) reduziert die vom Retriever gefundenen Dokumente auf die wirklich relevanten Inhalte.
Dafür wird jedes Dokument, das der Retriever zurückliefert, auf seine Relevanz zur gestellten Frage hin überprüft:
Jedem Kandidatenpaar (Query und Chunk) wird ein Relevanz-Score zugewiesen.
Nur die X Dokumente mit dem höchsten Score werden behalten, der Rest wird verworfen.
Der technische Vorteil des Cross-Encoders:
Im Gegensatz zum schnellen, aber grobkörnigen Retriever kann der Reranker die feinen Interaktionen zwischen Query und Chunk erfassen. Dadurch bestimmt er die tatsächliche Relevanz deutlich präziser und sortiert die Dokumente entsprechend.
Das optimiert die Nutzung des begrenzten Kontextfensters und macht die LLM-Antworten robuster gegenüber irrelevanten Informationen.
Praxis-Tipp: Optionen für Reranker
Open-Weight-Modelle:
Modelle wie ms-marco-MultiBERT-L-12 können selbst gehostet und häufig sogar ohne GPU auf CPU betrieben werden. Wichtig: Bei Bedarf ein multilinguales Modell wählen.Spezialisierte APIs:
Anbieter wie Cohere, Jina oder voyageai stellen hochoptimierte kommerzielle Reranking-Modelle über APIs bereit.
Beide Varianten lassen sich problemlos in bestehende Workflows und Frameworks wie LangChain oder Neuron-AI integrieren.
Unser Fazit: Der größte Vorteil liegt in den deutlich besseren Antworten der LLMs (die Accuracy kann um 20-35% verbessert werden, siehe Link). Dass dabei zusätzlich Tokens und Zeit bei der Verarbeitung durch das LLM gespart werden, ist ein willkommener Bonus.