Hybride Suche für RAG 2026: BM25, Vektorsuche und Reranking im Produktionseinsatz

Reine Vektorsuche stößt in der Praxis immer wieder an ihre Grenzen: Wer nach einer Fehlermeldung wie ERR_SSL_VERSION_OR_CIPHER_MISMATCH, einer Produkt-SKU wie RTX-4090 oder einem API-Namen wie torch.nn.functional.cross_entropy sucht, bekommt von reinen Embedding-Modellen oft unbrauchbare Ergebnisse. Der Grund liegt in der Architektur: Dense Embeddings mitteln alle Token eines Texts über Pooling in einen einzigen Vektor – exakte Begriffsinformationen gehen dabei verloren. BM25, der bewährte Keyword-Algorithmus aus den 1990ern, hat dieses Problem nicht, scheitert aber an Synonymen und Paraphrasierungen.

Der produktive Standard für RAG-Systeme im Jahr 2026 ist daher die Kombination beider Verfahren plus eines Reranking-Schritts. Hybrid Search ist keine Spielerei für Spezialfälle, sondern die Architektur, die in den meisten Produktionssystemen die höchste Retrieval-Qualität liefert.

Warum reine Vektorsuche systematisch scheitert

Dense Embedding-Modelle wie OpenAI text-embedding-3-large oder bge-m3 projizieren Texte in einen hochdimensionalen Vektorraum. Das funktioniert hervorragend für semantische Ähnlichkeit – aus „Anmeldeproblem" werden auch „Login-Fehler" oder „Authentifizierungsfehler" gefunden. Doch bei exakten Bezeichnungen versagt das Prinzip: Ein Dokument über ERR_SSL_VERSION_OR_CIPHER_MISMATCH wird als „SSL-Dokument" eingeordnet, nicht als Treffer für genau diese Fehlermeldung. Der BEIR-Benchmark hat bereits 2021 gezeigt, dass Dense Retrieval in Zero-Shot-Cross-Domain-Szenarien häufig schlechter abschneidet als BM25 – ein Ergebnis, das viele Teams dazu brachte, beide Verfahren zu kombinieren.

Eine aktive Analyse aus der Praxis zeigt: Auf etwa 35 Prozent der Support-Queries enthalten spezifische Error-Codes oder Produkt-IDs – reine Vektorsuche versagt auf jeder einzelnen davon.

Hybrid Search: Zwei Retrieval-Pfade, ein Ergebnis

Die Architektur ist einfach: Eine Anfrage wird parallel an einen BM25-Index und einen Vektor-Index geschickt. Die Herausforderung liegt im Zusammenführen der Ergebnisse, denn BM25-Scores und Cosinus-Ähnlichkeiten liegen auf völlig unterschiedlichen Skalen.

Hier kommt Reciprocal Rank Fusion (RRF) ins Spiel. RRF wandelt die Position jedes Dokuments in jeder Rangliste in einen Score um: 1/(k + rank) mit k=60 als Standardwert. Dokumente, die in beiden Listen weit oben stehen, erhalten die höchste Punktzahl. Der große Vorteil: RRF benötigt keine Normalisierung und funktioniert ohne gelabelte Trainingsdaten. Elasticsearch 8.x, OpenSearch 2.12+, Weaviate und Qdrant unterstützen RRF nativ.

Die Alternative ist die gewichtete lineare Kombination: Score = α · VektorScore + (1-α) · BM25Score. Bruch et al. (2022) zeigten, dass bereits 40 gelabelte Query-Relevanz-Paare ausreichen, um ein besseres α zu finden als RRF. Typische Werte: α ≈ 0,3 für technische Dokumentation (Gewicht auf BM25) und α ≈ 0,7 für konversationelle Inhalte.

Reranking: Die zweite Stufe für Präzision

Der größte Hebel für Retrieval-Qualität liegt jedoch im Reranking. Während die erste Stufe für hohen Recall optimiert (top-100 Kandidaten), bewertet ein Cross-Encoder in der zweiten Stufe jedes (Query, Dokument)-Paar gemeinsam – und erzeugt so viel präzisere Relevanzwerte als reine Cosinus-Ähnlichkeit.

Die Ergebnisse sind signifikant: Weaviate-Benchmarks auf BEIR-Datensätzen zeigen eine Verbesserung von Success@1 um 17 Prozent (von 0,43 auf 0,52) und Recall@5 um 11 Prozent (von 0,70 auf 0,81) durch den zusätzlichen Reranking-Schritt. Auf dem anspruchsvollen BRIGHT-Biology-Benchmark verbesserte Reranking den nDCG@10 sogar von 0,13 auf 0,40 – eine Verdreifachung.

Produktionstaugliche Reranker sind heute unter anderem Cohere Rerank v3, Voyage Rerank-2, Jina Reranker v2 und der quelloffene BGE-Reranker-v2 von BAAI.

Evaluierung: Vier Metriken, die jeder messen sollte

Ohne Messung bleibt RAG eine Blackbox. Vier Evaluierungsachsen haben sich als Standard etabliert:

• Context Recall – Enthält die Retrieval-Ergebnisse die relevanten Passagen?
• Context Precision – Sind die gefundenen Passagen tatsächlich relevant?
• Groundedness – Ist jede Behauptung der Antwort durch den Kontext gedeckt?
• Answer Relevance – Beantwortet die Antwort die eigentliche Frage?

Frameworks wie RAGAS (quelloffen, breite Metrikabdeckung) und TruLens (Tracing + Evaluierung in einer Bibliothek) erlauben es, diese Metriken automatisiert auf jedem Commit zu berechnen. Der 2026er-Trend geht zur Online-Evaluierung: Statt nur nächtliche Batch-Läufe durchzuführen, samplen Teams 5–10 Prozent des Live-Traffics durch dieselben Evaluatoren.

Der wichtigste einzelne Alarmwert ist Faithfulness (Groundedness): Eine Antwort, die nicht durch den abgerufenen Kontext gedeckt ist, ist eine Halluzination – unabhängig davon, wie flüssig sie formuliert ist.

Fazit

Die Diskussion „BM25 oder Vektorsuche?" ist 2026 obsolet. Der Produktionsstandard ist die Kombination beider Verfahren mit einem nachgeschalteten Reranking. Die Gewinne sind messbar: höhere Retrieval-Recall, präzisere Rankingergebnisse und vor allem weniger Halluzinationen, weil der LLM besseren Kontext erhält.

Teams, die heute in hybride Sucharchitekturen investieren, legen damit das Fundament für die nächste Entwicklungsstufe: agentisches Retrieval, bei dem der LLM selbstständig entscheidet, wann und wie er weitere Informationen anfordert – und wo die Qualität des zugrunde liegenden Retrieval-Systems über Erfolg oder Scheitern entscheidet.

Quellen

• RAG Architecture in 2026: Patterns, Code, and How to Evaluate – FutureAGI
• Hybrid Search in Production: Why BM25 Still Wins on the Queries That Matter – Tian Pan
• RAG in 2026: Beyond Naive Vector Search to Production Architectures – CODERCOPS
• Hybrid Search for RAG: Vector + Keyword + Reranking Guide 2026 – BuildMVPFast
• RAG Chunking Strategies & Embeddings Optimization: The 2026 Benchmark Guide – Tech in General
• How to Evaluate RAG Systems in 2026 – FutureAGI