RAG-Evaluation 2026: Die vier Kernmetriken und wie man sie diagnostisch liest

📷 "Jersey for the Cleveland Browns worn and signed by Jim Brown" by King O'Shea, American, founded 1910 is marked with CC0 1.0. To view the terms, visit https://creativecommons.org/publicdomain/zero/1.0/.

RAG-Systeme versprechen halluzinationsarme KI-Antworten durch die Kopplung von Retrieval und Generierung. Doch in der Praxis scheitern viele Pipelines an einem blinden Fleck: fehlender Evaluationsinfrastruktur. Ohne messbare Metriken bleibt unklar, ob der Retriever falsche Dokumente liefert oder der Generator die richtigen ignoriert. Dieser Artikel zeigt, welche vier Metriken 2026 den Standard setzen und wie man sie diagnostisch liest.

Warum Standard-LLM-Evaluation für RAG nicht reicht

Ein RAG-System hat zwei unabhängige Fehlerflächen: Retrieval und Generierung. Laut einer Untersuchung aus dem Journal of Machine Learning Research erklärt die Retrieval-Genauigkeit nur etwa 60 Prozent der Varianz in der endgültigen Antwortqualität — die restlichen 40 Prozent entfallen auf die Art, wie das Modell den gelieferten Kontext nutzt. Herkömmliche Metriken wie BLEU oder ROUGE messen oberflächliche Textähnlichkeit, die nichts mit faktischer Korrektheit oder Kontexttreue zu tun hat.

Die neue Generation RAG-spezifischer Metriken adressiert genau diese Lücke. Vier Kernmetriken haben sich 2026 als Standard etabliert — popularisiert durch das Open-Source-Framework RAGAS und inzwischen von Tools wie DeepEval, TruLens und Patronus implementiert.

Faithfulness — die wichtigste Metrik

Faithfulness (auch Groundedness genannt) misst, ob jede Behauptung in der generierten Antwort durch den abgerufenen Kontext gestützt wird. Dazu wird die Antwort in Einzelaussagen zerlegt und jede gegen die Retrieval-Chunks geprüft. Der Score liegt zwischen 0 und 1.

Ein Wert von 0,6 bedeutet, dass rund 40 Prozent der Aussagen keine Grundlage im Retrieval haben — das Modell halluziniert im strengen Sinne. Für die meisten Produktionsanwendungen wird ein Schwellwert von 0,8 oder höher empfohlen. In regulierten Branchen wie Finanzen, Gesundheitswesen oder Recht sollte der Wert bei mindestens 0,9 liegen.

Liegt die Faithfulness niedrig, ist der Generator die Ursache: niedrigere Temperatur, strengere System-Prompts, die das Modell explizit auf den Kontext begrenzen, oder ein Wechsel zu einem Modell mit besserer Instruction-Following-Fähigkeit können Abhilfe schaffen.

Answer Relevancy — die Antwort muss zur Frage passen

Answer Relevancy misst, ob die generierte Antwort tatsächlich die gestellte Frage adressiert — unabhängig von der faktischen Korrektheit. Eine Antwort kann perfekt im Kontext verankert sein (hohe Faithfulness) und dennoch irrelevant sein, wenn der Retriever thematisch verwandte, aber nicht passende Dokumente geliefert hat.

Der Zielwert liegt bei 0,75 oder höher. Das diagnostische Muster ist aufschlussreich: Hohe Faithfulness bei niedriger Answer Relevancy deutet auf ein Retrieval-Problem hin, das wie ein Generierungsproblem aussieht. Die Antwort ist korrekt aus dem Kontext abgeleitet — nur der Kontext selbst war falsch.

Context Precision und Context Recall — die beiden Retrieval-Metriken

Context Precision prüft, ob die relevantesten Chunks früh in der Rangliste erscheinen. Ein Wert von 0,4 bedeutet, dass der Retriever die richtigen Dokumente irgendwo in den Ergebnissen findet, sie aber schlecht sortiert. Das LLM wird mit irrelevantem Kontext überflutet, bevor es an die nützlichen Chunks gelangt. Die Lösung: ein Cross-Encoder-Re-Ranker auf der Vektor-Suche. Der Zielwert liegt bei 0,7 oder höher.

Context Recall misst, ob alle benötigten Informationen im Retrieval-Ergebnis enthalten waren. Niedriger Recall bedeutet, dass der Retriever wichtige Dokumente ganz verpasst hat. Häufige Ursachen: zu kleine Chunk-Größen, ein Embedding-Modell, das domänenspezifische Begriffe nicht gut abbildet, oder ein zu niedrig gewähltes Top-K. Der Zielwert liegt bei 0,75 bis 0,8. Liegt der Recall darunter, helfen ein größeres Top-K, Hybrid Search (BM25 + Vektor) oder bessere Chunking-Strategien.

Das Panel diagnostisch lesen

Der eigentliche Wert der Metriken entfaltet sich erst im Zusammenspiel. Einige typische Muster:

Hohe Faithfulness + niedrige Context Precision/Recall: Der Generator arbeitet einwandfrei, aber der Retriever liefert falschen oder schlecht sortierten Kontext. Das Problem liegt im Retrieval.
Niedrige Faithfulness + hohe Context Precision/Recall: Der Retriever findet die richtigen Dokumente, aber der Generator ignoriert sie. Ein Generierungsproblem — hier helfen strengere Prompts oder ein Modellwechsel.
Niedrige Faithfulness + dennoch korrekte Antworten: Das gefährlichste Muster. Das Modell umgeht das Retrieval und antwortet aus seinen Trainingsdaten. Die Antwort ist gerade richtig, aber nicht garantierbar, sobald sich die Wissensbasis ändert.

Frameworks und Kosten

RAGAS ist das am weitesten verbreitete Open-Source-Framework und definiert die genannten Metriken. DeepEval integriert Evaluation nahtlos in CI/CD-Pipelines durch pytest-kompatible Tests. Für Produktionsüberwachung bieten sich Patronus (Halluzinationserkennung) oder Langfuse (Tracing) an.

Die meisten Metriken werden durch LLM-as-Judge-Aufrufe bewertet — das ist zugleich Stärke und Kostenfaktor. Pro Testfall mit fünf Metriken fallen etwa 0,001 bis 0,03 US-Dollar an, abhängig vom eingesetzten Judging-Modell. GPT-4o-mini oder lokal gehostete Modelle senken die Kosten drastisch und ermöglichen Evaluationsläufe mit Hunderten Testfällen für unter einen Dollar.

Fazit

RAG-Evaluation ist 2026 kein optionales Extra mehr, sondern eine Grundvoraussetzung für produktive KI-Systeme. Die vier Kernmetriken — Faithfulness, Answer Relevancy, Context Precision und Context Recall — bieten ein standardisiertes Vokabular, um Fehlerbilder präzise zu lokalisieren und gezielt zu beheben. Wer RAG einsetzt, sollte diese Metriken messen, bevor die erste Query an den Produktionsendpunkt geht.