Agentic RAG 2026: Wenn die KI selbst entscheidet, wie sie sucht

📷 "Technical Session # 5 Learning" by brewbooks is licensed under CC BY-SA 2.0. To view a copy of this license, visit https://creativecommons.org/licenses/by-sa/2.0/.

Im Frühjahr 2026 steht die Welt der Retrieval-Augmented Generation (RAG) vor einem fundamentalen Wandel. War RAG 2023 noch eine simple Pipeline – Query embedden, Top-K chunks fetchen, in den Prompt stopfen, generieren –, hat sich die Architektur inzwischen in drei eigenständige Richtungen aufgespalten: Agentic RAG, Graph RAG und Long-Context-Ansätze. Insbesondere der Agentic RAG genannte Ansatz markiert einen qualitativen Sprung: Statt einer passiven Retrieval-Pipeline steuert nun ein LLM-gesteuerter Agent den gesamten Retrieval-Prozess – planend, iterierend, selbstkorrigierend.

Vom Pipeline zum Agenten-Loop

Der Kernunterschied zwischen klassischem und agentischem RAG liegt in der Kontrolllogik. Traditionelles RAG ist eine lineare Funktion: Ein Durchlauf, ein Ergebnis. Agentic RAG hingegen ist eine Zustandsmaschine, die in Schleifen arbeitet. Ein Agent erhält eine Frage, zerlegt sie in Teilfragen, entscheidet, welche Quellen er anruft (Vektordatenbank, SQL, Web-Suche, MCP-Server), bewertet die Ergebnisse und startet bei unzureichender Qualität einen neuen Durchlauf – so lange, bis die Antwort einem Konfidenzschwellwert genügt oder ein Iterationslimit erreicht ist (typisch 5–6 Durchläufe).

Produktionssysteme setzen dafür standardmäßig LangGraph als Orchestrierungs-Framework ein, ergänzt um LlamaIndex für die Retrieval-Ebene. LangGraphs Checkpointing macht jeden Schritt des agentischen Loops nachvollziehbar, pausierbar (für menschliche Freigaben) und wiederholbar – eine essenzielle Eigenschaft für Compliance und Debugging.

Die drei zentralen Pattern: Self-RAG, CRAG und Adaptive RAG

Aus der Forschung und Praxis haben sich drei dominante Architekturmuster herauskristallisiert.

Self-RAG (Asai et al., 2023) lässt das Modell spezielle Reflexions-Token ausgeben: Soll überhaupt gelesen werden? Sind die gefundenen Passagen relevant? Wird die generierte Antwort durch die Evidenz gestützt? Ist die Antwort nützlich? Diese Selbstkritik-Schleifen reduzieren Halluzinationen erheblich – ideal für regulierte Bereiche wie Legal, Medizin oder Finanzen.

Corrective RAG (CRAG) (Yan et al., 2024) ergänzt einen separaten Retrieval-Evaluator, der die Qualität der gefundenen Dokumente bewertet und bei schwacher Evidenz alternative Retrieval-Pfade einschlägt – etwa eine Web-Suche statt der Vektordatenbank. In Produktion wird CRAG oft mit Knowledge-Graph-Abfragen kombiniert.

Adaptive RAG stellt einen Query-Klassifikator vor die Pipeline, der jede Anfrage nach Schwierigkeit sortiert: Einfache Faktenfragen überspringen das Retrieval ganz, mittelschwere bekommen einen Single-Hop-Vektor-Search, und komplexe mehrschrittige Fragen erhalten den vollen agentischen Loop. Da 60–70 % aller Produktionsabfragen einfach sind, spart dieser Ansatz erhebliche Kosten, ohne die Qualität bei anspruchsvollen Fragen zu opfern.

Der 2026er-Produktionsstack

Der Standard-Stack für agentische RAG-Systeme hat sich 2026 weitgehend verfestigt: Hybrid Search (dichte Vektoren + sparse BM25 Keywords, fusioniert via Reciprocal Rank Fusion) ist die Basis – reine Vektor-Suche gilt als architektonischer Fehler. Ein Cross-Encoder Reranker (Cohere Rerank 3.5, Voyage AI rerank-2.5) bewertet vor der LLM-Übergabe die Relevanz jeder gefundenen Passage neu, was messbare Präzisionsgewinne bringt. Dazu kommen Knowledge Graphs (Neo4j, LazyGraphRAG) für relationenreiche Abfragen.

Die Evaluierung ist kein optionaler Schritt mehr: Ragas liefert automatisierte Metriken (Faithfulness ≥ 0,9, Answer Relevancy ≥ 0,85, Context Precision ≥ 0,8), ergänzt um Observability-Tools wie Arize Phoenix und Langfuse.

Kosten und Latenz: Realistische Erwartungen

Agentic RAG ist kein kostenloses Upgrade. Die Token-Kosten pro Query steigen um den Faktor 3–10x gegenüber einfachem RAG, die Latenz von 1–2 Sekunden auf 4–15 Sekunden (p95). Ein Team, das aufwandstreibende Abfragen (z. B. “Vergleiche Klausel 4.2 aus den letzten fünf Verträgen”) über einen FAQ-Bot mit einfachen Faktenfragen legt, verschwendet Budget. Deshalb ist Adaptive RAG – die Routing-Logik vor dem Agenten – die De-facto-Architekturentscheidung für Mischlasten.

Zugleich ist der Bau solcher Systeme effizienter geworden: Was 2024 zwei Ingenieuren sechs Wochen kostete, schafft 2025/26 ein Ingenieur in vier Wochen – bei höherer Laufzeitqualität durch standardisierte Pattern und reifere Tooling-Landschaft.

Fazit

Agentic RAG ist 2026 keine experimentelle Spielerei mehr, sondern eine ausgereifte Architektur für alle Fälle, in denen einfaches RAG an seine Grenzen stößt. Die entscheidende Frage lautet nicht “Soll ich agentisches RAG einsetzen?”, sondern “Für welche Query-Klasse lohnt sich der Mehraufwand?”. Wer seine Abfragen nach Komplexität routet, Self-RAG oder CRAG für anspruchsvolle Fälle nutzt und mit Ragas evaluiert, fährt besser als mit einer Einheitsarchitektur. RAG ist nicht tot – es ist in seine Bestandteile zerlegt worden, und wer das versteht, baut die günstigeren und genaueren Systeme.