Wissensgraphen vs. LLMs: Warum Jura ohne Knowledge Graph nicht weit kommt

Ein LLM allein ist wie ein Jurist mit fotografischem Gedächtnis, aber ohne Verständnis für Paragrafenketten. Es weiß, dass § 823 BGB existiert, aber nicht zwingend, wie er mit § 254 BGB zusammenhängt. Ein Wissensgraph schließt diese Lücke – indem er Beziehungen abbildet, die ein reines Sprachmodell nicht intrinsisch versteht.

TL;DR: Wissensgraphen sind keine Konkurrenz zu LLMs, sondern ihre strukturierte Ergänzung. Für juristische Anwendungen sind sie oft überlegen – aber nicht ohne Kosten.

Der Grundkonflikt: Vektor-Suche vs. Graph-Struktur

Moderne KI-Wissenssysteme basieren auf zwei fundamental unterschiedlichen Ansätzen:

Vector RAG (der Standard)

Dokumente werden in Chunks zerschnitten, als Vektoren eingebettet und per Ähnlichkeitssuche abgefragt. Funktioniert gut für „Finde mir das Dokument, das wie dieses aussieht." Funktioniert schlecht für „Welche Paragrafen sind für diesen Fall relevant, und wie hängen sie zusammen?"

Stärke: Einfach aufzusetzen, kein manuelles Modellieren, gute Ergebnisse bei faktenbasierten Fragen. Schwäche: Kein Verständnis für Beziehungen zwischen Entitäten. Eine Vektorsuche findet vielleicht § 823 BGB, aber nicht automatisch die dazugehörigen Kommentare, Rechtsprechungshinweise und Ausnahmen aus anderen Paragrafen.

Knowledge Graph RAG (GraphRAG)

Dokumente werden als Knoten (Entitäten) und Kanten (Beziehungen) modelliert. Ein Wissensgraph für Jura könnte Knoten für Paragrafen, Urteile, Kommentare und Rechtsbegriffe enthalten – und Kanten, die „verweist auf", „wurde zitiert in", „schränkt ein" oder „ergänzt" abbilden.

Stärke: Beziehungen sind explizit modelliert. Mehrschrittige Anfragen („Welche Urteile beziehen sich auf § 823 und wurden nach 2020 gefällt?") liefern präzise Ergebnisse. Schwäche: Hoher initialer Aufwand, aufwendige Pflege, komplexere Infrastruktur.

Praxisbeispiel: Juristische Recherche

Stell dir vor, ein LLM soll folgende Frage beantworten:

„Ein Mieter hat die Miete wegen einer defekten Heizung gekürzt. Der Vermieter ficht dies an. Welche Paragrafen, Urteile und Kommentare sind relevant?"

Vector RAG: Das System findet Dokumente, die „Mietmangel", „Mietminderung" und „Heizung" enthalten. Es kann aber nicht erkennen, dass § 536 BGB die Mietminderung regelt, während § 569 BGB die fristlose Kündigung betrifft – und dass ein bestimmtes BGH-Urteil von 2023 die Abwägung zwischen beiden Paragrafen präzisiert.

GraphRAG: Der Wissensgraph enthält die Knoten § 536, § 569, BGH-Urteil VIII ZR 123/23 und die Kanten BGH-Urteil VIII ZR 123/23 legt § 536 aus und § 569 verweist auf § 536 bei Heizungsmängeln. Das System navigiert entlang dieser Kanten und liefert eine strukturierte, kontextbewusste Antwort.

Vor- und Nachteile im Detail

Vorteile von Wissensgraphen im KI-Einsatz

1. Multi-Hop-Reasoning Eine Frage wie „Welche Ausnahmen gelten für die Haftung nach § 823 BGB im Straßenverkehr?" erfordert mehrere Schritte: § 823 finden → § 254 (Mitverschulden) entdecken → § 7 StVG (Gefährdungshaftung) einbeziehen → Rechtsprechung zu diesem Zusammenspiel finden. Ein Wissensgraph navigiert diese Kette entlang seiner Kanten. Vector RAG müsste hoffen, dass alle relevanten Dokumente im selben Chunk landen.

2. Erklärbarkeit Jede Antwort aus einem Wissensgraph ist durch die Kanten zurückverfolgbar. „Ich empfehle § 536 BGB, weil das BGH-Urteil VIII ZR 123/23 diesen Paragrafen im Kontext von Heizungsmängeln ausgelegt hat." Bei Vector RAG bleibt unklar, welcher Chunk zu welchem Teil der Antwort beigetragen hat.

3. Domänen-spezifische Ontologien Juristische Begriffe haben präzise, oft mehrdeutige Beziehungen. „Klage" kann eine „Feststellungsklage", „Leistungsklage" oder „Gestaltungsklage" sein. Ein Graph bildet diese Hierarchie ab. Ein Vektor-Embedding nicht.

4. Konsistenz Ein gut gepflegter Wissensgraph ist widerspruchsfrei. LLMs mit reinem Vector RAG können sich widersprechen, je nachdem, welche Chunks im Kontext landen.

Nachteile von Wissensgraphen

1. Initialer Modellierungsaufwand (massiv) Einen juristischen Wissensgraph aufzubauen bedeutet: Paragrafen, Urteile, Kommentare, Rechtsbegriffe und ihre Beziehungen manuell oder halbautomatisch zu erfassen. Das sind Monate Arbeit für eine vollständige Domäne. Vector RAG ist in Stunden einsatzbereit.

2. Pflege und Aktualisierung Gesetze ändern sich. Neue Urteile kommen hinzu. Ein Wissensgraph muss kontinuierlich gepflegt werden – neue Knoten, neue Kanten, manchmal neue Beziehungstypen. Vector RAG: Neue Dokumente einfach in die Vektordatenbank laden.

3. Aufwands/ Nutzen-Verhältnis Der Atlan-Blog brachte es 2026 auf den Punkt: „Vector RAG gewinnt bei Single-Hop-Fragen. GraphRAG addiert Kosten, ohne bei einfachen Fragen Genauigkeit zu addieren." Für 90% der alltäglichen KI-Fragen reicht Vector RAG völlig aus.

4. Komplexität der Infrastruktur Vector DB + LLM ist ein Standard-Stack (OpenAI + Pinecone, oder lokal Chroma + Ollama). GraphRAG braucht zusätzlich eine Graph-Datenbank (Neo4j, ArangoDB), einen Graph-Query-Planner und oft mehr Rechenleistung.

Hybrid-Ansatz: Das Beste aus beiden Welten

Die Praxis 2026 setzt zunehmend auf Hybrid-Architekturen:

1. Vector Search für die Breite: Finde relevante Dokumente, Paragrafen, Urteile
2. Knowledge Graph für die Tiefe: Navigiere Beziehungen zwischen den gefundenen Entitäten
3. LLM für die Synthese: Formuliere die Antwort in natürlicher Sprache

Ein Beispiel aus der Forschung ist LegalGraphRAG (ACL 2026), das genau diesen Ansatz für juristische Corpora verfolgt: Vektorsuche für die initiale Retrieval-Phase, Graph-Navigation für die Multi-Hop-Verfeinerung.

Anfrage → Vector Search (relevante Dokumente finden)
        → Graph Traversal (Beziehungen erkunden)
        → LLM (Antwort synthetisieren)

Für wen lohnt sich GraphRAG?

Fazit

Wissensgraphen sind keine Wunderwaffe, aber für domänenspezifische, beziehungsreiche Anwendungen wie Jura der entscheidende Vorteil gegenüber roher Vektorsuche. Der Preis ist hoher initialer Aufwand – der sich aber rechnet, wenn die Fragen komplex und die Beziehungen kritisch sind.

Für die meisten anderen Anwendungen reicht Vector RAG völlig aus. Die Kunst ist, zu wissen, wann der Graph die zusätzliche Komplexität wert ist.

Quellen

• LegalGraphRAG: Multi-Agent Graph Retrieval (ACL 2026)
• Knowledge Graph vs RAG: When Each One Wins (Atlan, 2026)
• GraphRAG vs. Vector RAG (Meilisearch, 2025)
• From Legal Documents to Knowledge Graphs (Neo4j, 2025)
• Knowledge Graph-Assisted LLM for Legal Reasoning (arXiv, 2026)