Agent Memory 2026: Warum die Gedächtnisschicht kein Benchmark-Sieg ist

📷 "Technical Session # 5 Learning" by brewbooks is licensed under CC BY-SA 2.0. To view a copy of this license, visit https://creativecommons.org/licenses/by-sa/2.0/.

Ein Agent, der sich beim zweiten Gespräch nicht mehr an das erste erinnert, ist kein Assistent, sondern ein Formular. 2026 entscheidet sich, ob Agenten produktionsreif werden – nicht am Modell, sondern daran, was zwischen Sitzungen gespeichert wird. Aus dem Notbehelf „ganze Historie in den Prompt" ist eine eigene Produktkategorie geworden: Mem0, Zep und Letta buhlen um dieselbe Rolle. Die entscheidende Frage ist nicht, welcher Speicher gewinnt, sondern welcher zum Workload passt.

Drei Architekturen, drei Wetten

Die Anbieter lösen nicht dasselbe Problem, auch wenn sie dasselbe versprechen. Mem0 ist eine Schicht, die man aufruft: add() extrahiert Fakten aus einem Gespräch, search() holt die relevanten zum nächsten Turn zurück. Das ist der geringste Integrationsaufwand und reicht für Präferenzen und Profile oft aus. Der Preis ist die flache Struktur: Sobald Beziehungen zwischen Fakten zählen, stößt das Modell an eine Decke.

Zep setzt auf einen temporalen Knowledge Graph. Die zugrunde liegende Engine Graphiti speichert jede Kante mit Gültigkeitsfenster, also mit der Information, wann eine Tatsache galt und wann sie von einer neueren abgelöst wurde. Damit lässt sich beantworten, welchen Tarif ein Kunde heute hat und welchen im letzten Quartal – ohne dass das Modell raten muss. Self-Hosting bedeutet Graphiti plus Graph-Datenbank; die alte Zep Community Edition wurde im April 2025 eingestellt.

Letta, hervorgegangen aus MemGPT, verlagert das Gedächtnis in die Laufzeitumgebung selbst. Der Agent bearbeitet seine eigenen Memory-Blöcke und entscheidet, was dauerhaft wird – mit Kern-, Recall- und Archivspeicher, ähnlich der Speicherverwaltung eines Betriebssystems. Man adoptiert dafür eine Runtime, nicht nur eine API.

Was LoCoMo und LongMemEval wirklich messen

Der Benchmark-Kanon ist 2026 konsolidiert – jeder Test beantwortet eine andere Frage. LoCoMo stellt 1.540 Fragen über mehrere Gesprächssitzungen hinweg, verteilt auf Single-Hop-, Multi-Hop-, Temporal- und Open-Domain-Aufgaben. LongMemEval prüft mit 500 Fragen Wissensaktualisierungen und sitzungsübergreifenden Abruf – das, was im Betrieb ständig passiert. BEAM skaliert auf eine und zehn Millionen Tokens und ist damit der einzige der drei, der sich nicht durch ein größeres Kontextfenster austricksen lässt. DolphinBench und STATE-Bench messen nicht mehr Erinnerung, sondern Task-Erfolg.

Mem0 meldet für seinen im April 2026 veröffentlichten Algorithmus 92,5 Punkte auf LoCoMo und 94,4 auf LongMemEval – bei durchschnittlich rund 6.900 Tokens pro Abfrage. Auf BEAM bleiben davon 64,1 Punkte bei einer Million und 48,6 bei zehn Millionen Tokens übrig. Die letzte Zahl ist die ehrlichste: Bei echter Skalierung ist das Feld offen.

Der Widerspruch in den Zahlen

Denn die Rangliste ist umstritten. Zep hat Mem0s Auswertung aus dem Jahr 2025 öffentlich zerlegt: Die LoCoMo-Gespräche seien mit wenigen zehntausend Tokens zu kurz für einen echten Langzeitgedächtnis-Test, die Kategorie für Wissensaktualisierungen fehle, der Datensatz habe Fehler bei Sprecherzuordnung und Ground Truth. Vor allem aber sei Zep falsch implementiert worden: vertauschte Rollen, angehängte statt native Zeitstempel, sequenzielle statt parallele Suchen. Mit korrekter Implementierung kommt Zep auf 75,14 Prozent, Mem0s beste Graph-Konfiguration auf 68,44 Prozent.

Bemerkenswerter als der Schlagabtausch ist ein Detail aus Mem0s eigener Tabelle von 2025: Dort schlägt ein simpler Vollkontext-Baseline mit rund 73 Prozent die berichteten Speichervarianten. Wenn das Nacherzählen der ganzen Historie besser abschneidet als die Gedächtnisschicht, misst der Benchmark nicht die Fähigkeit, die er messen soll.

Genauigkeit gegen Kosten

Eine Studie von März 2026 vergleicht eine Mem0-basierte Faktenschicht mit Long-Context-Inferenz über GPT-5-mini auf LongMemEval, LoCoMo und PersonaMem v2. Das Ergebnis ist unbequem für beide Lager: Auf zwei der drei Benchmarks war der Vollkontext um etwa 33 bis 35 Prozentpunkte korrekter. Auf PersonaMem v2, wo konsistente Personenmerkmale zählen, war der Speicher gleichwertig, in einem Vergleich leicht besser.

Der Unterschied liegt im Kostenprofil: Vollkontext zahlt pro Turn, und die Rechnung wächst mit der Historie – auch mit Prompt-Caching, das Eingabetokens nur mit 90 Prozent Rabatt berechnet. Die Speicherschicht hat eine einmalige Schreibphase und danach nahezu konstante Lesekosten. Bei 100.000 Tokens Historie wird sie nach etwa zehn Interaktionen günstiger; nach 20 Fragen sind es rund 26 Prozent Ersparnis, und je länger die Historie, desto früher kippt der Punkt.

Vollkontext ist allerdings auch keine sichere Bank. Chroma hat 2025 achtzehn Modelle getestet und festgestellt, dass alle mit wachsender Eingabelänge unzuverlässiger werden – nicht an einer dokumentierten Grenze, sondern graduell und ungleichmäßig, selbst bei einfachen Retrieval-Aufgaben.

Wann sich eine Gedächtnisschicht rechnet

Vier Fragen entscheiden die meisten Fälle. Erstens: Wie viele Turns laufen gegen denselben Kontext? Bei 100.000 Tokens Historie rechnet sich die Schicht unter zehn Turns meist nicht. Zweitens: Ändern sich Fakten, deren Verlauf später zählt? Dann führt an temporalen Graphen kaum ein Weg vorbei. Drittens: Sind die Fragen detail- und multi-hop-lastig? Dann verliert Kompression genau die Belege, die gebraucht werden. Viertens: Wie werden Einträge gelöscht? Memory speichert personenbezogene Daten – Retention ist Teil des Designs, nicht des Betriebs.

Um eine eigene Evaluation kommt man nicht herum. Ein Satz von 100 bis 200 echten Nutzerfragen mit erwarteten Antworten schlägt jede Hersteller-Tabelle. Der Einstieg:

from mem0 import MemoryClient

client = MemoryClient(api_key="...")

client.add("Ich bevorzuge Python gegenüber JavaScript", user_id="martin")
treffer = client.search("Programmiersprachen-Präferenzen", user_id="martin")

Sinnvoll ist meist ein Hybrid: stabile Profilfakten im Speicher, die laufende Sitzung im Kontextfenster.

Fazit

Agent Memory ist 2026 von der Bastelei zur Infrastruktur geworden – mit Benchmarks, Preisen und Architekturdebatten. Aber die Zahlen, die als Kaufargument dienen, stammen fast alle von den Anbietern selbst, und sie widersprechen sich. Die belastbare Gemeinsamkeit der unabhängigen Analysen ist nüchtern: Eine Gedächtnisschicht ist zuerst eine Kosten- und Latenztechnologie, keine Genauigkeitstechnologie. Wer nach Leaderboard auswählt, kauft die falsche Sicherheit. Wer nach Turns, Faktenstruktur und eigenen Messwerten auswählt, bekommt einen Baustein, der Agenten über Sitzungen hinweg brauchbar macht.