Honcho Memory im Test: 90,4 % halten unserer Nachrechnung stand, plus Vor- und Nachteile

Honcho Memory im Test: 90,4 % halten unserer Nachrechnung stand, plus Vor- und Nachteile

Honcho memory, die AGPL-3.0-lizenzierte Memory-Schicht für KI-Agenten von Plastic Labs, meldet 90,4 % auf LongMemEval S. In unserem Test am 28. Oktober 2026 haben wir die rohen Ergebnisdateien neu ausgezählt und kamen auf dieselben 452 von 500. Auf LoCoMo beträgt Honchos Vorsprung vor reinem Claude Haiku 4.5 bei identischen 1.540 Fragen 6,3 Punkte, nicht die veröffentlichten 14,3.

Gutes Gedächtnis. Kleinerer Vorsprung. Echte Kompromisse.

Lohnt sich Honcho Memory? Das Urteil in einer Tabelle

Nimm Honcho, wenn dein Agent über Monate ein Modell einer Person aufbauen soll. Lass es bleiben bei Dokumenten-RAG, sofortigem Abruf oder einem Closed-Source-Fork.

Honcho ist unter den dedizierten Memory-Schichten die einzige Option unter AGPL-3.0 (Mem0, Letta und cognee stehen unter Apache-2.0, LangMem unter MIT), und die Cloud berechnet Reasoning pro Abfrage zusätzlich zur Ingestion.

Ältere Reviews nennen noch $100 Startguthaben. In den Docs stehen inzwischen $5, plus $5 im Monat mit hinterlegter Karte.

Wie funktioniert Honcho Memory?

Deine App schreibt Nachrichten zwischen Peers, und ein Hintergrund-Worker macht daraus Schlussfolgerungen, die du in natürlicher Sprache abfragen oder als Kontext abrufen kannst.

Ein Peer ist jeder Teilnehmer, Nutzer oder Agent. Der v3-Quickstart in den Honcho-Docs zeigt den ganzen Ablauf (Quellcode auf GitHub):

import os
from honcho import Honcho
honcho = Honcho(workspace_id="my-app-testing", api_key=os.environ["HONCHO_API_KEY"])
alice = honcho.peer("alice")
tutor = honcho.peer("tutor")
session = honcho.session("session-1")
session.add_messages([
    alice.message("Hey there — can you help me with my math homework?"),
    tutor.message("Absolutely. Send me your first problem!"),
])
answer = alice.chat("What learning styles does the user respond to best?")

peer.chat() beantwortet Fragen in natürlicher Sprache. Die hybride Suche aus BM25 und Vektoren findet Nachrichten und Conclusions, so heißen Honchos abgeleitete Fakten. session.context(summary=True, tokens=10_000) liefert Kontext mit Token-Budget für einen Prompt.

Das Reasoning läuft asynchron. Ein neuer Fakt taucht erst auf, nachdem der Deriver gelaufen ist, nicht beim nächsten Lesezugriff. Der representation-Endpunkt aus dem README ist der Weg mit niedriger Latenz.

Hält Honchos LoCoMo-Wert von 89,9 % stand? Wir haben die Rohdateien neu bewertet

89,9 % und 90,4 % lassen sich beide aus den Rohdateien von Plastic Labs reproduzieren. Auf LoCoMo liegt der Vorsprung vor Haiku allein bei gleicher Fragenbasis aber nur bei 6,3 Punkten.

Am 28. Oktober 2026 haben wir drei Ergebnisdateien aus honcho-benchmarks neu ausgezählt (Run-Ordner a1d689b, benannt nach dem getesteten Honcho-Commit). Die Spalte „Veröffentlicht“ ist selbst berichtet und stammt von honcho.dev/evals.

Die Nachzählung zeigt, wo die Differenz herkommt. Die veröffentlichte Baseline enthält 446 Adversarial-Fragen, bei denen Haiku 46,2 % erreichte, und Honchos Run hatte keine einzige. Der eigene Beitrag von Plastic Labs, Benchmarking Honcho, nennt „Haiku alone scores 83.9%“, nah an unseren 83,6 %. Die Evals-Seite vergleicht schlicht zwei verschiedene Fragenmengen.

Bei kurzen Verläufen spricht für Honcho der geringere Token-Verbrauch, nicht höhere Genauigkeit. LoCoMo-Verläufe mit 16K bis 26K Token passen in jedes 200K-Fenster, und ConvoMem fand, dass der volle Kontext bei unter etwa 150 Gesprächen 70–82 % erreicht.

Bei LongMemEval S sieht es anders aus: Bei rund 115K Token pro Verlauf hält der Vorsprung von +27,8. Eine Einschränkung zum Umfang: Diese Runs liefen mit einem Setup von Dezember 2025 und einer Haiku-4.5-Dialektik, während v3.4.1 (2026-10-27) standardmäßig gpt-5.4-mini nutzt.

# files: github.com/plastic-labs/honcho-benchmarks, folder a1d689b
import json, statistics
def score(f, drop_adv=True):
    per_conv = []
    for c in json.load(open(f))["detailed_results"]:
        qs = [q for q in c["question_results"] if not (drop_adv and q["category_name"] == "adversarial")]
        per_conv.append(sum(q["passed"] for q in qs) / len(qs))
    return round(100 * statistics.mean(per_conv), 1)
print(score("locomo_results_20251215_175728.json"))                  # 89.9
print(score("locomo_baseline_results_20251215_184837.json"))         # 83.6, same 1,540 Qs
print(score("locomo_baseline_results_20251215_184837.json", False))  # 75.4, incl. adversarial

Warum entscheiden sich Entwickler für Honcho?

Honcho punktet beim User Modeling. Es führt ein laufendes Bild davon, wer jemand ist, und dieses Gedächtnis folgt der Person durch ihre Agent-Tools.

Vectorize (Hersteller des Konkurrenten Hindsight) nennt Honcho in einem Vergleich von Hermes-Memory-Providern vom März 2026 ein Verhaltensmodell des Nutzers, „not just a fact store“. Jeder Grund hat einen Haken.

Bei den Token-Einsparungen eilt das Marketing den Zahlen voraus. Die Startseite wirbt mit 60–90 %, die Evals-Seite nennt aber 89 % auf LongMemEval S, 52 % auf LoCoMo und 16 % auf BEAM 100K. Ein auf der Startseite zitierter Builder berichtet von 10–15 %.

Wer nutzt Honcho, und für wen ist es gedacht?

542.206 Downloads des Python-SDK im Monat bis zum 28. Oktober 2026 zeigen: Honcho hat echte Nutzer, überwiegend Agent-Builder rund um Hermes und Coding-Agenten.

caption: Adoptionssignale, abgerufen am 28.10.2026.
items:
  - value: 542206
    label: PyPI-Downloads von honcho-ai, letzter Monat
    source: pypistats.org
  - value: 101791
    label: npm-Downloads von @honcho-ai/sdk, 27. Sep. bis 26. Okt.
    source: api.npmjs.org
  - value: 7803
    label: GitHub-Sterne, 954 Forks
    source: GitHub API

Die Startseite beschriftet ihren Logo-Streifen mit „Used by developers at“. Gemeint sind einzelne Entwickler bei diesen Organisationen, keine unternehmensweiten Verträge und keine Fallstudien.

Der Hermes Agent von Nous Research liefert Honcho als Memory-Plugin aus (hermes plugins install honcho), und die Hermes-Honcho-Docs führen fünf Tools auf, von honcho_profile bis honcho_conclude.

Beliebtheit ist kein Konsens. In einer Hermes-Umfrage auf X mit 138 Antworten (Okt. 2026) lagen Markdown-Notizen vorn (27), Hindsight auf Platz zwei (25) und Honcho auf Platz drei (22).

• Gute Wahl: Companions, Tutoren und Coaching-Agenten
• Gute Wahl: persönliche Coding-Agenten, die sich Claude Code, Codex und Cursor teilen
• Schlechte Wahl: Dokumenten-RAG, Abruf im nächsten Turn, Closed-Source-Forks

Honcho: Vor- und Nachteile – was zahlst du für die Genauigkeit?

Honchos Genauigkeit ist real. Den Preis zahlst du in Verzögerung, Token-Overhead, einem schweren Self-Hosting-Stack und der AGPL, plane also für alle vier.

Self-Hosting braucht Postgres mit pgvector, einen Deriver-Worker und ein LLM mit Tool-Calling (Standard: gpt-5.4-mini, text-embedding-3-small). Die CLI startet API, Deriver, Postgres und Redis; Docker Compose funktioniert ebenfalls.

# .env: set these before starting
DERIVER_FLUSH_ENABLED=true   # small batches otherwise wait (#494)
AUTH_USE_AUTH=true           # off by default
AUTH_JWT_SECRET=your-secret  # generate with scripts/generate_jwt_secret.py

uv tool install honcho-cli
honcho start --setup

Vorteile: wo Honcho seinen Platz verdient

• User Modeling, das Entwickler als „weiß, wer du bist“ beschreiben
• Das stärkste Ergebnis bei langen Verläufen in unserer Nachzählung: +27,8 auf LongMemEval S
• Open Source, selbst hostbar, mit Plugins für Claude Code, Codex, Cursor, Hermes und mehr

Nachteile: was es dich kostet

• Verzögerung. Entwickler berichten von einer 9,1 s langen minimal-Dialektik-Trace (#1101) und von 2,16 s zusätzlich bei jedem Hermes-API-Turn (#1289). Die „~200 ms“ der Startseite sind eine Herstellerangabe zu context().
• Abfragekosten. Bei 10.000 Nutzern mit je 20K Token pro Monat kostet die Ingestion $400, aber 30 Abfragen der Stufe Low pro Nutzer kosten $3,000 (Minimal: $300). Die Abfrage-Stufe bestimmt deine Honcho-Rechnung, nicht die Ingestion.
• Self-Hosting-Pflege. GitHub-Nutzer melden fehlende Erinnerungen, bis der Deriver geflusht hat (#494), und einen fest einprogrammierten Modell-Fallback (#1180). Wer die Cloud verlässt, muss Nachrichten neu einspielen, weil Embeddings nicht exportiert werden (#721).
• AGPL-3.0. Ein Vergleichsartikel behauptet, Self-Hosting zwinge dich, den Quellcode deiner App offenzulegen. Das übertreibt: AGPL §13 greift, wenn du Honcho modifizierst und Nutzer es über ein Netzwerk erreichen. Mem0, Letta und cognee stehen unter Apache-2.0, LangMem unter MIT. Honcho ist also der Copyleft-Ausreißer unter den dedizierten Memory-Schichten. Keine Rechtsberatung.

Spiel den Quickstart mit dem $5-Guthaben und einem echten Gesprächsprotokoll durch, bevor du dich festlegst.

Häufige Fragen

Ist Honcho Memory kostenlos?

Teilweise. Die Cloud gibt $5 Guthaben, plus $5 im Monat mit hinterlegter Karte, und Startups mit unter $5 Mio. Funding können $1,000 an Credits bekommen. Self-Hosting kostet unter AGPL-3.0 keine Lizenzgebühr, aber du zahlst deine LLM- und Embedding-Rechnungen selbst.

Kann ich Honcho in einem Closed-Source-SaaS einsetzen?

Ja, wenn deine App einen unmodifizierten Honcho-Server über seine API aufruft. Modifizierst du Honcho und stellst es über ein Netzwerk bereit, verlangt AGPL §13, dass du den Quellcode dieses modifizierten Honcho anbietest. Deine eigene App bleibt geschlossen. Keine Rechtsberatung; frag einen Anwalt, wenn du forkst.

Honcho vs. Mem0 oder Hindsight: Was soll ich nehmen?

Nimm Mem0 (Apache-2.0) für den schnellsten Start, Hindsight (MIT) zum Token-Sparen und Honcho für User Modeling. Ein Entwickler berichtet, Hindsight habe auf Hermes „used far fewer tokens“ (X, Okt. 2026). Der Mem0-Blog behauptet, Honcho habe keine öffentlichen Benchmarks, dabei hat es seit dem 19.12.2025 21 rohe Ergebnisdateien veröffentlicht. Das vollständige Ranking findest du hier.

title: Quellen
items:
  - title: Honcho Evals
    publisher: Plastic Labs
    year: 2025
    url: https://honcho.dev/evals
  - title: plastic-labs/honcho README
    publisher: GitHub
    year: 2026
    url: https://github.com/plastic-labs/honcho
  - title: plastic-labs/honcho-benchmarks
    publisher: GitHub
    year: 2025
    url: https://github.com/plastic-labs/honcho-benchmarks
  - title: Benchmarking Honcho
    publisher: Plastic Labs
    year: 2025
    url: https://plasticlabs.ai/blog/research/Benchmarking-Honcho
  - title: Honcho Memory
    publisher: Nous Research (Hermes Agent docs)
    year: 2026
    url: https://hermes-agent.nousresearch.com/docs/user-guide/features/honcho
  - title: GNU Affero General Public License v3
    publisher: Free Software Foundation
    year: 2007
    url: https://www.gnu.org/licenses/agpl-3.0.html
  - title: "LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory"
    publisher: arXiv
    year: 2024
    url: https://arxiv.org/abs/2410.10813
  - title: Evaluating Very Long-Term Conversational Memory of LLM Agents (LoCoMo)
    publisher: arXiv
    year: 2024
    url: https://arxiv.org/abs/2402.17753
  - title: ConvoMem
    publisher: arXiv
    year: 2025
    url: https://arxiv.org/abs/2511.10523