MTEB Score erklärt: Warum das Top-Modell nicht Ihre beste RAG-Wahl ist

MTEB Score erklärt: Warum das Top-Modell nicht Ihre beste RAG-Wahl ist

Das Hugging-Face-MTEB-Leaderboard listet über 5.000 Embedding-Modell-Einreichungen, und fast jede Woche schiebt sich ein neues an die Spitze. Hier die Falle: Dieses Modell auf Platz 1 ist wahrscheinlich nicht dasjenige, das Sie ausliefern sollten. Der MTEB-Score, den Sie gerade anstarren, ist ein Durchschnitt über 8 verschiedene Aufgabentypen, und nur einer davon sagt etwas darüber aus, wie gut Retrieval-Augmented Generation auf Ihren Dokumenten funktioniert. Wir haben das auf die harte Tour gelernt. Im April 2026 verlor unser bestplatziertes Modell gegen ein günstigeres auf unserem eigenen Corpus. Dieser Leitfaden erklärt, was die Zahlen wirklich bedeuten, welche Spalte für RAG zählt, und warum das Leaderboard ein Ausgangspunkt ist, kein Urteil.

Das Wichtigste auf einen Blick

• MTEB ist ein Multi-Task-Benchmark; der "Gesamt"-Score in der Kopfzeile mischt 8 Aufgabentypen zu einem Durchschnitt.
• Für RAG sagt nur der Retrieval-Reiter (nDCG@10) etwas über die Produktionsqualität aus, nicht der Gesamtdurchschnitt.
• Reale Embedding-Modelle erreichen zero-shot 0.4–0.7 nDCG@10; 1.0 wäre eine perfekte Rangfolge.
• Nutzen Sie MTEB, um eine Vorauswahl zu treffen, und testen Sie dann auf Ihrem eigenen Corpus. Das Modell auf Platz 1 verliert oft.

Was ist ein MTEB-Score?

MTEB steht für den Massive Text Embedding Benchmark, eine offene Multi-Task-Suite zur Bewertung von Text-Embedding-Modellen. Ein MTEB-Score ist eine Metrik pro Aufgabe, gemittelt zu einer Gesamtzahl über 8 Aufgabentypen. Er wurde 2022 von Muennighoff und Kollegen eingeführt (arXiv 2210.07316, veröffentlicht auf der EACL 2023).

Der Benchmark existiert als öffentlicher Hugging-Face-Space, in dem jeder ein Modell einreichen kann. Die Zahl, die die meisten zitieren, ist der "Gesamtdurchschnitt", der Retrieval, Klassifikation, Clustering und fünf weitere Aufgabenfamilien zu einer Zahl verschmilzt. Genau deshalb täuscht der Rang in der Kopfzeile: Ein Modell kann den Durchschnitt gewinnen, weil es stark im Clustering ist, während es bei der einen Aufgabe, auf die Ihr Produkt angewiesen ist, nur mittelmäßig abschneidet. Das Originalpaper umfasst 8 Aufgabentypen über rund 58 Datensätze und 112 Sprachen.

Die 8 MTEB-Aufgabenkategorien (und was jeder Score misst)

MTEB gruppiert die Embedding-Bewertung in 8 Aufgabentypen, und jeder wird mit einer anderen Metrik bewertet. "Ein hoher MTEB-Score" bedeutet also fast nichts, solange Sie nicht wissen, welche Aufgabe Sie gerade lesen. Eine 0.85 bei Klassifikation (Accuracy) und eine 0.85 bei Retrieval (nDCG@10) beschreiben völlig unterschiedliche Fähigkeiten.

Hier die Decoder-Tabelle, die anscheinend niemand sauber veröffentlicht. Die Metrik ändert sich mit der Aufgabe:

Die obige Zuordnung von Aufgabe zu Metrik ist gegen das MTEB-Paper geprüft (arXiv 2210.07316). Die eine Erkenntnis: Ein Modell, das den MTEB-Gesamtdurchschnitt anführt, kann bei genau der einen Aufgabe, auf die Ihr Produkt läuft, trotzdem mittelmäßig sein.

Welcher MTEB-Score zählt wirklich für RAG?

Für RAG ignorieren Sie den Gesamtdurchschnitt und lesen den Retrieval-Reiter, bewertet mit nDCG@10. RAG ist semantische Suche über Ihre Dokumente – exakt die Retrieval-Aufgabe. STS korreliert lose, ist aber zweitrangig. Ein Modell kann das Gesamt-Leaderboard anführen und beim Retrieval trotzdem im Mittelfeld landen, weshalb die Retrieval-Spalte diejenige ist, die Produktionsqualität vorhersagt.

Warum täuscht die Gesamtmischung? Die Retrieval-Teilmenge basiert auf allgemeinen Web- und QA-Datensätzen wie MS MARCO, Natural Questions und HotpotQA. Ein Modell, das bei Klassifikation glänzt, kann einen großartigen Durchschnitt erzielen, während seine Retrieval-Zahl einbricht. Öffnen Sie das Hugging-Face-Leaderboard (huggingface.co/spaces/mteb/leaderboard, abgerufen am 13.07.2026) und filtern Sie auf den Retrieval-Reiter, bevor Sie irgendetwas vergleichen.

Wenn Sie Ihre eigene Auswertung skripten, gilt derselbe Filter auch im Code:

from mteb import MTEB
# nur Retrieval behalten, die Spalte, die für RAG zählt
tasks = MTEB(task_types=["Retrieval"]).tasks

Sobald Sie die Retrieval-Spalte gelesen haben, stellt sich die nächste Frage: welches Modell Sie wählen sollen. Unser Hub-Beitrag führt durch welches Embedding-Modell Sie tatsächlich einsetzen sollten mit den vollständigen Benchmark-Zahlen, und wenn Sie noch entscheiden, wo diese Vektoren leben sollen, passt unser Leitfaden zu den besten Vektordatenbanken 2026 dazu.

Was bedeutet ein nDCG@10-Score wirklich?

nDCG@10 misst, wie gut die obersten 10 abgerufenen Ergebnisse geordnet sind. Ein Score von 1.0 bedeutet, dass jedes relevante Dokument ganz oben steht; 0 bedeutet, keines davon. Reale Embedding-Modelle liegen zero-shot bei rund 0.4–0.7, eine 0.55 ist also normal, nicht kaputt.

Stellen Sie es sich wie die Benotung einer Suchbox vor. Sie interessiert, ob die richtige Antwort zuerst erscheint, nicht nur irgendwo, denn Ihr LLM liest nur die obersten paar Chunks, die Sie ihm zuführen. Niemand erreicht 1.0, weil Anfragen mehrdeutig sind und relevante Dokumente selten perfekt sortiert vorliegen. Wenn Sie also ein nDCG@10 von 0.55 in Panik versetzt: keine Sorge; das ist ein normaler, ausliefer-tauglicher Zero-Shot-Score, und die Spanne 0.4–0.7 ist ein typischer Bereich (bestätigt von zeroentropy.dev), kein Naturgesetz.

Wir haben die MTEB-Nummer 1 gegen unseren eigenen RAG-Corpus antreten lassen (und sie hat nicht gewonnen)

Wir haben das Modell an der Spitze des MTEB-English-Retrieval-Reiters genommen und gegen sechs weitere auf unserem eigenen technischen Dokumentations-Corpus mit 10.000 Dokumenten antreten lassen, bewertet gegen ein handgelabeltes Set von rund 120 Anfragen. Der Leaderboard-Spitzenreiter erzielte einen starken Recall@10, landete aber nicht auf Platz 1, und zwei günstigere Optionen kamen nah genug heran, um die Entscheidung zu kippen. Mit nur rund 120 Anfragen sollten Sie das als richtungsweisend behandeln, nicht als Leaderboard.

Der Spitzenreiter des MTEB-English-Leaderboards in unserem Testfenster war Gemini Embedding 001 (er führt den April-2026-Snapshot an); die Rangliste unten stammt vom Hugging-Face-MTEB-Board, und da sich Zahlen von Snapshot zu Snapshot verschieben, geben wir unsere mit Datum an:

Zwei Dinge, die uns das Leaderboard nicht verraten hat. Erstens: Die öffentliche Nummer 1 (Gemini) wurde auf unserem Corpus knapp von Voyage-4-large geschlagen – einem Modell, das auf diesem Board gar nicht auftaucht. Zweitens: Ein selbst gehostetes Open-Modell (Qwen3-8B) kam ohne Kosten pro Token haarscharf heran, und OpenAIs gekürzte 1024-dimensionale Vektoren hielten bei 3-fach kleinerem Speicherbedarf ein Recall@10 von 0.83. MTEB bewertet Retrieval auf allgemeinem Web- und QA-Text; unser Corpus besteht aus spezialisiertem Technik-Vokabular, das auf eigene Weise in Chunks zerlegt ist – also verschiebt sich die Reihenfolge. Das ist das ganze Argument dafür, auf den eigenen Daten zu testen. Unser Walkthrough zu wie Sie auf Ihrem eigenen RAG-Corpus testen deckt die Eval-Seite ab, und der Hub-Beitrag führt die vollständige Methodik.

Warum die Nummer 1 im Leaderboard nicht Ihre beste Wahl ist

Drei Dinge, die das Leaderboard nicht sehen kann, entscheiden über Ihren echten Gewinner: Domänen-Vokabular (Fachjargon, den die allgemeinen Datensätze nie enthalten), Chunk-Größe (kurze versus lange Passagen bevorzugen unterschiedliche Modelle) und die Sprache der Anfragen. Deshalb ist MTEB ein Vorauswahl-Werkzeug, kein endgültiges Urteil. Der Rang sagt Ihnen, welche Modelle plausibel sind, nicht welches zu Ihren Daten passt.

Hier die Corpus-Faktoren, die eine Rangfolge in der Praxis auf den Kopf stellen:

• Domänen-Shift: Rechts-, Medizin- oder Codebase-Texte enthalten Vokabular, das MS MARCO nie erfasst hat.
• Chunk-Größe: Ein auf kurze Passagen trainiertes Modell kann bei 800-Token-Chunks stolpern.
• Sprache und Stil der Anfragen: Mehrsprachige oder stichwortlastige Anfragen mischen die Reihenfolge schnell neu.

Unserer Erfahrung nach ist der zuverlässige Workflow unspektakulär, aber er funktioniert: Nutzen Sie den MTEB-Retrieval-Reiter, um 3–4 Kandidaten vorauszuwählen, und messen Sie dann Recall@10 und nDCG@10 auf Ihren eigenen Dokumenten. Unsere Übersicht zu allgemeinen RAG-Tools hilft bei der Pipeline, und für einen strukturierten Weg, Modelle auf Ihren eigenen Daten zu evaluieren, deckt jene Rezension die Eval-Seite ab. Zwei verwandte Lektüren, die sich zu merken lohnen: das lokale Betreiben von Embedding-Modellen mit Ollama und ein direkter Vergleich von Voyage, OpenAI und Cohere Embeddings.

MTEB vs. MMTEB, und warum sich die Zahlen ständig ändern

MMTEB ist die mehrsprachige v2-Erweiterung von MTEB (arXiv 2502.13595, v2 veröffentlicht am 8. April 2025). Sie fügt über 500 community-getriebene Aufgaben in über 250 Sprachen hinzu, plus Lang-Dokument-, Instruction-Following- und Code-Retrieval. Wenn Ihr RAG rein englischsprachig ist, bleibt der ursprüngliche englische MTEB-Retrieval-Reiter die richtige Wahl. MMTEB zählt am meisten, wenn Ihre Anfragen und Dokumente mehrere Sprachen umfassen.

Hier der ehrliche Teil. MTEB-Zahlen widersprechen sich über Snapshots und sogar über Paper-Versionen hinweg: Das Originalpaper nennt in einer Version 56 Datensätze, in einer anderen 58, behandeln Sie also nie eine einzelne Zahl als kanonisch. Ranglisten mischen sich ständig neu, weil über 5.000 Einreichungen laufend eintreffen, machen Sie also immer einen Screenshot des Leaderboards mit dem Datum, an dem Sie es gelesen haben. Und falls die Seite nicht lädt: Der Hugging-Face-Space läuft auf einem CPU-Upgrade und ist oft langsam oder instabil – das liegt nicht an Ihrer Verbindung.

Das Fazit

MTEB ist der beste öffentliche Ausgangspunkt für die Wahl eines Embedding-Modells – sobald Sie ihn richtig lesen. Lesen Sie den Retrieval-Reiter, nicht den Gesamtdurchschnitt. Behandeln Sie ein nDCG@10 von 0.4–0.7 als normal. Treffen Sie mit dem Leaderboard eine Vorauswahl, testen Sie diese dann auf Ihrem eigenen Corpus, denn das Modell auf Platz 1 verliert auf echten Daten oft (bei uns war es so). Wenn Sie bereit für die Wahl sind, kehren Sie zu unserem Embedding-Modelle-Hub zurück für die vollständigen Benchmarks und Empfehlungen. Und wenn die eigentliche Arbeit darin besteht, das gewählte Modell in eine produktive Pipeline einzubauen, gehört genau diese Vorauswahl-und-Test-Bewertung zu unserer KI-Integration.

Häufig gestellte Fragen

Was ist MTEB?

MTEB ist der Massive Text Embedding Benchmark, eine offene Suite zur Bewertung, wie gut Text-Embedding-Modelle über 8 Aufgabentypen hinweg abschneiden, darunter Retrieval, Klassifikation und Clustering. Eingeführt von Muennighoff und Kollegen 2022 (arXiv 2210.07316), wird er als öffentliches Leaderboard auf Hugging Face gehostet.

Wofür steht MTEB?

MTEB steht für Massive Text Embedding Benchmark. Der Name ist wichtig, weil "Massive" sich auf die Breite der Aufgaben und Datensätze bezieht, nicht auf einen einzelnen Test. Ihr MTEB-Score ist im Grunde ein Durchschnitt über viele separate Auswertungen, weshalb die Gesamtzahl Schwächen bei genau der Aufgabe verbergen kann, die Ihnen wichtig ist.

Welcher MTEB-Score zählt für RAG?

Für RAG lesen Sie den Retrieval-Reiter, bewertet mit nDCG@10, nicht den Gesamtdurchschnitt. RAG ist semantische Suche über Ihre Dokumente – exakt die Retrieval-Aufgabe, die das Leaderboard misst. Ein Modell kann einen starken Gesamt-Score erzielen und beim Retrieval trotzdem im Mittelfeld landen, weshalb Retrieval das verlässliche Signal ist.

Was ist ein guter MTEB-Retrieval-Score?

Reale Embedding-Modelle erreichen zero-shot typischerweise 0.4–0.7 nDCG@10, alles in dieser Spanne ist also normal und ausliefer-tauglich. Eine 0.55 ist kein Alarmsignal. Niemand erreicht 1.0, weil Anfragen mehrdeutig sind und relevante Dokumente selten in perfekter Reihenfolge vorliegen. Vergleichen Sie Kandidaten miteinander, nicht gegen eine perfekte 1.0.

Was ist nDCG@10?

nDCG@10 misst, wie gut die obersten 10 abgerufenen Ergebnisse geordnet sind. Ein Score von 1.0 bedeutet, dass jedes relevante Dokument ganz oben steht; 0 bedeutet, keines tut es. Er belohnt es, die beste Antwort an erste Stelle zu setzen, was für RAG zählt, weil Ihr LLM nur die obersten paar abgerufenen Chunks liest.

Was ist der Unterschied zwischen MTEB und MMTEB (v1 vs. v2)?

MMTEB ist die mehrsprachige v2-Erweiterung von MTEB (arXiv 2502.13595, April 2025). Sie erweitert den Benchmark auf über 500 community-getriebene Aufgaben in über 250 Sprachen und fügt Lang-Dokument-, Instruction- und Code-Retrieval hinzu. Wenn Ihr RAG rein englischsprachig ist, bleiben Sie beim ursprünglichen englischen MTEB-Retrieval-Reiter.

Warum ändert sich das MTEB-Leaderboard so oft (und warum lädt es nicht)?

Ranglisten mischen sich ständig neu, weil laufend neue Modelle eingereicht werden – über 5.000 Einträge, Tendenz steigend. Ein März-Snapshot stimmt nicht mit einem Juli-Snapshot überein, machen Sie also immer einen Screenshot des Leaderboards mit Datum. Falls die Seite nicht lädt: Der Hugging-Face-Space läuft auf einem CPU-Upgrade und ist häufig langsam oder instabil.

Sollte ich einfach das Modell auf Platz 1 im MTEB-Leaderboard wählen?

Nein. Das Modell auf Platz 1 ist ein Kandidat für die Vorauswahl, kein Urteil. Das Leaderboard kann Ihr Domänen-Vokabular, Ihre Chunk-Größe oder die Sprache Ihrer Anfragen nicht sehen – alles Faktoren, die verändern, welches Modell gewinnt. Nutzen Sie den Retrieval-Reiter, um 3–4 Modelle vorauszuwählen, und testen Sie dann auf Ihrem Corpus. In unserem Test wurde die öffentliche Nummer 1 auf unserem eigenen Corpus von einem Modell geschlagen, das nicht einmal auf diesem Board steht, und von einer günstigeren Self-Hosting-Option eingeholt.