MTEBスコア解説：なぜランキング1位のモデルがRAGの最適解ではないのか
Hugging FaceのMTEBリーダーボードには5,000以上の埋め込みモデルが登録されており、ほぼ毎週のように新しいモデルがトップの座につきます。ここで注意すべき落とし穴があります。その「1位」のモデルは、あなたが本番環境で採用すべきモデルではない可能性が高いのです。目にするMTEBスコアは8種類のタスクタイプ全体の平均値であり、その中でRetrieval Augmented Generation（RAG）におけるドキュメント処理の性能を予測できるのは、たった1つのタスクだけです。私たちはこれを痛い経験を通じて学びました。2026年4月、当時ランキング上位だった私たちの選択は、自社のコーパスではより安価なモデルに敗北しました。このガイドでは、数値が実際に意味するもの、RAGのために信頼すべき列、そしてリーダーボードが「判決」ではなく「出発点」である理由を解説します。
主なポイント
- MTEBはマルチタスクベンチマークであり、見出しの「総合」スコアは8種類のタスクタイプを1つの平均値にまとめたものです。
- RAGにおいて、生産環境での品質を予測するのは総合平均ではなく、Retrieval（検索）サブタブのnDCG@10のみです。
- 実際の埋め込みモデルのゼロショットnDCG@10スコアは0.4〜0.7程度です。1.0は完璧なランキングを意味します。
- MTEBを使って候補を絞り込み、その後、独自のコーパスでテストしてください。1位のモデルはしばしば敗北します。
MTEBスコアとは何か？
MTEBはMassive Text Embedding Benchmarkの略称で、テキスト埋め込みモデルを評価するためのオープンなマルチタスクスイートです。MTEBスコアは、8種類のタスクタイプにわたる各タスクの指標を1つの総合数値に平均化したものです。これは2022年にMuennighoff氏らの研究者によって導入され（arXiv 2210.07316、EACL 2023にて発表）、現在も広く参照されています。
このベンチマークは誰でもモデルを投稿できる公開のHugging Face Spaceとして運営されています。多くの人が引用する数値は「総合平均」ですが、これは検索、分類、クラスタリング、およびその他の5つのタスクファミリーを1つの数値に混合したものです。これこそが見出しの順位が誤解を招く理由です。あるモデルはクラスタリングで強力な性能を発揮することで平均値を押し上げ、製品が依存している唯一のタスクでは並みの性能しか出していないにもかかわらず、1位になることがあります。元の論文では、約58のデータセットと112の言語にわたる8種類のタスクタイプを対象としています。
8つのMTEBタスクカテゴリ（各スコアが測定するもの）
MTEBは埋め込み評価を8種類のタスクタイプにグループ化しており、それぞれ異なる指標でスコアリングされます。したがって、「高いMTEBスコア」という表現は、どのタスクを見ているかが不明確であれば、ほとんど意味を持ちません。分類（精度）での0.85と、検索（nDCG@10）での0.85は、全く異なる能力を表しています。
以下は、これまで明確に公開されてこなかったデコード表です。指標はタスクによって異なります。
| タスクカテゴリ | 測定内容 | 指標 |
|---|---|---|
| Retrieval（検索） | クエリに関連するドキュメントを見つける（これがRAGです） | nDCG@10 |
| Classification（分類） | テキストをカテゴリにラベル付けする | accuracy（精度） |
| Clustering（クラスタリング） | 類似したテキストをグループ化する | v-measure |
| Pair Classification（ペア分類） | 2つのテキストが一致するか判定する | average precision（平均適合率） |
| Reranking（再ランキング） | 候補結果の順序を入れ替える | MAP |
| STS（意味的テキスト類似性） | 2つの文の意味がどれだけ似ているか | Spearman correlation（スピアマン相関） |
| Summarization（要約） | 要約の品質をランキングする | Spearman correlation（スピアマン相関） |
| Bitext mining（バイテキストマイニング） | 言語間の翻訳マッチング | F1 |
上記のタスクと指標の対応関係は、MTEB論文（arXiv 2210.07316）に基づいて検証されています。ここで重要なのは、総合MTEB平均でトップに立つモデルであっても、あなたの製品が実行している単一のタスクでは平凡な性能しか発揮しない可能性があるということです。
RAGにとって実際に重要なMTEBスコアはどれか？
RAGの場合、総合平均は無視して、nDCG@10でスコアリングされる**Retrieval（検索）**サブタブを確認してください。RAGはドキュメントに対するセマンティック検索であり、これはまさに検索タスクそのものです。STSは緩やかな相関がありますが、二次的なものです。モデルは総合リーダーボードで勝利しながら、検索では中位に留まる可能性があるため、生産環境での品質を予測するのは検索列です。
なぜ総合混合値が誤解を招くのでしょうか。検索サブセットは、MS MARCO、Natural Questions、HotpotQAなどの一般的なWebおよびQAデータセットから構築されています。分類で輝くモデルは、優れた平均値を出しながら、検索の数値が低迷することがあります。Hugging Faceのリーダーボード（huggingface.co/spaces/mteb/leaderboard、2026-07-13アクセス）を開き、比較を行う前に検索タブにフィルタリングしてください。
独自の評価をスクリプトで行う場合も、コード内で同じフィルタリングが適用されます。
from mteb import MTEB
# keep only Retrieval, the column that matters for RAG
tasks = MTEB(task_types=["Retrieval"]).tasks検索列を確認した後、次の疑問はどのモデルを選ぶかです。私たちのハブ記事では、完全なベンチマーク数値とともに実際に採用すべき埋め込みモデルについて解説しており、ベクトルの保存先を選定している場合は、2026年の最佳ベクトルデータベースガイドも併せてご覧ください。
nDCG@10スコアは実際に何を意味するのか？
nDCG@10は、検索された上位10件の結果がどれだけ適切にランキングされているかを測定します。スコア1.0は、関連するすべてのドキュメントが最上位にあることを意味し、0は関連ドキュメントが一つも含まれていないことを意味します。実際の埋め込みモデルのゼロショットスコアは0.4〜0.7程度であり、0.55であれば正常で壊れていません。
これを検索ボックスの採点と考えてください。LLMは投入された上位いくつかのチャンクしか読み取らないため、正解が「どこかに」あるかどうかではなく、「最初に表示されるか」どうかが重要です。クエリは曖昧であり、関連ドキュメントが完全に整列することは稀であるため、誰も1.0を達成できません。したがって、nDCG@10が0.55だからといって慌てる必要はありません。それは正常で本番投入可能なゼロショットスコアであり、0.4〜0.7の範囲は典型的なレンジ（zeroentropy.devにより裏付けられています）であって、物理法則ではありません。
MTEB 1位モデルを自社のRAGコーパスで検証した結果（そして勝てなかった）
私たちは、MTEB英語検索タブでトップに立っていたモデルを取り上げ、独自の10,000ドキュメントからなる技術文書コーパスで他の6モデルと比較検証を行いました。スコアリングは、手動でラベル付けされた約120のクエリセットに対して行いました。リーダーボードの首位モデルは強力なRecall@10を示しましたが、最終的に1位にはならず、2つのより安価なオプションがほぼ同等の結果を出し、意思決定に影響を与えました。クエリ数は約120件に限られているため、これらの結果はリーダーボードとしての確定値ではなく、傾向を示すものと捉えてください。
テスト期間中のMTEB英語リーダーボード首位はGemini Embedding 001（2026年4月のスナップショットでトップ）でした。以下の順位はHugging Face MTEBボードに基づくものですが、数値はスナップショットによって変動するため、日付付きで引用します。
| モデル（次元数） | MTEB英語順位（HF, 2026） | 自社コーパス Recall@10 | コスト |
|---|---|---|---|
| Gemini Embedding 001 (3072) | 英語検索タブでトップ | 0.88 | ~$0.15/M |
| Voyage-4-large (1024) | 公開ボードには掲載なし | 0.89 | ~$0.12/M |
| Qwen3-Embedding-8B (セルフホスト) | オープンモデルリーダー | 0.87 | GPUのみ |
| text-embedding-3-large @1024 (切り捨て) | 中級層 | 0.83 | ~$0.13/M |
リーダーボードが教えてくれなかった2つの事実があります。第一に、公開1位（Gemini）は、そのボードに掲載さえされていないVoyage-4-largeによって自社コーパスで僅差で上回られました。第二に、セルフホスト型のオープンモデル（Qwen3-8B）はトークンあたりのコストなしで僅差まで迫り、OpenAIの切り捨てられた1024次元ベクトルは、ストレージを3分の1に抑えつつ0.83のRecall@10を維持しました。MTEBは一般的なWebおよびQAテキストでの検索をランク付けしますが、私たちのコーパスは独自の手法でチャンク化された専門的な技術用語で構成されているため、順位が入れ替わります。これが独自のデータでテストすべきだという主張の核心です。独自のRAGコーパスでテストする方法に関するウォークスルーは評価側面をカバーしており、ハブ記事には完全な方法論が記載されています。
なぜリーダーボード1位が最適解ではないのか
真の勝者を決定する3つの要素は、リーダーボードからは見えません。それは、ドメイン固有の語彙（一般的なデータセットには含まれない専門用語）、チャンクサイズ（短い文章と長い文章で有利なモデルが異なる）、そしてクエリの言語です。だからこそ、MTEBは最終回答ではなく、候補絞り込みツールなのです。順位はどのモデルが妥当であるかを示しますが、どのモデルがあなたのデータに適合するかまでは示しません。
実践的に順位を逆転させるコーパス要因は以下の通りです。
- ドメインシフト：法律、医療、またはコードベースのテキストは、MS MARCOがサンプリングしたことのない語彙を含みます。
- チャンクサイズ：短い文章で調整されたモデルは、800トークンのチャンクでつまずく可能性があります。
- クエリの言語とスタイル：多言語またはキーワード重視のクエリは、すぐに順位を入れ替えます。
私たちの経験では、信頼性の高いワークフローは地味ですが効果的です。MTEBの検索タブを使用して3〜4の候補を絞り込み、その後、独自のドキュメントでRecall@10とnDCG@10を測定します。一般的なRAGツールのまとめはパイプライン構築に役立ち、独自のデータでモデルを評価するための構造化された方法については、そのレビューが評価側面をカバーしています。ブックマークしておく価値のある関連記事2つ：Ollamaでローカルで埋め込みモデルを実行する、およびVoyage vs OpenAI vs Cohere埋め込みの直接比較。
MTEB対MMTEB、そして数値が変化し続ける理由
MMTEBはMTEBの多言語v2拡張版です（arXiv 2502.13595、v2は2025年4月8日公開）。250以上の言語にわたる500以上のコミュニティ駆動型タスクに加え、長文ドキュメント、指示追従、コード検索を追加しています。RAGが英語のみであれば、依然として読むべきは元の英語MTEB検索タブです。MMTEBが最も重要になるのは、クエリとドキュメントが複数の言語にまたがる場合です。
ここで正直な話をします。MTEBの数値はスナップショット間、さらには論文のバージョン間でも矛盾します。元の論文のあるバージョンでは56データセットと報告され、別のバージョンでは58となっています。したがって、単一の数値を絶対的な基準として扱わないでください。5,000以上の提出があり、ランキングは常に入れ替わるため、リーダーボードを閲覧した日付と共に必ずスクリーンショットを残してください。また、ページが読み込まれない場合、Hugging Face SpaceはCPUアップグレード中で動作しており、接続の問題ではなく、頻繁に遅延したり不安定になったりします。
結論
MTEBは、正しく読めば、埋め込みモデルを選択するための最良の公的な出発点です。総合平均ではなく、検索タブを読んでください。nDCG@10が0.4〜0.7であることを正常と捉えてください。リーダーボードで候補を絞り込み、その後、独自のコーパスでその候補をテストしてください。1位モデルは実データではしばしば敗北するからです（私たちも経験しました）。選択する準備ができたら、完全なベンチマークと推奨事項のために埋め込みモデルハブに戻ってください。そして、選んだモデルを生産パイプラインに組み込むことが本当の仕事である場合、その「絞り込んでテストする」評価プロセスは、私たちのAI統合ワークの一部です。
著者について
Mert Batur GurbuzはTechsy.ioの共同創設者であり、同社チームはB2Bクライアント向けにAIエージェント、自動化システム、および音声/SDRパイプラインを提供しています。彼はバーミンガム大学で学んでおり、Techsyチームが生産環境で実際に使用しているLLMツールスタックについて執筆しています。
LinkedInでつながる。
よくある質問
MTEBとは何ですか？
MTEBはMassive Text Embedding Benchmarkの略称で、検索、分類、クラスタリングを含む8種類のタスクタイプ across でテキスト埋め込みモデルの性能を評価するためのオープンなスイートです。2022年にMuennighoff氏らによって導入され（arXiv 2210.07316）、Hugging Face上で公開リーダーボードとしてホストされています。
MTEBは何の略ですか？
MTEBはMassive Text Embedding Benchmarkの略称です。「Massive（大規模）」という名称が重要なのは、単一のテストではなく、タスクとデータセットの広範さを指しているためです。MTEBスコアは実際には多くの個別評価の平均値であり、そのため総合数値はあなたが気にしているタスクでの弱点を隠してしまう可能性があります。
RAGにとって重要なMTEBスコアはどれですか？
RAGの場合、総合平均ではなく、nDCG@10でスコアリングされるRetrieval（検索）サブタブを確認してください。RAGはドキュメントに対するセマンティック検索であり、これはリーダーボードが測定する検索タスクそのものです。モデルは強力な総合スコアを出しながら検索では中位に留まる可能性があるため、検索が信頼できる指標となります。
良いMTEB検索スコアとは何ですか？
実際の埋め込みモデルは通常、ゼロショットでnDCG@10が0.4〜0.7のスコアを出すため、その範囲内のものは正常で本番投入可能です。0.55は警告信号ではありません。クエリは曖昧であり、関連ドキュメントが完璧な順序で並ぶことは稀であるため、誰も1.0を達成できません。完璧な1.0ではなく、候補同士を比較してください。
nDCG@10とは何ですか？
nDCG@10は、検索された上位10件の結果がどれだけ適切にランキングされているかを測定します。スコア1.0は、関連するすべてのドキュメントが最上位にあることを意味し、0は関連ドキュメントが一つも含まれていないことを意味します。これは最良の答えを最初に表示することを報酬とし、LLMは取得した上位いくつかのチャンクしか読み取らないため、RAGにとって重要です。
MTEBとMMTEB（v1対v2）の違いは何ですか？
MMTEBはMTEBの多言語v2拡張版です（arXiv 2502.13595、2025年4月）。ベンチマークを250以上の言語にわたる500以上のコミュニティ駆動型タスクに拡大し、長文ドキュメント、指示、コード検索を追加しています。RAGが英語のみであれば、元の英語MTEB検索タブを使用してください。
なぜMTEBリーダーボードは頻繁に変動し、読み込めないことがあるのですか？
5,000以上のエントリーがあり増加し続けているため、新しいモデルが常に提出され、ランキングは常に入れ替わります。3月のスナップショットは7月のものとは一致しないため、必ず日付付きでリーダーボードのスクリーンショットを残してください。ページが読み込まれない場合、Hugging Face SpaceはCPUアップグレード中で動作しており、頻繁に遅延したり不安定になったりします。
MTEBリーダーボードで1位のモデルを選ぶべきですか？
いいえ。1位モデルは候補の一つであり、最終判断ではありません。リーダーボードはあなたのドメイン語彙、チャンクサイズ、クエリの言語を見ることができず、これらはすべてどのモデルが勝つかを変化させます。検索タブを使用して3〜4のモデルを絞り込み、その後、あなたのコーパスでテストしてください。私たちのテストでは、公開リーダーボードの1位は、そのボードに掲載さえされていないモデルによって自社コーパスで僅差で上回られ、より安価なセルフホスト型オプションと同程度の性能でした。