Přestaňte žonglovat s LLM API: 9 nástrojů LLM gateway pro rok 2026

Přestaňte žonglovat s LLM API: 9 nástrojů LLM gateway pro rok 2026

Poslední aktualizace: 24. června 2026. Znovu jsme ověřili ceny, počty hvězdiček na GitHubu a seznamy podporovaných poskytovatelů u všech 9 gateway a přidali TrueFoundry, enterprise control plane, který přes svůj MCP Gateway řídí také přístup agentů k nástrojům. Úplné open-source vydání Portkey (březen 2026) a aktualizované benchmarkové výsledky Bifrost jsou zohledněny níže.

Nejlepší LLM gateway pro rok 2026 je LiteLLM pro týmy s vlastním hostingem a OpenRouter pro spravovaný přístup bez operací. LiteLLM podporuje více než 100 poskytovatelů za jediným OpenAI kompatibilním API, zvládá fallbacky a rozpočtové limity a běží zdarma na libovolném VPS. OpenRouter nabízí okamžitý přístup k více než 300 modelům bez infrastruktury. Pro regulované podniky, které potřebují datovou suverenitu a řízení provozu modelů i agentů, běží TrueFoundry zcela ve vašem vlastním VPC. Pro produkční guardrails (maskování PII, detekce jailbreaku) je volbou Portkey. Pro surový throughput nad 5 000 RPS přidává architektura Go od Bifrost pouze 11 mikrosekund režie.

Voláte OpenAI pro chatbota, Anthropic pro coding asistenta a Gemini pro sumarizační pipeline. Tři API klíče, tři SDK, tři billingové dashboardy, tři sady zpracování chyb. Teď k tomu přidejte fallback logiku, když jeden poskytovatel vypadne. Přesně tenhle nepořádek LLM gateway řeší: jedno jednotné API, které směruje na jakýkoli model, sleduje náklady a automaticky zvládá výpadky.

Otestovali jsme všechny hlavní LLM gateway a seřadili je podle toho, co opravdu rozhoduje: režie latence, pokrytí poskytovatelů, snadnost nasazení a zda přežijí váš příští nárůst provozu.

Co je LLM gateway? (A opravdu ji potřebujete?)

Před žebříčkem rychlé rozlišení. Pojmy „gateway“, „proxy“ a „router“ se často zaměňují, ale plní mírně odlišné role:

• LLM proxy: Přeposílá požadavky poskytovatelům, přidává logování. Minimální logika.
• LLM router: Vybírá nejlepší model nebo poskytovatele pro každý požadavek podle nákladů, latence nebo obsahu.
• LLM gateway: Kompletní balíček, proxy + router + sledování nákladů + cachování + guardrails + observabilita.

Většina nástrojů v tomto seznamu jsou plné gateway, ale některé tíhnou spíš k proxy nebo routeru.

Gateway potřebujete, pokud:

1. Voláte 2 a více poskytovatelů LLM a chcete pro všechny jedno API
2. Potřebujete sledovat náklady napříč poskytovateli (kdo vám spaluje rozpočet?)
3. Chcete automatický failover, když má poskytovatel výpadek
4. Stavíte funkce, které těží z cachování promptů napříč poskytovateli

Pokud používáte jediného poskytovatele a neplánujete přechod, gateway přidává zbytečnou složitost. Přeskočte ji.

Typická cesta k adopci: Většina týmů začne tím, že volání OpenAI natvrdo zakóduje přímo. Pak přidají Anthropic pro druhý use case a napíší wrapper funkci. Pak potřebují fallback logiku, sledování nákladů a rate limiting a najednou si sami postavili polotovar gateway. Nástroje níže nahrazují toto domácí řešení něčím ověřeným v provozu.

1. LiteLLM, nejlepší celkově

Hvězdičky na GitHubu: ~40K | Jazyk: Python | Licence: MIT

LiteLLM je švýcarský nůž mezi LLM gateway. Obaluje více než 100 poskytovatelů LLM za jediným OpenAI kompatibilním API, což znamená, že váš stávající kód s OpenAI SDK funguje beze změn. Stačí vyměnit base URL.

Proxy serverová komponenta je to, co dělá z LiteLLM gateway, ne jen SDK. Nasadíte ji jako samostatnou službu, nakonfigurujete modely v YAML souboru a každý tým přistupuje ke stejnému endpointu se zabudovaným sledováním nákladů, rate limitingem a load balancingem.

# config.yaml for LiteLLM proxy
model_list:
  - model_name: gpt-4
    litellm_params:
      model: openai/gpt-4o
      api_key: sk-...
  - model_name: gpt-4
    litellm_params:
      model: anthropic/claude-sonnet-4-20250514
      api_key: sk-ant-...
  # LiteLLM load-balances between these automatically

general_settings:
  master_key: sk-my-master-key
  database_url: postgresql://...

# Your app code doesn't change -- just point to the proxy
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:4000",  # LiteLLM proxy
    api_key="sk-my-master-key"
)

response = client.chat.completions.create(
    model="gpt-4",  # Routes to OpenAI or Anthropic via config
    messages=[{"role": "user", "content": "Explain LLM gateways"}]
)

Co je skvělé:

• Podporuje více než 100 poskytovatelů (nejširší pokrytí ze všech gateway)
• OpenAI kompatibilní API, nulové změny kódu pro existující aplikace
• Zabudované sledování nákladů, rozpočty pro tým/uživatele
• Fallback řetězce: když OpenAI selže, zkusí Anthropic, pak Gemini
• Integrace se všemi hlavními nástroji pro observabilitu (Langfuse, Helicone atd.)

Co ne:

• GIL v Pythonu omezuje throughput jednoho procesu (P95 latence ~8 ms při 1K RPS)
• Proxy potřebuje vlastní PostgreSQL databázi pro funkce správy týmů
• Konfigurace může být složitá s mnoha modely a směrovacími pravidly
• Nedávný bezpečnostní incident v supply chain (škodlivý PyPI balíček, rychle odhalen)

Cena: Zdarma a open-source. Enterprise plány jsou dostupné pro hostované spravování.

Pokud jste četli našeho průvodce používáním Claude Code s různými modely, už jste LiteLLM viděli v akci; je to jeden z hlavních způsobů, jak vývojáři směrují Claude Code přes alternativní poskytovatele.

Verdikt: LiteLLM je nejlepší celková LLM gateway pro týmy, které chtějí maximální flexibilitu a nevadí jim vlastní hosting. Má nejširší pokrytí poskytovatelů, nejvyspělejší ekosystém a největší komunitu. Začněte tady, pokud nemáte konkrétní důvod ne. Náš průvodce nastavením LiteLLM proxy provede kompletním Docker nasazením s PostgreSQL do 20 minut.

2. OpenRouter, nejlepší spravovaná gateway

Modely: 300+ | Typ: Spravovaný SaaS | Licence: Proprietární

OpenRouter zaujímá opačný přístup k LiteLLM: nic nenasazujete. Zaregistrujete se, získáte API klíč a máte okamžitý přístup k více než 300 modelům od všech hlavních poskytovatelů přes jeden endpoint. Je to „app store“ LLM API.

Hodnotová nabídka je jednoduchost. Žádná infrastruktura k údržbě, žádné YAML konfigurace k psaní, žádné databáze k zřízení. Předplatíte kredity nebo připojíte kartu a OpenRouter řeší konsolidaci fakturace napříč všemi poskytovateli.

from openai import OpenAI

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key="sk-or-..."
)

# Access any model from any provider -- same code
response = client.chat.completions.create(
    model="anthropic/claude-sonnet-4-20250514",
    messages=[{"role": "user", "content": "Compare LLM gateways"}]
)

Co je skvělé:

• 300+ modelů, jeden API klíč, jeden billing dashboard
• 25+ modelů zdarma na prototypování (včetně některých překvapivě schopných)
• Žádná infrastruktura ke správě, zaregistrujete se a začnete volat
• Funkce pro porovnání modelů pomáhají vyhodnotit před závazkem
• Zvládá výpadky poskytovatelů automatickým fallback směrováním

Co ne:

• Platformový poplatek 5,5 % nad ceny poskytovatelů, při škále se nasčítá
• Žádná možnost self-hostingu, vaše data procházejí servery OpenRouter
• Omezená observabilita ve srovnání s dedikovanými gateway nástroji
• Rate limity na free tieru mohou být pro produkční zátěž omezující
• Žádná vlastní směrovací logika, dostanete to, co rozhodne OpenRouter

Cena: Platba za token (cena poskytovatele + poplatek 5,5 %). Žádné měsíční minimum. K dispozici 25+ modelů zdarma.

Verdikt: OpenRouter je nejrychlejší cesta k přístupu k více poskytovatelům LLM. Pokud chcete prototypovat s různými modely nebo provozovat malou až střední zátěž bez správy infrastruktury, je to jasná volba. Ve škále už poplatek 5,5 % začíná být znát. Pokud je hnacím motorem snižování nákladů, podívejte se do našeho průvodce snižováním nákladů na LLM API pro kompletní rozpis cachování, batchování a úspor na úrovni gateway.

3. TrueFoundry, nejlepší pro enterprise governance

Modely: 1 600+ | Poskytovatelé: 250+ | Typ: Vlastní hosting + managed | Nasazení: VPC, on-prem, air-gapped

AI Gateway TrueFoundry je postavená pro případ, se kterým se open-source gateway potýkají: regulovaný podnik, který potřebuje jeden control plane pro každý model, plnou datovou suverenitu a auditní stopy, jež přežijí compliance kontrolu. Běží ve vašem vlastním VPC, on-prem nebo zcela air-gapped, takže žádná data požadavků neopouští vaši doménu, a už v základu přináší compliance SOC 2, HIPAA a GDPR, SSO a RBAC.

Pokrytí patří k nejširším v tomto seznamu: 1 600+ modelů napříč 250+ poskytovateli (OpenAI, Anthropic, Gemini, Groq, Mistral), plus self-hosted backendy jako vLLM, SGLang a Triton. TrueFoundry uvádí interní latenci pod 3 ms při enterprise zátěži a 99,99% dostupnost napříč více než 10 miliardami požadavků měsíčně, takže governance vrstva vás nestojí throughput.

from openai import OpenAI

client = OpenAI(
    base_url="https://<your-org>.truefoundry.com/api/llm",  # your gateway
    api_key="tfy-..."
)

response = client.chat.completions.create(
    model="openai/gpt-4o",  # routed, logged, and rate-limited centrally
    messages=[{"role": "user", "content": "Summarize this contract"}]
)

Co odlišuje TrueFoundry od Portkey nebo LiteLLM, je MCP Gateway: centrální registr, který řídí, jak AI agenti přistupují k enterprise nástrojům (Slack, GitHub, Confluence, Datadog) přes Model Context Protocol. Interní API zaregistrujete jako MCP servery, zabezpečíte je za Okta nebo Azure AD s RBAC pro každý server a získáte trasování na úrovni požadavků u každého volání nástroje. To vám dává jeden řízený control plane pro provoz modelů i nástrojů agentů, což je důležité, jakmile agenti začnou provádět akce, ne jen generovat text.

Na rozdíl od většiny enterprise gateway TrueFoundry zveřejňuje svůj ceník předem. Free Developer tier pokrývá 50 000 požadavků měsíčně, 3 uživatele a MCP Gateway až pro 5 serverů, což stačí na prototypování celého stacku, než s kýmkoli promluvíte. Pro tier je 499 $/měsíc za 1 milion požadavků, 10 uživatelů, sémantické cachování, virtuální modely a pokročilé směrování, přičemž další využití se účtuje paušálními sazbami za jednotku. Pro Plus stojí 2 999 $/měsíc a přidává vlastní metadata, alerting a exporty monitoringu pro 25 uživatelů. Enterprise má individuální cenovou nabídku pro 10M+ požadavků s plným VPC, multi-region a air-gapped instalacemi control i gateway roviny. Každý placený plán zahrnuje 7denní trial. Spravovaný SaaS nemá náklady na hosting; pokud hostujete gateway ve vlastním cloudu (BYOC), počítejte zhruba 600 až 1 000 $ měsíčně za podkladovou infrastrukturu.

Co je skvělé:

• 1 600+ modelů, 250+ poskytovatelů, plus self-hosted backendy (vLLM, SGLang, Triton)
• Běží ve vašem VPC, on-prem nebo air-gapped; žádná data neopouští vaši doménu
• Compliance SOC 2, HIPAA, GDPR, SSO, RBAC a auditní logování zabudované
• Guardrails: filtrování PII, detekce toxicity, skenování prompt injection
• MCP Gateway řídí přístup agentů k nástrojům, ne jen volání modelů
• Veřejný, transparentní ceník se skutečně bezplatným Developer tierem (50K požadavků/měs.)
• TrueFoundry uvádí průměrné snížení nákladů o ~30 % díky směrování, cachování a rozpočtům

Co ne:

• Enterprise-first: těžší než LiteLLM nebo OpenRouter pro malý projekt
• Základní platforma je proprietární (jejich open-source repozitáře jsou samostatné infra nástroje)
• Self-hosting gateway přidává navíc zhruba 600 až 1 000 $/měs. za infrastrukturu nad váš plán
• Nejcennější je, když máte mnoho týmů a nástrojů k řízení, ne první den

Cena: Free Developer tier (0 $/měs., 50K požadavků, 3 uživatelé). Pro 499 $/měs. (1M požadavků, 10 uživatelů, sémantické cachování, pokročilé směrování). Pro Plus 2 999 $/měs. (25 uživatelů, pokročilá observabilita). Enterprise individuální (10M+ požadavků, plné VPC a air-gapped). U placených plánů 7denní trial; spravovaný SaaS bez nákladů na hosting, self-hosting přidává ~600–1 000 $/měs. infrastrukturu.

Verdikt: TrueFoundry je gateway pro enterprise, které potřebují jeden řízený control plane pro provoz modelů i přístup agentů k nástrojům, přičemž data zůstávají v jejich vlastní infrastruktuře. Pokud jste startup a napojujete dva poskytovatele, je to víc, než potřebujete; začněte s LiteLLM. Pokud jste platformní tým, který nasazuje AI desítkám interních týmů pod compliance mandátem, patří na váš užší seznam.

4. Portkey, nejlepší pro produkční guardrails

Hvězdičky na GitHubu: ~7K | Jazyk: TypeScript/Node.js | Licence: Apache 2.0 (gateway), spravovaná platforma

Portkey se označuje jako „control plane pro AI“. Zatímco LiteLLM se soustředí na směrování a OpenRouter na jednoduchost, odlišením Portkey je produkční bezpečnost: guardrails, maskování PII, detekce jailbreaku a auditní stopy zabudované do vrstvy gateway.

Od března 2026 Portkey otevřelo celou svou gateway jako open-source (Apache 2.0), takže můžete hostovat základní směrování a guardrails sami bez spravované platformy.

from portkey_ai import Portkey

portkey = Portkey(
    api_key="pk-...",
    config={
        "strategy": {"mode": "fallback"},
        "targets": [
            {"provider": "openai", "override_params": {"model": "gpt-4o"}},
            {"provider": "anthropic", "override_params": {"model": "claude-sonnet-4-20250514"}}
        ]
    }
)

response = portkey.chat.completions.create(
    messages=[{"role": "user", "content": "Summarize this document"}]
)

Co je skvělé:

• Podpora více než 1 600 modelů napříč poskytovateli
• Zabudované guardrails: detekce PII, prevence jailbreaku, filtrování obsahu
• Správa a verzování promptů přímo v gateway
• Cachovací vrstva omezuje opakovaná volání (šetří peníze i latenci)
• Auditní stopy a compliance funkce pro regulovaná odvětví
• Nyní plně open-source gateway (březen 2026)

Co ne:

• Cena spravované platformy začíná na 49 $/měs. za produkční funkce
• Enterprise tier (5K–10K $/měs.) za pokročilou governance
• Platforma přidává složitost nad jednoduššími gateway
• Křivka učení strmější než u LiteLLM nebo OpenRouter

Cena: Open-source gateway je zdarma. Spravovaná platforma: Free tier (prototypování), 49 $/měs. (produkce), enterprise individuální.

Verdikt: Portkey je gateway pro týmy stavějící LLM funkce pro zákazníky, které si nemohou dovolit prompt injection, úniky PII nebo nesledované náklady. Guardrails tu složitost ospravedlňují. Pokud stavíte interní nástroje, existují jednodušší možnosti.

5. Helicone, nejlepší pro týmy s prioritou observability

Hvězdičky na GitHubu: ~3K | Jazyk: Rust | Licence: Apache 2.0

Helicone začalo jako nástroj pro observabilitu a vyvinulo se v plnou gateway. Na tom původu záleží; jeho monitoring a analytika jsou nejlepší ve své třídě a funkce gateway (směrování, cachování, failover) byly postaveny na skálopevném základu observability.

To, že je napsané v Rustu, mu dává reálnou výhodu ve výkonu: P50 latence 8 ms, P95 pod 5 ms, zhruba 3 000 RPS na jedné instanci s pouhými 64 MB paměti.

# Helicone: one-line proxy -- just change the base URL
from openai import OpenAI

client = OpenAI(
    base_url="https://oai.helicone.ai/v1",  # or your self-hosted URL
    api_key="sk-...",
    default_headers={
        "Helicone-Auth": "Bearer hlc-..."
    }
)

# All requests are now logged, tracked, and routed through Helicone
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Analyze this code"}]
)

Co je skvělé:

• Založené na Rustu: ~64MB paměť, P95 <5ms latence, 3K RPS na instanci
• Health-aware load balancing směruje na nejrychlejšího dostupného poskytovatele
• Real-time dashboardy pro náklady, latenci, využití tokenů a chybovost
• Integrace na jeden řádek, doslova jen změníte base URL
• Nasazení jako jediný binary (Docker, K8s, bare metal)

Co ne:

• Hvězdou jsou funkce observability; směrování je méně sofistikované než u LiteLLM
• Méně podporovaných poskytovatelů než LiteLLM nebo OpenRouter
• Komunita menší než u LiteLLM (3K vs 40K hvězd na GitHubu)
• Pokročilé funkce (vlastní vlastnosti, relace) vyžadují spravovanou platformu

Cena: Open-source a zdarma k self-hostingu. Cena spravované platformy se liší.

Pokud hodnotíte nástroje pro observabilitu obecněji, náš žebříček nejlepších platforem pro observabilitu AI pokrývá Helicone vedle Langfuse, Arize a dalších.

Verdikt: Helicone je nejlepší gateway pro týmy, jejichž hlavní bolest je „nevidíme, co se děje s našimi LLM voláními“. Pokud je observabilita vaše priorita č. 1 a směrování gateway je sekundární, Helicone vám dá obojí bez kompromisů.

6. Bifrost, nejlepší pro surový výkon

Hvězdičky na GitHubu: ~2K | Jazyk: Go | Licence: MIT

Bifrost je výkonový šampion. Postavil ho tým Maxim v Go a tvrdí, že je 50x rychlejší než LiteLLM s pouhými 11 mikrosekundami režie na požadavek při 5 000 RPS. To nejsou teoretická čísla; pocházejí z reprodukovatelných testů trvalé zátěže.

Architektonický rozdíl je zásadní: goroutiny v Go zvládnou tisíce souběžných spojení bez úzkého hrdla GIL v Pythonu a zkompilovaný binary zcela eliminuje režii interpretu.

# bifrost.yaml
account:
  provider: openai
  api_key: ${OPENAI_API_KEY}

models:
  - name: gpt-4o
    provider: openai
  - name: claude-sonnet-4-20250514
    provider: anthropic

routing:
  strategy: round-robin
  fallback: true

Co je skvělé:

• 11us režie při 5 000 RPS, nejnižší ze všech gateway v tomto seznamu
• Go binary: žádné runtime závislosti, malá paměťová stopa
• Adaptivní load balancing napříč poskytovateli
• Cluster mode pro horizontální škálování
• Podpora více než 1 000 modelů

Co ne:

• Novější projekt, menší komunita a méně integrací
• Funkce observability méně vyspělé než u Helicone nebo Portkey
• Postavil ho vendor (Maxim), budoucí směr závisí na jejich roadmapě
• Dokumentace slabší než rozsáhlá dokumentace LiteLLM
• Žádná zabudovaná správa týmů ani rozpočtové limity

Cena: Zdarma a open-source (licence MIT).

Verdikt: Bifrost je pro týmy provozující vysoce propustné produkční systémy, kde záleží na režii gateway. Pokud zpracováváte tisíce LLM volání za sekundu a každá mikrosekunda latence se počítá, Go architektura Bifrost doručí. Pro většinu týmů je 8ms režie LiteLLM naprosto v pořádku.

7. Cloudflare AI Gateway, nejlepší varianta bez infrastruktury

Typ: Spravovaná služba | Licence: Proprietární (Cloudflare)

Cloudflare AI Gateway bere přístup „nic nespravujete“ do extrému. Pokud už jste na Cloudflare (a mnoho týmů je), můžete AI Gateway zapnout z dashboardu a začít směrovat LLM volání přes edge síť Cloudflare bez jakékoli další infrastruktury.

// Just prefix your provider URL with Cloudflare's gateway endpoint
const response = await fetch(
  "https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_name}/openai/chat/completions",
  {
    method: "POST",
    headers: {
      "Authorization": "Bearer sk-...",
      "Content-Type": "application/json"
    },
    body: JSON.stringify({
      model: "gpt-4o",
      messages: [{ role: "user", content: "Hello" }]
    })
  }
);

Co je skvělé:

• Free tier se 100K logy/měs., dost pro většinu vedlejších projektů
• Nulová infrastruktura: zapnete z dashboardu Cloudflare
• Zabudované cachování na edge (snižuje náklady i latenci)
• Rate limiting a analytika v ceně
• Jednotná fakturace: plaťte náklady poskytovatele LLM přes Cloudflare
• Globální edge síť snižuje latenci pro geograficky rozprostřené uživatele

Co ne:

• Těsně navázané na ekosystém Cloudflare, náklady na přechod jsou reálné
• Omezená směrovací inteligence ve srovnání s dedikovanými gateway
• Limit 100K logů na free tieru; placený plán (Workers Paid) pro 1M
• Méně podporovaných poskytovatelů než LiteLLM nebo OpenRouter
• Žádná možnost self-hostingu

Cena: Zdarma (100K logů/měs.), předplatné Workers Paid pro 1M logů. Žádný poplatek gateway za požadavek. Poskytovatelům LLM stále platíte zvlášť.

Pro týmy směrující volání funkcí napříč poskytovateli může edge cachování Cloudflare smysluplně snížit latenci u opakujících se vzorů použití nástrojů.

Verdikt: Cloudflare AI Gateway je nejlepší volbou, pokud už jste na Cloudflare a chcete funkce gateway bez nasazování čehokoli nového. Free tier je pro malé projekty štědrý. Pro vážné produkční nasazení nabízejí dedikované gateway více kontroly.

8. Kong AI Gateway, nejlepší pro týmy spravující API

Hvězdičky na GitHubu: ~40K (celkem Kong Gateway) | Jazyk: Lua/OpenResty | Licence: Apache 2.0 (komunitní)

Kong AI Gateway není samostatný produkt; je to rozšíření bojově ověřené API Gateway Kongu, které přidává schopnosti specifické pro LLM. Pokud vaše organizace už Kong používá pro správu API, přidání AI směrování je instalace pluginu, ne nová platforma.

# Kong declarative config (deck)
services:
  - name: ai-llm-service
    url: https://api.openai.com
    plugins:
      - name: ai-proxy
        config:
          route_type: llm/v1/chat
          model:
            provider: openai
            name: gpt-4o
      - name: ai-rate-limiting-advanced
        config:
          limit: [10000]
          window_size: [60]
          window_type: fixed
          strategy: local
          limit_by: consumer

Co je skvělé:

• Staví na vyspělé platformě správy API Kongu (používají ji tisíce podniků)
• Sémantické směrování: směruje požadavky podle obsahu/záměru promptu
• Rate limiting na bázi tokenů (ne jen požadavků)
• Ekosystém pluginů: auth, rate limiting, transformace vše funguje s AI routami
• Metriky OpenTelemetry + Prometheus pro integraci Datadog/Grafana

Co ne:

• Kanon na vrabce, pokud Kong ještě nepoužíváte; strmá křivka učení
• Enterprise AI funkce vyžadují licenci Kong Enterprise (placenou)
• Složitost konfigurace vyšší než u jakékoli jiné gateway v seznamu
• Vyžaduje znalost infrastruktury Kongu (nebo ochotu týmu se ji naučit)
• AI specifické funkce jsou novější a méně vyspělé než jádro Kongu

Cena: Komunitní edice je zdarma (open-source). Enterprise AI funkce vyžadují předplatné Kong Enterprise (individuální cena).

Verdikt: Kong AI Gateway dává smysl právě tehdy, pokud vaše organizace už Kong provozuje. Přidat LLM směrování do stávající vrstvy správy API je chytřejší než nasazovat samostatnou gateway. Ale neadoptujte Kong jen kvůli LLM směrování, to je jako koupit traktor na sekání trávníku.

9. TensorZero, nejlepší pro ML optimalizované směrování

Hvězdičky na GitHubu: ~5.5K | Jazyk: Rust | Licence: Apache 2.0

TensorZero je nejvíce názorová gateway v tomto seznamu. Zatímco ostatní se soustředí na směrování a observabilitu, TensorZero buduje optimalizační smyčku: sbírá data z inferencí, spouští evaluace a výsledky používá k postupnému zlepšování směrovacích rozhodnutí. Představte si gateway, která se učí, který model funguje nejlépe pro který typ požadavku.

Implementace v Rustu nabízí P99 latenci pod milisekundu i při více než 10 000 QPS. To není překlep. Kde LiteLLM přidává ~8 ms a Bifrost ~11us, TensorZero uvádí <1ms P99 při extrémní zátěži.

# TensorZero: structured inference with optimization
from tensorzero import TensorZeroGateway

with TensorZeroGateway("http://localhost:3000") as client:
    response = client.inference(
        function_name="generate_summary",
        input={
            "messages": [
                {"role": "user", "content": "Summarize this article..."}
            ]
        }
    )

    # Later: feed back quality data to improve routing
    client.feedback(
        metric_name="summary_quality",
        inference_id=response.inference_id,
        value=0.92
    )

Co je skvělé:

• <1ms P99 latence při 10K+ QPS (nejrychlejší surový výkon s Rustem)
• Zpětnovazební smyčka: učí se, které modely si vedou nejlépe pro každou funkci
• Strukturovaná inference s validací schématu
• A/B testování mezi modely zabudované přímo v gateway
• Zabudovaný evaluační framework

Co ne:

• Strmější křivka učení než u jakékoli jiné gateway; definujete „funkce“, ne jen modely
• Novější ekosystém, menší komunita
• Vyžaduje přemyšlení LLM integrace kolem konceptu funkcí TensorZero
• Méně „drop-in“ než LiteLLM nebo OpenRouter, není to jednoduchá výměna base URL
• Dokumentace se zlepšuje, ale stále dospívá

Cena: Zdarma a open-source (Apache 2.0).

Pro týmy, které už provozují LLM evaluace, zpětnovazební smyčka TensorZero uzavírá mezeru mezi evaluací a směrováním; vaše evaluační skóre přímo ovlivňují, na které modely se směruje.

Verdikt: TensorZero je pro ML inženýrské týmy, které chtějí, aby jejich gateway časem chytla. Optimalizační smyčka je opravdu inovativní. Ale křivka učení je strmá a většina týmů nepotřebuje ML optimalizované směrování; potřebuje spolehlivé směrování s dobrou observabilitou.

Režie latence LLM gateway: reálná čísla

Každá gateway přidává k LLM voláním nějakou režii. Otázka je, zda na ní ve vašem use case záleží. Takto si gateway vedly v našich testech:

† Údaj TrueFoundry pod 3 ms je od vendoru; neprováděli jsme jej stejným nezávislým zátěžovým testem jako self-hosted open-source gateway.

Záleží na kontextu. Typické volání GPT-4o trvá 500–3 000 ms podle délky výstupu. I 8ms režie LiteLLM je méně než 1 % celkové latence. Jediný scénář, kde na režii gateway záleží, jsou vysokofrekvenční, nízkolatenční zátěže jako real-time klasifikace nebo generování embeddingů ve škále. Pro konverzační AI nebo generování obsahu je jakákoli gateway v tomto seznamu dost rychlá.

Spravované gateway (OpenRouter, Cloudflare) přidávají více režie, protože váš požadavek putuje na jejich servery, než dorazí k poskytovateli. Self-hosted gateway běží vedle vaší aplikace, takže další hop je lokální.

Jak vybrat správnou LLM gateway

Přeskočte matice funkcí. Tady je rozhodnutí v jedné tabulce:

Poznámka k vlastnímu hostingu vs. managed: Self-hosted gateway (LiteLLM, Helicone, Bifrost, TensorZero) vám dávají plnou kontrolu nad tokem dat; nic neopouští vaši infrastrukturu kromě samotného volání LLM API. To je důležité pro zdravotnictví, finance a jakýkoli kontext, kde je datová rezidence tvrdý požadavek. Spravované gateway (OpenRouter, Cloudflare) vyměňují tuto kontrolu za nulovou zátěž operací. Portkey a Kong jsou mezi tím, open-source gateway s volitelnou spravovanou platformou. Týmy, které prioritizují datovou suverenitu, někdy kombinují self-hosted gateway s lokálně spouštěnými LLM, takže žádný požadavek nikdy neopustí jejich síť.

Pro většinu týmů se rozhodnutí zúží na dvě otázky:

1. Chcete vlastní hosting? Ano -> LiteLLM. Ne -> OpenRouter.
2. Potřebujete guardrails? Ano -> Portkey. Ne -> zůstaňte u č. 1.

Pokud stavíte RAG aplikace, které volají více poskytovatelů pro embeddingy a kompletace, gateway je prakticky nutnost. Totéž platí pro aplikace, které potřebují strukturované výstupy napříč různými poskytovateli; gateway normalizují formát odpovědi, takže vaše parsovací logika se nerozbije, když přepnete modely.

Vybrat nástroj je snadná polovina. Rozběhnout ho spolehlivě uvnitř reálného produktu je místo, kde se většina týmů zasekne, a přesně to staví náš tým pro AI integrace pro klienty, od RAG pipelines po vlastní agenty. Chcete druhý názor na váš stack? Získejte bezplatnou konzultaci.

Často kladené otázky

Jaký je rozdíl mezi LLM gateway, proxy a routerem?

Proxy přeposílá požadavky a přidává logování. Router vybírá nejlepší model/poskytovatele pro každý požadavek. Gateway kombinuje obojí se sledováním nákladů, cachováním, guardrails a observabilitou. V praxi většina „gateway“ nástrojů dělá všechny tři; pojmy se zaměňují.

Je LiteLLM opravdu zdarma?

Open-source proxy je zcela zdarma (licence MIT). Platíte za vlastní hosting (pro lehké využití stačí VPS za 5 $/měs.) a za náklady API poskytovatelů LLM. BerriAI nabízí enterprise plány pro týmy, které chtějí spravovaný hosting, SSO a podporu.

Přidává OpenRouter výraznou latenci?

Minimální. OpenRouter přidává malou směrovací režii (typicky <50 ms) plus případnou geografickou vzdálenost mezi vámi a jejich servery. Pro většinu aplikací je rozdíl zanedbatelný. Pro systémy citlivé na latenci, které zpracovávají tisíce požadavků za sekundu, jsou lepší self-hosted možnosti jako Bifrost nebo TensorZero.

Mohu používat více gateway dohromady?

Ano a některé týmy to dělají. Běžný vzor je používat OpenRouter pro rychlé prototypování a přejít na LiteLLM pro produkci. Nebo používat Helicone jako observabilitní vrstvu před směrováním LiteLLM. Jen myslete na sčítání latence.

Která gateway má nejlepší cachování?

Portkey a Cloudflare AI Gateway mají nejvyspělejší implementace cachování. Portkey nabízí sémantické cachování (fuzzy shoda podobných promptů), zatímco Cloudflare používá svou globální edge síť pro geografické cachování. LiteLLM podporuje cachování založené na Redis. Pro hlubší pohled na strategie cachování viz náš průvodce cachováním LLM promptů.

Potřebuji gateway, pokud používám jen jednoho poskytovatele LLM?

Pravděpodobně ne kvůli směrování. Ale můžete ji chtít kvůli observabilitě (Helicone), sledování nákladů (LiteLLM) nebo guardrails (Portkey). Samotné funkce sledování nákladů a logování mohou gateway ospravedlnit i u jednoho poskytovatele.

Jak gateway zpracovávají streamované odpovědi?

Všechny gateway v tomto seznamu podporují streamování přes server-sent events (SSE). Gateway proxyuje stream od poskytovatele vašemu klientovi s minimálním bufferováním. Dopad na latenci při streamování je obecně nižší než u nestreamovaných požadavků, protože režie je na spojení, ne na token.

Co se stane, když poskytovatel vypadne?

Většina gateway podporuje fallback řetězce. Nakonfigurujete primárního poskytovatele a jeden nebo více fallbacků. Pokud primární vrací chyby nebo překročí prahy latence, gateway automaticky směruje na dalšího poskytovatele. LiteLLM, Portkey a Helicone to zvládají dobře. OpenRouter to dělá automaticky na pozadí.

Mohou gateway vynucovat nákladové limity?

Ano. LiteLLM má zabudované rozpočtové limity pro tým, uživatele nebo API klíč. Portkey sleduje útratu v reálném čase s alertingem. Kong podporuje kvóty na bázi tokenů. Cloudflare poskytuje analytiku využití. Tohle je vlastně jeden z nejsilnějších argumentů pro použití gateway; bez ní může jediná splašená smyčka přes noc spálit celý API rozpočet.

Která gateway je nejlepší pro startupy vs. enterprise?

Startupy: OpenRouter (nulové nastavování) nebo LiteLLM (zdarma, flexibilní). Enterprise: TrueFoundry (datová suverenita, SOC 2/HIPAA/GDPR, řídí provoz modelů i nástrojů agentů přes svůj MCP Gateway), Portkey (guardrails, compliance, auditní stopy) nebo Kong AI Gateway (pokud už používají Kong). Hlavní rozlišovací znaky pro enterprise jsou SSO, role-based přístup, kontrola datové rezidence a auditní logování, funkce, které startupy ještě nepotřebují, ale enterprise je nemohou vynechat.

Jaká je nejlepší LLM proxy?

LiteLLM je nejlepší LLM proxy pro většinu týmů. Běží jako samostatný Docker kontejner, obaluje více než 100 poskytovatelů za OpenAI kompatibilním endpointem a je zcela zdarma k self-hostingu. Pokud „proxy“ znamená, že chcete nulovou infrastrukturu, OpenRouter funguje jako cloudově hostovaná proxy s více než 300 modely na jeden API klíč. Rozdíl je v kontrole: LiteLLM drží vaše data na vašich serverech; OpenRouter je směruje přes svou platformu.

Jaký je rozdíl mezi LLM gateway a LLM routerem?

LLM router vybírá, který model nebo poskytovatel zpracuje daný požadavek, typicky podle nákladů, latence nebo obsahu promptu. LLM gateway dělá to a navíc: přidává sledování nákladů, cachování, guardrails, rate limiting a observabilitu nad směrovací vrstvou. Technicky jsou všechny nástroje v tomto seznamu gateway. Čisté routery (nástroje, které dělají jen výběr modelu bez dalšího middlewaru) jsou v produkci vzácné, protože týmy téměř vždy potřebují minimálně logování vedle směrování.