3 API Anahtarı, 3 Fatura mı? 10 LLM Gateway Aracı Sıralandı (2026)

En İyi 10 LLM Gateway Aracı, Sıralandı: Tek Bir API ile Her Modele Erişin [2026]

Son güncelleme: 19 Temmuz 2026. 9 gateway'in tamamı için fiyatlandırmayı ve GitHub yıldız sayılarını yeniden doğruladık; ayrıca bugün gateway seçiyorsanız doğrudan sizi ilgilendiren iki sahiplik değişikliğini ekledik: Palo Alto Networks, Portkey satın alımını 29 Mayıs 2026'da tamamlayarak ürünü Prisma AIRS güvenlik platformuna dahil etti; Mintlify ise Mart 2026'da Helicone'u satın alıp bulut ürününü bakım moduna geçirdi. Ayrıca TensorZero'nun geliştiricilerinin projeyi Haziran 2026'da arşivlediğini tespit ettik; hâlâ aktif bir seçenekmiş gibi davranmak yerine bunu aşağıda açıkça işaretledik. Bifrost ise son kontrolümüzden bu yana yaklaşık 2.000 GitHub yıldızından 6.600'e çıktı ve kendi MCP Gateway'ini yayımlayarak Portkey ve TrueFoundry ile arasındaki yönetişim farkını büyük ölçüde kapattı; bu nedenle karşılaştırmalı bir bölüm de ekledik.

2026'da en iyi LLM gateway, self-hosted ekipler için LiteLLM ve yönetilen üretim trafiği için Merge Gateway'dir. LiteLLM, 100'den fazla sağlayıcıyı tek bir OpenAI uyumlu API'nin arkasında destekler, fallback'leri ve bütçe kontrollerini yönetir ve herhangi bir VPS'de ücretsiz çalışır. Merge Gateway, LLM harcaması bir marj sorununa dönüştüğünde yönetilen tercihtir: müşteri veya özelliğe göre yönlendirme politikaları, harcama tavanları, birleşik faturalandırma ve istek düzeyinde maliyet ilişkilendirmesi. Sadece kurulum gerektirmeyen en geniş model kataloğunu istiyorsanız, OpenRouter hâlâ 300'den fazla modele anında erişim sunar ve prototipleme için daha iyi bir yerdir. Veri egemenliği ve aracı araç trafiği üzerinde yönetişim gerektiren düzenlenmiş kurumsal ortamlar için TrueFoundry kendi VPC'nizde çalışır. Üretim güvenlik önlemleri için (PII redaksiyonu, jailbreak tespiti) Portkey tercih edilir. 5.000 RPS üzerinde ham verim için Bifrost'un Go mimarisi yalnızca 11 mikrosaniye ek yük ekler.

Chatbotunuz için OpenAI'yı, kodlama asistanınız için Anthropic'i ve özetleme pipeline'ınız için Gemini'yi çağırıyorsunuz. Üç API anahtarı, üç SDK, üç fatura panosu, üç farklı hata yönetimi. Şimdi bir sağlayıcı çöktüğünde devreye girecek fallback mantığını da ekleyin. İşte LLM gateway'lerin çözdüğü kaos budur, herhangi bir modele yönlendiren, maliyetleri takip eden ve arızaları otomatik olarak yöneten tek bir birleşik API.

Tüm büyük LLM gateway'leri test ettik ve gerçekten önemli olan şeylere göre sıraladık: gecikme yükü, sağlayıcı kapsamı, kurulum kolaylığı ve bir sonraki trafik zirvesinde ayakta kalıp kalamayacakları.

LLM Gateway Nedir? (Ve Gerçekten İhtiyacınız Var Mı?)

Sıralamaya geçmeden önce kısa bir ayrım yapalım. İnsanlar "gateway", "proxy" ve "router" terimlerini birbirinin yerine kullanıyor, ancak bunlar biraz farklı roller üstleniyor:

• LLM Proxy: İstekleri sağlayıcılara iletir ve loglama ekler. Minimal mantık.
• LLM Router: Maliyet, gecikme veya içeriğe göre her istek için en iyi modeli veya sağlayıcıyı seçer.
• LLM Gateway: Tam paket, proxy + router + maliyet takibi + önbellek + güvenlik koruyucuları + gözlemlenebilirlik.

Bu listedeki araçların çoğu tam gateway'dir, ancak bazıları daha çok proxy veya router bölgesine eğilimlidir.

Bir gateway'e şu durumlarda ihtiyacınız var:

1. 2+ LLM sağlayıcısını çağırıyorsanız ve hepsi için tek bir API istiyorsanız
2. Sağlayıcılar arasında maliyetleri takip etmeniz gerekiyorsa (bütçenizi kim yakıyor?)
3. Bir sağlayıcı çöktüğünde otomatik yük devretme istiyorsanız
4. Sağlayıcılar genelinde istem önbelleklemesi kullanan özellikler geliştiriyorsanız

Yalnızca tek bir sağlayıcı kullanıyorsanız ve geçiş planınız yoksa, gateway gereksiz karmaşıklık ekler. Atlayın.

Tipik benimseme yolu: Çoğu ekip, OpenAI çağrılarını doğrudan kodlayarak başlar. Sonra ikinci bir kullanım durumu için Anthropic ekler ve bir sarmalayıcı fonksiyon yazar. Ardından fallback mantığı, maliyet takibi ve hız sınırlama gerekir, ve aniden kendi yarım pişmiş gateway'lerini inşa etmiş olurlar. Aşağıdaki araçlar bu ev yapımı karmaşayı savaşta sınanmış bir şeyle değiştirir.

1. LiteLLM, Genel En İyi

GitHub Yıldızları: ~54K | Dil: Python | Lisans: MIT

LiteLLM, LLM gateway'lerinin İsviçre çakısıdır. 100'den fazla LLM sağlayıcısını tek bir OpenAI uyumlu API'nin arkasına sarar; bu da mevcut OpenAI SDK kodunuzun değişiklik yapmadan çalışacağı anlamına gelir. Sadece temel URL'yi değiştirin.

Proxy sunucu bileşeni, LiteLLM'i yalnızca bir SDK değil bir gateway yapan şeydir. Bağımsız bir servis olarak dağıtırsınız, modellerinizi bir YAML dosyasında yapılandırırsınız ve her ekip yerleşik maliyet takibi, hız sınırlama ve yük dengeleme ile aynı uç noktaya ulaşır.

# LiteLLM proxy için config.yaml
model_list:
  - model_name: gpt-4
    litellm_params:
      model: openai/gpt-4o
      api_key: sk-...
  - model_name: gpt-4
    litellm_params:
      model: anthropic/claude-sonnet-4-20250514
      api_key: sk-ant-...
  # LiteLLM bunlar arasında otomatik olarak yük dengeler

general_settings:
  master_key: sk-my-master-key
  database_url: postgresql://...

# Uygulama kodunuz değişmez -- sadece proxy'ye yönlendirin
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:4000",  # LiteLLM proxy
    api_key="sk-my-master-key"
)

response = client.chat.completions.create(
    model="gpt-4",  # Config aracılığıyla OpenAI veya Anthropic'e yönlendirir
    messages=[{"role": "user", "content": "LLM gateway'leri açıkla"}]
)

Öne çıkan özellikler:

• 100'den fazla sağlayıcı desteği (herhangi bir gateway'in en geniş kapsamı)
• OpenAI uyumlu API, mevcut uygulamalar için sıfır kod değişikliği
• Yerleşik maliyet takibi, ekip/kullanıcı başına bütçeler
• Fallback zinciri: OpenAI başarısız olursa Anthropic'i dene, sonra Gemini
• Tüm büyük gözlemlenebilirlik araçlarıyla entegrasyon (Langfuse, Helicone vb.)

Zayıf yönleri:

• Python'un GIL'i tek işlem verimini sınırlar (1.000 RPS'de P95 gecikme ~8ms)
• Proxy'nin ekip yönetim özellikleri için kendi PostgreSQL veritabanına ihtiyacı var
• Çok sayıda model ve yönlendirme kuralıyla yapılandırma karmaşıklaşabilir
• 24 Mart 2026'daki tedarik zinciri saldırısı: saldırganlar, ele geçirilmiş bir CI aksiyonu üzerinden yayın kimlik bilgilerini çaldıktan sonra iki PyPI sürümüne (1.82.7 ve 1.82.8) arka kapı yerleştirdi. PyPI her ikisini de yaklaşık 40 dakika içinde karantinaya aldı; yine de sürümünüzü sabitleyin ve o gün dağıtım yaptıysanız pip show litellm ile kontrol edin. Ayrıntılar LiteLLM'in olay raporunda

Fiyatlandırma: Ücretsiz ve açık kaynak. Barındırılan yönetim için kurumsal planlar mevcut.

Claude Code'u farklı modellerle kullanma rehberimizi okuduysanız, LiteLLM'i zaten iş başında gördünüz, geliştiricilerin Claude Code'u alternatif sağlayıcılar üzerinden yönlendirmesinin başlıca yollarından biri bu. LiteLLM proxy kurulum rehberimiz, PostgreSQL ile tam Docker dağıtımını 20 dakikadan kısa sürede adım adım anlatmaktadır.

Karar: LiteLLM, maksimum esneklik isteyen ve self-hosting'den çekinmeyen ekipler için en iyi genel LLM gateway'dir. En geniş sağlayıcı kapsamına, en olgun ekosisteme ve en büyük topluluğa sahip. Aksini gerektirecek özel bir nedeniniz yoksa buradan başlayın.

2. Merge Gateway, Kurumsal Ölçekte Yönlendirme ve Harcama Kontrolü İçin En İyi

Sağlayıcılar: OpenAI, Anthropic, Google, AWS Bedrock, Mistral, Cohere, Grok | Tür: Yönetilen SaaS | Lansman: 31 Mart 2026

Merge Gateway, LLM kullanımının bir gider kalemi olmaktan çıkıp bir marj sorununa dönüştüğü noktaya göre tasarlanmıştır. OpenRouter model erişiminin genişliğine göre optimize edilirken, Merge zaten üretimde çalıştırdığınız trafik üzerinde kontrol sağlamaya odaklanır: maliyet, gecikme, kalite, müşteri, özellik veya bölgeye göre yönlendirme, fatura kesilmeden önce devreye giren bütçeler ve hangi modelin bir çağrıya hizmet ettiğini ve neden oraya yönlendirildiğini gösteren istek düzeyinde loglar.

Asıl fark yaratan kısım bu son madde. Çoğu gateway size ne harcadığınızı söyleyebilir. Merge ise size kime harcadığınızı söylemek üzere tasarlanmıştır; bu da tek bir kurumsal müşterinin kullanımı bir ürünün brüt marjını yemeye başladığı anda karşınıza çıkan sorudur.

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api-gateway.merge.dev/v1/openai",
)

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Summarize this support ticket"}],
)

Öne çıkan özellikler:

• Müşteri, özellik, bölge, kullanım durumu, maliyet, gecikme veya kaliteye göre yönlendirme politikaları
• Otomatik fallback, sağlayıcı kesintileri, hız sınırları ve performans düşüşleri sırasında yapay zeka özelliklerini canlı tutar
• İstek düzeyinde gözlemlenebilirlik: her çağrının arkasındaki model, sağlayıcı, maliyet, gecikme ve yönlendirme nedeni
• Bütçeler, harcama tavanları ve proje, ekip, müşteri katmanı veya özelliğe göre uyarılarla maliyet yönetişimi
• Anlamsal önbellekleme ve bağlam sıkıştırma, eklenti değil birinci sınıf maliyet kaldıraçları olarak sunuluyor

Zayıf yönleri:

• Açık kaynak değil, bu yüzden self-hosting kesin bir gereklilikse listeden çıkar (Enterprise VPC/on-prem sunuyor ama bu bir satış görüşmesi gerektiriyor)
• Tasarım gereği üretim odaklı, bu da onu prototipler ve düşük hacimli uygulamalar için gereğinden ağır kılıyor
• Mart 2026'da piyasaya sürüldü, dolayısıyla topluluk, entegrasyonlar ve üçüncü taraf eğitim içerikleri LiteLLM veya OpenRouter'a kıyasla henüz sınırlı

Fiyatlandırma: Kredi kartı gerektirmeyen, ayda 10 $'lık kredi içeren ücretsiz katman. Pro, harcama tavanı olmadan ve kendi anahtarınızı getirme (bring-your-own-key) seçeneğiyle LLM maliyeti + %5. Enterprise özel fiyatlandırılıyor ve VPC veya on-prem dağıtım, özel bir hesap yöneticisi ile çalışma süresi SLA'ları ekliyor. Krediler her ayın 1'inde verilir ve bir sonraki aya devretmez.

Ücret konusunda belirtmekte fayda var: Merge'in %5'i, OpenRouter'ın %5,5'inin hemen altında kalıyor. Prototip hacminde bu fark önemsizdir. Yıllık altı haneli çıkarım harcamasında ise gerçek bir paraya karşılık gelir ve hangi yöne gideceğinize karar vermeden önce modellemeye değer bir konudur.

Karar: Merge Gateway, LLM trafiğiniz bir entegrasyon sorunu olmaktan çıkıp bir güvenilirlik ve marj sorununa dönüştüğünde doğru seçimdir. "Hangi müşteri harcamayı sürüklüyor" ya da "hangi özellik zarar ediyor" sorusuna yanıt vermeniz gerekiyorsa ve bir sağlayıcı arızası sırasında özellikleri canlı tutan fallback politikaları istiyorsanız, buradaki en güçlü yönetilen seçenek budur. Hâlâ hangi modelleri kullanacağınıza karar veriyorsanız, OpenRouter'ın kataloğu size daha iyi hizmet eder; daha sonra geçiş yapabilirsiniz.

3. TrueFoundry, Kurumsal Yönetişim İçin En İyi

Modeller: 1.600+ | Sağlayıcılar: 250+ | Tür: Self-hosted + yönetilen | Dağıtım: VPC, on-prem, hava geçirmez ortam

TrueFoundry'nin AI Gateway'i, açık kaynak gateway'lerin zorlandığı senaryolar için tasarlanmıştır: her model için tek bir kontrol düzlemine, tam veri egemenliğine ve uyumluluk denetiminden geçebilen denetim izlerine ihtiyaç duyan düzenlenmiş bir kuruluş. Kendi VPC'nizde, on-prem ortamda ya da tamamen hava geçirmez bir altyapıda çalışır; böylece hiçbir istek verisi alanınızı terk etmez. SOC 2, HIPAA ve GDPR uyumluluğu, SSO ve RBAC kutudan çıkar.

Kapsam bu listedeki en geniş seçenekler arasındadır: vLLM, SGLang ve Triton gibi self-hosted arka uçların yanı sıra 250'den fazla sağlayıcıda (OpenAI, Anthropic, Gemini, Groq, Mistral) 1.600'den fazla model. TrueFoundry, kurumsal yük altında 3ms'nin altında dahili gecikme ve aylık 10 milyarı aşkın istek genelinde %99,99 çalışma süresi bildiriyor; bu da yönetişim katmanının verim maliyetine yol açmadığı anlamına geliyor.

from openai import OpenAI

client = OpenAI(
    base_url="https://<kurulusunuz>.truefoundry.com/api/llm",  # kendi gateway'iniz
    api_key="tfy-..."
)

response = client.chat.completions.create(
    model="openai/gpt-4o",  # merkezi olarak yönlendirilen, loglanan ve hız sınırlanan
    messages=[{"role": "user", "content": "Bu sözleşmeyi özetle"}]
)

TrueFoundry'yi Portkey veya LiteLLM'den ayıran şey MCP Gateway'dir: yapay zeka aracılarının Model Context Protocol üzerinden kurumsal araçlara (Slack, GitHub, Confluence, Datadog) nasıl eriştiğini yöneten merkezi bir kayıt. Dahili API'leri MCP sunucuları olarak kaydeder, Okta veya Azure AD ile sunucu başına RBAC kapısının arkasına yerleştirir ve her araç çağrısında istek düzeyinde izleme elde edersiniz. Bu, yalnızca metin üretmekle kalmayıp eylem almaya başladığında önem taşıyan, hem model trafiği hem de aracı araç trafiği için yönetilen tek bir kontrol düzlemi sunar.

Çoğu kurumsal gateway'in aksine TrueFoundry fiyatlandırmasını açıkça yayımlıyor. Ücretsiz Developer kademesi ayda 50.000 isteği, 3 kullanıcıyı ve 5 sunucuya kadar MCP Gateway'i kapsıyor; kimseyle görüşmeden tüm yığını prototiplemeye yetecek kadar. Pro kademesi 1 milyon istek, 10 kullanıcı, anlamsal önbellekleme, sanal modeller ve gelişmiş yönlendirme için ayda 499 $; ek kullanım şeffaf birim fiyatlarıyla faturalandırılıyor. Pro Plus ayda 2.999 $ olup 25 kullanıcı için özel meta veri, uyarı ve izleme dışa aktarımları ekliyor. Enterprise, 10 milyonu aşkın istek için özel fiyatlandırılıyor; hem kontrol hem de gateway düzleminin tam VPC, çoklu bölge ve hava geçirmez kurulumlarıyla birlikte. Tüm ücretli planlar 7 günlük deneme içeriyor. Yönetilen SaaS'ın barındırma maliyeti yok; gateway'i kendi bulutunuzda barındırırsanız (BYOC), temel altyapı için ayda yaklaşık 600 ila 1.000 $ bütçeleyin.

Öne çıkan özellikler:

• 1.600'den fazla model, 250'den fazla sağlayıcı ve self-hosted arka uçlar (vLLM, SGLang, Triton)
• VPC'nizde, on-prem ortamda ya da hava geçirmez altyapıda çalışır; veriler alanı terk etmez
• SOC 2, HIPAA, GDPR uyumluluğu, SSO, RBAC ve denetim loglama kutudan çıkar
• Güvenlik koruyucuları: PII filtreleme, toksisite tespiti, istem enjeksiyon taraması
• MCP Gateway, yalnızca model çağrılarını değil aracı araç erişimini de yönetir
• Gerçekten ücretsiz bir Developer kademesiyle (ayda 50K istek) kamuya açık, şeffaf fiyatlandırma
• TrueFoundry, yönlendirme, önbellekleme ve bütçeler sayesinde ortalama %30 maliyet azalması bildiriyor

Zayıf yönleri:

• Kurumsal öncelikli: küçük bir proje için LiteLLM veya OpenRouter'dan daha ağır
• Temel platform tescillidir (açık kaynak depoları ayrı altyapı araçlarıdır)
• Gateway'i kendiniz barındırmak, planınıza ek olarak ayda yaklaşık 600 ila 1.000 $ altyapı maliyeti getirir
• En değerli olduğu yer çok sayıda ekip ve aracın yönetilmesi gereken ortamlar; ilk günden itibaren bu değer tam ortaya çıkmıyor

Fiyatlandırma: Ücretsiz Developer kademesi (0 $/ay, 50K istek, 3 kullanıcı). Pro 499 $/ay (1M istek, 10 kullanıcı, anlamsal önbellekleme, gelişmiş yönlendirme). Pro Plus 2.999 $/ay (25 kullanıcı, gelişmiş gözlemlenebilirlik). Enterprise özel (10M+ istek, tam VPC ve hava geçirmez). Ücretli planlarda 7 günlük deneme; yönetilen SaaS'ın barındırma maliyeti yok, kendi barındırma ~600-1.000 $/ay altyapı ekler.

Karar: TrueFoundry, hem model trafiği hem de aracı araç erişimi için tek ve yönetilen bir kontrol düzlemine ihtiyaç duyan ve verilerini kendi altyapısında tutmak isteyen kurumsal kullanıcılar için doğru gateway'dir. İki sağlayıcıyı birbirine bağlayan bir girişimseniz, ihtiyacınızdan fazlası; LiteLLM ile başlayın. Uyumluluk zorunluluğu altında onlarca dahili ekibe yapay zeka sunan bir platform ekibiyseniz, değerlendirme listenize alınmayı hak ediyor.

4. OpenRouter, Kurulum Gerektirmeyen Çok Modelli Erişim İçin En İyi

Modeller: 300+ | Tür: Yönetilen SaaS | Lisans: Tescilli

OpenRouter, LiteLLM'e tamamen zıt bir yaklaşım benimsiyor: hiçbir şey dağıtmıyorsunuz. Kaydolun, bir API anahtarı alın ve tek bir uç nokta üzerinden tüm büyük sağlayıcılardan 300'den fazla modele anında erişime kavuşun. Bu, LLM API'lerinin "uygulama mağazasıdır."

Değer önerisi basitliktir. Bakım gerektiren altyapı yok, yazılacak YAML yapılandırması yok, sağlanacak veritabanı yok. Kredi ön ödemesi yaparsınız veya bir kart bağlarsınız; OpenRouter tüm sağlayıcılardaki faturalamayı birleştirir.

from openai import OpenAI

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key="sk-or-..."
)

# Herhangi bir sağlayıcıdan herhangi bir modele erişin -- aynı kod
response = client.chat.completions.create(
    model="anthropic/claude-sonnet-4-20250514",
    messages=[{"role": "user", "content": "LLM gateway'leri karşılaştır"}]
)

Öne çıkan özellikler:

• 300'den fazla model, tek API anahtarı, tek fatura panosu
• Prototipleme için 25'ten fazla ücretsiz model (şaşırtıcı derecede yetenekli bazıları dahil)
• Yönetilecek altyapı yok, kaydolun ve çağırmaya başlayın
• Model karşılaştırma özellikleri, bağlanmadan önce değerlendirmenize yardımcı olur
• Otomatik fallback yönlendirmeyle sağlayıcı kesintilerini yönetir

Zayıf yönleri:

• Sağlayıcı fiyatlandırmasının üzerine %5,5 platform ücreti, ölçekte birikir
• Self-hosting seçeneği yok, verileriniz OpenRouter'ın sunucularından geçer
• Özel gateway araçlarıyla karşılaştırıldığında sınırlı gözlemlenebilirlik
• Ücretsiz kattaki hız sınırları üretim iş yükleri için kısıtlayıcı olabilir
• Özel yönlendirme mantığı yok, OpenRouter'ın karar verdiğini alırsınız

Fiyatlandırma: Token başına ödeme (sağlayıcı fiyatı + %5,5 ücret). Aylık minimum yok. 25'ten fazla ücretsiz model mevcut.

Karar: OpenRouter, birden fazla LLM sağlayıcısına erişmenin en hızlı yoludur. Farklı modellerle prototip oluşturmak veya altyapı yönetmeden küçük-orta ölçekli iş yükleri çalıştırmak istiyorsanız açık seçimdir. Ölçekte %5,5'lik ücret önem kazanmaya başlar. Maliyet azaltımı temel motivasyonunuzsa, önbellekleme, toplu işleme ve gateway düzeyindeki tasarruf mekanizmalarının tam bir dökümü için LLM API maliyetlerini azaltma rehberimize göz atın.

5. Portkey, Üretim Güvenlik Koruyucuları İçin En İyi

GitHub Yıldızları: ~12K | Dil: TypeScript/Node.js | Lisans: Apache 2.0 (gateway), yönetilen platform

Portkey kendini "yapay zeka için kontrol düzlemi" olarak konumlandırıyor. LiteLLM yönlendirmeye ve OpenRouter basitliğe odaklanırken, Portkey'in fark yaratan özelliği üretim güvenliğidir: güvenlik koruyucuları, PII redaksiyonu, jailbreak algılama ve gateway katmanına entegre denetim izleri.

Mart 2026 itibarıyla Portkey, tüm gateway'ini açık kaynak yaptı (Apache 2.0), böylece yönetilen platform olmadan temel yönlendirmeyi ve güvenlik koruyucularını kendi sunucunuzda barındırabilirsiniz. Asıl büyük değişiklik ise 29 Mayıs 2026'da geldi: Palo Alto Networks, Portkey satın alımını tamamladı ve ürünü, aracı yapay zeka güvenlik platformu Prisma AIRS'in içine yerleştirdi. Açık kaynaklı gateway hâlâ Apache 2.0 ile dağıtılıyor ve yönetilen planlar aynı şekilde çalışmaya devam ediyor; ancak Portkey artık bağımsız bir yapay zeka altyapı şirketi değil, bir siber güvenlik satıcısının ürün hattı içindeki bir bileşen. Uzun vadeli yol haritası bağımsızlığını değerlendiriyorsanız bu ayrım önem taşıyor.

from portkey_ai import Portkey

portkey = Portkey(
    api_key="pk-...",
    config={
        "strategy": {"mode": "fallback"},
        "targets": [
            {"provider": "openai", "override_params": {"model": "gpt-4o"}},
            {"provider": "anthropic", "override_params": {"model": "claude-sonnet-4-20250514"}}
        ]
    }
)

response = portkey.chat.completions.create(
    messages=[{"role": "user", "content": "Bu belgeyi özetle"}]
)

Öne çıkan özellikler:

• Sağlayıcılar genelinde 1.600'den fazla model desteği
• Yerleşik güvenlik koruyucuları: PII algılama, jailbreak önleme, içerik filtreleme
• Gateway içinde istem yönetimi ve sürüm kontrolü
• Önbellek katmanı tekrarlanan çağrıları azaltır (para ve gecikme tasarrufu)
• Düzenlenmiş sektörler için denetim izleri ve uyumluluk özellikleri
• Artık tamamen açık kaynaklı gateway (Mart 2026)

Zayıf yönleri:

• Yönetilen platform fiyatlandırması üretim özellikleri için ayda 49 dolardan başlıyor
• Gelişmiş yönetişim için kurumsal kademe (ayda 5.000–10.000 dolar)
• Platform, daha basit gateway'lerin sunduğunun ötesinde karmaşıklık ekliyor
• Öğrenme eğrisi LiteLLM veya OpenRouter'dan daha dik
• Artık Palo Alto Networks'e ait (Mayıs 2026'da satın alındı), dolayısıyla yol haritası yalnızca yapay zeka altyapısı kullanıcılarının değil, bir güvenlik satıcısının önceliklerinin de belirlediği bir çizgide ilerliyor. Bu bağımlılıktan uzak durmak isteyen ekipler giderek daha çok Bifrost veya LiteLLM'e yöneliyor; sayfanın devamındaki karşılaştırma bölümüne bakın

Fiyatlandırma: Açık kaynaklı gateway'i kendi sunucunuzda barındırmak ücretsiz. Yönetilen platform: Developer kademesi süresiz ücretsiz (ayda 10K log, 3 günlük saklama). Production ayda 49 $ (ayda 100K log, 30 günlük saklama, güvenlik koruyucuları, RBAC, anlamsal önbellekleme, ek her 100K log için 9 $). Enterprise özel fiyatlandırılıyor (ayda 10M+ log, VPC barındırma, SOC 2 Type 2, HIPAA).

Karar: Portkey, istem enjeksiyonu, PII sızıntısı veya izlenemeyen maliyetlere izin veremeyen müşteri odaklı LLM özellikleri geliştiren ekipler için hâlâ doğru gateway; güvenlik koruyucuları karmaşıklığı haklı kılıyor. Değişen şey, arkasında kimin durduğu: Palo Alto Networks satın alımından bu yana Portkey, hâlihazırda Prisma AIRS ekosisteminin içinde olan ya da bu ekosistemle sorunu olmayan ekiplere daha çok yakışıyor. Aynı yetkinlikte ama bağımsız kalan bir açık kaynak gateway istiyorsanız, yakından bakmanız gereken seçenek Bifrost.

6. Helicone, Gözlemlenebilirlik Odaklı Ekipler İçin En İyi

GitHub Yıldızları: ~6K | Dil: Rust | Lisans: Apache 2.0

Helicone bir gözlemlenebilirlik aracı olarak başladı ve tam bir gateway'e dönüştü. Bu köken önemlidir, izleme ve analitik özellikleri birinci sınıf ve gateway özellikleri (yönlendirme, önbellek, yük devretme) sağlam bir gözlemlenebilirlik temeli üzerine inşa edildi.

Rust'ta yazılmış olması gerçek bir performans avantajı sağlıyor: P50 gecikmesi 8ms, P95 5ms'nin altında, tek bir örnekte yalnızca 64MB bellekle yaklaşık 3.000 RPS.

Bu araca bağlanmadan önce bilmeniz gereken bir konu var: Mintlify, Helicone'u satın aldı ve Mart 2026'da ekip, Mintlify'ın dokümantasyon ve aracı bağlamı ürününü geliştirmek üzere San Francisco'ya taşındı. Helicone'un kendi duyurusu bunun ne anlama geldiği konusunda oldukça net: platform çalışmaya devam ediyor, güvenlik yamaları, hata düzeltmeleri ve yeni model desteği gelmeyi sürdürüyor; ancak bunun ötesinde yeni bir özellik yol haritası yok. Hâlâ aktif olarak özellik ekleyen bir gateway'e ihtiyacınız varsa, standart aracınız yapmadan önce bunu tartıya koyun.

# Helicone: tek satırlık proxy -- sadece temel URL'yi değiştirin
from openai import OpenAI

client = OpenAI(
    base_url="https://oai.helicone.ai/v1",  # veya kendi barındırma URL'niz
    api_key="sk-...",
    default_headers={
        "Helicone-Auth": "Bearer hlc-..."
    }
)

# Tüm istekler artık Helicone üzerinden loglanıyor, takip ediliyor ve yönlendiriliyor
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Bu kodu analiz et"}]
)

Öne çıkan özellikler:

• Rust tabanlı: ~64MB bellek, P95 <5ms gecikme, örnek başına 3.000 RPS
• Sağlık farkında yük dengeleme, en hızlı mevcut sağlayıcıya yönlendirir
• Maliyet, gecikme, token kullanımı ve hata oranları için gerçek zamanlı panolar
• Tek satır entegrasyon, sadece temel URL'yi değiştirin
• Tek ikili dağıtım (Docker, K8s, bare metal)

Zayıf yönleri:

• Mintlify satın alımından (Mart 2026) bu yana bakım modunda: yalnızca güvenlik ve hata düzeltmeleri, yeni özellik ya da yol haritası yok
• Gözlemlenebilirlik özellikleri yıldız; yönlendirme LiteLLM'den daha az gelişmiş
• LiteLLM veya OpenRouter'dan daha az desteklenen sağlayıcı
• LiteLLM'e kıyasla daha küçük topluluk (6K'ya karşı 54K GitHub yıldızı)
• Gelişmiş özellikler (özel özellikler, oturumlar) yönetilen platform gerektiriyor

Fiyatlandırma: Açık kaynak ve self-hosting için ücretsiz. Yönetilen platform: Hobby ücretsiz (ayda 10K istek, 1GB depolama, 7 günlük saklama, 1 koltuk). Pro ayda 79 $ (sınırsız koltuk, 1 aylık saklama, uyarılar, raporlar, HQL). Team ayda 799 $ (3 aylık saklama, SOC 2, HIPAA, özel Slack kanalı). Enterprise özel fiyatlandırılıyor (on-prem, SAML SSO, toplu indirimler).

Gözlemlenebilirlik araçlarını daha geniş kapsamda değerlendiriyorsanız, en iyi yapay zeka gözlemlenebilirlik platformları sıralamamız Helicone'u Langfuse, Arize ve diğerleriyle birlikte ele alıyor.

Karar: Helicone, birincil sorunu "LLM çağrılarımızda neler olduğunu göremiyoruz" olan ekipler için hâlâ en iyi gateway ve mevcut ürün bir yere gitmiyor. Yalnızca şunu bilerek girin: bakım modundaki bir aracı benimsiyorsunuz. Bugünün gözlemlenebilirlik ihtiyacı için gayet uygun; önümüzdeki yıl yeni gateway özelliklerinin geleceğine bel bağlıyorsanız daha riskli.

7. Bifrost, Ham Performans İçin En İyi

GitHub Yıldızları: ~6,6K | Dil: Go | Lisans: Apache 2.0

Bifrost, performans şampiyonudur. Maxim AI tarafından Go ile inşa edilen bu araç, 5.000 RPS'de istek başına yalnızca 11 mikrosaniye yüküyle LiteLLM'den 50 kat daha hızlı olduğunu iddia ediyor. Bunlar teorik rakamlar değil, tekrarlanabilir sürekli yük testlerinden elde ediliyor. Proje, son kontrolümüzden bu yana GitHub yıldızlarını üçe katlayarak yaklaşık 2.000'den 6.600'e çıkardı ve bu büyümenin arkasında gerçek bir özellik atağı var: Bifrost, aracıların dış araçları nasıl çağırdığını yöneten "Code Mode" özellikli kendi MCP Gateway'ini yayımladı. Bu, daha önce yalnızca TrueFoundry ve Portkey'in alanı sayılan bir özellik kategorisiydi.

Mimari fark temeldir: Go'nun goroutine'leri, Python'un GIL darboğazı olmadan binlerce eşzamanlı bağlantıyı işler ve derlenmiş ikili, yorumlayıcı yükünü tamamen ortadan kaldırır.

# bifrost.yaml
account:
  provider: openai
  api_key: ${OPENAI_API_KEY}

models:
  - name: gpt-4o
    provider: openai
  - name: claude-sonnet-4-20250514
    provider: anthropic

routing:
  strategy: round-robin
  fallback: true

Öne çıkan özellikler:

• 5.000 RPS'de 11µs yük, bu listedeki herhangi bir gateway'in en düşüğü
• Go ikili: çalışma zamanı bağımlılığı yok, küçük bellek ayak izi
• Sağlayıcılar genelinde uyarlanabilir yük dengeleme
• Yatay ölçeklendirme için küme modu
• 1.000'den fazla model desteği
• Ücretsiz açık kaynak kademesine dahil edilen Code Mode özellikli MCP Gateway; ayrıca sanal anahtarlarla bütçe yönetimi, anlamsal önbellekleme ve OpenTelemetry uyumlu gözlemlenebilirlik, hepsi Enterprise'ın arkasına kilitlenmeden

Zayıf yönleri:

• Daha yeni proje, LiteLLM'e kıyasla daha küçük topluluk (6,6K'ya karşı 54K GitHub yıldızı) ve daha az üçüncü taraf entegrasyonu
• İçerik güvenliği koruyucuları (PII filtreleme, jailbreak algılama) Enterprise kademesi gerektiriyor; Portkey ise benzer koruyucuları ücretsiz açık kaynak gateway'inde sunuyor
• Maxim AI (bir satıcı) tarafından geliştirildi, gelecekteki yön kendi yol haritasına bağlı
• LiteLLM'in kapsamlı belgelerine kıyasla daha ince dokümantasyon
• SSO (SAML/OIDC) ve RBAC yalnızca Enterprise'da; yani küçük ekipler performansı alıyor ama erişim kontrollerini alamıyor

Fiyatlandırma: Açık kaynak gateway süresiz ücretsiz (Apache 2.0); yönlendirme, yük devretme, MCP Gateway, anlamsal önbellekleme ve sanal anahtarlarla bütçe yönetimini kapsıyor. Enterprise özel fiyatlandırılıyor (demo talebiyle) ve güvenlik koruyucuları, küme modu, SAML/OIDC SSO, RBAC, denetim logları ile SLA güvenceli destek ekliyor; 14 günlük ücretsiz deneme mevcut.

Karar: Bifrost, gateway yükünün önemli olduğu yüksek verimli üretim sistemleri çalıştıran ekipler içindir; ücretsiz kademesi artık başka platformlarda ücretli olan MCP yönetişimi ve bütçe kontrollerini içerdiğinden, en güçlü Portkey alternatiflerinden biri hâline geldi. Saniyede binlerce LLM çağrısı işliyorsanız ve yol haritasının üzerinde bir satın alma gölgesi olmadan açık kaynak altyapıda kalmak istiyorsanız, Bifrost'un Go mimarisi sonuç verir. Çoğu ekip için LiteLLM'in 8ms yükü tamamen yeterlidir; yerleşik içerik güvenliği koruyucularına Enterprise kademesinde değil bugün ihtiyacınız varsa, Portkey'in açık kaynak gateway'i hâlâ önde. Aşağıdaki karşılaştırmanın özü tam olarak bu takas.

8. Cloudflare AI Gateway, En İyi Sıfır Altyapı Seçeneği

Tür: Yönetilen hizmet | Lisans: Tescilli (Cloudflare)

Cloudflare AI Gateway, "hiçbir şeyi siz yönetmiyorsunuz" yaklaşımını uç noktaya taşıyor. Zaten Cloudflare'deyseniz (ve pek çok ekip öyle), panodan AI Gateway'i etkinleştirebilir ve ek altyapı olmadan Cloudflare'in edge ağı üzerinden LLM çağrılarını yönlendirmeye başlayabilirsiniz.

// Sağlayıcı URL'nizi Cloudflare'in gateway uç noktasıyla önek yapın
const response = await fetch(
  "https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_name}/openai/chat/completions",
  {
    method: "POST",
    headers: {
      "Authorization": "Bearer sk-...",
      "Content-Type": "application/json"
    },
    body: JSON.stringify({
      model: "gpt-4o",
      messages: [{ role: "user", content: "Merhaba" }]
    })
  }
);

Öne çıkan özellikler:

• Ayda 100.000 kayıt ile ücretsiz katman, çoğu yan proje için yeterli
• Sıfır altyapı: Cloudflare panosundan etkinleştirin
• Edge'de yerleşik önbellekleme (maliyeti ve gecikmeyi azaltır)
• Hız sınırlama ve analitik dahil
• Birleşik faturalama: LLM sağlayıcı maliyetlerini Cloudflare üzerinden ödeyin
• Küresel edge ağı, coğrafi olarak dağıtılmış kullanıcılar için gecikmeyi azaltır

Zayıf yönleri:

• Cloudflare ekosistemine sıkı bağlı, geçiş maliyetleri gerçek
• Özel gateway araçlarıyla karşılaştırıldığında sınırlı yönlendirme zekası
• Ücretsiz katmanda 100.000 kayıt sınırı; 1 milyon için Workers Paid aboneliği
• LiteLLM veya OpenRouter'dan daha az desteklenen sağlayıcı
• Self-hosting seçeneği yok

Fiyatlandırma: Ücretsiz (ayda 100.000 kayıt), 1 milyon kayıt için Workers Paid aboneliği. İstek başına gateway ücreti yok. LLM sağlayıcılarına ayrıca ödemeye devam edersiniz.

Sağlayıcılar genelinde fonksiyon çağrılarını yönlendiren ekipler için Cloudflare'in edge önbelleklemesi, tekrarlanan araç kullanım kalıplarında gecikmeyi anlamlı ölçüde azaltabilir.

Karar: Cloudflare AI Gateway, zaten Cloudflare'deyseniz ve yeni bir şey dağıtmadan gateway özellikleri istiyorsanız en iyi seçenektir. Küçük projeler için ücretsiz katman oldukça cömerttir. Ciddi üretim kullanımı için özel gateway'ler daha fazla kontrol sunar.

9. Kong AI Gateway, API Yönetim Ekipleri İçin En İyi

GitHub Yıldızları: ~44K (Kong Gateway toplamı) | Dil: Lua/OpenResty | Lisans: Apache 2.0 (topluluk)

Kong AI Gateway bağımsız bir ürün değil, Kong'un savaşta sınanmış API Gateway'ine LLM'e özgü yetenekler ekleyen bir uzantı. Kuruluşunuz API yönetimi için zaten Kong kullanıyorsa, yapay zeka yönlendirmesi eklemek yeni bir platform değil, bir eklenti kurulumudur.

# Kong bildirimsel yapılandırma (deck)
services:
  - name: ai-llm-service
    url: https://api.openai.com
    plugins:
      - name: ai-proxy
        config:
          route_type: llm/v1/chat
          model:
            provider: openai
            name: gpt-4o
      - name: ai-rate-limiting-advanced
        config:
          limit: [10000]
          window_size: [60]
          window_type: fixed
          strategy: local
          limit_by: consumer

Öne çıkan özellikler:

• Kong'un olgun API yönetim platformu üzerine inşa edildi (binlerce kuruluş tarafından kullanılıyor)
• Anlamsal yönlendirme: istekleri istem içeriğine/amacına göre yönlendirir
• Token tabanlı hız sınırlama (yalnızca istek tabanlı değil)
• Eklenti ekosistemi: kimlik doğrulama, hız sınırlama, dönüşümler yapay zeka rotalarıyla çalışıyor
• Datadog/Grafana entegrasyonu için OpenTelemetry + Prometheus metrikleri

Zayıf yönleri:

• Kong kullanmıyorsanız aşırı, dik öğrenme eğrisi
• Kurumsal yapay zeka özellikleri Kong Enterprise lisansı gerektiriyor (ücretli)
• Bu listedeki herhangi bir gateway'den daha yüksek yapılandırma karmaşıklığı
• Kong altyapı bilgisi gerektiriyor (veya ekibin bunu öğrenmesi)
• Yapay zeka özgü özellikler, Kong'un çekirdeğinden daha yeni ve daha az olgun

Fiyatlandırma: Topluluk sürümü ücretsiz (açık kaynak). Kurumsal yapay zeka özellikleri Kong Enterprise aboneliği gerektiriyor (özel fiyatlandırma).

Karar: Kong AI Gateway yalnızca ve yalnızca kuruluşunuz zaten Kong kullanıyorsa mantıklıdır. LLM yönlendirmeyi mevcut API yönetim katmanınıza eklemek, ayrı bir gateway dağıtmaktan daha akıllıca. Ancak yalnızca LLM yönlendirme için Kong benimsemeyin, bu çimenlerinizi biçmek için traktör satın almak gibi.

10. TensorZero, ML Optimize Edilmiş Yönlendirme İçin En İyi (Artık Sonlandırıldı)

GitHub Yıldızları: ~11,7K | Dil: Rust | Lisans: Apache 2.0 (arşivlendi, bakımı bırakıldı)

Güncelleme: TensorZero, Haziran 2026'da kapandı. Geliştiriciler depoyu 12 Haziran 2026'da arşivledi, aktif geliştirmeyi durdurdu ve hem bir açık kaynak projesi hem de ticari bir ürün için ürün-pazar uyumu bulamadıkları sonucuna vararak kalan risk sermayesini yatırımcılara iade etti. Fikirler hâlâ anlaşılmaya değer olduğu ve kod Apache 2.0 kapsamında çatallanabildiği için bu bölümü yerinde bırakıyoruz; ancak yeni bir üretim sistemi için bu aracı benimsemeyin: güvenlik yaması, sağlayıcı API güncellemesi ve bir şey bozulduğunda destek olmayacak.

TensorZero, bu listedeki en fikirli gateway'di. Diğerleri yönlendirme ve gözlemlenebilirliğe odaklanırken, TensorZero bir optimizasyon döngüsü kurdu: çıkarım verisi topladı, değerlendirmeler çalıştırdı ve sonuçları zaman içinde yönlendirme kararlarını iyileştirmek için kullandı. Hangi modelin hangi istek türü için en iyi çalıştığını öğrenen bir gateway olarak düşünebilirsiniz.

Rust uygulaması milisaniyenin altında P99 gecikme sağlıyor -- 10.000'den fazla QPS'de bile. Bu bir yazım hatası değil. LiteLLM ~8ms ve Bifrost ~11µs eklerken, TensorZero aşırı yük altında <1ms P99 iddia ediyor.

# TensorZero: optimizasyonlu yapılandırılmış çıkarım
from tensorzero import TensorZeroGateway

with TensorZeroGateway("http://localhost:3000") as client:
    response = client.inference(
        function_name="generate_summary",
        input={
            "messages": [
                {"role": "user", "content": "Bu makaleyi özetle..."}
            ]
        }
    )

    # Daha sonra: yönlendirmeyi iyileştirmek için kalite verilerini geri gönderin
    client.feedback(
        metric_name="summary_quality",
        inference_id=response.inference_id,
        value=0.92
    )

Öne çıkan özellikler:

• 10.000+ QPS'de <1ms P99 gecikme (Rust ile en hızlı ham performans)
• Geri bildirim döngüsü: her fonksiyon için hangi modellerin en iyi performansı gösterdiğini öğrenir
• Şema doğrulamalı yapılandırılmış çıkarım
• Gateway'e yerleşik modeller arası A/B testi
• Yerleşik değerlendirme çerçevesi

Zayıf yönleri:

• Haziran 2026 itibarıyla sonlandırıldı: depo arşivlendi ve salt okunur hâle geldi, gelecekte güncelleme, güvenlik yaması veya destek yok
• Herhangi bir gateway'den daha dik öğrenme eğrisi, yalnızca modeller değil "fonksiyonlar" tanımlıyorsunuz
• LLM entegrasyonunuzu TensorZero'nun fonksiyon kavramı etrafında yeniden düşünmenizi gerektiriyor
• LiteLLM veya OpenRouter'dan daha az "plug-and-play", basit temel URL değişimi değil
• Dokümantasyon son hâlinde donduruldu, artık geliştirilmiyor

Fiyatlandırma: Ücretsiz ve açık kaynak (Apache 2.0); çatallanabilir ve kendi bakımınızı yapabilirsiniz, ancak isteseniz bile destek için para ödeyebileceğiniz bir satıcı yok.

Zaten LLM değerlendirmeleri çalıştıran ekipler için TensorZero'nun geri bildirim döngüsü, değerlendirme ile yönlendirme arasındaki boşluğu kapatmanın gerçekten kullanışlı bir yoluydu: değerlendirme puanları doğrudan hangi modellerin yönlendirileceğini iyileştiriyordu. Araç ortadan kalkmış olsa da bu fikir kendi hattınızda tekrarlanmaya değer.

Karar: TensorZero, gateway'lerinin zaman içinde daha akıllı hâle gelmesini isteyen ML mühendislik ekipleri içindi ve optimizasyon döngüsü gerçekten yenilikçiydi. Proje sonlandırıldığı için artık yeni hiçbir şey için önermiyoruz; bunun yerine LiteLLM, Bifrost veya Portkey'i seçin ve değerlendirme geri bildirimini kendi hattınıza kendiniz kurun. TensorZero'yu hâlihazırda üretimde çalıştırıyorsanız kod hâlâ çalışıyor; yalnızca kaldıramayacağı bir sağlayıcı API değişikliğine denk gelmeden önce taşınmak için zaman ayırın.

LLM Gateway Gecikme Yükü: Gerçek Rakamlar

Her gateway, LLM çağrılarınıza bir miktar yük ekler. Soru, bunun kullanım durumunuz için önemli olup olmadığıdır. Gateway'lerin testimizdeki performansı şu şekilde:

† TrueFoundry'nin 3ms altı rakamı satıcı tarafından raporlanmıştır; self-hosted açık kaynak gateway'lere uyguladığımız bağımsız yük testine tabi tutulmamıştır.

‡ TensorZero projesi Haziran 2026'da arşivlendi (yukarıdaki bölüme bakın); gecikme rakamları geçmişe aittir ve aktif olarak bakımı yapılan bir sürüm üzerinden bağımsız olarak doğrulanamamaktadır.

§ Merge Gateway, yük testimizi tamamladıktan sonra piyasaya sürüldü; bu yüzden onu diğerleriyle aynı test ortamında ölçmedik ve almadığımız bir rakamı yayımlamayacağız. Biz test edene kadar yönetilen gateway yükünün OpenRouter ve Cloudflare ile aynı aralıkta (yaklaşık 10-30ms P50) olacağını varsayabilirsiniz.

Bağlam önemlidir. Tipik bir GPT-4o çağrısı, çıktı uzunluğuna bağlı olarak 500–3.000ms sürer. LiteLLM'in 8ms yükü bile toplam gecikmenin %1'inden azdır. Gateway yükünün önemli olduğu tek senaryo, gerçek zamanlı sınıflandırma veya ölçekte gömme üretimi gibi yüksek frekanslı, düşük gecikmeli iş yükleridir. Konuşma tabanlı yapay zeka veya içerik oluşturma için bu listedeki herhangi bir gateway yeterince hızlıdır.

Yönetilen gateway'ler (OpenRouter, Cloudflare ve Merge Gateway), isteğiniz sağlayıcıya ulaşmadan önce kendi sunucularına gideceğinden daha fazla yük ekler. Self-hosted gateway'ler uygulamanızın yanında çalışır, bu nedenle ekstra atlama yereldir.

Bifrost mu Portkey mi: Hangi Açık Kaynak LLM Gateway'i Seçmelisiniz?

Aradığınız şey tam olarak "açık kaynak LLM gateway" ise, bu kategorinin 2026 ortasındaki dürüst tablosu şöyle: bu derlemedeki dokuz aracın beşi, bugün kendi sunucunuzda barındırabileceğiniz açık kaynak yazılım olarak dağıtılıyor. LiteLLM (MIT) ve Bifrost (Apache 2.0), çekirdek özellikleri ödeme duvarının arkasına almayan tam açık kaynak projeler. Portkey'in gateway'i Mart 2026'dan bu yana Apache 2.0; ancak çevresindeki yönetilen platform tescilli. Helicone (Apache 2.0) açık kaynak, fakat Mintlify satın alımının ardından bakım modunda. Kong'un temel Gateway'i açık kaynak, ne var ki LLM yönlendirmesinde asıl işe yarayan yapay zeka eklentileri Kong Enterprise'ın arkasında. TensorZero da açık kaynaktı, ancak proje sonlandırıldığı için onu artık canlı bir seçenek saymıyoruz. Yukarıda ele aldığımız TrueFoundry ise farklı bir yol izliyor: açık kaynak bir kod tabanı yerine, tescilli bir kontrol düzleminin self-hosted dağıtımı.

Geriye, en çok aranan iki açık kaynak seçenek olarak Bifrost ve Portkey kalıyor; üstelik son incelememizden bu yana ikisi birbirinden epey uzaklaştı. Gerçekte nasıl karşılaştırıldıklarına bakalım:

"Bifrost alternatifi" arıyorsanız ve bunun nedeni Bifrost Enterprise'a para ödemeden üretim güvenlik koruyucularına sahip olmak istemenizse, Portkey'in ücretsiz açık kaynak gateway'i PII redaksiyonunu ve jailbreak algılamayı kutudan çıkar hâlde sunuyor; ikisi arasındaki en büyük işlevsel fark tam olarak bu. Diğer yaygın durak ise LiteLLM: Bifrost'un ham hızından vazgeçip en geniş sağlayıcı listesini ve en büyük topluluğu almış oluyorsunuz.

"Portkey alternatifleri" arıyorsanız ve bunun nedeni Palo Alto Networks satın alımının risk hesabınızı değiştirmesiyse (altyapı yol haritanızın bir siber güvenlik satıcısının önceliklerinden bağımsız olması gerekiyorsa bu gayet makul bir kaygı), en iyi seçenekleriniz sırasıyla şunlar: ham verim ve MCP yönetişimi kutudan çıkan koruyuculardan daha önemliyse Bifrost; en büyük ekosistemi istiyor ve Python'un gecikme profiliyle sorununuz yoksa LiteLLM; özellikle SOC 2/HIPAA/GDPR uyumluluğunu Portkey olmayan bir satıcıyla istiyorsanız da (yukarıda ele aldığımız) TrueFoundry. Helicone de açık kaynak, ancak bakım modunda olması onu evrilmeye devam etmesini beklediğiniz bir gateway'den çok bir gözlemlenebilirlik aracı hâline getiriyor.

Ne Bifrost ne de Portkey nesnel olarak "daha iyi"; sonuç, bugün koruyucuları mı yoksa biraz daha kurulum karşılığında yönetişim artı hızı mı istediğinize bağlı.

Doğru LLM Gateway'i Nasıl Seçersiniz

Özellik matrislerini geçin. Kararı tek bir tabloda açıklıyoruz:

Self-hosted ve yönetilen hakkında bir not: Self-hosted gateway'ler (LiteLLM, Helicone, Bifrost) veri akışı üzerinde tam kontrol sağlar, gerçek LLM API çağrısı dışında altyapınızı hiçbir şey terk etmez. Bu, veri yerleşiminin katı bir gereklilik olduğu sağlık, finans ve benzeri bağlamlarda önemlidir. Yönetilen gateway'ler (OpenRouter, Cloudflare ve Merge Gateway) bu kontrolü sıfır operasyonel yük karşılığında değiştirir. Portkey ve Kong ortada durur, isteğe bağlı yönetilen platformlarla açık kaynaklı gateway'ler. Veri egemenliğini önceliklendiren ekipler bazen self-hosted bir gateway ile yerel çalışan LLM'leri birleştirerek hiçbir isteğin ağlarını terk etmemesini sağlar.

Çoğu ekip için karar iki soruya iniyor:

1. Self-hosting istiyor musunuz? Evet -> LiteLLM. Hayır -> Prototipleme için OpenRouter, üretime geçtiğinde Merge Gateway.
2. Güvenlik koruyucularına ihtiyacınız var mı? Evet -> Portkey. Hayır -> no. 1'de kalın.

Gömme ve tamamlamalar için birden fazla sağlayıcı çağıran RAG uygulamaları geliştiriyorsanız, bir gateway neredeyse zorunludur. Farklı sağlayıcılar genelinde yapılandırılmış çıktılara ihtiyaç duyan uygulamalar için de aynı şey geçerli, gateway'ler yanıt biçimini normalleştirir, böylece model değiştirdiğinizde ayrıştırma mantığınız bozulmaz.

Araç seçmek işin kolay kısmı. Onu gerçek bir üründe güvenilir şekilde çalıştırmak ise çoğu ekibin takıldığı yer; yapay zeka entegrasyon ekibimiz müşterileri için tam olarak bunu yapıyor, RAG hatlarından özel ajanlara kadar. Mevcut kurulumunuz için ikinci bir görüş isterseniz ücretsiz danışmanlık alın.

Sıkça Sorulan Sorular

LLM gateway, proxy ve router arasındaki fark nedir?

Proxy, istekleri iletir ve loglama ekler. Router, her istek için en iyi modeli/sağlayıcıyı seçer. Gateway, ikisini maliyet takibi, önbellek, güvenlik koruyucuları ve gözlemlenebilirlik ile birleştirir. Pratikte, çoğu "gateway" aracı üçünü de yapar, terimler birbirinin yerine kullanılır.

LiteLLM gerçekten ücretsiz mi?

Açık kaynaklı proxy tamamen ücretsizdir (MIT lisansı). Kendi barındırma (hafif kullanım için aylık 5 dolarlık bir VPS işe yarar) ve LLM sağlayıcı API maliyetleri için ödeme yaparsınız. BerriAI, yönetilen barındırma, SSO ve destek isteyen ekipler için kurumsal planlar sunuyor.

OpenRouter önemli bir gecikme ekliyor mu?

Minimum düzeyde. OpenRouter küçük bir yönlendirme yükü ekler (genellikle <50ms) artı siz ve sunucuları arasındaki coğrafi mesafe. Çoğu uygulama için fark ihmal edilebilir. Saniyede binlerce istek işleyen gecikme kritik sistemler için Bifrost gibi self-hosted bir seçenek daha iyidir.

Birden fazla gateway'i birlikte kullanabilir miyim?

Evet, ve bazı ekipler bunu yapıyor. Yaygın bir yaklaşım hızlı prototipleme için OpenRouter kullanmak ve üretim için LiteLLM'e geçmektir. Ya da LiteLLM'in yönlendirmesinin önünde gözlemlenebilirlik katmanı olarak Helicone kullanmak. Sadece gecikme yığılmasına dikkat edin.

Hangi gateway'in önbelleği en iyidir?

Portkey ve Cloudflare AI Gateway en olgun önbellekleme uygulamalarına sahip. Portkey anlamsal önbellekleme (benzer istemlerin bulanık eşleşmesi) sunarken, Cloudflare coğrafi önbellekleme için küresel edge ağından yararlanıyor. LiteLLM, Redis tabanlı önbelleklemeyi destekliyor. Önbellekleme stratejilerinin daha derin bir incelemesi için LLM istem önbellekleme rehberimize bakın.

Yalnızca bir LLM sağlayıcısı kullanıyorsam gateway'e ihtiyacım var mı?

Muhtemelen yönlendirme için hayır. Ancak gözlemlenebilirlik (Helicone), maliyet takibi (LiteLLM) veya güvenlik koruyucuları (Portkey) için hâlâ bir tane isteyebilirsiniz. Maliyet takibi ve loglama özellikleri tek bir sağlayıcıyla bile bir gateway'i haklı kılabilir.

Gateway'ler akış yanıtlarını nasıl işler?

Bu listedeki tüm gateway'ler sunucu tarafından gönderilen olaylar (SSE) akışını destekliyor. Gateway, akışı sağlayıcıdan istemcinize minimum arabelleğe alarak iletir. Gecikme etkisi akışta genellikle akışsız isteklerden daha düşüktür çünkü yük bağlantı başına oluşur, token başına değil.

Bir sağlayıcı çöktüğünde ne olur?

Çoğu gateway fallback zincirlerini destekler. Bir birincil sağlayıcı ve bir veya daha fazla yedek yapılandırırsınız. Birincil hata döndürürderse veya gecikme eşiklerini aşarsa, gateway otomatik olarak bir sonraki sağlayıcıya yönlendirir. LiteLLM, Portkey ve Helicone bunu iyi yönetiyor. OpenRouter arka planda otomatik olarak yapıyor.

Gateway'ler maliyet limitlerini uygulayabilir mi?

Evet. LiteLLM'in ekip, kullanıcı veya API anahtarı başına yerleşik bütçe kontrolleri var. Portkey uyarılarla gerçek zamanlı harcama takibi yapıyor. Kong token tabanlı kotaları destekliyor. Cloudflare kullanım analitiği sağlıyor. Bu aslında gateway kullanmanın en güçlü argümanlarından biri, bir tane olmadan, tek bir kontrolden çıkmış döngü API bütçenizi bir gecede tüketebilir.

Hangi gateway girişimler için, hangisi kurumsal kullanım için daha iyi?

Girişimler: OpenRouter (sıfır kurulum) veya LiteLLM (ücretsiz, esnek). Kurumsal: TrueFoundry (veri egemenliği, SOC 2/HIPAA/GDPR, MCP Gateway aracılığıyla hem model hem de aracı araç trafiği üzerinde yönetişim), Portkey (güvenlik koruyucuları, uyumluluk, denetim izleri) veya Kong AI Gateway (Kong zaten kullanılıyorsa). Başlıca kurumsal ayrışma noktaları SSO, rol tabanlı erişim, veri yerleşim kontrolleri ve denetim loglama, girişimlerin henüz ihtiyaç duymadığı ancak kurumsal kullanıcıların atlayamayacağı özellikler.

En iyi LLM proxy hangisidir?

Çoğu ekip için en iyi LLM proxy LiteLLM'dir. Bağımsız bir Docker konteyneri olarak çalışır, 100'den fazla sağlayıcıyı OpenAI uyumlu bir endpoint'in arkasına sarar ve self-hosting tamamen ücretsizdir. "Proxy" derken sıfır altyapı istiyorsanız, OpenRouter tek bir API anahtarında 300'den fazla model sunan bulut barındırmalı bir proxy görevi görür. Aradaki fark kontroldür: LiteLLM verilerinizi kendi sunucularınızda tutar; OpenRouter onları kendi platformu üzerinden yönlendirir.

LLM gateway ile LLM router arasındaki fark nedir?

LLM router, belirli bir isteği hangi model veya sağlayıcının işleyeceğini seçer; genellikle maliyet, gecikme veya istem içeriğine göre. LLM gateway bunu ve daha fazlasını yapar: yönlendirme katmanının üzerine maliyet takibi, önbellekleme, güvenlik koruyucuları, hız sınırlama ve gözlemlenebilirlik ekler. Bu listedeki tüm araçlar teknik olarak gateway'dir. Saf router'lar (yalnızca model seçimi yapan, başka middleware olmayan araçlar) üretimde nadirdir çünkü ekipler neredeyse her zaman yönlendirmenin yanı sıra en azından loglama ihtiyacı duyar.

Portkey mi Bifrost mu: 2026'da hangisini seçmeliyim?

Ham gecikme ve MCP tabanlı aracı araç yönetişimi sizin için en önemli konularsa Bifrost'u seçin: Go mimarisi 11 mikrosaniye yük eklerken Portkey'de bu rakam yaklaşık 12ms ve Bifrost'un ücretsiz açık kaynak kademesi artık Code Mode özellikli bir MCP Gateway sunuyor. İçerik güvenliği koruyucularının (PII redaksiyonu, jailbreak algılama) Enterprise kademesine para ödemeden kutudan çıkar hâlde çalışması gerekiyorsa Portkey'i seçin; çünkü Bifrost bunları ücretli planının arkasında tutuyor. Bir diğer belirleyici etken şu: Portkey, Mayıs 2026'da Palo Alto Networks tarafından satın alındı ve artık şirketin Prisma AIRS güvenlik platformunun içinde yer alıyor; Bifrost ise Maxim AI'ın bağımsız bir açık kaynak projesi olmayı sürdürüyor. Hiçbiri kesin olarak daha iyi değil; karar, hız artı bağımsızlık ile koruyucular artı kurumsal destek arasında.

Palo Alto Networks'ün sahipliğinden sonra en iyi Portkey alternatifleri hangileri?

En güçlü bağımsız alternatifler şunlar: Bifrost (en hızlısı, artık kendi MCP Gateway'iyle birlikte geliyor, ancak koruyucular Enterprise gerektiriyor), LiteLLM (en geniş sağlayıcı kapsamı ve en büyük topluluk, yerleşik koruyuculara ihtiyacınız yoksa) ve TrueFoundry (benzer kurumsal yönetişim ile uyumluluk sertifikaları, üstelik hâlâ bağımsız bir satıcı). Helicone da açık kaynak, ancak Mart 2026'daki Mintlify satın alımından bu yana bakım modunda; dolayısıyla geleceğe dönük bir gateway alternatifinden çok bir gözlemlenebilirlik tercihi olarak daha uygun.