LiteLLM Proxy: 1 API για 100+ LLMs (Ρύθμιση Docker σε 15 λεπτά)

LiteLLM Proxy: 1 API για 100+ LLMs (Ρύθμιση Docker σε 15 λεπτά)

Η ομάδα σας μοιράζεται κλειδιά API του OpenAI σε άμεσα μηνύματα στο Slack. Κανείς δεν ξέρει ποιος ξόδεψε $400 την περασμένη Τρίτη. Δεν υπάρχει περιορισμός ρυθμού, καμία εναλλακτική λύση όταν ένας πάροχος έχει διακοπή λειτουργίας, και η αλλαγή από GPT-4o σε Claude σημαίνει τροποποίηση κώδικα σε δώδεκα σημεία. Σας φαίνεται οικείο; Μια self-hosted πύλη LLM διορθώνει όλα αυτά, και το proxy LiteLLM είναι η πιο δημοφιλής επιλογή ανοιχτού κώδικα, ένα μοναδικό endpoint συμβατό με OpenAI που δρομολογεί αιτήματα προς 100+ παρόχους LLM.

Αυτός ο οδηγός καλύπτει την πλήρη ρύθμιση litellm proxy: Docker Compose με PostgreSQL, εικονικά κλειδιά ομάδας με προϋπολογισμούς, παρακολούθηση κόστους, όρια ρυθμού και σύνδεση AI IDE όπως τα Claude Code και Cursor. Εάν αξιολογείτε εργαλεία πύλης LLM, αυτό είναι το πρακτικό tutorial που σας πάει από το μηδέν στην παραγωγή.

Μια σημαντική σημείωση πριν ξεκινήσουμε: Το SDK του LiteLLM (η βιβλιοθήκη Python) και ο Proxy Server είναι διαφορετικά πράγματα. Το SDK προορίζεται για έναν μεμονωμένο προγραμματιστή που καλεί πολλαπλά API LLM από Python. Το proxy προορίζεται για ομάδες, λειτουργώντας ως server μεταξύ των εφαρμογών σας και των παρόχων LLM. Εάν είστε solo dev και γράφετε ένα script, το SDK αρκεί. Εάν διαχειρίζεστε κλειδιά, προϋπολογισμούς και πρόσβαση για μια ομάδα, χρειάζεστε το proxy. Αυτό θα ρυθμίσουμε εδώ.

LiteLLM Proxy με μια ματιά

Ακολουθεί σύγκριση των μεθόδων ανάπτυξης:

Για τις περισσότερες ομάδες, το Docker Compose με PostgreSQL είναι η ιδανική λύση. Αυτό θα κατασκευάσουμε, αλλά πρώτα, ας κάνουμε ένα proxy να λειτουργήσει σε 60 δευτερόλεπτα.

Προαπαιτούμενα και Ρύθμιση Περιβάλλοντος

Πριν ξεκινήσετε, βεβαιωθείτε ότι έχετε:

• Docker και Docker Compose εγκατεστημένα (το Docker Desktop περιλαμβάνει και τα δύο)
• Τουλάχιστον ένα κλειδί API LLM (OpenAI, Anthropic ή μια τοπική instance του Ollama)
• Βασική εξοικείωση με terminal / CLI

Επαληθεύστε ότι το Docker είναι έτοιμο και εξάγετε τα κλειδιά API σας:

# Check Docker is installed
docker --version
docker compose version

# Export your LLM API keys (add to your shell profile for persistence)
export OPENAI_API_KEY="sk-..."
export ANTHROPIC_API_KEY="sk-ant-..."

# Optional: set a master key for your proxy (you'll need this later)
export LITELLM_MASTER_KEY="sk-master-your-secret-key"

Τέλος. Δεν απαιτείται ειδική έκδοση Python, ούτε εργαλεία συγκεκριμένα για το OS. Εάν το Docker λειτουργεί στο μηχάνημά σας, είστε έτοιμοι.

Γρήγορη Εκκίνηση, Το Πρώτο σας LiteLLM Proxy σε 60 Δευτερόλεπτα

Μία εντολή για να ξεκινήσετε ένα proxy με GPT-4o:

docker run -d \
  --name litellm-proxy \
  -p 4000:4000 \
  -e OPENAI_API_KEY=$OPENAI_API_KEY \
  -e LITELLM_MASTER_KEY=$LITELLM_MASTER_KEY \
  ghcr.io/berriai/litellm:main-stable \
  --model openai/gpt-4o

Δοκιμάστε το με curl:

curl http://localhost:4000/v1/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4o",
    "messages": [{"role": "user", "content": "Say hello from LiteLLM"}]
  }'

Ή δοκιμάστε από Python:

from openai import OpenAI

# Point the standard OpenAI SDK at your proxy
client = OpenAI(
    api_key="sk-master-your-secret-key",
    base_url="http://localhost:4000/v1"
)

response = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[{"role": "user", "content": "Say hello from LiteLLM"}]
)
print(response.choices[0].message.content)

Τι μόλις συνέβη; Ο κώδικάς σας συνομιλεί με το localhost:4000 χρησιμοποιώντας την τυπική μορφή SDK του OpenAI. Το proxy λαμβάνει το αίτημα, το προωθεί στο API του OpenAI με το πραγματικό κλειδί και επιστρέφει την απάντηση. Ο κώδικας της εφαρμογής σας δεν αγγίζει ποτέ το πραγματικό κλειδί API.

Αυτή είναι η βασική ιδέα. Τώρα ας κατασκευάσουμε μια ρύθμιση για παραγωγή.

Ρύθμιση Παραγωγής Docker Compose με PostgreSQL

Η μοναδική εντολή docker run λειτουργεί για δοκιμές, αλλά οι ομάδες παραγωγής χρειάζονται επίμονη παρακολούθηση κόστους, εικονικά κλειδιά και σωστή αποθήκευση βάσης δεδομένων. Αυτό σημαίνει Docker Compose με PostgreSQL.

Το Αρχείο Docker Compose

# docker-compose.yml
version: "3.9"

services:
  litellm:
    image: ghcr.io/berriai/litellm:main-stable
    container_name: litellm-proxy
    ports:
      - "4000:4000"         # Proxy API port
    volumes:
      - ./config.yaml:/app/config.yaml   # Mount your config file
    environment:
      - LITELLM_MASTER_KEY=${LITELLM_MASTER_KEY}
      - OPENAI_API_KEY=${OPENAI_API_KEY}
      - ANTHROPIC_API_KEY=${ANTHROPIC_API_KEY}
      - DATABASE_URL=postgresql://litellm:litellm_password@postgres:5432/litellm
      - LITELLM_SALT_KEY=${LITELLM_SALT_KEY:-sk-salt-random-string}
    command: --config /app/config.yaml --detailed_debug
    depends_on:
      postgres:
        condition: service_healthy
    restart: unless-stopped

  postgres:
    image: postgres:16-alpine
    container_name: litellm-db
    environment:
      POSTGRES_DB: litellm
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: litellm_password
    volumes:
      - litellm_pgdata:/var/lib/postgresql/data
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U litellm"]
      interval: 5s
      timeout: 5s
      retries: 5
    restart: unless-stopped

volumes:
  litellm_pgdata:

Το LITELLM_SALT_KEY κρυπτογραφεί τα δεδομένα εικονικών κλειδιών στη βάση δεδομένων. Η τεκμηρίωση best practices παραγωγής LiteLLM συνιστά τον ορισμό αυτού για οποιαδήποτε ανάπτυξη ομάδας.

Εκκίνηση της Στοίβας

# Create a .env file with your keys (don't commit this to git)
echo "LITELLM_MASTER_KEY=sk-master-your-secret" > .env
echo "OPENAI_API_KEY=sk-..." >> .env
echo "ANTHROPIC_API_KEY=sk-ant-..." >> .env
echo "LITELLM_SALT_KEY=sk-salt-$(openssl rand -hex 16)" >> .env

# Start everything
docker compose up -d

# Check logs
docker compose logs -f litellm

Επαλήθευση ότι Όλα Λειτουργούν

# Health check
curl http://localhost:4000/health

# Test a request
curl http://localhost:4000/v1/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "gpt-4o", "messages": [{"role": "user", "content": "ping"}]}'

Εάν δείτε μια επιτυχημένη απάντηση, η στοίβα παραγωγής σας λειτουργεί. Το PostgreSQL αποθηκεύει όλα τα δεδομένα κόστους, τα εικονικά κλειδιά και τις μετρικές χρήσης με επίμονο τρόπο across restarts των containers.

Συμπέρασμα: Το Docker Compose + PostgreSQL είναι η συνιστώμενη ρύθμιση παραγωγής. Σας προσφέρει επίμονη αποθήκευση, παρακολούθηση κόστους και εικονικά κλειδιά με περίπου 10 λεπτά εργασίας. Η τεκμηρίωση ανάπτυξης Docker καλύπτει τα Kubernetes και Helm εάν χρειαστείτε αυτόματη κλιμάκωση στο μέλλον.

Οδηγός config.yaml, Μια Πραγματική Ρύθμιση Πολλών Παρόχων

Τα περισσότερα tutorials δείχνουν ένα config.yaml με ένα μοντέλο. Ακολουθεί how a real team config looks like with three providers, fallbacks, and load balancing.

Το Αρχείο Ρυθμίσεων

# config.yaml -- Real multi-provider setup
model_list:
  # Primary: OpenAI GPT-4o
  - model_name: gpt-4o          # The name YOUR code uses
    litellm_params:
      model: openai/gpt-4o      # The actual provider/model
      api_key: os.environ/OPENAI_API_KEY

  # Secondary: Anthropic Claude
  - model_name: claude-sonnet
    litellm_params:
      model: anthropic/claude-sonnet-4-20250514
      api_key: os.environ/ANTHROPIC_API_KEY

  # Local: Ollama for development / cost-free testing
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434

  # Fallback: route "gpt-4o" to Claude if OpenAI is down
  - model_name: gpt-4o
    litellm_params:
      model: anthropic/claude-sonnet-4-20250514
      api_key: os.environ/ANTHROPIC_API_KEY

router_settings:
  routing_strategy: least-busy    # Load balance across same-name models
  num_retries: 3
  retry_after: 5                  # Seconds between retries
  fallbacks: [{"gpt-4o": ["claude-sonnet"]}]

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
  database_url: os.environ/DATABASE_URL

Ψευδώνυμα Μοντέλων και Δρομολόγηση

Παρατηρήστε ότι το gpt-4o εμφανίζεται δύο φορές στις ρυθμίσεις, μία φορά pointing to OpenAI, μία φορά to Anthropic. Όταν ο κώδικάς σας ζητά gpt-4o, το LiteLLM δοκιμάζει πρώτα το OpenAI. Εάν αυτό αποτύχει, η ρύθμιση fallbacks δρομολογεί αυτόματα στο Claude. Ο κώδικας της εφαρμογής σας δεν αλλάζει καθόλου.

Εάν χρησιμοποιείτε backends inference παραγωγής όπως vLLM ή SGLang, μπορείτε να τα προσθέσετε με τον ίδιο τρόπο, απλώς ορίστε το api_base στον inference server σας.

Γρήγορη Αναφορά Παρόχων

Η ρύθμιση routing_strategy: least-busy distributes requests across models with the same model_name. Εάν έχετε δύο κλειδιά OpenAI (ίσως διαφορετικούς οργανισμούς με διαφορετικά όρια ρυθμού), list them both under gpt-4o and LiteLLM balances the load.

Εικονικά Κλειδιά, Κλειδιά API ανά Ομάδα με Προϋπολογισμούς και Όρια Ρυθμού

Εδώ είναι where LiteLLM stops being "just a proxy" and becomes a team management tool. Τα εικονικά κλειδιά σας επιτρέπουν να δίνετε σε κάθε μέλος της ομάδας ή υπηρεσία το δικό τους κλειδί API με όρια δαπανών και caps ρυθμού, all routed through your single set of provider API keys.

Δημιουργία Κλειδιού Ομάδας με Προϋπολογισμό

# Create a virtual key with a $50/month budget
curl http://localhost:4000/key/generate \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "team_id": "frontend-team",
    "max_budget": 50.0,
    "budget_duration": "1mo",
    "models": ["gpt-4o", "claude-sonnet"],
    "metadata": {"purpose": "frontend AI features"}
  }'

Η απάντηση σας δίνει ένα νέο κλειδί όπως sk-team-abc123.... Δώστε το στην ομάδα frontend. Μπορούν να το χρησιμοποιήσουν ακριβώς όπως ένα κλειδί OpenAI, αλλά περιορίζεται στα $50/μήνα και έχει πρόσβαση μόνο στα μοντέλα που ορίσατε.

Ορισμός Ορίων Ρυθμού

# Create a key with rate limits: 100 requests/minute, 50K tokens/minute
curl http://localhost:4000/key/generate \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "team_id": "backend-team",
    "max_budget": 200.0,
    "budget_duration": "1mo",
    "rpm_limit": 100,
    "tpm_limit": 50000,
    "models": ["gpt-4o", "claude-sonnet", "local-llama"]
  }'

Η τεκμηρίωση εικονικών κλειδιών καλύπτει κάθε παράμετρο. Μπορείτε επίσης να ορίσετε προϋπολογισμούς και όρια ρυθμού ανά χρήστη για even more granular control.

Παρακολούθηση Χρήσης Κλειδιών

import requests

# Check a key's current spend and limits
response = requests.get(
    "http://localhost:4000/key/info",
    headers={"Authorization": f"Bearer {MASTER_KEY}"},
    params={"key": "sk-team-abc123..."}
)
info = response.json()
print(f"Spent: ${info['spend']:.2f} / ${info['max_budget']:.2f}")
print(f"RPM used: {info['rpm_limit_used']} / {info['rpm_limit']}")

Χρειάζεται να ανακαλέσετε ένα compromised key; Ένα API call:

curl -X POST http://localhost:4000/key/delete \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"keys": ["sk-team-abc123..."]}'

Συμπέρασμα: Τα εικονικά κλειδιά είναι what make LiteLLM a team tool, not just a personal proxy. Χωρίς αυτά, απλώς προσθέτετε ένα hop μεταξύ του κώδικά σας και του LLM. Με αυτά, έχετε έλεγχο πρόσβασης, επιβολή προϋπολογισμού και attribution χρήσης, things that keep your CFO from panicking.

Παρακολούθηση Κόστους και το Dashboard του LiteLLM

Μόλις συνδεθεί το PostgreSQL, το LiteLLM παρακολουθεί αυτόματα το κόστος κάθε αιτήματος. Δεν χρειάζεται να ρυθμίσετε τίποτα, γνωρίζει την τιμολόγηση ανά token για κάθε υποστηριζόμενο μοντέλο.

Το Dashboard

Access the built-in UI at http://localhost:4000/ui (log in with your master key). Θα δείτε:

• Συνολικές δαπάνες across all teams and keys
• Ανάλυση ανά μοντέλο, ποια μοντέλα consume your budget
• Δαπάνες ανά ομάδα, who's using what
• Όγκος αιτημάτων over time

Για ομάδες serious about reducing LLM API costs, το dashboard alone justifies running the proxy. Μπορείτε επίσης να συνδέσετε το LiteLLM με external AI observability platforms like Langfuse or Helicone for deeper analytics.

Σύγκριση Κόστους ανά Πάροχο

Ακολουθεί what the major models cost per million tokens (as of April 2026):

When you see these numbers in the dashboard broken down by team, the conversations about "should we use a cheaper model for this use case?" become very concrete.

Συμπέρασμα: Η παρακολούθηση κόστους alone justifies the proxy for any team spending >$100/month on LLM APIs. Δεν μπορείτε να βελτιστοποιήσετε αυτό που δεν μπορείτε να μετρήσετε.

Σύνδεση AI IDE, Claude Code, Cursor και Continue

Here's something most LiteLLM guides skip entirely: you can point your AI coding tools at the proxy too. One proxy, all your IDE tools, unified billing.

Claude Code

# Set Claude Code to use your LiteLLM proxy
export ANTHROPIC_BASE_URL=http://localhost:4000/v1
export ANTHROPIC_API_KEY=sk-team-your-virtual-key

Τέλος. Το Claude Code sends requests to your proxy, which routes them to Anthropic (or wherever your config says) while tracking costs under your virtual key.

Cursor

Στις ρυθμίσεις του Cursor, add a custom OpenAI-compatible endpoint:

{
  "openai.apiBaseUrl": "http://localhost:4000/v1",
  "openai.apiKey": "sk-team-your-virtual-key"
}

Continue (VS Code)

Στο config.json του Continue:

{
  "models": [
    {
      "title": "GPT-4o via LiteLLM",
      "provider": "openai",
      "model": "gpt-4o",
      "apiBase": "http://localhost:4000/v1",
      "apiKey": "sk-team-your-virtual-key"
    }
  ]
}

Why bother? Because now every developer's IDE usage goes through the proxy. You get per-person cost tracking for AI coding assistants, rate limits so nobody accidentally burns through $500 in a coding session, and a single place to switch models if you find a better option.

Αντιμετώπιση Συχνών Προβλημάτων

"Config file not found"

This usually means the volume mount path is wrong in Docker. Make sure your config.yaml is in the directory you're mounting from:

# Check the file exists where you think it does
ls -la ./config.yaml

# The volume mount in docker-compose.yml should match
# volumes:
#   - ./config.yaml:/app/config.yaml

"Connection refused" to PostgreSQL

Docker networking catches everyone at least once. If LiteLLM can't reach Postgres, check that:

• The service name in DATABASE_URL matches the Docker Compose service name (postgres, not localhost)
• The depends_on with condition: service_healthy is set (so LiteLLM waits for Postgres to be ready)
• Both services are on the same Docker network (they are by default in Compose)

"Invalid API key format"

The most common confusion: your LITELLM_MASTER_KEY is for admin operations (creating virtual keys, accessing the dashboard). Virtual keys (sk-team-...) are what your applications use. Don't mix them up.

"Model not found"

The model field in your request must match a model_name in config.yaml. If your config defines gpt-4o but your code requests openai/gpt-4o, it won't match. Check the exact spelling.

Proxy starts but requests hang

Usually a firewall or port binding issue. Verify port 4000 is exposed and not blocked:

# Check if the port is listening
docker port litellm-proxy
# Should show: 4000/tcp -> 0.0.0.0:4000

Ασφάλεια: Αποφύγετε τις Εκδόσεις 1.82.7 και 1.82.8

Τον Μάρτιο του 2026, ένα incident supply chain affected LiteLLM versions 1.82.7 and 1.82.8. The compromised versions were pulled, and a clean release shipped at 1.83.0. Always pin your Docker image to a specific version and check the official security update before upgrading. If you're on 1.82.7 or 1.82.8, update immediately.

Ποια Μέθοδο Ρύθμισης LiteLLM Να Επιλέξετε;

Εάν διαβάζετε αυτόν τον οδηγό για πρώτη φορά, start with Docker Compose + PostgreSQL. You can always migrate to Kubernetes later, the config.yaml stays the same.

FAQ

Τι είναι το LiteLLM proxy και πώς λειτουργεί;

Το LiteLLM proxy είναι ένας open-source AI gateway server που sits between your applications and LLM providers like OpenAI and Anthropic. Exposes a single OpenAI-compatible endpoint, so your code talks to one URL while the proxy handles routing, key management, cost tracking, and fallbacks behind the scenes.

Πώς ρυθμίζω το LiteLLM proxy με Docker Compose;

Create a docker-compose.yml with the LiteLLM proxy image and a PostgreSQL database, mount your config.yaml, set your API keys as environment variables, and run docker compose up -d. The Production Docker Compose section above has a complete, copy-paste-ready file.

Πώς διαχειρίζομαι τα κλειδιά API της ομάδας με το LiteLLM;

Use virtual keys. Hit the /key/generate endpoint with your master key to create per-team or per-user keys. Each virtual key can have its own monthly budget, rate limits (RPM and TPM), and model access restrictions. The Virtual Keys section covers the full workflow.

Πώς προσθέτω παρακολούθηση κόστους και όρια ρυθμού στο LLM API μου;

Connect PostgreSQL to the proxy (via DATABASE_URL), and cost tracking happens automatically. For rate limits, set rpm_limit and tpm_limit when generating virtual keys. The built-in dashboard at /ui shows per-team and per-model spending.

Είναι ασφαλές το LiteLLM proxy για χρήση σε παραγωγή;

Yes, with one caveat: avoid versions 1.82.7 and 1.82.8, which were affected by a supply chain incident in March 2026. Use version 1.83.0 or later. Pin your Docker image version, set the LITELLM_SALT_KEY for encryption, and follow the official production best practices.

Ποια είναι η διαφορά μεταξύ LiteLLM SDK και LiteLLM proxy;

The SDK is a Python library for calling multiple LLM APIs from your code. The proxy is a standalone server that your entire team connects to. Use the SDK when you're a solo dev writing a script. Use the proxy when you need shared access control, cost tracking, and rate limiting across a team.

Μπορώ να χρησιμοποιήσω το LiteLLM proxy με Ollama και τοπικά μοντέλα;

Absolutely. Add an entry to your config.yaml with model: ollama/llama3.1 and api_base: http://host.docker.internal:11434 (or your Ollama host). Your team can then access local models through the same proxy endpoint, which is great for development and cost-free testing.

Πόσο κοστίζει το LiteLLM proxy;

Το LiteLLM proxy είναι δωρεάν και ανοιχτού κώδικα (άδεια MIT). You self-host it on your own infrastructure. The only costs are your server (a small VPS is enough for most teams) and the LLM API costs you're already paying. BerriAI also offers a managed cloud version if you don't want to self-host.

Ποιους παρόχους υποστηρίζει το LiteLLM;

Over 100, including OpenAI, Anthropic, Azure OpenAI, AWS Bedrock, Google Vertex AI, Ollama, Hugging Face, Cohere, Replicate, and many more. The full list is on the LiteLLM GitHub repository.

Πώς ενημερώνω το LiteLLM proxy με ασφάλεια;

Always pin a specific version in your Docker image tag (e.g., ghcr.io/berriai/litellm:v1.83.2-stable). Before upgrading, check the changelog for breaking changes. Never use latest in production. And always verify the new version isn't on the security advisory list, the March 2026 incident proved that even trusted packages can be compromised.

Τελικό Συμπέρασμα και Επόμενα Βήματα

If your team spends money on LLM APIs and you don't have a proxy yet, start with Docker Compose + Postgres today. The setup takes 15 minutes, and you'll have cost visibility and access control by the end of it.

Once you're running, explore adding guardrails to your LLM pipeline for content filtering and safety checks. The proxy is the foundation, everything else builds on top of it.

Πηγές

• LiteLLM Proxy Quick Start, Official Docs
• LiteLLM Docker Deployment Guide
• LiteLLM Virtual Keys Documentation
• LiteLLM Production Best Practices
• LiteLLM Security Update, March 2026
• BerriAI/litellm, GitHub Repository