Was kostet LLM-Inferenz? 4 Szenarien mit echter Rechnung

Was kostet LLM-Inferenz? 4 Szenarien mit echter Rechnung

Im März 2023 kostete GPT-4 genau 30 $ pro Million Input-Tokens. Drei Jahre später verarbeitet GPT-5.6 dieselbe Million für 10 $. Claude Opus 4.5 liegt bei 15 $. Die Untergrenze? Zwei Cent. Zwischen dem günstigsten und dem teuersten Angebot für dieselbe Arbeitseinheit liegen damit 1.500x. LLM-Inferenzkosten sind die wiederkehrende Rechnung, die jedes Mal anfällt, wenn ein trainiertes Modell Ihren Input liest und eine Ausgabe erzeugt; jeder große Anbieter berechnet sie pro Million Tokens. Budget-Modelle kosten 0,02 bis 0,30 $ pro Million Input-Tokens, Frontier-Modelle verlangen 15 bis 75 $ für dieselbe Menge. Diese Spanne zählt, weil Ihr Workload und nicht Ihr Ehrgeiz bestimmt, welche Klasse Sie tatsächlich brauchen.

Die wichtigsten Punkte:

• Budget-Modelle kosten 0,02 bis 0,30 $ pro Million Input-Tokens; Frontier-Modelle liegen bei 15 bis 75 $ (Juli 2026).
• Output-Tokens kosten 3-5x mehr als Input-Tokens, weil Generierung sequenziell läuft und nicht parallel.
• Ein Support-Chatbot mit 50.000 Konversationen kostet je nach Modellklasse grob 9 bis 420 $ pro Monat.
• Die Inferenzpreise sind um etwa 10x pro Jahr gefallen; Gartner prognostiziert 90 % weniger bis 2030.

Was kostet LLM-Inferenz pro Million Tokens?

Die LLM-Inferenzpreise folgen Stand Juli 2026 einer Drei-Klassen-Struktur. Budget-Modelle von Anbietern wie Google (Gemini 2.5 Flash) und Open-Source-Optionen (Llama 4, Qwen 3) kosten 0,02 bis 0,30 $ pro Million Input-Tokens. Mittelklasse-Modelle (GPT-4.1, Claude Sonnet 4) landen zwischen 0,55 und 15 $. Frontier-Reasoning-Modelle (o3, Claude Opus 4.5) kosten 15 bis 75 $. Jeder Anbieter veröffentlicht diese Sätze auf seiner offiziellen Preisseite (OpenAI, Anthropic), und PricePerToken.com trackt über 300 Modelle in einer Live-Übersicht.

Stand Juli 2026 können Sie eine Million Input-Tokens für zwei Cent verarbeiten lassen oder für dieselbe Million auf einem Frontier-Modell 75 $ zahlen.

Rabatte auf Cache-Input senken Ihre Rechnung bei wiederholten Prompts um 50-90 % (Prompt-Caching senkt die Input-Kosten erklärt die Mechanik). Für die Live-Übersicht mit 300 Modellen und den aktuellen Sätzen aller Anbieter siehe unsere vollständige Token-Preistabelle.

Was treibt die LLM-Inferenzkosten? Die 4 Komponenten

Ihre Inferenzrechnung zerfällt in vier Kostentreiber: GPU-Rechenzeit pro Token, Speicher für Modellgewichte und den KV-Cache, die Input/Output-Asymmetrie, die Generierung teurer macht als Lesen, und den Infrastruktur-Overhead (Strom, Kühlung, Netzwerk). Zu wissen, welche Komponente Ihren Workload dominiert, zeigt Ihnen, wo sich Optimierung auszahlt.

Compute: GPU-Zeit pro Token

Jedes Token durchläuft jede Schicht des Modells. Ein Modell mit 70 Milliarden Parametern braucht bei FP16 rund 140 GFLOPs pro Token. Quantisierung auf INT4 drückt das auf etwa 35 GFLOPs. NVIDIAS Leitfaden zum Inferenz-Benchmarking schlüsselt die vollständige TCO-Formel auf: Hardware-Abschreibung plus Strom plus Betriebs-Overhead, geteilt durch die ausgelieferten Tokens.

Speicher: Modellgewichte + KV-Cache

Ein 70B-Modell belegt bei FP16 allein für die Gewichte rund 140 GB VRAM. Der KV-Cache wächst mit der Kontextlänge und der parallelen Batch-Größe. Bei 128K Kontext und 32 gleichzeitigen Anfragen können noch einmal 80 GB dazukommen. Genau deshalb sind die VRAM-Anforderungen nach Modell für Self-Hosting-Entscheidungen so wichtig.

Die Asymmetrie zwischen Input und Output

Output-Tokens kosten 3-5x mehr als Input-Tokens, weil das Modell sie nacheinander erzeugt, in Reihenfolge. Es kann diesen Vorgang nicht so parallelisieren wie das Lesen Ihres Prompts.

Die schlichte Version: Das Lesen Ihres 2.000-Token-Prompts (die „Prefill"-Phase) verarbeitet alle Tokens gleichzeitig über die GPU-Kerne hinweg. Die Erzeugung von 500 Output-Tokens (die „Decode"-Phase) läuft mit einem Token pro Schritt, wobei jeder vom vorherigen abhängt. Zwischen den Schritten wartet die GPU größtenteils untätig auf Speicherbandbreite. Genau diese Leerlaufzeit zahlen Sie mit dem 3-5fachen des Input-Satzes.

Infrastruktur-Overhead

Strom, Kühlung, Netzwerk und die GPUs, die zwischen den Anfragen im Leerlauf stehen. Die Optimierungs-Dokumentation von Hugging Face zeigt, wie Continuous Batching und Speculative Decoding mehr Tokens pro GPU-Stunde aus derselben Hardware holen und diesen Overhead-Anteil direkt senken.

Was kostet LLM-Inferenz für 4 reale Workloads?

Ein typischer Support-Chatbot kostet 9 bis 420 $ pro Monat, eine RAG-Pipeline läuft mit 168 bis 3.360 $ pro Monat, ein Code-Assistent für 200 Entwickler stellt 123 bis 2.078 $ pro Monat in Rechnung, und die Batch-Dokumentenverarbeitung landet zwischen 240 und 6.400 $ pro Monat. Die Spanne hängt fast vollständig von der Modellklasse ab. Wir haben diese vier Szenarien aus den Token-Volumina unserer Kunden-Deployments gebaut und gegen die offiziellen Preisseiten vom Juli 2026 gerechnet. Jede Dollar-Zahl unten ist nachvollziehbar: genannte Token-Annahmen multipliziert mit veröffentlichten Sätzen. Unsere Analyse, keine Herstellerangaben.

Kundensupport-Chatbot: 50.000 Konversationen pro Monat

Durchschnittliche Konversation: 800 Input-Tokens (System-Prompt + Nutzernachrichten + abgerufener Kontext), 400 Output-Tokens. Monatsvolumen: 50.000 Konversationen = 40 Mio. Input-Tokens, 20 Mio. Output-Tokens.

• Budget-Wahl (Gemini 2.5 Flash): 40 Mio. × 0,075 $/M + 20 Mio. × 0,30 $/M = 9 $ pro Monat. Fast schon verdächtig günstig.
• Mittelklasse-Wahl (Claude Sonnet 4): 40 Mio. × 3 $/M + 20 Mio. × 15 $/M = 420 $ pro Monat.

Für einen Support-Bot, der Tier-1-Tickets bearbeitet, erledigt das Budget-Modell 90 % der Anfragen problemlos. Die harten 10 % leiten Sie mit einem Klassifizierer an die Mittelklasse weiter.

RAG-Pipeline: 10.000 Anfragen pro Tag

Durchschnittliche Anfrage: 3.200 Input-Tokens (abgerufene Chunks + System-Prompt + Nutzerfrage), 600 Output-Tokens. Pro Monat: 300.000 Anfragen = 960 Mio. Input-Tokens, 180 Mio. Output-Tokens.

• Budget-Wahl (Llama 4 Scout per API): 960 Mio. × 0,10 $/M + 180 Mio. × 0,40 $/M = 168 $ pro Monat.
• Mittelklasse-Wahl (GPT-4.1): 960 Mio. × 2 $/M + 180 Mio. × 8 $/M = 3.360 $ pro Monat.

Der RAG-Workload ist input-lastig, daher greifen Rabatte auf Cache-Input hier stark. Mit 70 % Prompt-Caching fällt die Mittelklasse auf rund 2.100 $ pro Monat.

Code-Assistent: 200 Entwickler

Durchschnittliche Sitzung: 4.500 Input-Tokens (Dateikontext + Konversation), 1.200 Output-Tokens. Angenommen 15 Anfragen pro Entwickler und Tag, 22 Arbeitstage = 66.000 Anfragen pro Monat = 297 Mio. Input, 79 Mio. Output.

• Budget-Wahl (Qwen 3 32B): 297 Mio. × 0,20 $/M + 79 Mio. × 0,80 $/M = 123 $ pro Monat.
• Mittelklasse-Wahl (Claude Sonnet 4): 297 Mio. × 3 $/M + 79 Mio. × 15 $/M = 2.078 $ pro Monat.

Entwickler bemerken Qualitätsunterschiede schnell. Für Code ist die Mittelklasse meist die Untergrenze. Budget-Modelle taugen für Autovervollständigung, scheitern aber an Refactorings über mehrere Dateien.

Batch-Dokumentenverarbeitung: 1 Million Dokumente pro Monat

Durchschnittliches Dokument: 2.000 Input-Tokens, 300 Output-Tokens (Extraktion, Klassifizierung, Zusammenfassung). Pro Monat: 2 Mrd. Input, 300 Mio. Output.

• Budget-Wahl (Gemini 2.5 Flash): 2 Mrd. × 0,075 $/M + 300 Mio. × 0,30 $/M = 240 $ pro Monat.
• Mittelklasse-Wahl (GPT-4.1): 2 Mrd. × 2 $/M + 300 Mio. × 8 $/M = 6.400 $ pro Monat.

Bei diesem Volumen ist die 27fache Preisspanne zwischen den Klassen ein Posten von 6.160 $ pro Monat. Budget-Modelle bewältigen strukturierte Extraktion gut. Für die Hardware-Dimensionierung, falls Sie Self-Hosting in dieser Größenordnung erwägen, siehe VRAM-Anforderungen nach Modell.

def monthly_cost(input_tokens, output_tokens, requests, price_in, price_out):
    """Estimate monthly LLM inference cost.
    
    Args:
        input_tokens: avg input tokens per request
        output_tokens: avg output tokens per request
        requests: monthly request volume
        price_in: $/M input tokens
        price_out: $/M output tokens
    """
    total_in = input_tokens * requests / 1_000_000
    total_out = output_tokens * requests / 1_000_000
    return (total_in * price_in) + (total_out * price_out)

# Example: support chatbot on Claude Sonnet 4
cost = monthly_cost(
    input_tokens=800,
    output_tokens=400,
    requests=50_000,
    price_in=3.00,
    price_out=15.00
)
print(f"${cost:,.2f}/month")  # $420.00/month

API oder Self-Hosted: Wann lohnt sich was?

Die API gewinnt unterhalb von rund 20.000 Anfragen pro Tag oder wenn Ihrem Team die Erfahrung mit ML-Infrastruktur fehlt. Self-Hosted gewinnt oberhalb von 200.000 Anfragen pro Tag mit einer dauerhaften GPU-Auslastung über 50 %. Die Break-even-Schwelle liegt laut der Analyse von Introl bei rund 50.000 bis 80.000 Anfragen pro Tag für ein Modell der 70B-Klasse auf einem einzelnen H100-Node. Unterhalb dieser Schwelle schlägt die Multi-Tenant-Effizienz des API-Anbieters Ihre Single-Tenant-Hardware-Rechnung.

Wann die API gewinnt

Sie liefern in Tagen statt in Wochen. Kein ML-Engineer-Gehalt (180.000-250.000 $ pro Jahr), keine Rufbereitschaft für GPU-Ausfälle, keine Kapazitätsplanung. Für die meisten Teams mit weniger als 50 Entwicklern ist die API die richtige Standardeinstellung. Punkt.

Wann Self-Hosted gewinnt

Sie haben 200.000 Anfragen pro Tag überschritten, Ihr Workload ist vorhersehbar, und Sie beschäftigen bereits ML-Infrastruktur-Personal. Open-Source-Modelle (Llama 4, Qwen 3, Mistral) laufen auf Ihrer Hardware zu Stromkosten plus Abschreibung. Die vLLM-vs-SGLang-Benchmarks zeigen je nach Workload-Form Durchsatzunterschiede von 15-30 %, und in dieser Größenordnung zählt das.

Die Break-even-Zahl

Self-Hosted gewinnt erst ab rund 50 % dauerhafter GPU-Auslastung. Darunter zahlen Sie für untätiges Silizium. Die versteckten Personalkosten (ML-Engineering-Zeit, Rufbereitschaft, Modell-Updates, Sicherheits-Patches) sind der eigentliche Grund, warum die meisten Teams bei der API bleiben, selbst wenn die reine GPU-Rechnung günstig aussieht. Falls Sie doch selbst hosten, entfernt das Deployen von Modellen auf Modal die Infrastruktur-Verwaltungsschicht und hält die Token-Kosten unter den API-Sätzen.

Die versteckten Kosten, die niemand einplant

Die reinen Token-Ausgaben sind 60-80 % Ihrer tatsächlichen Rechnung. Der Rest versteckt sich in sechs Posten, die in keinem Preiskalkulator auftauchen. Planen Sie zusätzlich 20-40 % auf Ihre Token-Schätzung ein, um sie abzudecken.

• Monitoring- und Observability-Tools: 200-1.500 $ pro Monat. Dashboards für Token-Verbrauch, Latenz-Tracking, Kostenzuordnung pro Feature. Ein LLM-Observability-Stack amortisiert sich spätestens, wenn Sie eine Prompt-Regression abfangen, bevor sie Ihr Budget auffrisst.
• Retrys und fehlgeschlagene Wiederholungsläufe: 3-8 % der Anfragen scheitern oder brauchen einen Retry (Timeouts, Rate-Limits, fehlerhafte Ausgaben). Das sind 3-8 % Ihrer Token-Rechnung, die nichts produzieren.
• Prompt-Engineering-Iterationsstunden: 20-60 Stunden pro Quartal zu 100-200 $ voll belasteten Engineering-Kosten. Jede Prompt-Änderung lässt Testbatches erneut laufen.
• Evals und Regressionstests: 100-800 $ pro Monat an Token-Ausgaben für automatisierte Eval-Suiten. Sie bezahlen das Modell dafür, dass es sich selbst benotet.
• Multi-Region-Redundanz: 1,5-2fache Infrastrukturkosten, wenn Sie Failover über Regionen hinweg für Latenz oder Compliance brauchen.
• Cold-Start-Latenzstrafen: Serverless-GPU-Deployments (Modal, AWS Lambda) berechnen Leerlaufzeit. Cold Starts addieren 2-8 Sekunden und stellen Ihnen das Aufwärmen in Rechnung.

Die Faustregel: Multiplizieren Sie Ihre reine Token-Schätzung mit 1,3 für ein realistisches Budget. Multiplizieren Sie mit 1,4, wenn Sie in einer regulierten Branche mit Compliance-Overhead arbeiten.

Warum wird LLM-Inferenz immer günstiger?

Die LLM-Inferenzpreise sind seit 2023 um etwa 10x pro Jahr gefallen. Ein Workload, der 2024 noch 1.000 $ pro Monat kostete, liegt heute näher an 100 $. Drei Kräfte treiben das: Hardware-Verbesserungen (NVIDIA Blackwell FP4, Google TPU v6), Wettbewerbsdruck (DeepSeek und Open-Source-Modelle erzwingen Preiskriege) und Software-Optimierung (Speculative Decoding, Continuous Batching, Quantisierung). Gartner prognostiziert, dass die Inferenzkosten bis 2030 um weitere 90 % fallen, wobei das eine Prognose ist und keine Garantie.

Das Preis-Tracking von Epoch AI belegt diesen Rückgang mit harten Datenpunkten. Die „LLMflation"-Analyse von a16z prägte den Begriff und ordnete die wirtschaftlichen Folgen ein: Inferenz deflationiert schneller als jede frühere Compute-Kategorie.

Trainingskosten vs. Inferenzkosten

Das Training eines Frontier-Modells kostet 50-200 Mio. $ (einmalig). Die Inferenz für dasselbe Modell läuft über alle Nutzer hinweg bei 5-50 Mio. $ pro Jahr, je nach Skalierung. Für die meisten Teams liegt das Verhältnis bei 10-100x: Das Training kostet das 10- bis 100fache eines Jahres Inferenz. Aber Training ist eine einmalige Investition. Inferenz ist die wiederkehrende Betriebsrechnung, die mit dem Nutzerwachstum zusammengesetzt wird. Sie zahlen nicht für Training, außer Sie bauen ein Foundation Model. Sie zahlen jeden einzelnen Tag für Inferenz.

Der Stromkosten-Posten

Eine NVIDIA H100 zieht unter Last rund 700 W. Bei 0,10 $ pro kWh (US-Durchschnitt) sind das 0,07 $ pro GPU-Stunde. Ein 70B-Modell auf einer einzelnen H100 erzeugt im Batch-Betrieb rund 2.000 Output-Tokens pro Sekunde. Über eine Stunde: 7,2 Mio. Tokens. Stromkosten pro Million Output-Tokens: rund 0,01 $. Unsere Berechnung, als solche gekennzeichnet. Strom macht 1-3 % Ihrer API-Rechnung aus, aber 8-15 % der Self-Hosted-TCO. Er wiegt schwerer, wenn Sie eigene GPUs in einer Region mit hohen Strompreisen betreiben (Deutschland mit 0,30 $ pro kWh verdreifacht diese Zahl).

Die praktische Erkenntnis: Die Preise fallen schnell genug, dass eine 12-monatige Festlegung auf eine bestimmte Modellklasse riskant ist. Bewerten Sie quartalsweise neu. 12 Wege, Ihre LLM-Rechnung zu senken deckt die taktischen Schritte ab, die Sie jetzt sofort umsetzen können, während der Makrotrend die schwere Arbeit erledigt.

Wie schätzen Sie IHRE Inferenzkosten?

Schätzen Sie Ihre monatlichen LLM-Inferenzkosten in vier Schritten: Tokens pro Anfrage zählen, mit dem Monatsvolumen multiplizieren, den Klassenpreis anwenden und dann 20-40 % Overhead aufschlagen. Nach unserer Erfahrung bei der Dimensionierung von Inferenz-Budgets für Kunden überspringen die meisten Teams Schritt vier und wundern sich, warum die tatsächliche Rechnung um ein Drittel über der Schätzung liegt. Hier ist der Prozess, den wir verwenden.

1. Tokens pro Anfrage zählen. Protokollieren Sie Ihre durchschnittlichen Input-Tokens (System-Prompt + Kontext + Nutzernachricht) und Output-Tokens (Modellantwort) über mindestens 100 echte Anfragen. Nicht raten. Messen.
2. Mit dem Monatsvolumen multiplizieren. Anfragen pro Tag × 30 = monatliche Anfragen. Multiplizieren Sie das mit Ihren Token-Zahlen pro Anfrage.
3. Den Klassenpreis anwenden. Multiplizieren Sie die gesamten Input-Tokens mit dem $/M-Input-Satz des Modells. Dasselbe für Output. Addieren Sie beides.
4. 20-40 % Overhead aufschlagen. Retrys, Evals, Prompt-Iteration, Monitoring. Diese Zahl gehört in Ihr Budget, nicht Schritt 3.

def estimate_monthly_budget(avg_input_tokens, avg_output_tokens,
                            requests_per_day, price_in, price_out,
                            overhead_pct=0.30):
    """Full monthly budget estimate with overhead."""
    monthly_requests = requests_per_day * 30
    raw_cost = monthly_cost(
        avg_input_tokens, avg_output_tokens,
        monthly_requests, price_in, price_out
    )
    return raw_cost * (1 + overhead_pct)

# RAG pipeline: 10K queries/day on GPT-4.1
budget = estimate_monthly_budget(
    avg_input_tokens=3200,
    avg_output_tokens=600,
    requests_per_day=10_000,
    price_in=2.00,
    price_out=8.00,
    overhead_pct=0.30
)
print(f"${budget:,.0f}/month")  # $4,368/month

Sobald Sie Ihre Zahl kennen, leiten LLM-Gateway-Tools den Traffic an das günstigste Modell, das Ihre Qualitätshürde nimmt. Ein Gateway mit Modellauswahl pro Anfrage kann Ihre gemischten Kosten um 30-50 % senken, ohne dass Sie Ihre Prompts anfassen.

Häufig gestellte Fragen

Ist LLM-Inferenz teuer?

Das hängt von der Skalierung und der Modellwahl ab. Eine Million Input-Tokens kostet 0,02 $ auf Gemini 2.5 Flash oder 75 $ auf einem Frontier-Reasoning-Modell. Für eine kleine App mit 10.000 Anfragen pro Tag rechnen Sie mit 50-400 $ pro Monat. Für Enterprise-Workloads mit über 1 Million Anfragen pro Tag liegen die Budgets bei 5.000-40.000 $ pro Monat. Die Kosten pro Einheit sind niedrig; das Volumen macht die Summe.

Wie viel sind 1 Million Tokens bei einem LLM?

Eine Million Tokens entspricht rund 750.000 Wörtern oder etwa 10 ausgewachsenen Romanen. Im Juli 2026 kostet die Verarbeitung von 1 Million Input-Tokens 0,02 $ (Budget-Klasse) bis 75 $ (Frontier-Klasse). Output-Tokens für dieselbe Menge liegen bei 0,06 bis 300 $. Die meisten Produktions-Workloads landen in der Mittelklasse: 2-15 $ pro Million Input-Tokens.

Warum ist KI-Inferenz so teuer?

Inferenz erfordert, jedes Token durch Milliarden von Modellparametern auf GPUs zu jagen, die einzeln 25.000-40.000 $ kosten. Die Decode-Phase erzeugt Tokens sequenziell und lässt die GPU-Kerne zwischen den Schritten im Leerlauf. Sie zahlen für Spezialhardware, Strom, Kühlung und das Engineering-Team des Anbieters, das den Serving-Stack rund um die Uhr am Laufen hält.

Sinken die Kosten für KI-Inferenz?

Ja, seit 2023 um etwa 10x pro Jahr. GPT-4 startete mit 30/60 $ pro Million Tokens (Input/Output). Vergleichbare Leistung kostet heute 2-10 $. Die Daten von Epoch AI bestätigen diesen Verlauf über alle Anbieter hinweg. Gartner prognostiziert einen weiteren Rückgang um 90 % bis 2030, getrieben von Hardware-Verbesserungen und dem Wettbewerbsdruck durch Open-Source-Modelle.

Was kostet LLM-Inferenz im Jahr 2026?

Budget-Modelle: 0,02-0,30 $ pro Million Input-Tokens. Mittelklasse: 0,55-15 $. Frontier: 15-75 $. Ein typischer Produktions-Workload (Support-Chatbot, RAG-Pipeline oder Code-Assistent) kostet auf Mittelklasse-Modellen 150-4.000 $ pro Monat. Budget-Modelle erledigen hochvolumige Aufgaben mit geringer Komplexität für das 10- bis 30fache weniger.

Was ist der Unterschied zwischen Trainingskosten und Inferenzkosten?

Training ist die einmalige Ausgabe, ein Modell von Grund auf zu lehren: 50-200 Mio. $ für ein Frontier-Modell, wobei Tausende GPUs über Monate laufen. Inferenz ist die wiederkehrende Ausgabe, dieses trainierte Modell zu nutzen: Inputs durchlaufen es, um Outputs zu erhalten, abgerechnet pro Token. Für die meisten Teams ist Inferenz die einzige Rechnung, die sie zahlen. Training ist etwas für Unternehmen, die Foundation Models bauen.

Wie berechne ich die LLM-Inferenzkosten für meine App?

Multiplizieren Sie die durchschnittlichen Input-Tokens pro Anfrage mit Ihrem monatlichen Anfragevolumen und dann mit dem $/M-Input-Satz des Modells. Wiederholen Sie das für die Output-Tokens. Addieren Sie beides. Schlagen Sie 30 % für Retrys, Evals und Monitoring-Overhead auf. Die Python-Snippets in diesem Beitrag automatisieren die Rechnung. Messen Sie echte Token-Zahlen statt zu raten; Logs aus mindestens 100 Anfragen liefern einen verlässlichen Durchschnitt.

Kosten Output-Tokens mehr als Input-Tokens?

Ja, typischerweise 3-5x mehr. Die Input-Verarbeitung (Prefill) parallelisiert über alle Tokens gleichzeitig und nutzt die GPU-Kerne voll aus. Die Output-Generierung (Decode) erzeugt ein Token nach dem anderen, wobei jedes vom vorherigen abhängt. Zwischen den Schritten wartet die GPU auf Speicherbandbreite. Die Anbieter bepreisen Output höher, um diese geringere Hardware-Effizienz abzubilden.

Ist selbst gehostete Inferenz günstiger als eine API?

Nur oberhalb von rund 200.000 Anfragen pro Tag mit einer dauerhaften GPU-Auslastung über 50 %. Darunter schlägt die Multi-Tenant-Effizienz der API-Anbieter Ihre Single-Tenant-Hardware. Self-Hosting bringt außerdem versteckte Kosten mit: ML-Engineer-Gehälter (180.000-250.000 $ pro Jahr), Rufbereitschaft, Modell-Updates und Sicherheits-Patches. Die meisten Teams mit weniger als 50 Entwicklern sollten bei der API bleiben.

Verbraucht LLM-Inferenz viel Energie?

Eine H100-GPU zieht unter Last rund 700 W. Bei 0,10 $ pro kWh sind das 0,07 $ pro GPU-Stunde, was für ein 70B-Modell grob 0,01 $ pro Million Output-Tokens ergibt. Energie macht 1-3 % einer API-Rechnung aus, aber 8-15 % der Self-Hosted-TCO. In Regionen mit hohen Strompreisen (Deutschland, 0,30 $ pro kWh) verdreifacht sich der Energieanteil und beeinflusst die Self-Hosting-Wirtschaftlichkeit spürbar.

Unterm Strich

Vier Zahlen zum Merken: 0,02 $ (Budget-Untergrenze pro Million Input-Tokens), 3-5x (Output-Aufschlag gegenüber Input), 20-40 % (Overhead, den Sie auf die reine Token-Rechnung aufschlagen) und 10x (jährlicher Preisverfall seit 2023). Ihre tatsächliche Rechnung hängt vom Volumen, der Modellklasse und davon ab, wie konsequent Sie cachen, batchen und Traffic routen.

Bei Techsy dimensioniert unser Team Inferenz-Budgets und wählt Modellklassen für B2B-Kunden, die LLM-Workloads in der Produktion betreiben. Wenn Sie einen zweiten Blick auf Ihr Kostenmodell möchten, sichern Sie sich eine kostenlose Beratung.