Kalkulačka nákladů na API OpenAI, Claude a Gemini

Jako první optimalizaci zapněte cachování promptů, ještě před čímkoli jiným. U Anthropic označte stabilní systémový prompt hlavičkami cache_control a cachované tokeny vyjdou zhruba na 10 % standardní ceny vstupu. U OpenAI cachování probíhá automaticky na určitých endpointech, pokud je prefix promptu ve všech požadavcích stejný. Největší přínos má u workloadů s dlouhým stabilním kontextem a velkým počtem požadavků: chatboti s propracovanými personami, RAG systémy s opakujícím se kontextem vyhledávání a jakákoli agentská smyčka, která opakovaně posílá dlouhou sadu instrukcí. Většina týmů na zapnutí cachování zapomíná a přeplácí 5× až 10×.

Všechny workloady mimo reálný čas přesuňte do Batch API. Anthropic i OpenAI nabízejí batch endpointy za přesně 50 % standardní ceny, výměnou za 24hodinové SLA na odpověď. Klasifikační úlohy, moderování obsahu, generování embeddingů, sumarizační pipeliny i evaluační běhy — to vše jsou vhodní kandidáti. Integrační práce je triviální, protože prompt a model zůstávají beze změny. Týmy běžně pouští celé pipeline na tagování obsahu za standardní ceny, přitom batch by snížil účet na polovinu s nulovým rozdílem v kvalitě.

Směrujte požadavky podle náročnosti. Jednoduché dotazy (pozdravy, formátování, základní vyhledávání) patří na GPT-4o mini, Claude Haiku nebo Gemini Flash za 0,15 až 0,80 $ za milion vstupních tokenů. Náročné uvažování patří na Claude Opus, GPT-4.5 nebo Gemini Pro za 1,25 až 75 $ za milion. Malý klasifikátor před routerem modelů typicky sníží náklady u smíšených workloadů o 60 až 80 %. Posílat všechno na frontier model je nejčastější chyba v nákladech na AI, kterou v produkci vídáme.

Agresivně zastropujte max_tokens. Výstupní tokeny stojí 3× až 5× více než vstupní a výchozí 4K buffer pro výstup je mnohem větší, než většina odpovědí potřebuje. Odpovědi ano/ne omezte na 10 tokenů, krátká shrnutí na 200 a strukturovaný JSON na to, co vyžaduje vaše schéma, plus malou rezervu. Model se občas rozepíše, i když jste o to nežádali, a vy za tu výřečnost platíte. Přísnější limit max_tokens ve většině případů znamená snížení nákladů na výstup o 30 až 50 %.

Ořežte načtený kontext jen na to, co daný dotaz potřebuje. RAG systémy často načtou 10 až 20 chunků a pro jistotu je všechny nacpou do promptu. Výsledkem je, že platíte za tisíce irelevantních tokenů na každý požadavek. Přidání rerankeru, který výběr zúží na 3 až 5 nejrelevantnějších chunků, typicky sníží spotřebu vstupních tokenů o 50 až 70 % bez ztráty kvality — a často se kvalita dokonce zlepší, protože model nerozptyluje irelevantní kontext.

Logujte každý požadavek s počtem tokenů, modelem a stavem cachováno vs. necachováno. Co nevidíte, to nemůžete optimalizovat — a náklady na AI mohou přes noc změnit podobu, když vyjde nová funkce nebo se doladí prompt. Nastavte si denní alerty na útratu. Postavte si dashboard, který útratu člení podle funkce, modelu a endpointu. Většina překročení nákladů v produkci, se kterými se setkáváme, vzniká proto, že se vzorec používání změnil dva týdny předtím, než se někdo podíval na účet.