Kalkulačka nákladů na integraci AI

Než začnete optimalizovat cokoli jiného, zapněte prompt caching. Anthropic i OpenAI umožňují cachovat stabilní části vstupu (systémový prompt, načtený kontext, definice nástrojů) a na cachovaných tokenech ušetříte zhruba 90 %. Pětiminutová cache Anthropic je zdarma a hodinová cache přináší 25% příplatek. U jakéhokoli chatbota nebo RAG systému se stabilním systémovým promptem nad 2 000 tokenů se caching zaplatí během několika hodin od spuštění. Většina týmů na něj zapomene a měsíce platí 5× až 10× víc.

Přesuňte všechny úlohy, které nevyžadují reálný čas, do Batch API. Klasifikace, sumarizace, generování embeddingů, evaluační běhy i noční zpracování jsou ideální kandidáti. Batch stojí přesně 50 % standardní ceny výměnou za 24hodinové SLA a integrace je triviální: stejný model, stejný prompt, jiný endpoint. Týmy běžně provozují celou pipeline moderování obsahu nebo tagování dokumentů za standardní ceny, přitom batch může snížit účet na polovinu bez rozdílu v kvalitě.

Směrujte požadavky podle obtížnosti. Jednoduché dotazy (pozdravy, jednoduchá vyhledání, formátovací úkoly) posílejte do Claude Haiku nebo GPT-4o mini za 0,15 až 0,80 $ za milion vstupních tokenů. Claude Opus nebo GPT-4.5 (za 15 až 75 $ za milion) si nechte na složité uvažování, kde levnější modely opravdu selhávají. Jednoduchý klasifikátor obtížnosti před routerem modelů obvykle sníží náklady o 60 až 80 % u smíšených úloh. Většina týmů posílá vše do špičkového modelu, což je jako letět první třídou vynést odpadky.

Agresivně omezujte max_tokens. Výstupní tokeny stojí 3× až 5× více než vstupní tokeny a většina odpovědí nepotřebuje buffer 4 000 tokenů, který API standardně umožňuje. Pokud extrahujete odpověď ano/ne, omezte výstup na 10 tokenů. Pokud generujete krátké shrnutí, omezte ho na 200. Model někdy chce vysvětlovat své uvažování, i když jste o to nežádali, a vy za tato vysvětlení platíte. Přísnější nastavení max_tokens často samo o sobě sníží náklady na výstup o 30 až 50 %.

Cachujte deterministické odpovědi na aplikační vrstvě. Pokud stejný vstup dává stejný výstup (kategorizace, pevná vyhledání, překlad kódu), uložte výsledek do Redis nebo databáze a při opakovaných požadavcích ho vracejte z cache. Aplikační caching navrstvený na caching na úrovni API může snížit celkové výdaje za LLM o dalších 30 až 50 % u úloh s opakujícími se vstupy. Klasický případ je kategorizace produktů v e-commerce měřítku, kde se stejné SKU zbytečně kategorizuje stovkykrát.

Zaveďte monitoring tokenů od prvního dne. Nemůžete optimalizovat to, co neměříte, a náklady na AI rostou dost rychle na to, aby špatně nastavený prompt nebo nekontrolovaná smyčka vygenerovaly účet 10 000 $ za víkend. U každého požadavku logujte vstupní tokeny, výstupní tokeny, použitý model a informaci, zda byl cachovaný, nebo ne. Nastavte denní upozornění na výdaje. Většina překročení nákladů, která v produkci vidíme, vzniká proto, že si nikdo dva týdny nevšiml změny ve vzorci používání, dokud nepřišla faktura.