Calculator cost API OpenAI, Claude & Gemini

Activează prompt caching ca primă optimizare, înaintea oricărei alte măsuri. La Anthropic, marchează promptul de sistem stabil cu headere cache_control, iar tokenii din cache vor costa aproximativ 10% din prețul standard de input. La OpenAI, cachingul se aplică automat pe anumite endpointuri atunci când prefixul promptului este identic de la o cerere la alta. Câștigul este maxim pentru workloaduri cu context lung și stabil și multe cereri: chatboți cu persona detaliată, sisteme RAG cu context de retrieval repetat și orice buclă de agent care retrimite un set lung de instrucțiuni. Majoritatea echipelor uită să activeze cachingul și plătesc de 5 până la 10 ori mai mult.

Mută toate workloadurile care nu țin de timp real pe Batch API. Atât Anthropic, cât și OpenAI oferă endpointuri batch la exact 50% din prețul standard, în schimbul unui SLA de răspuns de 24 de ore. Joburile de clasificare, moderarea conținutului, generarea de embeddinguri, pipelineurile de sumarizare și rulările de evaluare sunt toate candidate potrivite. Efortul de integrare este minim, pentru că promptul și modelul rămân neschimbate. Echipele rulează în mod obișnuit întregul pipeline de etichetare a conținutului la preț standard, deși batch ar înjumătăți factura, fără nicio diferență de calitate.

Rutează cererile în funcție de dificultate. Interogările simple (saluturi, formatare, căutări de bază) se potrivesc pe GPT-4o mini, Claude Haiku sau Gemini Flash, la $0,15 până la $0,80 per milion de tokeni de input. Raționamentul complex se potrivește pe Claude Opus, GPT-4.5 sau Gemini Pro, la $1,25 până la $75 per milion. Un clasificator mic plasat în fața routerului de modele reduce de obicei costurile cu 60 până la 80% pentru workloaduri mixte. Trimiterea tuturor cererilor către un model de frontieră este cea mai frecventă greșeală de costuri AI pe care o vedem în producție.

Limitează agresiv max_tokens. Tokenii de output costă de 3 până la 5 ori mai mult decât tokenii de input, iar bufferul implicit de 4K pentru output este mult mai mare decât au nevoie majoritatea răspunsurilor. Limitează răspunsurile de tip da sau nu la 10 tokeni, sumarele scurte la 200, iar JSON-ul structurat la cât cere schema ta, plus un buffer mic. Uneori modelul vrea să elaboreze chiar și când nu ai cerut asta, iar tu plătești pentru acele elaborări. Restrângerea max_tokens înseamnă o reducere cu 30 până la 50% a costurilor de output în majoritatea cazurilor.

Redu contextul recuperat la strictul necesar pentru fiecare interogare. Sistemele RAG recuperează adesea 10 până la 20 de chunkuri și le îndesă pe toate în prompt, pentru siguranță. Rezultatul înseamnă să plătești pentru mii de tokeni irelevanți per cerere. Adăugarea unui reranker care filtrează până la primele 3 până la 5 cele mai relevante chunkuri reduce de obicei consumul de tokeni de input cu 50 până la 70%, fără pierderi de calitate, adesea chiar cu o îmbunătățire a calității, pentru că modelul nu mai este distras de context irelevant.

Loghează fiecare cerere cu numărul de tokeni, modelul și statusul cached versus uncached. Nu poți optimiza ceea ce nu vezi, iar costurile AI își pot schimba forma peste noapte când se lansează o funcționalitate nouă sau când un prompt este ajustat. Setează alerte zilnice de cheltuieli. Construiește un dashboard care defalcă cheltuielile pe funcționalitate, model și endpoint. Majoritatea depășirilor de costuri în producție pe care le întâlnim apar pentru că un tipar de utilizare s-a schimbat cu două săptămâni înainte ca cineva să se uite pe factură.