Cât costă inferența LLM? O analiză pe 4 scenarii, cu calcule reale

Cât costă inferența LLM? O analiză pe 4 scenarii, cu calcule reale

GPT-4 costa 30 $ per milion de tokeni de input în martie 2023. Trei ani mai târziu, GPT-5.6 procesează același milion pentru 10 $. Claude Opus 4.5 e la 15 $. Iar cel mai mic preț? Doi cenți. Asta înseamnă o diferență de 1.500x între cea mai ieftină și cea mai scumpă opțiune, pentru exact aceeași unitate de lucru. Costul inferenței LLM este factura recurentă pe care o plătești de fiecare dată când un model antrenat îți citește inputul și generează un răspuns, tarifată per milion de tokeni de toți furnizorii mari. Modelele economice costă 0,02 $–0,30 $ per milion de tokeni de input. Modelele de frontieră cer 15 $–75 $ pentru același volum. Diferența contează pentru că workload-ul tău, nu ambiția ta, stabilește clasa de care ai nevoie cu adevărat.

Idei principale:

• Modelele economice costă 0,02 $–0,30 $ per milion de tokeni de input; cele de frontieră costă 15 $–75 $ (iulie 2026).
• Tokenii de output costă de 3–5 ori mai mult decât cei de input, pentru că generarea este secvențială, nu paralelă.
• Un chatbot de suport cu 50K de conversații costă aproximativ 9 $–420 $/lună, în funcție de clasa modelului.
• Prețurile inferenței au scăzut de ~10 ori pe an; Gartner proiectează o scădere de 90% până în 2030.

Cât costă inferența LLM per milion de tokeni?

Prețurile inferenței LLM urmează o structură pe trei niveluri, din iulie 2026. Modelele economice de la furnizori precum Google (Gemini 2.5 Flash) și opțiunile open-source (Llama 4, Qwen 3) costă 0,02 $–0,30 $ per milion de tokeni de input. Modelele de nivel mediu (GPT-4.1, Claude Sonnet 4) se încadrează între 0,55 $ și 15 $. Modelele de frontieră pentru raționament (o3, Claude Opus 4.5) comandă 15 $–75 $. Fiecare furnizor publică aceste tarife pe paginile oficiale de prețuri (OpenAI, Anthropic), iar PricePerToken.com urmărește peste 300 de modele într-o grilă live.

Din iulie 2026, poți procesa un milion de tokeni de input pentru doar doi cenți sau poți plăti 75 de dolari pentru același milion pe un model de frontieră.

Reducerile pentru input din cache îți taie factura cu 50–90% la prompturi repetate (ghidul despre prompt caching explică mecanismul). Pentru grila live cu peste 300 de modele și tarifele actuale ale fiecărui furnizor, vezi tabelul nostru complet cu prețuri per token.

Ce determină costul inferenței LLM? Cele 4 componente

Factura ta de inferență se împarte în patru componente de cost: timpul de calcul GPU per token, memoria pentru greutățile modelului și cache-ul KV, asimetria input/output care face generarea mai scumpă decât citirea și costurile generale de infrastructură (energie, răcire, rețelistică). Dacă înțelegi ce componentă domină workload-ul tău, știi unde merită să optimizezi.

Calcul: timp GPU per token

Fiecare token trece prin fiecare strat al modelului. Un model de 70B de parametri în FP16 are nevoie de aproximativ 140 GFLOP-uri per token. Cuantizarea la INT4 reduce asta la ~35 GFLOP-uri. Ghidul NVIDIA de benchmarking pentru inferență detaliază formula completă a TCO: amortizarea hardware plus electricitate plus costuri operaționale, împărțite la numărul de tokeni serviți.

Memorie: greutățile modelului + cache-ul KV

Un model de 70B în FP16 ocupă ~140 GB de VRAM doar pentru greutăți. Cache-ul KV crește odată cu lungimea contextului și dimensiunea batch-ului concurent. La un context de 128K cu 32 de cereri concurente, poți consuma încă 80 GB. De aceea cerințele de VRAM pe modele contează atât de mult pentru deciziile de self-hosting.

Asimetria dintre input și output

Tokenii de output costă de 3–5 ori mai mult decât cei de input pentru că modelul îi generează unul câte unul, în ordine. Nu poate paraleliza procesul așa cum face la citirea promptului.

Iată versiunea simplă: citirea promptului tău de 2.000 de tokeni (faza de „prefill”) procesează toți tokenii simultan, pe toate nucleele GPU. Generarea a 500 de tokeni de output (faza de „decode”) rulează câte un token per pas, fiecare depinzând de cel anterior. GPU-ul stă mai mult inactiv, așteptând lățimea de bandă a memoriei între pași. Timpul acela de așteptare este ceea ce plătești la un tarif de 3–5 ori mai mare decât al inputului.

Costuri de infrastructură

Energie, răcire, rețelistică și GPU-uri care stau inactive între cereri. Documentația de optimizare Hugging Face acoperă modul în care continuous batching și speculative decoding scot mai mulți tokeni per oră-GPU din același hardware, reducând direct această pondere de costuri generale.

Cât costă inferența LLM pentru 4 workload-uri reale?

Un chatbot de suport tipic costă 9 $–420 $/lună, un pipeline RAG rulează 168 $–3.360 $/lună, un asistent de cod pentru 200 de dezvoltatori facturează 123 $–2.078 $/lună, iar procesarea batch de documente ajunge între 240 $ și 6.400 $/lună. Marja depinde aproape în totalitate de clasa modelului ales. Am construit aceste patru scenarii din volumele de tokeni ale implementărilor noastre la clienți, cu prețurile verificate pe paginile oficiale din iulie 2026. Fiecare sumă de mai jos este reproductibilă: presupunerile declarate de tokeni înmulțite cu tarifele publicate. Analiza noastră, nu promisiunile furnizorilor.

Chatbot de suport pentru clienți: 50K conversații/lună

Conversație medie: 800 tokeni de input (prompt de sistem + mesaje utilizator + context recuperat), 400 tokeni de output. Volum lunar: 50.000 conversații = 40M tokeni de input, 20M tokeni de output.

• Opțiune economică (Gemini 2.5 Flash): 40M × 0,075 $/M + 20M × 0,30 $/M = 9 $/lună. Aproape suspect de ieftin.
• Opțiune medie (Claude Sonnet 4): 40M × 3 $/M + 20M × 15 $/M = 420 $/lună.

Pentru un bot de suport care preia tichete de nivel 1, modelul economic rezolvă 90% din întrebări fără probleme. Direcționează cele 10% dificile către un model de nivel mediu, cu un clasificator.

Pipeline RAG: 10K interogări/zi

Interogare medie: 3.200 tokeni de input (chunk-uri recuperate + prompt de sistem + întrebarea utilizatorului), 600 tokeni de output. Lunar: 300K interogări = 960M tokeni de input, 180M tokeni de output.

• Opțiune economică (Llama 4 Scout prin API): 960M × 0,10 $/M + 180M × 0,40 $/M = 168 $/lună.
• Opțiune medie (GPT-4.1): 960M × 2 $/M + 180M × 8 $/M = 3.360 $/lună.

Workload-ul RAG este intensiv pe input, deci reducerile pentru input din cache lovesc puternic aici. Cu 70% prompt caching, nivelul mediu scade la ~2.100 $/lună.

Asistent de cod: 200 de dezvoltatori

Sesiune medie: 4.500 tokeni de input (context de fișiere + conversație), 1.200 tokeni de output. Presupunem 15 cereri/dezvoltator/zi, 22 zile lucrătoare = 66.000 cereri/lună = 297M input, 79M output.

• Opțiune economică (Qwen 3 32B): 297M × 0,20 $/M + 79M × 0,80 $/M = 123 $/lună.
• Opțiune medie (Claude Sonnet 4): 297M × 3 $/M + 79M × 15 $/M = 2.078 $/lună.

Dezvoltatorii observă rapid lipsurile de calitate. Pentru cod, nivelul mediu este de obicei pragul minim. Modelele economice funcționează pentru sugestii de tip autocomplete, dar se chinuie la refactorizări pe mai multe fișiere.

Procesare batch de documente: 1M documente/lună

Document mediu: 2.000 tokeni de input, 300 tokeni de output (extragere, clasificare, rezumare). Lunar: 2B input, 300M output.

• Opțiune economică (Gemini 2.5 Flash): 2B × 0,075 $/M + 300M × 0,30 $/M = 240 $/lună.
• Opțiune medie (GPT-4.1): 2B × 2 $/M + 300M × 8 $/M = 6.400 $/lună.

La acest volum, diferența de preț de 27x între clase devine o linie de buget de 6.160 $/lună. Modelele economice gestionează bine extragerea structurată. Pentru dimensionarea hardware, dacă iei în calcul self-hosting la acest volum, verifică cerințele de VRAM pe modele.

def monthly_cost(input_tokens, output_tokens, requests, price_in, price_out):
    """Estimate monthly LLM inference cost.
    
    Args:
        input_tokens: avg input tokens per request
        output_tokens: avg output tokens per request
        requests: monthly request volume
        price_in: $/M input tokens
        price_out: $/M output tokens
    """
    total_in = input_tokens * requests / 1_000_000
    total_out = output_tokens * requests / 1_000_000
    return (total_in * price_in) + (total_out * price_out)

# Example: support chatbot on Claude Sonnet 4
cost = monthly_cost(
    input_tokens=800,
    output_tokens=400,
    requests=50_000,
    price_in=3.00,
    price_out=15.00
)
print(f"${cost:,.2f}/month")  # $420.00/month

API sau self-hosted: când câștigă fiecare?

API-ul câștigă sub ~20K cereri/zi sau când echipa ta nu are experiență în infrastructură ML. Self-hosted câștigă peste 200K cereri/zi, cu o utilizare susținută a GPU de peste 50%. Pragul de rentabilitate, conform analizei Introl, se situează în jur de 50–80K cereri/zi pentru un model din clasa 70B pe un singur nod H100. Sub acel prag, eficiența multi-tenant a furnizorului de API bate calculul hardware-ului tău single-tenant.

Când câștigă API-ul

Livrezi în zile, nu în săptămâni. Fără salariu de inginer ML (180K $–250K $/an), fără ture de on-call pentru defecțiuni GPU, fără planificare de capacitate. Pentru majoritatea echipelor cu sub 50 de ingineri, API-ul este alegerea implicită corectă. Punct.

Când câștigă self-hosted

Ai depășit 200K cereri/zi, workload-ul tău este previzibil și ai deja oameni de infrastructură ML angajați. Modelele open-source (Llama 4, Qwen 3, Mistral) rulează pe hardware-ul tău la cost de electricitate plus amortizare. Benchmark-urile vLLM vs SGLang arată diferențe de randament de 15–30% în funcție de forma workload-ului, ceea ce contează la această scară.

Numărul de prag

Self-hosted câștigă doar peste ~50% utilizare GPU susținută. Sub asta, plătești pentru silicon inactiv. Costurile ascunse de personal (timpul inginerilor ML, on-call, actualizări de model, patch-uri de securitate) sunt motivul real pentru care majoritatea echipelor rămân pe API chiar și când calculul brut al GPU-urilor pare favorabil. Dacă totuși faci self-hosting, ghidul de deploy pe Modal elimină stratul de administrare a infrastructurii, păstrând costurile per token sub tarifele de API.

Costurile ascunse pe care nu le bugetează nimeni

Cheltuielile brute pe token reprezintă 60–80% din factura ta reală. Restul se ascunde în șase linii de buget care nu apar niciodată într-un calculator de prețuri. Bugetează încă 20–40% peste estimarea ta de tokeni pentru a le acoperi.

• Instrumente de monitorizare și observabilitate: 200 $–1.500 $/lună. Dashboard-uri de consum de tokeni, urmărire a latenței, atribuirea costurilor pe funcționalitate. Un stack de observabilitate LLM se plătește singur prima dată când prinzi o regresie de prompt înainte să-ți ardă bugetul.
• Reîncercări și rerulări după eșec: 3–8% din cereri eșuează sau au nevoie de retry (timeout-uri, limite de rată, outputuri malformate). Asta înseamnă 3–8% din factura ta de tokeni, cheltuiți fără să producă nimic.
• Ore de iterație pe prompt engineering: 20–60 de ore pe trimestru, la un cost complet de inginer de 100 $–200 $/oră. Fiecare ajustare de prompt rerulează batch-uri de test.
• Testare de evaluare și regresie: 100 $–800 $/lună în tokeni pentru suite automate de eval. Plătești modelul ca să se corecteze singur.
• Redundanță multi-regiune: cost de infrastructură de 1,5–2x dacă ai nevoie de failover între regiuni pentru latență sau conformitate.
• Penalități de latență la cold start: Deployment-urile serverless GPU (Modal, AWS Lambda) taxează timpul inactiv. Cold start-urile adaugă 2–8 secunde și te facturează pentru încălzire.

Regula de bază: înmulțește estimarea brută de tokeni cu 1,3 pentru un buget realist. Înmulțește cu 1,4 dacă activezi într-o industrie reglementată, cu costuri de conformitate.

De ce devine inferența LLM tot mai ieftină?

Prețurile inferenței LLM au scăzut de aproximativ 10 ori pe an din 2023. Un workload care costa 1.000 $/lună în 2024 costă acum aproape 100 $. Trei forțe conduc asta: îmbunătățirile hardware (NVIDIA Blackwell FP4, Google TPU v6), presiunea concurențială (DeepSeek, modelele open-source care forțează războaie de prețuri) și optimizările software (speculative decoding, continuous batching, cuantizare). Gartner proiectează o nouă scădere de 90% până în 2030, deși aceasta este o proiecție, nu o garanție.

Urmărirea prețurilor de către Epoch AI documentează această scădere cu date concrete. Analiza „LLMflation” a a16z a inventat termenul și a încadrat implicațiile economice: inferența se deflaționează mai rapid decât orice categorie de calcul anterioară.

Cost de antrenare vs cost de inferență

Antrenarea unui model de frontieră costă 50M $–200M $ (o singură dată). Inferența pentru același model, pentru toți utilizatorii, costă 5M $–50M $ pe an, în funcție de scară. Pentru majoritatea echipelor, raportul este de 10–100x: antrenamentul costă de 10–100 ori cât un an de inferență. Dar antrenamentul este o cheltuială de capital unică. Inferența este factura operațională recurentă care se acumulează odată cu creșterea utilizatorilor. Nu plătești pentru antrenare decât dacă construiești un model de fundație. Plătești pentru inferență în fiecare zi.

Linia de energie

Un NVIDIA H100 consumă ~700W în sarcină. La 0,10 $/kWh (media SUA), asta înseamnă 0,07 $ pe oră-GPU. Un model de 70B pe un singur H100 generează aproximativ 2.000 tokeni de output/secundă în batch. Pe o oră: 7,2M tokeni. Costul electricității per milion de tokeni de output: ~0,01 $. Calculul nostru, etichetat ca atare. Energia reprezintă 1–3% din factura ta de API, dar 8–15% din TCO-ul self-hosted. Contează mai mult dacă rulezi propriile GPU-uri într-o regiune cu electricitate scumpă (Germania, la 0,30 $/kWh, triplează acest număr).

Concluzia practică: prețurile scad suficient de repede încât un angajament pe 12 luni față de o anumită clasă de modele este riscant. Reevaluează trimestrial. Ghidul 12 metode de a-ți reduce factura LLM acoperă mutările tactice pe care le poți face chiar acum, în timp ce trendul macro face munca grea.

Cum îți estimezi propriul cost de inferență?

Estimează-ți costul de inferență LLM lunar în patru pași: numără tokenii per cerere, înmulțește cu volumul lunar, aplică tariful clasei, apoi adaugă 20–40% costuri generale. Din experiența noastră de dimensionare a bugetelor de inferență pentru clienți, majoritatea echipelor sar peste pasul patru și se miră de ce factura reală depășește estimarea cu o treime. Iată procesul pe care îl folosim.

1. Numără tokenii per cerere. Înregistrează media tokenilor de input (prompt de sistem + context + mesaj utilizator) și a tokenilor de output (răspunsul modelului) pe parcursul a peste 100 de cereri reale. Nu ghici. Măsoară.
2. Înmulțește cu volumul lunar. Cereri/zi × 30 = cereri lunare. Înmulțește cu numărul de tokeni per cerere.
3. Aplică tariful clasei. Înmulțește totalul tokenilor de input cu tariful $/M al modelului. La fel pentru output. Adună-le.
4. Adaugă 20–40% costuri generale. Reîncercări, evaluări, iterații de prompt, monitorizare. Acesta este numărul care intră în bugetul tău, nu pasul 3.

def estimate_monthly_budget(avg_input_tokens, avg_output_tokens,
                            requests_per_day, price_in, price_out,
                            overhead_pct=0.30):
    """Full monthly budget estimate with overhead."""
    monthly_requests = requests_per_day * 30
    raw_cost = monthly_cost(
        avg_input_tokens, avg_output_tokens,
        monthly_requests, price_in, price_out
    )
    return raw_cost * (1 + overhead_pct)

# RAG pipeline: 10K queries/day on GPT-4.1
budget = estimate_monthly_budget(
    avg_input_tokens=3200,
    avg_output_tokens=600,
    requests_per_day=10_000,
    price_in=2.00,
    price_out=8.00,
    overhead_pct=0.30
)
print(f"${budget:,.0f}/month")  # $4,368/month

Odată ce-ți știi numărul, instrumentele de gateway LLM rutează traficul către cel mai ieftin model care trece bara ta de calitate. Un gateway cu selecție de model per cerere poate reduce costul tău mixt cu 30–50% fără să atingi prompturile.

Despre autor

Mert Batur este co-fondator al Techsy.io, unde echipa livrează agenți AI, sisteme de automatizare și pipeline-uri vocale/SDR pentru clienți B2B. Scrie despre stack-ul de instrumente LLM pe care echipa Techsy îl folosește efectiv în producție. Conectează-te pe LinkedIn.

Întrebări frecvente

Este scumpă inferența LLM?

Depinde de scară și de alegerea modelului. Un milion de tokeni de input costă 0,02 $ pe Gemini 2.5 Flash sau 75 $ pe un model de frontieră pentru raționament. Pentru o aplicație mică ce procesează 10K cereri/zi, așteaptă-te la 50 $–400 $/lună. Pentru workload-uri enterprise cu peste 1M cereri/zi, bugetele ajung la 5.000 $–40.000 $/lună. Costul per unitate este mic; volumul este cel care adună suma.

Cât înseamnă 1 milion de tokeni la un LLM?

Un milion de tokeni înseamnă aproximativ 750.000 de cuvinte, adică vreo 10 romane întregi. În iulie 2026, procesarea a 1M tokeni de input costă de la 0,02 $ (nivel economic) până la 75 $ (nivel de frontieră). Tokenii de output pentru același volum costă între 0,06 $ și 300 $. Majoritatea workload-urilor de producție se încadrează la nivelul mediu: 2 $–15 $ per milion de tokeni de input.

De ce este atât de scumpă inferența AI?

Inferența presupune rularea fiecărui token prin miliarde de parametri ai modelului, pe GPU-uri care costă fiecare 25.000 $–40.000 $. Faza de decodare generează tokeni secvențial, lăsând nucleele GPU inactive între pași. Plătești pentru hardware specializat, electricitate, răcire și echipa de ingineri a furnizorului care ține stack-ul de servire în funcțiune non-stop.

Scad costurile inferenței AI?

Da, de aproximativ 10 ori pe an din 2023. GPT-4 a fost lansat la 30 $/60 $ per milion de tokeni (input/output). O capacitate echivalentă costă acum 2 $–10 $. Datele Epoch AI confirmă această traiectorie la toți furnizorii. Gartner proiectează o nouă scădere de 90% până în 2030, condusă de îmbunătățirile hardware și presiunea concurențială a modelelor open-source.

Cât costă inferența LLM în 2026?

Modele economice: 0,02 $–0,30 $ per milion de tokeni de input. Nivel mediu: 0,55 $–15 $. Frontieră: 15 $–75 $. Un workload de producție tipic (chatbot de suport, pipeline RAG sau asistent de cod) costă 150 $–4.000 $/lună pe modele de nivel mediu. Modelele economice prelucrează sarcini la volum mare și complexitate redusă de 10–30 ori mai ieftin.

Care este diferența dintre costul de antrenare și cel de inferență?

Antrenarea este cheltuiala unică de a învăța un model de la zero: 50M $–200M $ pentru un model de frontieră, necesitând mii de GPU-uri timp de luni. Inferența este costul recurent de utilizare a acelui model antrenat: rulezi inputuri prin el pentru a obține outputuri, facturat per token. Pentru majoritatea echipelor, inferența este singura factură pe care o plătesc. Antrenarea este pentru companiile care construiesc modele de fundație.

Cum calculez costul inferenței LLM pentru aplicația mea?

Înmulțește media tokenilor de input per cerere cu volumul lunar de cereri, apoi cu tariful $/M de input al modelului. Repetă pentru tokenii de output. Adună ambele sume. Adaugă 30% pentru reîncercări, evaluări și monitorizare. Fragmentele Python din acest articol automatizează calculul. Măsoară numărul real de tokeni în loc să ghicești; jurnalele din peste 100 de cereri oferă o medie fiabilă.

Costă tokenii de output mai mult decât cei de input?

Da, de obicei de 3–5 ori mai mult. Procesarea inputului (prefill) se paralelizează pe toți tokenii simultan, utilizând complet nucleele GPU. Generarea outputului (decode) produce câte un token o dată, fiecare depinzând de cel anterior. GPU-ul așteaptă lățimea de bandă a memoriei între pași. Furnizorii taxează outputul mai scump pentru a reflecta această eficiență hardware mai scăzută.

Este inferența self-hosted mai ieftină decât utilizarea unui API?

Doar peste ~200K cereri/zi, cu utilizare GPU susținută de peste 50%. Sub asta, eficiența multi-tenant a furnizorilor de API bate hardware-ul tău single-tenant. Self-hosting-ul adaugă și costuri ascunse: salariile inginerilor ML (180K $–250K $/an), ture de on-call, actualizări de model și patch-uri de securitate. Majoritatea echipelor cu sub 50 de ingineri ar trebui să rămână pe API.

Consumă inferența LLM multă energie?

Un GPU H100 consumă ~700W în sarcină. La 0,10 $/kWh, asta înseamnă 0,07 $/oră-GPU, ceea ce se traduce în aproximativ 0,01 $ per milion de tokeni de output pentru un model de 70B. Energia reprezintă 1–3% dintr-o factură de API, dar 8–15% din TCO-ul self-hosted. În regiunile cu electricitate scumpă (Germania, 0,30 $/kWh), ponderea energiei se triplează și afectează material economia self-hosting-ului.

Ideile de bază

Patru numere de reținut: 0,02 $ (pragul minim economic per milion de tokeni de input), 3–5x (prima de output față de input), 20–40% (costuri generale de adăugat peste calculul brut al tokenilor) și 10x (scăderea anuală de preț din 2023). Factura ta reală depinde de volum, clasa modelului și cât de agresiv faci caching, batching și rutare a traficului.

La Techsy, echipa noastră dimensionează bugete de inferență și alege clase de modele pentru clienți B2B care rulează workload-uri LLM în producție. Dacă vrei o a doua opinie despre modelul tău de cost, solicită o consultație gratuită.