Quanto Costa l'Inferenza LLM? 4 Scenari con Calcoli Reali

Quanto Costa l'Inferenza LLM? 4 Scenari con Calcoli Reali

GPT-4 costava $30 per milione di token in input a marzo 2023. Tre anni dopo, GPT-5.6 elabora lo stesso milione a $10. Claude Opus 4.5 si attesta a $15. Il minimo? Due centesimi. Parliamo di un divario di 1.500x tra l'opzione più economica e quella più costosa per la stessa identica unità di lavoro. Il costo dell'inferenza LLM è la spesa ricorrente che paghi ogni volta che un modello addestrato legge il tuo input e genera un output, prezzato per milione di token da tutti i principali provider. I modelli budget costano $0,02-$0,30 per milione di token in input. I modelli frontier richiedono $15-$75 per lo stesso volume. Il divario conta perché è il tuo carico di lavoro, non la tua ambizione, a determinare quale fascia ti serve davvero.

Punti chiave:

• I modelli budget costano $0,02-$0,30 per milione di token in input; i modelli frontier $15-$75 (luglio 2026).
• I token in output costano 3-5x più dei token in input perché la generazione è sequenziale, non parallela.
• Un chatbot di supporto con 50K conversazioni costa circa $9-$420/mese a seconda della fascia del modello.
• I prezzi dell'inferenza sono scesi di circa 10x all'anno; Gartner prevede un calo del 90% entro il 2030.

Quanto Costa l'Inferenza LLM per Milione di Token?

I prezzi dell'inferenza LLM seguono una struttura a tre fasce a luglio 2026. I modelli budget di provider come Google (Gemini 2.5 Flash) e le opzioni open-source (Llama 4, Qwen 3) costano $0,02-$0,30 per milione di token in input. I modelli di fascia media (GPT-4.1, Claude Sonnet 4) si posizionano tra $0,55 e $15. I modelli frontier di ragionamento (o3, Claude Opus 4.5) comandano $15-$75. Ogni provider pubblica queste tariffe sulle proprie pagine ufficiali (OpenAI, Anthropic), e PricePerToken.com monitora oltre 300 modelli in una griglia aggiornata in tempo reale.

A luglio 2026, puoi elaborare un milione di token in input con appena due centesimi, oppure pagare settantacinque dollari per lo stesso milione su un modello frontier.

Gli sconti per input in cache riducono la spesa del 50-90% sui prompt ripetuti (la guida al caching dei prompt spiega il meccanismo). Per la griglia live con le tariffe attuali di tutti i provider, consulta la nostra tabella completa dei prezzi per token.

Cosa Determina il Costo dell'Inferenza LLM? I 4 Componenti

La tua fattura di inferenza si divide in quattro driver di costo: il tempo di calcolo GPU per token, la memoria per i pesi del modello e la cache KV, l'asimmetria input/output che rende la generazione più costosa della lettura, e l'overhead infrastrutturale (energia, raffreddamento, rete). Capire quale componente domina il tuo carico di lavoro ti dice dove l'ottimizzazione ripaga.

Calcolo: Tempo GPU per Token

Ogni token attraversa ogni layer del modello. Un modello da 70B parametri in FP16 richiede circa 140 GFLOPs per token. La quantizzazione a INT4 riduce a circa 35 GFLOPs. La guida al benchmarking dell'inferenza di NVIDIA scompone l'intera formula TCO: ammortamento hardware più elettricità più overhead operativo, diviso per i token serviti.

Memoria: Pesi del Modello + Cache KV

Un modello da 70B in FP16 occupa circa 140 GB di VRAM solo per i pesi. La cache KV cresce con la lunghezza del contesto e la dimensione del batch concorrente. A 128K di contesto con 32 richieste concorrenti, puoi bruciare altri 80 GB. Ecco perché i requisiti VRAM per modello contano così tanto per le decisioni di self-hosting.

Asimmetria Input vs Output

I token in output costano 3-5x più dei token in input perché il modello li genera uno alla volta, in ordine. Non può parallelizzare come fa quando legge il tuo prompt.

Ecco la versione semplice: leggere il tuo prompt da 2.000 token (la fase di "prefill") elabora tutti i token simultaneamente sui core GPU. Generare 500 token in output (la fase di "decode") produce un token per passo, ciascuno dipendente dal precedente. La GPU resta in gran parte inattiva in attesa della banda di memoria tra un passo e l'altro. Quel tempo di inattività è ciò che paghi a 3-5x il tasso dell'input.

Overhead Infrastrutturale

Energia, raffreddamento, rete e le GPU ferme tra una richiesta e l'altra. La documentazione sull'ottimizzazione di Hugging Face spiega come il continuous batching e lo speculative decoding spremere più token per ora-GPU dallo stesso hardware, riducendo direttamente questa quota di overhead.

Quanto Costa l'Inferenza LLM per 4 Carichi di Lavoro Reali?

Un chatbot di supporto tipico costa $9-$420/mese, una pipeline RAG gira a $168-$3.360/mese, un assistente codice per 200 sviluppatori fattura $123-$2.078/mese, e l'elaborazione batch di documenti si attesta tra $240 e $6.400/mese. Il divario dipende quasi interamente dalla scelta della fascia del modello. Abbiamo costruito questi quattro scenari dai volumi di token dei nostri deployment clienti, prezzati contro le pagine ufficiali di luglio 2026. Ogni cifra in dollari qui sotto è riproducibile: assunzioni sui token dichiarate moltiplicate per le tariffe pubblicate. La nostra analisi, non le affermazioni dei vendor.

Chatbot di Supporto Clienti: 50K Conversazioni/Mese

Conversazione media: 800 token in input (system prompt + messaggi utente + contesto recuperato), 400 token in output. Volume mensile: 50.000 conversazioni = 40M token in input, 20M token in output.

• Scelta budget (Gemini 2.5 Flash): 40M × $0,075/M + 20M × $0,30/M = $9/mese. Quasi sospettosamente economico.
• Scelta media (Claude Sonnet 4): 40M × $3/M + 20M × $15/M = $420/mese.

Per un bot di supporto che gestisce ticket di primo livello, il modello budget gestisce il 90% delle query senza problemi. Instrada il 10% difficile alla fascia media con un classificatore.

Pipeline RAG: 10K Query/Giorno

Query media: 3.200 token in input (chunk recuperati + system prompt + domanda utente), 600 token in output. Mensile: 300K query = 960M token in input, 180M token in output.

• Scelta budget (Llama 4 Scout via API): 960M × $0,10/M + 180M × $0,40/M = $168/mese.
• Scelta media (GPT-4.1): 960M × $2/M + 180M × $8/M = $3.360/mese.

Il carico RAG è pesante in input, quindi gli sconti per input in cache colpiscono forte qui. Con il 70% di prompt caching, la fascia media scende a circa $2.100/mese.

Assistente Codice: 200 Sviluppatori

Sessione media: 4.500 token in input (contesto file + conversazione), 1.200 token in output. Assumiamo 15 richieste/sviluppatore/giorno, 22 giorni lavorativi = 66.000 richieste/mese = 297M in input, 79M in output.

• Scelta budget (Qwen 3 32B): 297M × $0,20/M + 79M × $0,80/M = $123/mese.
• Scelta media (Claude Sonnet 4): 297M × $3/M + 79M × $15/M = $2.078/mese.

Gli sviluppatori notano i gap di qualità rapidamente. Per il codice, la fascia media è di solito il minimo. I modelli budget funzionano per suggerimenti in stile autocomplete ma faticano con refactoring multi-file.

Elaborazione Batch di Documenti: 1M Documenti/Mese

Documento medio: 2.000 token in input, 300 token in output (estrazione, classificazione, riassunto). Mensile: 2B in input, 300M in output.

• Scelta budget (Gemini 2.5 Flash): 2B × $0,075/M + 300M × $0,30/M = $240/mese.
• Scelta media (GPT-4.1): 2B × $2/M + 300M × $8/M = $6.400/mese.

A questo volume, il divario di prezzo di 27x tra le fasce è una voce di costo da $6.160/mese. I modelli budget gestiscono bene l'estrazione strutturata. Per il dimensionamento hardware se consideri il self-hosting di questo volume, controlla i requisiti VRAM per modello.

def monthly_cost(input_tokens, output_tokens, requests, price_in, price_out):
    """Estimate monthly LLM inference cost.
    
    Args:
        input_tokens: avg input tokens per request
        output_tokens: avg output tokens per request
        requests: monthly request volume
        price_in: $/M input tokens
        price_out: $/M output tokens
    """
    total_in = input_tokens * requests / 1_000_000
    total_out = output_tokens * requests / 1_000_000
    return (total_in * price_in) + (total_out * price_out)

# Example: support chatbot on Claude Sonnet 4
cost = monthly_cost(
    input_tokens=800,
    output_tokens=400,
    requests=50_000,
    price_in=3.00,
    price_out=15.00
)
print(f"${cost:,.2f}/month")  # $420.00/month

API o Self-Hosted: Quando Conviene Ciascuno?

L'API vince sotto circa 20K richieste/giorno o quando il tuo team manca di esperienza in infrastruttura ML. Il self-hosted vince sopra 200K richieste/giorno con un utilizzo GPU sostenuto oltre il 50%. Il punto di pareggio, secondo l'analisi di Introl, si attesta intorno a 50-80K richieste/giorno per un modello di classe 70B su un singolo nodo H100. Sotto quella soglia, l'efficienza multi-tenant del provider API batte la matematica del tuo hardware single-tenant.

Quando l'API Vince

Rilasci in giorni, non settimane. Niente stipendio da ML engineer ($180K-$250K/anno), niente reperibilità per guasti GPU, niente pianificazione della capacità. Per la maggior parte dei team sotto i 50 ingegneri, l'API è la scelta giusta. Punto.

Quando il Self-Hosted Vince

Hai superato le 200K richieste/giorno, il tuo carico è prevedibile e hai già personale per l'infrastruttura ML. I modelli open-source (Llama 4, Qwen 3, Mistral) girano sul tuo hardware al costo dell'elettricità più l'ammortamento. I benchmark vLLM vs SGLang mostrano differenze di throughput del 15-30% a seconda della forma del carico di lavoro, il che conta a questa scala.

Il Numero di Pareggio

Il self-hosted conviene solo sopra il 50% di utilizzo GPU sostenuto. Sotto quella soglia, stai pagando per silicio inattivo. I costi nascosti del personale (tempo ML eng, reperibilità, aggiornamenti del modello, patch di sicurezza) sono la vera ragione per cui la maggior parte dei team resta sull'API anche quando la matematica grezza della GPU sembra favorevole. Se fai self-hosting, distribuire modelli su Modal rimuove il layer di gestione infrastrutturale mantenendo i costi per token sotto le tariffe API.

I Costi Nascosti che Nessuno Mette a Budget

La spesa grezza per i token è il 60-80% della tua fattura reale. Il resto si nasconde in sei voci di costo che non compaiono mai in un calcolatore di prezzi. Metti a budget un 20-40% extra sopra la tua stima dei token per coprirli.

• Monitoring e strumenti di osservabilità: $200-$1.500/mese. Dashboard sull'uso dei token, tracciamento della latenza, attribuzione dei costi per funzionalità. Uno stack di osservabilità LLM si ripaga la prima volta che individui una regressione del prompt prima che bruci il tuo budget.
• Retry e riesecuzioni per fallimento: il 3-8% delle richieste fallisce o necessita di retry (timeout, rate limit, output malformati). È il 3-8% della tua fattura token, speso senza produrre nulla.
• Ore di iterazione sul prompt engineering: 20-60 ore per trimestre a $100-$200/ora di costo ingegneristico caricato. Ogni modifica al prompt riesegue batch di test.
• Eval e test di regressione: $100-$800/mese in spesa token per suite di eval automatizzate. Stai pagando il modello per valutarsi da solo.
• Ridondanza multi-regione: costo infrastrutturale 1,5-2x se ti serve failover tra regioni per latenza o compliance.
• Penalità di latenza per cold-start: i deployment GPU serverless (Modal, AWS Lambda) addebitano il tempo di inattività. I cold start aggiungono 2-8 secondi e ti fatturano il warm-up.

La regola pratica: moltiplica la tua stima grezza dei token per 1,3 per un budget realistico. Moltiplica per 1,4 se sei in un settore regolamentato con overhead di compliance.

Perché l'Inferenza LLM Continua a Costare Meno?

I prezzi dell'inferenza LLM sono scesi di circa 10x all'anno dal 2023. Un carico di lavoro che costava $1.000/mese nel 2024 oggi costa circa $100. Tre forze guidano questo calo: miglioramenti hardware (NVIDIA Blackwell FP4, Google TPU v6), pressione competitiva (DeepSeek, modelli open-source che forzano guerre di prezzo) e ottimizzazione software (speculative decoding, continuous batching, quantizzazione). Gartner prevede che i costi di inferenza caleranno di un altro 90% entro il 2030, anche se è una proiezione, non una garanzia.

Il tracciamento dei prezzi di Epoch AI documenta questo calo con dati concreti. L'analisi "LLMflation" di a16z ha coniato il termine e inquadrato le implicazioni economiche: l'inferenza si sta deflazionando più velocemente di qualsiasi categoria di calcolo precedente.

Costo di Training vs Inferenza

Addestrare un modello frontier costa $50M-$200M (una tantum). L'inferenza per quello stesso modello, su tutti gli utenti, costa $5M-$50M all'anno a seconda della scala. Per la maggior parte dei team, il rapporto è 10-100x: il training costa 10-100 volte quanto un anno di inferenza. Ma il training è una spesa in conto capitale una tantum. L'inferenza è la spesa operativa ricorrente che si composta con la crescita degli utenti. Non paghi per il training a meno che tu non stia costruendo un foundation model. Paghi per l'inferenza ogni singolo giorno.

La Voce di Costo Energetico

Una NVIDIA H100 assorbe circa 700W sotto carico. A $0,10/kWh (media USA), sono $0,07 per ora-GPU. Un modello da 70B su una singola H100 genera circa 2.000 token in output/secondo in batch. In un'ora: 7,2M token. Costo dell'elettricità per milione di token in output: circa $0,01. Il nostro calcolo, etichettato come tale. L'energia è l'1-3% della tua fattura API ma l'8-15% del TCO self-hosted. Conta di più se gestisci le tue GPU in una regione con costi energetici elevati (la Germania a $0,30/kWh triplica questo numero).

Il takeaway pratico: i prezzi stanno scendendo abbastanza velocemente che un impegno di 12 mesi su una specifica fascia di modello è rischioso. Rivaluta trimestralmente. Le 12 strategie per tagliare la fattura LLM coprono le mosse tattiche che puoi fare subito mentre il trend macro fa il lavoro pesante.

Come Stimare il TUO Costo di Inferenza?

Stima il tuo costo di inferenza LLM mensile in quattro passaggi: conta i token per richiesta, moltiplica per il volume mensile, applica il prezzo della fascia, poi aggiungi il 20-40% di overhead. Nella nostra esperienza nel dimensionare budget di inferenza per i clienti, la maggior parte dei team salta il quarto passaggio e si chiede perché la fattura reale supera la stima di un terzo. Ecco il processo che usiamo.

1. Conta i token per richiesta. Registra i tuoi token medi in input (system prompt + contesto + messaggio utente) e in output (risposta del modello) su 100+ richieste reali. Non tirare a indovinare. Misura.
2. Moltiplica per il volume mensile. Richieste/giorno × 30 = richieste mensili. Moltiplica per i tuoi conteggi di token per richiesta.
3. Applica il prezzo della fascia. Moltiplica i token totali in input per la tariffa $/M del modello. Stesso per l'output. Somma.
4. Aggiungi il 20-40% di overhead. Retry, eval, iterazione sui prompt, monitoring. Questo è il numero che va nel tuo budget, non il passaggio 3.

def estimate_monthly_budget(avg_input_tokens, avg_output_tokens,
                            requests_per_day, price_in, price_out,
                            overhead_pct=0.30):
    """Full monthly budget estimate with overhead."""
    monthly_requests = requests_per_day * 30
    raw_cost = monthly_cost(
        avg_input_tokens, avg_output_tokens,
        monthly_requests, price_in, price_out
    )
    return raw_cost * (1 + overhead_pct)

# RAG pipeline: 10K queries/day on GPT-4.1
budget = estimate_monthly_budget(
    avg_input_tokens=3200,
    avg_output_tokens=600,
    requests_per_day=10_000,
    price_in=2.00,
    price_out=8.00,
    overhead_pct=0.30
)
print(f"${budget:,.0f}/month")  # $4,368/month

Una volta che conosci il tuo numero, gli strumenti di gateway LLM instradano il traffico verso il modello più economico che supera la tua barra di qualità. Un gateway con selezione del modello per richiesta può tagliare il tuo costo misto del 30-50% senza toccare i tuoi prompt.

Domande Frequenti

L'inferenza LLM è costosa?

Dipende dalla scala e dalla scelta del modello. Un milione di token in input costa $0,02 su Gemini 2.5 Flash o $75 su un modello frontier di ragionamento. Per una piccola app che elabora 10K richieste/giorno, aspettati $50-$400/mese. Per carichi enterprise a 1M+ richieste/giorno, i budget vanno da $5.000 a $40.000/mese. Il costo unitario è basso; è il volume che lo fa accumulare.

Quanto vale 1 milione di token in un LLM?

Un milione di token equivale a circa 750.000 parole, ovvero circa 10 romanzi interi. A luglio 2026, elaborare 1M di token in input costa $0,02 (fascia budget) fino a $75 (fascia frontier). I token in output per lo stesso volume costano $0,06 fino a $300. La maggior parte dei carichi di produzione si attesta nella fascia media: $2-$15 per milione di token in input.

Perché l'inferenza AI è così costosa?

L'inferenza richiede di far passare ogni token attraverso miliardi di parametri del modello su GPU che costano $25.000-$40.000 ciascuna. La fase di decode genera token in modo sequenziale, lasciando i core GPU inattivi tra un passo e l'altro. Stai pagando per hardware specializzato, elettricità, raffreddamento e il team di ingegneri del provider che mantiene lo stack di serving attivo 24/7.

I costi dell'inferenza AI stanno scendendo?

Sì, di circa 10x all'anno dal 2023. GPT-4 è stato lanciato a $30/$60 per milione di token (input/output). Una capacità equivalente oggi costa $2-$10. I dati di Epoch AI confermano questa traiettoria su tutti i provider. Gartner prevede un ulteriore calo del 90% entro il 2030, guidato dai miglioramenti hardware e dalla pressione competitiva dei modelli open-source.

Quanto costa l'inferenza LLM nel 2026?

Modelli budget: $0,02-$0,30 per milione di token in input. Fascia media: $0,55-$15. Frontier: $15-$75. Un carico di produzione tipico (chatbot di supporto, pipeline RAG o assistente codice) costa $150-$4.000/mese su modelli di fascia media. I modelli budget gestiscono compiti ad alto volume e bassa complessità per 10-30x in meno.

Qual è la differenza tra costo di training e costo di inferenza?

Il training è la spesa una tantum per insegnare un modello da zero: $50M-$200M per un modello frontier, richiedendo migliaia di GPU per mesi. L'inferenza è il costo ricorrente di usare quel modello addestrato: far passare input per ottenere output, fatturato per token. Per la maggior parte dei team, l'inferenza è l'unica fattura che pagano. Il training è per le aziende che costruiscono foundation model.

Come calcolo il costo dell'inferenza LLM per la mia app?

Moltiplica i token medi in input per richiesta per il tuo volume mensile di richieste, poi per la tariffa $/M del modello. Ripeti per i token in output. Somma entrambi. Aggiungi il 30% per retry, eval e overhead di monitoring. Gli snippet Python in questo post automatizzano il calcolo. Misura i conteggi reali dei token piuttosto che tirare a indovinare; i log di 100+ richieste danno una media affidabile.

I token in output costano più dei token in input?

Sì, tipicamente 3-5x in più. L'elaborazione dell'input (prefill) parallelizza su tutti i token simultaneamente, utilizzando appieno i core GPU. La generazione dell'output (decode) produce un token alla volta, ciascuno dipendente dal precedente. La GPU attende la banda di memoria tra un passo e l'altro. I provider prezzano l'output più in alto per riflettere questa minore efficienza hardware.

L'inferenza self-hosted è più economica dell'API?

Solo sopra circa 200K richieste/giorno con utilizzo GPU sostenuto oltre il 50%. Sotto quella soglia, l'efficienza multi-tenant dei provider API batte il tuo hardware single-tenant. Il self-hosting aggiunge anche costi nascosti: stipendi da ML engineer ($180K-$250K/anno), reperibilità, aggiornamenti del modello e patch di sicurezza. La maggior parte dei team sotto i 50 ingegneri dovrebbe restare sull'API.

L'inferenza LLM consuma molta energia?

Una GPU H100 assorbe circa 700W sotto carico. A $0,10/kWh, sono $0,07/ora-GPU, che si traducono in circa $0,01 per milione di token in output per un modello da 70B. L'energia è l'1-3% di una fattura API ma l'8-15% del TCO self-hosted. Nelle regioni con costi energetici elevati (Germania, $0,30/kWh), la quota energetica triplica e influenza materialmente l'economia del self-hosting.

In Sintesi

Quattro numeri da ricordare: $0,02 (il minimo budget per milione di token in input), 3-5x (il premio dell'output sull'input), 20-40% (l'overhead da aggiungere sopra la matematica grezza dei token) e 10x (il calo annuale dei prezzi dal 2023). La tua fattura reale dipende dal volume, dalla fascia del modello e da quanto aggressivamente fai caching, batching e routing del traffico.

In Techsy, il nostro team dimensiona budget di inferenza e sceglie le fasce dei modelli per clienti B2B che gestiscono carichi LLM in produzione. Se vuoi un secondo parere sul tuo modello di costo, richiedi una consulenza gratuita.