Calculadora de custos de integração IA

Ative a cache de prompts antes de otimizar seja o que for. Tanto a Anthropic como a OpenAI permitem fazer cache das partes estáveis do input (system prompt, contexto recuperado, definições de ferramentas) com um desconto de cerca de 90% nos tokens em cache. A cache de 5 minutos da Anthropic é gratuita e a de 1 hora acresce um prémio de 25%. Para qualquer chatbot ou sistema RAG com um system prompt estável acima de 2K tokens, a cache paga-se a si própria em poucas horas após o lançamento. A maioria das equipas esquece-se de a ativar e acaba a pagar 5 a 10 vezes mais durante meses.

Passe toda a carga de trabalho não-tempo-real para a Batch API. Classificação, sumarização, geração de embeddings, corridas de avaliação e processamento noturno são todos bons candidatos. O Batch custa exatamente 50% do preço standard em troca de um SLA de 24 horas, e o trabalho de integração é trivial: mesmo modelo, mesmo prompt, endpoint diferente. Há equipas que rotineiramente correm todo o pipeline de moderação de conteúdo ou etiquetagem de documentos a preço standard, quando o batch cortaria a fatura a meio sem qualquer diferença de qualidade.

Encaminhe os pedidos por dificuldade. Envie as consultas fáceis (saudações, pesquisas simples, tarefas de formatação) para o Claude Haiku ou GPT-4o mini a 0,15 $ a 0,80 $ por milhão de tokens de input. Reserve o Claude Opus ou GPT-4.5 (a 15 $ a 75 $ por milhão) para raciocínio difícil em que os modelos mais baratos falham genuinamente. Um classificador de dificuldade simples à frente do seu router de modelos corta tipicamente os custos entre 60 e 80% em cargas de trabalho mistas. A maioria das equipas encaminha tudo para um modelo de fronteira, o que é como voar em primeira classe para ir deitar o lixo fora.

Limite o max_tokens de forma agressiva. Os tokens de output custam 3 a 5 vezes mais do que os de input, e a maioria das respostas não precisa do buffer de 4K tokens que a API permite por defeito. Se está a extrair uma resposta de sim-ou-não, limite o output a 10 tokens. Se está a gerar um resumo curto, limite a 200. O modelo às vezes quer explicar o seu raciocínio mesmo quando não pediu, e está a pagar por essas explicações. Apertar o max_tokens corta frequentemente os custos de output entre 30 e 50% por si só.

Faça cache de respostas determinísticas na camada de aplicação. Se o mesmo input produz o mesmo output (categorização, pesquisas fixas, tradução de código), guarde o resultado em Redis ou numa base de dados e sirva-o a partir da cache em pedidos repetidos. Uma cache ao nível da aplicação sobreposta à cache ao nível da API pode cortar o gasto total em LLMs noutros 30 a 50% em cargas de trabalho com inputs repetitivos. O caso clássico é a categorização de produtos à escala de e-commerce, em que o mesmo SKU é categorizado centenas de vezes desnecessariamente.

Implemente a monitorização de tokens desde o primeiro dia. Não pode otimizar o que não consegue medir, e os custos de IA escalam rápido o suficiente para que um prompt mal configurado ou um loop descontrolado possa produzir uma fatura de 10.000 $ num fim de semana. Registe tokens de input, tokens de output, modelo utilizado e cache versus sem cache para cada pedido. Defina alertas de gasto diário. A maioria dos excessos de custo que vemos em produção acontece porque ninguém reparou numa mudança de padrão de utilização durante duas semanas, até chegar a fatura.