Kostencalculator voor AI-integratie

Zet prompt caching aan voordat je aan iets anders begint te sleutelen. Anthropic en OpenAI laten je allebei de stabiele delen van je invoer cachen (de system prompt, opgehaalde context, tool-definities) met grofweg 90% korting op die gecachte tokens. De cache van 5 minuten bij Anthropic is gratis, die van een uur kost 25% extra. Voor elke chatbot of elk RAG-systeem met een vaste system prompt boven de 2K tokens verdient caching zich al binnen een paar uur na livegang terug. De meeste teams vergeten het aan te zetten en betalen maandenlang 5 tot 10 keer te veel.

Verhuis elke workload die niet realtime hoeft te zijn naar de Batch API. Classificatie, samenvatten, het genereren van embeddings, evaluatieruns en nachtelijke verwerking zijn daar stuk voor stuk geschikt voor. Batch kost precies 50% van de standaardprijs, in ruil voor een doorlooptijd tot 24 uur, en het inbouwen is een fluitje van een cent: hetzelfde model, dezelfde prompt, alleen een ander endpoint. Veel teams draaien hun hele content-moderatie- of document-tagging-pipeline standaard op het volle tarief, terwijl batch de rekening zou halveren zonder dat de kwaliteit eronder lijdt.

Stuur verzoeken naar het model dat bij de moeilijkheid past. Eenvoudige queries (begroetingen, simpele lookups, opmaaktaken) gaan naar Claude Haiku of GPT-4o mini voor $0,15 tot $0,80 per miljoen invoertokens. Houd Claude Opus of GPT-4.5 (op $15 tot $75 per miljoen) achter de hand voor zware reasoning waar de goedkopere modellen echt op vastlopen. Een eenvoudige classifier die de moeilijkheid inschat vóór je model-router, drukt de kosten op gemengde workloads doorgaans met 60 tot 80%. De meeste teams sturen standaard alles naar een frontier-model, en dat is alsof je first class vliegt om de vuilnis buiten te zetten.

Zet max_tokens strak. Uitvoertokens kosten 3 tot 5 keer zoveel als invoertokens, en de meeste antwoorden hebben de standaard buffer van 4K tokens helemaal niet nodig. Haal je een ja-of-nee antwoord op, zet de output dan op 10 tokens. Maak je een korte samenvatting, op 200. Het model legt zijn redenering soms uit ook als je daar niet om vraagt, en voor die uitleg betaal je gewoon. Alleen al max_tokens strakker zetten drukt de uitvoerkosten vaak met 30 tot 50%.

Cache vaste antwoorden in je eigen applicatie. Levert dezelfde invoer altijd dezelfde uitvoer op (categorisatie, vaste lookups, code omzetten), bewaar het resultaat dan in Redis of een database en serveer het uit de cache bij een volgend verzoek. Caching op applicatieniveau, bovenop de caching op API-niveau, kan de totale LLM-uitgaven nog eens 30 tot 50% drukken bij workloads met veel herhaalde invoer. Het klassieke voorbeeld is productcategorisatie op e-commerceschaal, waar dezelfde SKU honderden keren onnodig opnieuw wordt ingedeeld.

Zet token-monitoring op vanaf dag één. Wat je niet meet, kun je niet bijsturen, en AI-kosten lopen zo snel op dat een verkeerd ingestelde prompt of een lus die op hol slaat in één weekend een rekening van $10K kan opleveren. Log per verzoek de invoertokens, uitvoertokens, het gebruikte model en of er wel of niet gecacht is. Stel dagelijkse meldingen in op je uitgaven. De meeste budgetoverschrijdingen die we in productie zien, ontstaan doordat niemand twee weken lang een verschuiving in het gebruik opmerkte, totdat de factuur binnenkwam.