Калькулятор вартості API OpenAI, Claude & Gemini

Увімкніть кешування промптів — це перша оптимізація, яку варто зробити ще до будь-яких інших кроків. В Anthropic позначте свій стабільний системний промпт заголовками cache_control, і кешовані токени коштуватимуть приблизно 10% від стандартної ціни вхідних токенів. В OpenAI кешування відбувається автоматично на певних ендпоінтах, коли префікс вашого промпту однаковий у всіх запитах. Найбільший виграш — на навантаженнях із довгим стабільним контекстом і великою кількістю запитів: чат-боти з детальними персонами, RAG-системи з повторюваним контекстом пошуку та будь-які агентні цикли, що повторно надсилають довгий набір інструкцій. Більшість команд забувають увімкнути кешування і переплачують у 5–10 разів.

Перенесіть усі навантаження, що не потребують реального часу, на Batch API. І Anthropic, і OpenAI пропонують батч-ендпоінти за рівно 50% від стандартної ціни в обмін на SLA з відповіддю протягом 24 годин. Класифікація, модерація контенту, генерація ембедінгів, пайплайни підсумовування та прогони оцінювання — усе це чудові кандидати. Інтеграція тривіальна, бо промпт і модель не змінюються. Команди регулярно женуть цілий пайплайн тегування контенту за стандартною ціною, хоча батч міг би вдвічі скоротити рахунок без жодної різниці в якості.

Маршрутизуйте запити за складністю. Прості запити (привітання, форматування, базовий пошук) належать GPT-4o mini, Claude Haiku або Gemini Flash за $0.15–$0.80 за мільйон вхідних токенів. Складне міркування — Claude Opus, GPT-4.5 або Gemini Pro за $1.25–$75 за мільйон. Невеликий класифікатор перед вашим маршрутизатором моделей зазвичай скорочує витрати на 60–80% на змішаних навантаженнях. Надсилати все на флагманську модель — найпоширеніша помилка у вартості AI, яку ми бачимо в продакшені.

Жорстко обмежуйте max_tokens. Вихідні токени коштують у 3–5 разів дорожче за вхідні, а дефолтний буфер у 4K на виході значно більший, ніж потрібно більшості відповідей. Обмежуйте відповіді «так/ні» до 10 токенів, короткі підсумки — до 200, структурований JSON — до того, що вимагає ваша схема, плюс невеликий запас. Модель іноді хоче розписати докладніше, навіть якщо ви не просили, і ви платите за ці розлогі відповіді. Зменшення max_tokens у більшості випадків дає скорочення вартості вихідних токенів на 30–50%.

Скорочуйте отриманий контекст лише до того, що потрібно для кожного запиту. RAG-системи часто отримують 10–20 фрагментів і запихають їх усі у промпт «про всяк випадок». У результаті ви платите за тисячі нерелевантних токенів на кожен запит. Додавання ранжувальника, що відфільтровує 3–5 найрелевантніших фрагментів, зазвичай скорочує використання вхідних токенів на 50–70% без втрати якості, а часто й із її покращенням, бо модель не відволікається на нерелевантний контекст.

Логуйте кожен запит із кількістю токенів, моделлю та статусом — кешовані токени чи ні. Ви не зможете оптимізувати те, чого не бачите, а витрати на AI можуть змінитися за одну ніч, коли виходить нова функція або хтось підправляє промпт. Налаштуйте щоденні сповіщення про витрати. Побудуйте дашборд, що розбиває витрати за функцією, моделлю та ендпоінтом. Більшість перевитрат у продакшені, з якими ми стикаємося, трапляються тому, що патерн використання змінився за два тижні до того, як хтось зазирнув у рахунок.