Скільки коштує інференс LLM? 4 сценарії з реальними розрахунками
У березні 2023 року GPT-4 коштував $30 за мільйон вхідних токенів. Три роки потому GPT-5.6 обробляє той самий мільйон за $10. Claude Opus 4.5 коштує $15. А мінімум? Два центи. Це різниця у 1500 разів між найдешевшим і найдорожчим варіантом за ту саму одиницю роботи. Вартість інференсу LLM — це регулярний рахунок, який ви платите щоразу, коли навчена модель читає ваш запит і генерує відповідь; усі великі провайдери тарифікують його за мільйон токенів. Бюджетні моделі коштують $0,02-$0,30 за мільйон вхідних токенів. Передові моделі беруть $15-$75 за той самий обсяг. Ця прірва має значення, бо саме ваше навантаження, а не ваші амбіції, визначає, який рівень вам насправді потрібен.
Головні висновки:
- Бюджетні моделі коштують $0,02-$0,30 за мільйон вхідних токенів; передові моделі обходяться у $15-$75 (липень 2026).
- Вихідні токени у 3-5 разів дорожчі за вхідні, бо генерація відбувається послідовно, а не паралельно.
- Чатбот підтримки на 50 тисяч діалогів коштує приблизно $9-$420 на місяць залежно від рівня моделі.
- Ціни на інференс падають приблизно у 10 разів щороку; Gartner прогнозує зниження на 90% до 2030 року.
Скільки коштує інференс LLM за мільйон токенів?
Ціноутворення інференсу LLM станом на липень 2026 року має трирівневу структуру. Бюджетні моделі від провайдерів на кшталт Google (Gemini 2.5 Flash) та варіанти з відкритим кодом (Llama 4, Qwen 3) коштують $0,02-$0,30 за мільйон вхідних токенів. Моделі середнього рівня (GPT-4.1, Claude Sonnet 4) тримаються в діапазоні від $0,55 до $15. Передові моделі міркування (o3, Claude Opus 4.5) беруть $15-$75. Кожен провайдер публікує ці тарифи на офіційних сторінках цін (OpenAI, Anthropic), а PricePerToken.com відстежує понад 300 моделей у живій таблиці.
Станом на липень 2026 року мільйон вхідних токенів можна обробити за два центи або заплатити сімдесят п'ять доларів за той самий мільйон на передовій моделі.
| Рівень | Приклади моделей | Вхід, $/млн токенів | Вихід, $/млн токенів | Кешований вхід, $/млн | Найкраще для |
|---|---|---|---|---|---|
| Бюджетний | Gemini 2.5 Flash, Llama 4 Scout, Qwen 3 32B | $0,02-$0,30 | $0,06-$1,20 | $0,01-$0,15 | Високооб'ємна класифікація, маршрутизація |
| Середній | GPT-4.1, Claude Sonnet 4, Gemini 2.5 Pro, GPT-5.6 | $0,55-$15 | $2,20-$60 | $0,28-$7,50 | RAG, генерація коду, аналіз |
| Передовий | o3, Claude Opus 4.5 | $15-$75 | $60-$300 | $7,50-$37,50 | Складне міркування, дослідження |
Знижки на кешований вхід зрізають рахунок на 50-90% на повторюваних промптах (механіку пояснює гід кешування промптів LLM). Актуальну живу таблицю на 300+ моделей із тарифами всіх провайдерів дивіться у нашому повному порівнянні цін за токени.
З чого складається вартість інференсу LLM? 4 компоненти
Ваш рахунок за інференс розкладається на чотири драйвери витрат: обчислювальний час GPU на токен, пам'ять для ваг моделі та KV-кешу, асиметрія входу/виходу, через яку генерація дорожча за читання, і накладні витрати на інфраструктуру (електрика, охолодження, мережа). Розуміння того, який компонент домінує у вашому навантаженні, підказує, де оптимізація окупиться.
| Компонент | Що це | Частка у вашому рахунку | Що на неї впливає |
|---|---|---|---|
| Обчислення (час GPU) | FLOPs для обробки кожного токена через шари моделі | 40-60% | Розмір моделі, розмір батчу, рівень квантування |
| Пам'ять (ваги + KV-кеш) | VRAM для параметрів моделі та стану уваги | 20-35% | Довжина контексту, паралельні запити |
| Асиметрія входу/виходу | Фаза декодування виконується послідовно, по одному токену | Закладена у ціну виходу | Довжина виходу, стратегія семплінгу |
| Накладні витрати інфраструктури | Електрика, охолодження, мережа, простій GPU | 10-20% | Розташування дата-центру, рівень завантаження |
Обчислення: час GPU на токен
Кожен токен проходить через кожен шар моделі. Модель на 70 мільярдів параметрів у FP16 потребує приблизно 140 GFLOPs на токен. Квантування до INT4 зрізає це до ~35 GFLOPs. Гід NVIDIA з бенчмаркінгу інференсу розкладає повну формулу TCO: амортизація обладнання плюс електрика плюс операційні накладні витрати, поділені на кількість обслугованих токенів.
Пам'ять: ваги моделі + KV-кеш
Модель на 70B параметрів у FP16 займає ~140 ГБ VRAM лише під ваги. KV-кеш росте з довжиною контексту та розміром паралельного батчу. При контексті 128K і 32 паралельних запитах можна спалити ще 80 ГБ. Тому вимоги до VRAM за моделями такі важливі для рішень про власний хостинг.
Асиметрія входу та виходу
Вихідні токени у 3-5 разів дорожчі за вхідні, бо модель генерує їх по одному, послідовно. Вона не може паралелізувати цей процес так, як читає ваш промпт.
Простою мовою: читання вашого промпта на 2000 токенів (фаза «пріфіл») обробляє всі токени одночасно на ядрах GPU. Генерація 500 вихідних токенів (фаза «декодування») виконує один токен за крок, і кожен залежить від попереднього. GPU здебільшого простоює, чекаючи на пропускну здатність пам'яті між кроками. Саме за цей простій ви платите за тарифом у 3-5 разів вищим за вхідний.
Накладні витрати інфраструктури
Електрика, охолодження, мережа та GPU, що простоюють між запитами. Документація Hugging Face з оптимізації пояснює, як безперервна пакетизація (continuous batching) і спекулятивне декодування витискають більше токенів із тієї самої GPU-години, безпосередньо зрізаючи цю частку накладних витрат.
Скільки коштує інференс LLM для 4 реальних навантажень?
Типовий чатбот підтримки коштує $9-$420 на місяць, RAG-конвеєр обходиться у $168-$3,360 на місяць, код-асистент на 200 розробників коштує $123-$2,078 на місяць, а пакетна обробка документів коштує від $240 до $6,400 на місяць. Розкид майже повністю залежить від вибору рівня моделі. Ми побудували ці чотири сценарії на основі обсягів токенів із наших клієнтських розгортань і оцінили їх за офіційними тарифами на липень 2026 року. Кожна цифра нижче відтворювана: заявлені припущення про токени, помножені на опубліковані тарифи. Це наш аналіз, а не заяви вендорів.
Чатбот клієнтської підтримки: 50 тисяч діалогів на місяць
Середній діалог: 800 вхідних токенів (системний промпт + повідомлення користувача + отриманий контекст), 400 вихідних токенів. Місячний обсяг: 50 000 діалогів = 40 млн вхідних токенів, 20 млн вихідних токенів.
- Бюджетний вибір (Gemini 2.5 Flash): 40 млн × $0,075/млн + 20 млн × $0,30/млн = $9 на місяць. Майже підозріло дешево.
- Середній вибір (Claude Sonnet 4): 40 млн × $3/млн + 20 млн × $15/млн = $420 на місяць.
Для бота підтримки, що обробляє тікети першої лінії, бюджетна модель спокійно закриває 90% запитів. Складні 10% маршрутизуйте на середній рівень через класифікатор.
RAG-конвеєр: 10 тисяч запитів на день
Середній запит: 3200 вхідних токенів (отримані фрагменти + системний промпт + запитання користувача), 600 вихідних токенів. На місяць: 300 тисяч запитів = 960 млн вхідних токенів, 180 млн вихідних токенів.
- Бюджетний вибір (Llama 4 Scout через API): 960 млн × $0,10/млн + 180 млн × $0,40/млн = $168 на місяць.
- Середній вибір (GPT-4.1): 960 млн × $2/млн + 180 млн × $8/млн = $3,360 на місяць.
RAG-навантаження має перекіс у бік входу, тому знижки на кешований вхід тут працюють потужно. При 70% кешування промптів середній рівень падає до ~$2,100 на місяць.
Код-асистент: 200 розробників
Середня сесія: 4500 вхідних токенів (контекст файлів + діалог), 1200 вихідних токенів. Беремо 15 запитів на розробника на день, 22 робочі дні = 66 000 запитів на місяць = 297 млн вхідних, 79 млн вихідних.
- Бюджетний вибір (Qwen 3 32B): 297 млн × $0,20/млн + 79 млн × $0,80/млн = $123 на місяць.
- Середній вибір (Claude Sonnet 4): 297 млн × $3/млн + 79 млн × $15/млн = $2,078 на місяць.
Розробники швидко помічають прогалини в якості. Для коду середній рівень зазвичай є мінімумом. Бюджетні моделі працюють для автодоповнення, але буксують на мультифайлових рефакторингах.
Пакетна обробка документів: 1 мільйон документів на місяць
Середній документ: 2000 вхідних токенів, 300 вихідних токенів (витяг даних, класифікація, підсумовування). На місяць: 2 млрд вхідних, 300 млн вихідних.
- Бюджетний вибір (Gemini 2.5 Flash): 2 млрд × $0,075/млн + 300 млн × $0,30/млн = $240 на місяць.
- Середній вибір (GPT-4.1): 2 млрд × $2/млн + 300 млн × $8/млн = $6,400 на місяць.
На таких обсягах 27-кратна різниця в ціні між рівнями перетворюється на статтю витрат у $6,160 на місяць. Бюджетні моделі добре справляються зі структурованим витягом даних. Щодо підбору обладнання, якщо розглядаєте власний хостинг для таких обсягів, дивіться вимоги до VRAM за моделями.
| Навантаження | Модель | Токенів на запит (вхід/вихід) | Запитів на місяць | $/місяць |
|---|---|---|---|---|
| Чатбот підтримки | Gemini 2.5 Flash | 800 / 400 | 50 тис. | $9 |
| Чатбот підтримки | Claude Sonnet 4 | 800 / 400 | 50 тис. | $420 |
| RAG-конвеєр | Llama 4 Scout | 3,200 / 600 | 300 тис. | $168 |
| RAG-конвеєр | GPT-4.1 | 3,200 / 600 | 300 тис. | $3,360 |
| Код-асистент | Qwen 3 32B | 4,500 / 1,200 | 66 тис. | $123 |
| Код-асистент | Claude Sonnet 4 | 4,500 / 1,200 | 66 тис. | $2,078 |
| Пакетні документи | Gemini 2.5 Flash | 2,000 / 300 | 1 млн | $240 |
| Пакетні документи | GPT-4.1 | 2,000 / 300 | 1 млн | $6,400 |
def monthly_cost(input_tokens, output_tokens, requests, price_in, price_out):
"""Estimate monthly LLM inference cost.
Args:
input_tokens: avg input tokens per request
output_tokens: avg output tokens per request
requests: monthly request volume
price_in: $/M input tokens
price_out: $/M output tokens
"""
total_in = input_tokens * requests / 1_000_000
total_out = output_tokens * requests / 1_000_000
return (total_in * price_in) + (total_out * price_out)
# Example: support chatbot on Claude Sonnet 4
cost = monthly_cost(
input_tokens=800,
output_tokens=400,
requests=50_000,
price_in=3.00,
price_out=15.00
)
print(f"${cost:,.2f}/month") # $420.00/monthAPI чи власний хостинг: коли виграє кожен із варіантів?
API виграє до ~20 тисяч запитів на день або коли вашій команді бракує досвіду в ML-інфраструктурі. Власний хостинг виграє після 200 тисяч запитів на день зі стабільним завантаженням GPU понад 50%. Точка беззбитковості, згідно з аналізом Introl, лежить біля 50-80 тисяч запитів на день для моделі класу 70B на одному вузлі H100. Нижче цього порогу ефективність мультитенантності API-провайдера перебиває розрахунок вашого однотенантного обладнання.
| Рівень обсягу | API, $/місяць | Власний хостинг, $/місяць (GPU + операційні) | Переможець | Чому |
|---|---|---|---|---|
| Низький: 2 тис. запитів/день | $150-$400 | $2,800-$4,500 | API | GPU простоює 85% часу |
| Середній: 20 тис. запитів/день | $1,500-$4,000 | $3,200-$5,000 | API (ледь-ледь) | Завантаження ~40%, все ще нижче точки беззбитковості |
| Високий: 200 тис. запитів/день | $15,000-$40,000 | $5,500-$8,000 | Власний хостинг | Завантаження 70%+ швидко амортизує обладнання |
Коли виграє API
Ви запускаєтесь за дні, а не за тижні. Без зарплат ML-інженерів ($180 тис.-$250 тис. на рік), без чергувань на випадок збоїв GPU, без планування потужностей. Для більшості команд до 50 інженерів API є правильним вибором за замовчуванням. Крапка.
Коли виграє власний хостинг
Ви перетнули позначку 200 тисяч запитів на день, ваше навантаження передбачуване, і у вас уже є ML-інфраструктурники в штаті. Моделі з відкритим кодом (Llama 4, Qwen 3, Mistral) працюють на вашому обладнанні за собівартістю електрики плюс амортизація. Бенчмарки vLLM проти SGLang показують різницю в пропускній здатності 15-30% залежно від форми навантаження, і на таких масштабах це має значення.
Число беззбитковості
Власний хостинг виграє лише за стабільного завантаження GPU понад ~50%. Нижче ви платите за простій кремнію. Приховані кадрові витрати (час ML-інженерів, чергування, оновлення моделей, патчі безпеки) є справжньою причиною, чому більшість команд лишаються на API, навіть коли гола математика GPU виглядає привабливо. Якщо все ж розміщуєте моделі самостійно, розгортання моделей на Modal прибирає шар управління інфраструктурою, зберігаючи собівартість токена нижчою за тарифи API.
Приховані витрати, які ніхто не закладає в бюджет
Голі витрати на токени — це 60-80% вашого реального рахунку. Решта ховається у шести статтях, які ніколи не з'являються в калькуляторі цін. Закладайте додатково 20-40% зверху вашої оцінки токенів, щоб їх покрити.
- Моніторинг та інструменти спостережності: $200-$1,500 на місяць. Дашборди споживання токенів, відстеження затримок, атрибуція витрат за функціями. Стек спостережності для LLM окуповується вперше ж, коли ви ловите регресію промпта до того, як вона спалить ваш бюджет.
- Повтори та перезапуски після збоїв: 3-8% запитів завершуються помилкою або потребують повтору (тайм-аути, ліміти частоти, некоректні виходи). Це 3-8% вашого рахунку за токени, витрачені на нічого.
- Години ітерацій над промптами: 20-60 годин на квартал при повній вартості години інженера $100-$200. Кожне правлення промпта перезапускає тестові батчі.
- Оцінювання та регресійне тестування: $100-$800 на місяць у витратах токенів на автоматизовані набори eval. Ви платите моделі за те, щоб вона оцінювала саму себе.
- Мультирегіональна надлишковість: 1,5-2x витрат на інфраструктуру, якщо вам потрібен фейловер між регіонами заради затримки чи комплаєнсу.
- Штрафи за холодний старт: Serverless GPU-розгортання (Modal, AWS Lambda) тарифікують час простою. Холодний старт додає 2-8 секунд, і вам виставляють рахунок за прогрів.
Емпіричне правило: помножте голу оцінку токенів на 1,3 для реалістичного бюджету. Помножте на 1,4, якщо ви в регульованій галузі з комплаєнс-накладними.
Чому інференс LLM продовжує дешевшати?
Ціни на інференс LLM падають приблизно у 10 разів щороку з 2023 року. Навантаження, яке коштувало $1,000 на місяць у 2024-му, сьогодні обходиться ближче до $100. Це рухають три сили: вдосконалення обладнання (NVIDIA Blackwell FP4, Google TPU v6), конкурентний тиск (DeepSeek, моделі з відкритим кодом провокують цінові війни) та програмна оптимізація (спекулятивне декодування, безперервна пакетизація, квантування). Gartner прогнозує, що вартість інференсу впаде ще на 90% до 2030 року, хоча це прогноз, а не гарантія.
Відстеження цін Epoch AI документує це падіння твердими даними. Аналіз «LLMflation» від a16z ввів сам термін і окреслив економічні наслідки: інференс дешевшає швидше, ніж будь-яка попередня категорія обчислень.
Вартість навчання проти вартості інференсу
Навчання передової моделі коштує $50 млн-$200 млн (одноразово). Інференс тієї самої моделі для всіх користувачів обходиться у $5 млн-$50 млн на рік залежно від масштабу. Для більшості команд співвідношення становить 10-100x: навчання коштує у 10-100 разів дорожче за рік інференсу. Але навчання є одноразовою капітальною витратою. Інференс є регулярним операційним рахунком, який росте разом із користувачами. Ви не платите за навчання, якщо не будуєте базову модель. Ви платите за інференс щодня.
Стаття витрат на електрику
NVIDIA H100 споживає ~700 Вт під навантаженням. За тарифу $0,10/кВт·год (середній по США) це $0,07 на GPU-годину. Модель на 70B на одній H100 генерує приблизно 2000 вихідних токенів за секунду в батчі. За годину: 7,2 млн токенів. Собівартість електрики на мільйон вихідних токенів: ~$0,01. Наш розрахунок, позначений як такий. Електрика становить 1-3% вашого рахунку за API, але 8-15% TCO власного хостингу. Вона важить більше, якщо ви тримаєте власні GPU в регіоні з дорогою електрикою (Німеччина з $0,30/кВт·год потроює цю цифру).
Практичний висновок: ціни падають достатньо швидко, щоб 12-місячне зобов'язання під конкретний рівень моделей було ризикованим. Переоцінюйте щоквартально. Гід 12 способів зрізати рахунок за LLM покриває тактичні кроки, які можна зробити вже зараз, поки макротренд робить важку роботу.
Як оцінити саме ваші витрати на інференс?
Оцініть місячну вартість інференсу LLM у чотири кроки: порахуйте токени на запит, помножте на місячний обсяг, застосуйте тариф рівня, тоді додайте 20-40% накладних. З нашого досвіду оцінки бюджетів інференсу для клієнтів, більшість команд пропускають четвертий крок і дивуються, чому реальний рахунок на третину більший за оцінку. Ось процес, який використовуємо ми.
- Порахуйте токени на запит. Логувайте середні вхідні токени (системний промпт + контекст + повідомлення користувача) та вихідні токени (відповідь моделі) на 100+ реальних запитах. Не вгадуйте. Вимірюйте.
- Помножте на місячний обсяг. Запитів на день × 30 = запитів на місяць. Помножте на кількість токенів на запит.
- Застосуйте тариф рівня. Помножте суму вхідних токенів на тариф моделі $/млн вхідних. Те саме для вихідних. Додайте обидві суми.
- Додайте 20-40% накладних. Повтори, eval, ітерації промптів, моніторинг. Саме ця цифра йде у ваш бюджет, а не крок 3.
def estimate_monthly_budget(avg_input_tokens, avg_output_tokens,
requests_per_day, price_in, price_out,
overhead_pct=0.30):
"""Full monthly budget estimate with overhead."""
monthly_requests = requests_per_day * 30
raw_cost = monthly_cost(
avg_input_tokens, avg_output_tokens,
monthly_requests, price_in, price_out
)
return raw_cost * (1 + overhead_pct)
# RAG pipeline: 10K queries/day on GPT-4.1
budget = estimate_monthly_budget(
avg_input_tokens=3200,
avg_output_tokens=600,
requests_per_day=10_000,
price_in=2.00,
price_out=8.00,
overhead_pct=0.30
)
print(f"${budget:,.0f}/month") # $4,368/monthКоли ви знаєте свою цифру, інструменти LLM-шлюзу маршрутизують трафік на найдешевшу модель, що проходить вашу планку якості. Шлюз із вибором моделі на кожен запит може зрізати вашу змішану собівартість на 30-50%, не чіпаючи промпти.
Про автора
Мерт Батур є співзасновником Techsy.io, де команда відвантажує AI-агентів, системи автоматизації та голосові/SDR-конвеєри для B2B-клієнтів. Він пише про стек інструментів LLM, який команда Techsy реально використовує в продакшені. Профіль у LinkedIn.
Часті запитання
Чи дорогий інференс LLM?
Залежить від масштабу та вибору моделі. Мільйон вхідних токенів коштує $0,02 на Gemini 2.5 Flash або $75 на передовій моделі міркування. Для невеликого застосунку з 10 тисячами запитів на день очікуйте $50-$400 на місяць. Для корпоративних навантажень на 1 млн+ запитів на день бюджети сягають $5,000-$40,000 на місяць. Собівартість одиниці низька; обсяг робить свою справу.
Скільки це, 1 мільйон токенів у LLM?
Мільйон токенів дорівнює приблизно 750 000 слів, або близько 10 повноцінних романів. У липні 2026 року обробка 1 млн вхідних токенів коштує від $0,02 (бюджетний рівень) до $75 (передовий рівень). Вихідні токени на той самий обсяг обходяться від $0,06 до $300. Більшість продакшн-навантажень потрапляють у середній рівень: $2-$15 за мільйон вхідних токенів.
Чому інференс AI такий дорогий?
Інференс вимагає прогону кожного токена через мільярди параметрів моделі на GPU, кожен з яких коштує $25,000-$40,000. Фаза декодування генерує токени послідовно, залишаючи ядра GPU незадіяними між кроками. Ви платите за спеціалізоване обладнання, електрику, охолодження та інженерну команду провайдера, яка тримає стек обслуговування в роботі 24/7.
Чи падають витрати на інференс AI?
Так, приблизно у 10 разів щороку з 2023 року. GPT-4 стартував за $30/$60 на мільйон токенів (вхід/вихід). Еквівалентні можливості тепер коштують $2-$10. Дані Epoch AI підтверджують цю траєкторію в усіх провайдерів. Gartner прогнозує ще 90% зниження до 2030 року завдяки вдосконаленню обладнання та конкурентному тиску моделей з відкритим кодом.
Скільки коштує інференс LLM у 2026 році?
Бюджетні моделі: $0,02-$0,30 за мільйон вхідних токенів. Середній рівень: $0,55-$15. Передовий: $15-$75. Типове продакшн-навантаження (чатбот підтримки, RAG-конвеєр або код-асистент) коштує $150-$4,000 на місяць на моделях середнього рівня. Бюджетні моделі закривають високооб'ємні низькоскладні задачі у 10-30 разів дешевше.
У чому різниця між вартістю навчання та вартістю інференсу?
Навчання є одноразовою витратою на створення моделі з нуля: $50 млн-$200 млн для передової моделі, тисячі GPU протягом місяців. Інференс є регулярною вартістю використання цієї навченої моделі: прогін вхідних даних для отримання вихідних, з тарифікацією за токен. Для більшості команд інференс є єдиним рахунком, який вони платять. Навчання є для компаній, що будують базові моделі.
Як розрахувати вартість інференсу LLM для мого застосунку?
Помножте середні вхідні токени на запит на місячний обсяг запитів, тоді на тариф моделі $/млн вхідних. Повторіть для вихідних токенів. Додайте обидві суми. Додайте 30% на повтори, eval і моніторинг. Python-фрагменти в цій статті автоматизують математику. Вимірюйте реальну кількість токенів, а не вгадуйте; логи зі 100+ запитів дають достовірне середнє.
Чи вихідні токени дорожчі за вхідні?
Так, зазвичай у 3-5 разів. Обробка входу (пріфіл) паралелізується на всі токени одночасно, повністю завантажуючи ядра GPU. Генерація виходу (декодування) видає по одному токену, і кожен залежить від попереднього. GPU чекає на пропускну здатність пам'яті між кроками. Провайдери тарифікують вихід вище, щоб відобразити цю нижчу ефективність обладнання.
Чи інференс на власному обладнанні дешевший за API?
Лише після ~200 тисяч запитів на день зі стабільним завантаженням GPU понад 50%. Нижче ефективність мультитенантних API-провайдерів перебиває ваше однотенантне обладнання. Власний хостинг також додає приховані витрати: зарплати ML-інженерів ($180 тис.-$250 тис. на рік), чергування, оновлення моделей і патчі безпеки. Більшості команд до 50 інженерів краще лишатися на API.
Чи інференс LLM споживає багато енергії?
GPU H100 споживає ~700 Вт під навантаженням. За тарифу $0,10/кВт·год це $0,07 на GPU-годину, що для моделі на 70B означає приблизно $0,01 на мільйон вихідних токенів. Енергія становить 1-3% рахунку API, але 8-15% TCO власного хостингу. У регіонах з дорогою електрикою (Німеччина, $0,30/кВт·год) частка енергії потроюється і суттєво впливає на економіку власного розміщення.
Головне
Чотири цифри, які варто запам'ятати: $0,02 (бюджетний мінімум за мільйон вхідних токенів), 3-5x (премія за вихід відносно входу), 20-40% (накладні, які слід додати до голої математики токенів) і 10x (щорічне падіння цін з 2023 року). Ваш реальний рахунок залежить від обсягу, рівня моделі та того, наскільки агресивно ви кешуєте, пакетуєте й маршрутизуєте трафік.
У Techsy наша команда оцінює бюджети інференсу та підбирає рівні моделей для B2B-клієнтів із продакшн-навантаженнями LLM. Якщо вам потрібен погляд із боку на вашу модель витрат, отримайте безкоштовну консультацію.