Ile kosztuje inferencja LLM? 4 scenariusze z prawdziwymi obliczeniami

Ile kosztuje inferencja LLM? 4 scenariusze z prawdziwymi obliczeniami

GPT-4 kosztował $30 za milion tokenów wejściowych w marcu 2023. Trzy lata później GPT-5.6 przetwarza ten sam milion za $10. Claude Opus 4.5 kosztuje $15. A najtańsza opcja? Dwa centy. To oznacza 1500-krotną różnicę między najtańszym a najdroższym wariantem za identyczną jednostkę pracy. Koszt inferencji LLM to cykliczny rachunek, który płacisz za każdym razem, gdy wytrenowany model odczytuje Twoje dane wejściowe i generuje odpowiedź, wyceniany za milion tokenów przez każdego dużego dostawcę. Modele budżetowe kosztują $0,02-$0,30 za milion tokenów wejściowych. Modele frontierowe pobierają $15-$75 za tę samą objętość. Ta różnica ma znaczenie, bo to Twoje obciążenie, a nie ambicje, determinuje, której klasy modelu naprawdę potrzebujesz.

Kluczowe wnioski:

• Modele budżetowe kosztują $0,02-$0,30 za milion tokenów wejściowych; modele frontierowe $15-$75 (lipiec 2026).
• Tokeny wyjściowe kosztują 3-5x więcej niż wejściowe, bo generowanie jest sekwencyjne, a nie równoległe.
• Chatbot obsługowy z 50 tys. rozmów miesięcznie kosztuje od $9 do $420/mies. w zależności od klasy modelu.
• Ceny inferencji spadały ~10x rocznie; Gartner prognozuje 90% spadek do 2030 roku.

Ile kosztuje inferencja LLM za milion tokenów?

Cennik inferencji LLM opiera się na trójstopniowej strukturze według stanu na lipiec 2026. Modele budżetowe od dostawców takich jak Google (Gemini 2.5 Flash) i opcje open-source (Llama 4, Qwen 3) kosztują $0,02-$0,30 za milion tokenów wejściowych. Modele średniej klasy (GPT-4.1, Claude Sonnet 4) mieszczą się między $0,55 a $15. Modele frontierowe z rozumowaniem (o3, Claude Opus 4.5) kosztują $15-$75. Każdy dostawca publikuje te stawki na swoich oficjalnych stronach cennikowych (OpenAI, Anthropic), a PricePerToken.com śledzi ponad 300 modeli w czasie rzeczywistym.

Według stanu na lipiec 2026 możesz przetworzyć milion tokenów wejściowych za zaledwie dwa centy albo zapłacić siedemdziesiąt pięć dolarów za ten sam milion na modelu frontierowym.

Rabaty za cache wejściowy obniżają rachunek o 50-90% przy powtarzalnych promptach (prompt caching obniża koszty wejściowe wyjaśnia mechanizm). Aktualną siatkę 300 modeli ze stawkami wszystkich dostawców znajdziesz w naszym pełnym porównaniu cen za token.

Co napędza koszt inferencji LLM? 4 składniki

Twój rachunek za inferencję składa się z czterech czynników kosztowych: czas obliczeniowy GPU na token, pamięć na wagi modelu i cache KV, asymetria wejście/wyjście sprawiająca, że generowanie jest droższe niż odczyt, oraz narzut infrastrukturalny (prąd, chłodzenie, sieć). Zrozumienie, który składnik dominuje w Twoim obciążeniu, podpowie Ci, gdzie optymalizacja się opłaca.

Obliczenia: czas GPU na token

Każdy token przechodzi przez każdą warstwę modelu. Model o 70 mld parametrów w FP16 wymaga około 140 GFLOP na token. Kwantyzacja do INT4 redukuje to do ~35 GFLOP. Przewodnik benchmarkowy NVIDIA rozbija pełną formułę TCO: amortyzacja sprzętu plus prąd plus narzut operacyjny, podzielone przez liczbę obsłużonych tokenów.

Pamięć: wagi modelu + cache KV

Model 70B w FP16 zajmuje ~140 GB VRAM na same wagi. Cache KV rośnie wraz z długością kontekstu i rozmiarem równoczesnego batcha. Przy kontekście 128K z 32 równoczesnymi żądaniami możesz spalić kolejne 80 GB. Dlatego wymagania VRAM według modelu mają tak duże znaczenie przy decyzjach o własnym hostingu.

Asymetria wejście vs wyjście

Tokeny wyjściowe kosztują 3-5x więcej niż wejściowe, bo model generuje je po jednym, w kolejności. Nie może ich zrównoleglić tak jak odczytuje Twój prompt.

Oto prosta wersja: odczyt Twojego prompta o 2000 tokenów (faza „prefill") przetwarza wszystkie tokeny jednocześnie na rdzeniach GPU. Generowanie 500 tokenów wyjściowych (faza „decode") produkuje jeden token na krok, każdy zależy od poprzedniego. GPU w większości czeka na przepustowość pamięci między krokami. Za ten czas przestoju płacisz 3-5x stawkę wejściową.

Narzut infrastrukturalny

Prąd, chłodzenie, sieć i GPU stojące bezczynnie między żądaniami. Dokumentacja optymalizacyjna Hugging Face opisuje, jak continuous batching i speculative decoding wyciskają więcej tokenów na GPU-godzinę z tego samego sprzętu, bezpośrednio obniżając ten składnik kosztów.

Ile kosztuje inferencja LLM dla 4 rzeczywistych obciążeń?

Typowy chatbot obsługowy kosztuje $9-$420/mies., pipeline RAG generuje $168-$3360/mies., asystent kodu dla 200 programistów to $123-$2078/mies., a masowe przetwarzanie dokumentów mieści się między $240 a $6400/mies. Rozrzut zależy niemal wyłącznie od wyboru klasy modelu. Zbudowaliśmy te cztery scenariusze na podstawie wolumenów tokenów z naszych wdrożeń klienckich, wycenionych według oficjalnych cenników z lipca 2026. Każda kwota poniżej jest odtwarzalna: założone wolumeny tokenów pomnożone przez opublikowane stawki. Nasza analiza, nie deklaracje dostawców.

Chatbot obsługowy: 50 tys. rozmów/miesiąc

Średnia rozmowa: 800 tokenów wejściowych (prompt systemowy + wiadomości użytkownika + pobrany kontekst), 400 tokenów wyjściowych. Miesięczny wolumen: 50 000 rozmów = 40 mln tokenów wejściowych, 20 mln wyjściowych.

• Opcja budżetowa (Gemini 2.5 Flash): 40 mln × $0,075/M + 20 mln × $0,30/M = $9/mies. Niemal podejrzanie tanio.
• Opcja średnia (Claude Sonnet 4): 40 mln × $3/M + 20 mln × $15/M = $420/mies.

Dla bota obsługującego zgłoszenia pierwszego poziomu model budżetowy radzi sobie z 90% zapytań. Trudne 10% kieruj do klasy średniej przez klasyfikator.

Pipeline RAG: 10 tys. zapytań/dzień

Średnie zapytanie: 3200 tokenów wejściowych (pobrane fragmenty + prompt systemowy + pytanie użytkownika), 600 tokenów wyjściowych. Miesięcznie: 300 tys. zapytań = 960 mln tokenów wejściowych, 180 mln wyjściowych.

• Opcja budżetowa (Llama 4 Scout przez API): 960 mln × $0,10/M + 180 mln × $0,40/M = $168/mies.
• Opcja średnia (GPT-4.1): 960 mln × $2/M + 180 mln × $8/M = $3360/mies.

Obciążenie RAG jest zdominowane przez wejście, więc rabaty za cache wejściowy mocno tu działają. Przy 70% prompt caching klasa średnia spada do ~$2100/mies.

Asystent kodu: 200 programistów

Średnia sesja: 4500 tokenów wejściowych (kontekst plików + rozmowa), 1200 tokenów wyjściowych. Zakładając 15 żądań/programistę/dzień, 22 dni robocze = 66 000 żądań/mies. = 297 mln wejściowych, 79 mln wyjściowych.

• Opcja budżetowa (Qwen 3 32B): 297 mln × $0,20/M + 79 mln × $0,80/M = $123/mies.
• Opcja średnia (Claude Sonnet 4): 297 mln × $3/M + 79 mln × $15/M = $2078/mies.

Programiści szybko zauważają różnice w jakości. Dla kodu klasa średnia to zazwyczaj minimum. Modele budżetowe sprawdzają się przy autouzupełnianiu, ale mają problemy z refaktoryzacją wielu plików.

Masowe przetwarzanie dokumentów: 1 mln dok./mies.

Średni dokument: 2000 tokenów wejściowych, 300 wyjściowych (ekstrakcja, klasyfikacja, sumaryzacja). Miesięcznie: 2 mld wejściowych, 300 mln wyjściowych.

• Opcja budżetowa (Gemini 2.5 Flash): 2 mld × $0,075/M + 300 mln × $0,30/M = $240/mies.
• Opcja średnia (GPT-4.1): 2 mld × $2/M + 300 mln × $8/M = $6400/mies.

Przy tym wolumenie 27-krotna różnica cenowa między klasami to pozycja budżetowa o wartości $6160/mies. Modele budżetowe dobrze radzą sobie ze strukturalną ekstrakcją. Jeśli rozważasz własny hosting przy tej skali, sprawdź wymagania VRAM według modelu.

def monthly_cost(input_tokens, output_tokens, requests, price_in, price_out):
    """Estimate monthly LLM inference cost.
    
    Args:
        input_tokens: avg input tokens per request
        output_tokens: avg output tokens per request
        requests: monthly request volume
        price_in: $/M input tokens
        price_out: $/M output tokens
    """
    total_in = input_tokens * requests / 1_000_000
    total_out = output_tokens * requests / 1_000_000
    return (total_in * price_in) + (total_out * price_out)

# Example: support chatbot on Claude Sonnet 4
cost = monthly_cost(
    input_tokens=800,
    output_tokens=400,
    requests=50_000,
    price_in=3.00,
    price_out=15.00
)
print(f"${cost:,.2f}/month")  # $420.00/month

API czy własny hosting: kiedy co się opłaca?

API wygrywa poniżej ~20 tys. żądań/dzień lub gdy Twój zespół nie ma doświadczenia z infrastrukturą ML. Własny hosting wygrywa powyżej 200 tys. żądań/dzień przy stałym wykorzystaniu GPU ponad 50%. Punkt opłacalności, według analizy Introl, wypada w okolicach 50-80 tys. żądań/dzień dla modelu klasy 70B na pojedynczym węźle H100. Poniżej tego progu wielolokatorska efektywność dostawcy API bije matematykę Twojego jednolokatorskiego sprzętu.

Kiedy API wygrywa

Wdrażasz w dni, nie tygodnie. Brak pensji inżyniera ML ($180 tys.-$250 tys./rok), brak dyżurów na awarie GPU, brak planowania pojemności. Dla większości zespołów poniżej 50 inżynierów API jest właściwym domyślnym wyborem. Kropka.

Kiedy własny hosting wygrywa

Przekroczyłeś 200 tys. żądań/dzień, Twoje obciążenie jest przewidywalne i już zatrudniasz ludzi od infrastruktury ML. Modele open-source (Llama 4, Qwen 3, Mistral) działają na Twoim sprzęcie za koszt prądu plus amortyzacja. Benchmarki vLLM vs SGLang pokazują różnice w przepustowości rzędu 15-30% w zależności od kształtu obciążenia, co ma znaczenie przy tej skali.

Liczba progowa

Własny hosting opłaca się wyłącznie powyżej ~50% stałego wykorzystania GPU. Poniżej płacisz za bezczynny krzem. Ukryte koszty osobowe (czas inżynierów ML, dyżury, aktualizacje modeli, łatki bezpieczeństwa) to prawdziwy powód, dla którego większość zespołów zostaje przy API, nawet gdy surowa matematyka GPU wygląda korzystnie. Jeśli decydujesz się na własny hosting, wdrożenie modeli na Modal eliminuje warstwę zarządzania infrastrukturą, utrzymując koszty za token poniżej stawek API.

Ukryte koszty, których nikt nie uwzględnia w budżecie

Surowy wydatek na tokeny to 60-80% Twojego realnego rachunku. Reszta kryje się w sześciu pozycjach, które nigdy nie pojawiają się w kalkulatorze cenowym. Dolicz dodatkowe 20-40% do szacunku tokenowego, żeby je pokryć.

• Monitoring i narzędzia obserwowalności: $200-$1500/mies. Dashboardy zużycia tokenów, śledzenie opóźnień, atrybucja kosztów na funkcję. Stack obserwowalności LLM zwraca się przy pierwszym wychwyceniu regresji prompta, zanim przepali Twój budżet.
• Ponowienia i powtórki po błędach: 3-8% żądań kończy się niepowodzeniem lub wymaga ponowienia (timeouty, limity szybkości, błędne odpowiedzi). To 3-8% Twojego rachunku za tokeny, wydane na nic.
• Godziny iteracji nad promptami: 20-60 godzin kwartalnie przy obciążonym koszcie inżynierskim $100-$200/godz. Każda zmiana prompta wymaga ponownego uruchomienia batchy testowych.
• Ewaluacja i testy regresyjne: $100-$800/mies. w tokenach na zautomatyzowane zestawy ewaluacyjne. Płacisz modelowi za ocenianie samego siebie.
• Nadmiarowość wieloregionalna: 1,5-2x koszt infrastruktury, jeśli potrzebujesz failover między regionami ze względu na opóźnienia lub compliance.
• Kary za cold start: Wdrożenia serverless GPU (Modal, AWS Lambda) naliczają opłaty za czas przestoju. Cold start dodaje 2-8 sekund i obciąża Cię za rozgrzewkę.

Złota zasada: pomnóż surowy szacunek tokenowy przez 1,3, żeby uzyskać realistyczny budżet. Pomnóż przez 1,4, jeśli działasz w branży regulowanej z narzutem compliance.

Dlaczego inferencja LLM ciągle tanieje?

Ceny inferencji LLM spadały mniej więcej 10x rocznie od 2023 roku. Obciążenie, które kosztowało $1000/mies. w 2024, dziś kosztuje bliżej $100. Trzy siły to napędzają: ulepszenia sprzętowe (NVIDIA Blackwell FP4, Google TPU v6), presja konkurencyjna (DeepSeek, modele open-source wymuszające wojny cenowe) i optymalizacja oprogramowania (speculative decoding, continuous batching, kwantyzacja). Gartner prognozuje kolejny spadek o 90% do 2030 roku, choć to prognoza, nie gwarancja.

Śledzenie cen Epoch AI dokumentuje ten spadek twardymi danymi. Analiza „LLMflation" a16z ukuła ten termin i opisała implikacje ekonomiczne: inferencja defluje szybciej niż jakakolwiek wcześniejsza kategoria obliczeniowa.

Trening vs koszt inferencji

Wytrenowanie modelu frontierowego kosztuje $50 mln-$200 mln (jednorazowo). Inferencja tego samego modelu, dla wszystkich użytkowników, to $5 mln-$50 mln rocznie w zależności od skali. Dla większości zespołów stosunek wynosi 10-100x: trening kosztuje 10-100 razy więcej niż rok inferencji. Ale trening to jednorazowy wydatek kapitałowy. Inferencja to cykliczny rachunek operacyjny, który rośnie wraz z bazą użytkowników. Nie płacisz za trening, chyba że budujesz model fundamentowy. Za inferencję płacisz każdego dnia.

Pozycja energetyczna

NVIDIA H100 pobiera ~700W pod obciążeniem. Przy $0,10/kWh (średnia w USA) to $0,07 na GPU-godzinę. Model 70B na pojedynczym H100 generuje około 2000 tokenów wyjściowych/sekundę w batchu. W ciągu godziny: 7,2 mln tokenów. Koszt prądu na milion tokenów wyjściowych: ~$0,01. Nasze obliczenie, oznaczone jako takie. Energia to 1-3% rachunku API, ale 8-15% TCO własnego hostingu. Ma większe znaczenie, jeśli prowadzisz własne GPU w regionie o wysokich cenach prądu (Niemcy przy $0,30/kWh potrajają tę liczbę).

Praktyczny wniosek: ceny spadają na tyle szybko, że 12-miesięczne zobowiązanie do konkretnej klasy modelu jest ryzykowne. Przewalutowuj kwartalnie. 12 sposobów na obniżenie rachunku za LLM opisuje taktyczne ruchy, które możesz wykonać teraz, podczas gdy trend makro wykonuje ciężką pracę.

Jak oszacować SWÓJ koszt inferencji?

Oszacuj miesięczny koszt inferencji LLM w czterech krokach: policz tokeny na żądanie, pomnóż przez miesięczny wolumen, zastosuj cenę klasy modelu, a następnie dolicz 20-40% narzutu. Z naszego doświadczenia w budżetowaniu inferencji dla klientów wynika, że większość zespołów pomija krok czwarty i zastanawia się, dlaczego realny rachunek przekracza szacunek o jedną trzecią. Oto proces, którego używamy.

1. Policz tokeny na żądanie. Zaloguj średnie tokeny wejściowe (prompt systemowy + kontekst + wiadomość użytkownika) i wyjściowe (odpowiedź modelu) na podstawie 100+ rzeczywistych żądań. Nie zgaduj. Mierz.
2. Pomnóż przez miesięczny wolumen. Żądania/dzień × 30 = żądania miesięczne. Pomnóż przez liczbę tokenów na żądanie.
3. Zastosuj cenę klasy. Pomnóż łączne tokeny wejściowe przez stawkę $/M wejściowych danego modelu. To samo dla wyjściowych. Zsumuj.
4. Dolicz 20-40% narzutu. Ponowienia, ewaluacje, iteracje promptów, monitoring. Ta liczba trafia do budżetu, nie krok 3.

def estimate_monthly_budget(avg_input_tokens, avg_output_tokens,
                            requests_per_day, price_in, price_out,
                            overhead_pct=0.30):
    """Full monthly budget estimate with overhead."""
    monthly_requests = requests_per_day * 30
    raw_cost = monthly_cost(
        avg_input_tokens, avg_output_tokens,
        monthly_requests, price_in, price_out
    )
    return raw_cost * (1 + overhead_pct)

# RAG pipeline: 10K queries/day on GPT-4.1
budget = estimate_monthly_budget(
    avg_input_tokens=3200,
    avg_output_tokens=600,
    requests_per_day=10_000,
    price_in=2.00,
    price_out=8.00,
    overhead_pct=0.30
)
print(f"${budget:,.0f}/month")  # $4,368/month

Gdy znasz już swoją liczbę, narzędzia gateway LLM kierują ruch do najtańszego modelu spełniającego Twój próg jakości. Gateway z wyborem modelu na żądanie potrafi obniżyć mieszany koszt o 30-50% bez dotykania promptów.

O autorze

Mert Batur jest współzałożycielem Techsy.io, gdzie zespół wdraża agentów AI, systemy automatyzacji i pipeline'y głosowe/SDR dla klientów B2B. Pisze o stosie narzędzi LLM, którego zespół Techsy faktycznie używa w produkcji. Połącz się na LinkedIn.

Najczęściej zadawane pytania

Czy inferencja LLM jest droga?

Zależy od skali i wyboru modelu. Milion tokenów wejściowych kosztuje $0,02 na Gemini 2.5 Flash lub $75 na frontierowym modelu rozumującym. Dla małej aplikacji przetwarzającej 10 tys. żądań/dzień spodziewaj się $50-$400/mies. Dla obciążeń enterprise przy 1 mln+ żądań/dzień budżety wynoszą $5000-$40 000/mies. Koszt jednostkowy jest niski; wolumen sprawia, że się sumuje.

Ile to jest 1 milion tokenów w LLM?

Milion tokenów to około 750 000 słów, czyli mniej więcej 10 pełnowymiarowych powieści. W lipcu 2026 przetworzenie 1 mln tokenów wejściowych kosztuje $0,02 (klasa budżetowa) do $75 (klasa frontierowa). Tokeny wyjściowe dla tego samego wolumenu to $0,06 do $300. Większość obciążeń produkcyjnych ląduje w klasie średniej: $2-$15 za milion tokenów wejściowych.

Dlaczego inferencja AI jest taka droga?

Inferencja wymaga przepuszczenia każdego tokena przez miliardy parametrów modelu na GPU kosztujących $25 000-$40 000 za sztukę. Faza dekodowania generuje tokeny sekwencyjnie, zostawiając rdzenie GPU bezczynne między krokami. Płacisz za specjalistyczny sprzęt, prąd, chłodzenie i zespół inżynierski dostawcy, który utrzymuje stos serwingowy w ruchu 24/7.

Czy koszty inferencji AI spadają?

Tak, mniej więcej 10x rocznie od 2023. GPT-4 startował z ceną $30/$60 za milion tokenów (wejście/wyjście). Równoważna wydajność kosztuje teraz $2-$10. Dane Epoch AI potwierdzają tę trajektorię u wszystkich dostawców. Gartner prognozuje kolejny spadek o 90% do 2030 roku, napędzany ulepszeniami sprzętowymi i presją konkurencyjną ze strony modeli open-source.

Ile kosztuje inferencja LLM w 2026?

Modele budżetowe: $0,02-$0,30 za milion tokenów wejściowych. Klasa średnia: $0,55-$15. Frontierowa: $15-$75. Typowe obciążenie produkcyjne (chatbot obsługowy, pipeline RAG lub asystent kodu) kosztuje $150-$4000/mies. na modelach klasy średniej. Modele budżetowe obsługują masowe, niskozłożone zadania za 10-30x mniej.

Jaka jest różnica między kosztem treningu a kosztem inferencji?

Trening to jednorazowy wydatek na nauczenie modelu od zera: $50 mln-$200 mln dla modelu frontierowego, wymagający tysięcy GPU przez miesiące. Inferencja to cykliczny koszt używania tego wytrenowanego modelu: przepuszczanie danych wejściowych w celu uzyskania odpowiedzi, rozliczane za token. Dla większości zespołów inferencja to jedyny rachunek, który płacą. Trening jest dla firm budujących modele fundamentowe.

Jak obliczyć koszt inferencji LLM dla mojej aplikacji?

Pomnóż średnie tokeny wejściowe na żądanie przez miesięczny wolumen żądań, a następnie przez stawkę $/M wejściowych danego modelu. Powtórz dla tokenów wyjściowych. Zsumuj oba. Dolicz 30% na ponowienia, ewaluacje i monitoring. Fragmenty kodu Python w tym artykule automatyzują te obliczenia. Mierz rzeczywiste liczby tokenów zamiast zgadywać; logi ze 100+ żądań dają wiarygodną średnią.

Czy tokeny wyjściowe kosztują więcej niż wejściowe?

Tak, zazwyczaj 3-5x więcej. Przetwarzanie wejściowe (prefill) równolegli się na wszystkich tokenach jednocześnie, w pełni wykorzystując rdzenie GPU. Generowanie wyjściowe (decode) produkuje jeden token naraz, każdy zależy od poprzedniego. GPU czeka na przepustowość pamięci między krokami. Dostawcy wyceniają wyjście wyżej, żeby odzwierciedlić niższą efektywność sprzętową.

Czy inferencja na własnym sprzęcie jest tańsza niż API?

Tylko powyżej ~200 tys. żądań/dzień przy stałym wykorzystaniu GPU ponad 50%. Poniżej wielolokatorska efektywność dostawców API bije Twój jednolokatorski sprzęt. Własny hosting dodaje też ukryte koszty: pensje inżynierów ML ($180 tys.-$250 tys./rok), dyżury, aktualizacje modeli i łatki bezpieczeństwa. Większość zespołów poniżej 50 inżynierów powinna zostać przy API.

Czy inferencja LLM zużywa dużo energii?

GPU H100 pobiera ~700W pod obciążeniem. Przy $0,10/kWh to $0,07/GPU-godzinę, co przekłada się na około $0,01 za milion tokenów wyjściowych dla modelu 70B. Energia to 1-3% rachunku API, ale 8-15% TCO własnego hostingu. W regionach o drogim prądzie (Niemcy, $0,30/kWh) udział energii potraja się i materialnie wpływa na ekonomię własnego hostingu.

Podsumowanie

Cztery liczby do zapamiętania: $0,02 (budżetowe minimum za milion tokenów wejściowych), 3-5x (premia wyjściowa nad wejściową), 20-40% (narzut do doliczenia do surowej matematyki tokenowej) i 10x (roczny spadek cen od 2023). Twój rzeczywisty rachunek zależy od wolumenu, klasy modelu i tego, jak agresywnie cache'ujesz, batchujesz i kierujesz ruch.

W Techsy nasz zespół budżetuje inferencję i dobiera klasy modeli dla klientów B2B prowadzących produkcyjne obciążenia LLM. Jeśli chcesz, żeby ktoś rzucił okiem na Twój model kosztowy, umów się na bezpłatną konsultację.