Monitorowanie kosztów LLM: kontroluj wydatki, zanim poszybują (2026)

Monitorowanie kosztów LLM: kontroluj wydatki, zanim poszybują (2026)

Monitorowanie kosztów LLM to różnica między fakturą-niespodzianką na 412 $ a pingiem na Slacku przy 80% budżetu. Claude Sonnet 5 kosztuje w tym miesiącu 3,00 $ za milion tokenów wejściowych, a jedna zapętlona pętla agenta potrafi spalić tę kwotę w jedno popołudnie. Większość zespołów wdraża śledzenie w jeden dzień; alerty to część, którą pomijają.

Najważniejsze wnioski:

• Monitorowanie kosztów LLM dopina do każdego żądania liczbę tokenów i szacunek w dolarach, a następnie agreguje je według modelu i zespołu.
• Śledź pięć metryk: tokeny na żądanie, koszt per funkcja/zespół/model, współczynnik trafień w cache, koszt na rozmowę, tempo skoków.
• Budżety LiteLLM, trace'y Langfuse lub Datadog LLM Observability, każde z nich daje widoczność wydatków w mniej niż dzień.
• Dashboardy pokazują szacunki; ceny za input z cache'a i rabaty batch sprawiają, że faktura zwykle ląduje poniżej nich.

Co właściwie śledzi monitorowanie kosztów LLM?

Monitorowanie kosztów LLM to praktyka dopinania liczby tokenów i szacunku kosztu do każdego żądania LLM, a następnie agregowania tych szacunków według modelu, funkcji i zespołu, aby móc alarmować o wydatkach, zanim przyjdzie faktura. Szacunek jest liczony per żądanie z publikowanych cen tokenów, sumowany według tagów nadanych wywołaniu i porównywany z budżetem ustawionym z wyprzedzeniem.

Matematyka pod spodem jest neutralna vendorowo. Odpowiedź o zużyciu od każdego dostawcy rozbija tokeny na pola, a dokumentacja kosztów Datadog opisuje te zależności wprost. Konwencje semantyczne OpenTelemetry GenAI standaryzują te same pola między dostawcami, więc dashboard zbudowany na nich nie jest przywiązany do jednego providera.

Trzy zależności robią większość roboty: łączne tokeny = input + output; input = bez cache'a + cache_read + cache_write; tokeny rozumowania siedzą wewnątrz outputu, po stawce outputu. Ustaw je dobrze, a szacunek per żądanie trzyma się faktury; zignoruj je, a dashboard będzie rozmijał się z rachunkiem co miesiąc. Monitorowanie kosztów to jeden z filarów obserwowalności AI; tracing i ewaluacje to dwa pozostałe i wszystkie dzielą ten sam słownik pól.

Twój dashboard pokazuje szacunek; faktura jest jedyną metryką kosztu, która nigdy nie jest cache'owana.

Ile kosztuje 1 milion tokenów w LLM?

To zależy od modelu i kierunku: 1M tokenów kosztuje 0,14 $ jako input DeepSeek-V4 i 15,00 $ jako output GPT-5.6 Terra, co daje stukrotne przebicie na tej samej jednostce. Oto cztery modele z naszego badania cen z 14 lipca 2026, zweryfikowane z oficjalnymi stronami:

Źródła: cennik OpenAI i cennik Anthropic. Jedna uwaga: Claude Sonnet 5 działa po cenie wprowadzeniowej 2,00 $ input / 10,00 $ output do 31 sierpnia 2026, potem wraca do powyższych stawek.

5 metryk, które naprawdę mają znaczenie

Pięć metryk pokrywa śledzenie kosztów LLM, a większość zespołów alarmuje tylko o dwóch. Zacznij od pierwszych dwóch wierszy: tokeny na żądanie łapią rozdęcie promptu w dniu, w którym się pojawia, a koszt per zespół to liczba, o którą w końcu prosi księgowość. Pozostałe trzy doprecyzowują obraz, gdy te już działają.

Jedna uwaga o granulacji: Datadog przechowuje koszt per żądanie w nanodolarach (miliardowych częściach dolara), zgodnie ze swoją dokumentacją kosztów. Przy 0,14 $ za milion tokenów pojedyncze żądanie do DeepSeek-V4 może kosztować mniej niż tysięczna centa, więc agreguj przed zaokrągleniem, inaczej ruch z małych modeli znika z raportu.

Jeśli nie śledzisz niczego innego, śledź wiersz pierwszy i drugi. Tokeny na żądanie to najwcześniejsze ostrzeżenie, jakie dostajesz; koszt per zespół to ten, który przeżywa kontakt z działem księgowości.

Trzy sposoby na wdrożenie monitorowania kosztów LLM

Żadna z najwyżej notowanych stron dla tego zapytania nie publikuje ani jednej uruchamialnej linii kodu, więc oto trzy działające konfiguracje. Każda staje produkcyjnie w mniej niż dzień i łączą się ze sobą: my uruchamiamy dwie pierwsze razem.

Co faktycznie działa u nas na produkcji: w naszej konfiguracji każdy agent kliencki rozmawia z proxy LiteLLM przez własny klucz wirtualny, z miesięcznym budżetem na każdy klucz, a Langfuse trakuje każde żądanie za proxy. Gdy wdrożyliśmy oba razem, podział pracy był sednem: proxy egzekwuje limity, a trace'y wyjaśniają, co je zużyło. Każdy z naszych kluczy klienckich niesie też tpm_limit 100 000 tokenów na minutę jako drugi bezpiecznik; zgodnie z dokumentacją LiteLLM proxy odrzuca żądania po osiągnięciu limitu i to na tym udokumentowanym zachowaniu polegamy, nie na benchmarku, który sami zmierzyliśmy. Nasza konfiguracja całkowicie pomija LiteLLM 1.82.7 i 1.82.8, dwie wersje dotknięte incydentem łańcucha dostaw z marca 2026, i pinuje tag obrazu zamiast płynąć na latest.

Proxy LiteLLM: klucze wirtualne + budżety

Techsy uruchamia konfigurację proxy LiteLLM na produkcji z jednym kluczem wirtualnym per klient i miesięcznym budżetem na każdy klucz. Poniższe żądanie to udokumentowany kształt z dokumentacji virtual_keys LiteLLM: zgodnie z nią, gdy skumulowany wydatek na tym kluczu przekroczy 50 $ w miesiącu, proxy odrzuca kolejne żądania z błędem przekroczenia budżetu, zamiast logować ostrzeżenie po fakcie.

curl -X POST http://localhost:4000/key/generate \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "key_alias": "client-acme-search",
    "max_budget": 50.0,
    "budget_duration": "monthly",
    "tpm_limit": 100000,
    "models": ["anthropic/claude-sonnet-4-5"]
  }'

Policz to z publikowanymi cenami: przy 3,00 $ / 15,00 $ za milion tokenów Claude Sonnet 5, 50 $ kupuje mniej więcej 16,7M tokenów input lub 3,3M tokenów output, około tygodnia ruchu dla jednego z naszych lżejszych agentów klienckich. To dokładnie taki promień rażenia, jakiego chcemy. tpm_limit to drugi bezpiecznik: zapętlona pętla przekroczy 100 tys. tokenów na minutę na długo przed wyczerpaniem miesięcznego budżetu. Atrybucja per użytkownik działa tak samo przez endpoint users, a nasz przewodnik po najlepszych narzędziach bramkowych dla LLM opisuje, kiedy proxy zasługuje na swoje miejsce, a kiedy jest tylko kolejnym przystankiem.

Langfuse: tracing kosztów z @observe

Autouzupełnianie Google paruje "langfuse monitoring" z tym zapytaniem i nie bez powodu: Langfuse to open-source'owy domyślny wybór dla tracingu. Jego SDK dla Pythona owija klienta providera, więc każde wywołanie staje się trace'em niosącym liczbę tokenów i policzony koszt, zgodnie z dokumentacją trace'owania Langfuse:

# pip install langfuse openai
from langfuse import observe
from langfuse.openai import openai  # drop-in wrapper, auto-traces

@observe()
def answer(question: str):
    return openai.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": question}],
    )

answer("what is llm cost monitoring")
# the trace now carries usage.total_tokens and total_cost,
# priced from Langfuse's model price cards

Koszt ląduje na trace'ie bez liczenia tokenów po Twojej stronie; grupuj trace'y per sesja lub id użytkownika dla sumowań per funkcja i hostuj u siebie, jeśli dane nie mogą opuścić Twojej sieci.

Datadog LLM Observability: jeśli już w nim jesteś

Jeśli Twój zespół i tak wysyła agentów Datadog, jego dokumentacja kosztów LLM to najgłębsza pojedyncza referencja na tej stronie: koszt per żądanie w nanodolarach, własne cost_tags dla podziałów na zespoły i funkcje oraz prawdziwa sekcja troubleshootingu dla luk w kosztach częściowych. Uczciwy limit: tylko dla Datadog. Metryki nie opuszczają platformy, a gdy ceny przestaną pasować, nie ma open-source'owego fallbacku. Wybierz go dla konsolidacji, nie dla elastyczności.

Jak spiąć budżety, alerty i chargeback?

Spinasz to w trzech warstwach: limit budżetowy odrzucający żądania po osiągnięciu progu, alert webhookowy odpalany na procencie progu przed limitem oraz klucze wirtualne per zespół, które zamieniają showback i chargeback w zapytanie zamiast w kłótnię. LiteLLM dostarcza wszystkie trzy natywnie; wzorce przenoszą się na każdą bramkę z budżetami per klucz.

Budżet, który tylko liczy, to raport; budżet, który odrzuca żądania po osiągnięciu limitu, to mechanizm kontroli.

Alerty, które odpalają przed skokiem

Ustaw alert na 80% limitu, nie na 100%. LiteLLM ma wbudowane alerty na Slacka: ustaw alerting: ["slack"] i alerting_threshold: 80 w general_settings, skieruj zmienną środowiskową SLACK_WEBHOOK_URL na kanał, a gdy klucz przekroczy próg, wyląduje wiadomość taka jak ta:

{
  "text": "LLM budget alert: client-acme-search spent $40.18 of its $50.00 monthly cap (80.4%). Top model: anthropic/claude-sonnet-4-5."
}

Przy 80% człowiek ma jeszcze dni na reakcję: downgrade modelu, zacieśnienie promptu albo podniesienie limitu z nazwiskiem na aprobacie. Alert przy 100% to sekcja zwłok.

Od showbacku do chargebacku

Showback oznacza, że każdy zespół widzi własne wydatki; chargeback, że schodzą z jego budżetu. Oba działają na jednym składniku: klucz wirtualny per zespół, otagowany przy tworzeniu. Raport miesięczny to wtedy group-by po tabeli wydatków:

Format przykładowy, nie dane klientów. Wiersz evals-batch to wzorzec działający zgodnie z przeznaczeniem: praca batch dobiła do limitu i stanęła, zamiast cicho krwawić do faktury. Zachowanie egzekwowania jest udokumentowane w dokumentacji virtual_keys LiteLLM, łącznie z tym, jak resetuje się czas trwania budżetu.

Dlaczego Twój dashboard rozmija się z fakturą?

Bo dashboardy liczą po cenie katalogowej, a faktury stosują rabaty, których Twój monitoring nigdy nie widzi. Input z cache'a ląduje na 0,1x-0,25x ceny bazowej, batch na połowie, a tokeny rozumowania są liczone po stawce outputu wewnątrz liczby outputu. Gdy te dwie liczby się rozjeżdżają, faktura jest zwykle niższa, a luka prawie zawsze wynika z jednego z czterech modyfikatorów.

Otwarty katalog pydantic/genai-prices pokazuje, dlaczego te mnożniki różnią się per model: każdy dostawca ustawia własne współczynniki cache'a i batcha, więc jedna zahardkodowana tabela cen rozmija się z rzeczywistością w dniu, w którym provider zmienia cennik. Dokumentacja kosztów Datadog opisuje drugą połowę problemu: luki w kosztach częściowych, gdy brakujące pole tokenów zwraca COST UNAVAILABLE dla żądania. Zajrzyj tam, gdy dashboard pokazuje mniej niż faktura; zajrzyj do tabeli rabatów, gdy pokazuje więcej. Mechanizm stojący za największym mnożnikiem to cache'owanie promptów LLM, a wysoki współczynnik trafień w cache to najczęstszy powód, dla którego śledzony szacunek przestrzeliwuje realną fakturę.

Szacunek kosztu bez rabatów za cache i batch to sufit, nie prognoza.

Które narzędzia naprawdę robią śledzenie kosztów LLM?

Sześć narzędzi pokrywa większość konfiguracji produkcyjnych: Langfuse, LiteLLM, Helicone i Portkey po stronie open-source i bramek, Datadog i Braintrust po stronie komercyjnej. Uczciwy podział to egzekwowanie kontra obserwowalność: proxy może odrzucać żądania przy budżecie, a narzędzie tracingowe mierzy wydatki po fakcie. Większość dojrzałych stosów kończy z jednym i drugim.

Jedno zastrzeżenie co do treści vendorów w tej przestrzeni: własne porównanie narzędzi do śledzenia kosztów z 2026 autorstwa Braintrust stawia ich na pierwszym miejscu i pomija każdą open-source'ową opcję z powyższej tabeli. Czytaj vendorowe listicle dla ich danych, nie dla ich rankingów.

Dla zespołu startującego od zera uruchomilibyśmy LiteLLM z przodu i Langfuse za nim: proxy egzekwuje budżety, trace'y je wyjaśniają, a ten duet nie kosztuje nic, dopóki nie przejdziesz na plany hostowane. Jeśli ważysz dwa domyślne wybory dla tracingu, nasze zestawienie Langfuse vs Langsmith wchodzi głęboko w ten wybór, a przegląd najlepszych platform obserwowalności AI pokrywa całe pole.

Od monitorowania do cięcia kosztów

Monitorowanie pokazuje, dokąd idą pieniądze; następny krok to decyzja, ile tam idzie. Trzy dźwignie, w kolejności zwrotu: cache'uj powtarzany input, kieruj łatwe żądania do tańszych modeli i zmniejsz model tam, gdzie jakość wciąż się trzyma. Nasz przewodnik po obniżaniu kosztów API LLM omawia każdą dźwignię, a porównanie cen API LLM to wsad do całej powyższej matematyki.

Nasza perspektywa: gdy wydatki na LLM zaskakują klienta, najpierw monitorujemy, potem tniemy, nigdy odwrotnie. Zespoły, które cache'ują przed pomiarem, zwykle kończą cache'ując niewłaściwe prompty. Monitorowanie mówi, dokąd idą pieniądze; cache'owanie i routing decydują, ile tam idzie. Jeśli Twoja faktura już parzy, umów bezpłatną konsultację i przejrzymy te liczby razem z Tobą.

O autorze

Mert Batur jest współzałożycielem Techsy.io, gdzie zespół dostarcza agentów AI, systemy automatyzacji i pipeline'y głosowe/SDR dla klientów B2B. Pisze o stosie narzędzi LLM, którego zespół Techsy faktycznie używa na produkcji. Połącz się na LinkedIn.

Często zadawane pytania

Ile kosztuje 1 milion tokenów w LLM?

Po cenie katalogowej od 0,14 $ do 15 $ za milion, zależnie od modelu i kierunku: input DeepSeek-V4 kosztuje 0,14 $ za milion, a output GPT-5.6 Terra kosztuje 15 $. Tokeny output mają stawkę 3-6 razy wyższą niż input u każdego dużego dostawcy. Tabela w pierwszej sekcji ma cztery modele, a nasze porównanie cen API LLM wycenia wszystkie siedemnaście, zweryfikowane ze stronami OpenAI i Anthropic w lipcu 2026.

Czym jest optymalizacja kosztów LLM?

To praktyka obniżania kosztu na żądanie bez utraty jakości: cache'owanie promptów dla powtarzanego inputu, kierowanie łatwych zadań do tańszych modeli, API batch dla pracy asynchronicznej i dobór rozmiaru modelu per funkcja. Monitorowanie kosztów LLM jest warunkiem wstępnym, bo nie zoptymalizujesz tego, czego nie przypisałeś. Współczynnik trafień w cache i koszt per funkcja to dwie metryki, które wskazują największe dźwignie jako pierwsze.

Dlaczego LLM są tak drogie?

Inferencja jest ograniczona obliczeniowo: każdy wygenerowany token to pełen forward pass modelu na GPU, a modele rozumowania zużywają dodatkowe tokeny na myślenie przed odpowiedzią, liczone po stawkach outputu. Długie prompty systemowe mnożą ten koszt przez każde pojedyncze żądanie. Rachunek rośnie z gadatliwością po obu stronach wywołania, dlatego tokeny na żądanie to pierwsza metryka, którą warto obserwować.

Ile kosztuje LLM w USA?

Ceny API są denominowane w USD i globalne: OpenAI, Anthropic i Google liczą tę samą cenę katalogową za milion tokenów, niezależnie od tego, czy żądanie pochodzi z Ohio, czy z Osaki. Różnice regionalne pojawiają się w self-hostingu, gdzie stawki za godziny GPU różnią się per region chmury, oraz na platformach hostowanych, które dodają marżę. Dla pracy przez API lokalizacja zmienia opóźnienie, nie cenę.

Jak śledzić koszty LLM per zespół?

Wydaj jeden klucz wirtualny per zespół przez proxy takie jak LiteLLM, otaguj każdy klucz nazwą zespołu przy tworzeniu i agreguj wydatki po tym tagu. Każde żądanie niesie wtedy atrybucję od momentu powstania, bez parsowania logów. Tabela showback w sekcji budżetowej powyżej to produkt końcowy: zespół, miesięczny budżet, wydatek do dziś, status.

Langfuse czy Datadog do śledzenia kosztów LLM: co wybrać?

Wybierz Langfuse, jeśli chcesz open source, self-hostingu i danych, które kontrolujesz; uruchomienie jest darmowe i trakuje koszt per żądanie od razu po instalacji. Wybierz Datadog tylko wtedy, gdy Twój zespół już go używa do infrastruktury, bo jego funkcje kosztów LLM nie opuszczają platformy. Dla większości zespołów startujących od zera Langfuse plus proxy LiteLLM bije każdą z tych opcji osobno.

Czy szacowane koszty LLM zgadzają się z rzeczywistą fakturą?

Nie i zwykle faktura jest niższa. Dashboardy liczą po cenie katalogowej, a input z cache'a ląduje na 0,1x-0,25x, a zadania batch na 0,5x, więc obciążenie z dużym cache'em widzi realny rachunek wyraźnie poniżej śledzonego szacunku. Brakujące pola tokenów pchają błąd w drugą stronę. Tabela rozjazdów powyżej wymienia każdy mnożnik i miejsce, gdzie szukać.

Jak alarmować o skokach wydatków na LLM?

Ustaw alert progowy na 80% miesięcznego budżetu każdego zespołu, dostarczany na Slacka przez webhook, plus alert anomalii dzień do dnia przy +50% dla pętli, które palą szybko. LiteLLM dostarcza wzorzec progowy natywnie przez ustawienie alerting_threshold. Alert przy 80% zostawia dni na reakcję; alert przy 100% tylko potwierdza, że limit zadziałał.

Czy istnieje darmowy tracker kosztów LLM?

Tak, trzy wiarygodne. Langfuse w self-hostingu jest darmowy i open-source'owy, z darmowym planem hobby w chmurze zgodnie ze stroną cennika Langfuse. Wbudowane budżety kluczy LiteLLM nie kosztują nic na open-source'owym proxy. Darmowy plan Helicone pokrywa logi kosztów na poziomie proxy z limitami. Darmowe plany pokrywają monitoring; egzekwowanie i alerty w skali to miejsce, gdzie zaczynają się plany płatne.

Podsumowanie

Wybierz ścieżkę konfiguracji już dziś, bo alert, którego będziesz chciał za sześć tygodni, da się teraz spiąć w jedno popołudnie. Wersja krótka:

• Śledź najpierw tokeny na żądanie i koszt per zespół; dodaj pozostałe trzy metryki, gdy te zadziałają.
• Budżet, który odrzuca żądania, to mechanizm kontroli; taki, który tylko liczy, to raport.
• Ustaw alert na 80%, na Slacku, zanim faktura kogokolwiek zaskoczy.
• Twój dashboard to szacunek; ceny inputu z cache'a i batcha sprawiają, że faktura zwykle ląduje poniżej.

Jeśli wolisz, żeby ktoś przejrzał Twoje liczby razem z Tobą, umów bezpłatną konsultację.