AI entegrasyon maliyet hesaplayıcı

Başka bir şeyi optimize etmeden önce prompt caching'i etkinleştirin. Anthropic ve OpenAI'nin ikisi de girdinizin sabit parçalarını (sistem prompt'u, getirilen bağlam, araç tanımları) önbelleğe alıp önbelleğe alınan token'larda kabaca %90 indirim sunar. Anthropic'in 5 dakikalık önbelleği ücretsizdir, 1 saatlik önbellek %25 prim ekler. 2K token'ın üzerinde sabit bir sistem prompt'u olan herhangi bir chatbot ya da RAG sistemi için önbellekleme, yayına aldıktan birkaç saat içinde kendini öder. Çoğu ekip onu etkinleştirmeyi unutur ve aylarca 5 ila 10 kat fazla öder.

Gerçek zamanlı olmayan her iş yükünü Batch API'ye taşıyın. Sınıflandırma, özetleme, embedding üretimi, değerlendirme koşuları ve gecelik işleme hepsi iyi adaylardır. Batch, 24 saatlik bir SLA karşılığında standart fiyatın tam %50'sine mal olur ve entegrasyon işi önemsizdir: aynı model, aynı prompt, farklı uç nokta. Ekipler düzenli olarak tüm içerik denetimi ya da belge etiketleme pipeline'larını standart fiyatla çalıştırır; oysa batch faturayı kalite farkı olmadan yarıya indirirdi.

İstekleri zorluğa göre yönlendirin. Kolay sorguları (selamlamalar, basit aramalar, biçimlendirme görevleri) milyon girdi token'ı başına 0,15 ila 0,80 $'a Claude Haiku ya da GPT-4o mini'ye gönderin. Claude Opus ya da GPT-4.5'i (milyon başına 15 ila 75 $) ucuz modellerin gerçekten başarısız olduğu zor akıl yürütmeye saklayın. Model yönlendiricinizin önünde basit bir zorluk sınıflandırıcısı, karışık iş yüklerinde maliyeti tipik olarak %60 ila 80 kısar. Çoğu ekip her şeyi varsayılan olarak bir sınır modeline gönderir; bu, çöpü atmak için birinci sınıfla uçmak gibidir.

max_tokens'ı acımasızca sınırlayın. Çıktı token'ları girdi token'larından 3 ila 5 kat daha pahalıdır ve çoğu yanıtın API'nin varsayılan olarak izin verdiği 4K token'lık çıktı tamponuna ihtiyacı yoktur. Evet-hayır yanıtı çıkarıyorsanız çıktıyı 10 token'la sınırlayın. Kısa bir özet üretiyorsanız 200'le sınırlayın. Model bazen siz sormasanız bile akıl yürütmesini açıklamak ister ve o açıklamaların bedelini ödersiniz. max_tokens'ı sıkmak çoğu kez tek başına çıktı maliyetlerini %30 ila 50 kısar.

Belirlenimci yanıtları uygulama katmanında önbelleğe alın. Aynı girdi aynı çıktıyı üretiyorsa (kategorilendirme, sabit aramalar, kod çevirisi) sonucu Redis ya da bir veritabanında saklayın ve tekrar eden isteklerde önbellekten sunun. API düzeyindeki önbelleğin üzerine katmanlanan uygulama düzeyinde önbellekleme, tekrarlayan girdileri olan iş yüklerinde toplam LLM harcamasını bir %30 ila 50 daha kısabilir. Klasik örnek, aynı SKU'nun yüzlerce kez gereksiz yere kategorilendirildiği e-ticaret ölçeğinde ürün kategorilendirmesidir.

Token izlemeyi ilk günden kurun. Ölçemediğinizi optimize edemezsiniz ve AI maliyetleri, yanlış yapılandırılmış bir prompt ya da başıboş bir döngünün bir hafta sonunda 10 bin $'lık fatura üretebileceği kadar hızlı ölçeklenir. Her istek için girdi token'larını, çıktı token'larını, kullanılan modeli ve önbellekli mi önbelleksiz mi olduğunu kaydedin. Günlük harcama uyarıları kurun. Üretimde gördüğümüz çoğu maliyet aşımı, fatura gelene kadar iki hafta boyunca kimsenin bir kullanım kalıbı kaymasını fark etmemesinden kaynaklanır.