OpenAI, Claude ve Gemini API maliyet hesaplayıcı

İlk optimizasyon olarak, her şeyden önce prompt caching'i açın. Anthropic'te sabit sistem prompt'unuzu cache_control başlıklarıyla işaretleyin; önbelleğe alınan token'lar standart girdi fiyatının kabaca %10'una iner. OpenAI'da ise prompt öneki istekler arasında birebir aynı olduğunda belirli uç noktalarda önbellekleme kendiliğinden devreye girer. Kazanç en çok, bağlamın uzun ve sabit olduğu, çok sayıda istek alan iş yüklerinde belirginleşir: ayrıntılı persona'lı chatbot'lar, aynı getirme bağlamını tekrar tekrar kullanan RAG sistemleri ve uzun bir talimat setini her seferinde yeniden gönderen agent döngüleri. Çoğu ekip önbelleklemeyi açmayı unutur ve 5 ila 10 kat fazla öder.

Gerçek zamanlı olması gerekmeyen her iş yükünü Batch API'ye taşıyın. Hem Anthropic hem OpenAI, 24 saatlik bir yanıt SLA'sı karşılığında standart fiyatın tam %50'sine batch uç noktaları sunar. Sınıflandırma işleri, içerik denetimi, embedding üretimi, özetleme pipeline'ları ve değerlendirme koşularının hepsi iyi birer adaydır. Entegrasyon işi neredeyse yok denecek kadar azdır; çünkü prompt ve model aynı kalır. Birçok ekip tüm içerik etiketleme pipeline'ını tam fiyattan çalıştırır; oysa batch, hiçbir kalite farkı olmadan faturayı yarıya indirirdi.

İstekleri zorluk seviyesine göre yönlendirin. Basit sorgular (selamlaşma, biçimlendirme, temel aramalar) milyon girdi token başına 0,15 ila 0,80 $'a GPT-4o mini, Claude Haiku ya da Gemini Flash'a gider. Zorlu muhakeme işleri ise milyon token başına 1,25 ila 75 $'a Claude Opus, GPT-4.5 ya da Gemini Pro'ya gider. Model yönlendiricinizin önüne koyacağınız küçük bir sınıflandırıcı, karışık iş yüklerinde maliyeti tipik olarak %60 ila 80 düşürür. Her şeyi en üst seviye bir modele göndermek, üretimde en sık karşılaştığımız AI maliyet hatasıdır.

max_tokens değerini olabildiğince sıkı tutun. Çıktı token'ları girdi token'larından 3 ila 5 kat daha pahalıdır ve varsayılan 4K çıktı tamponu çoğu yanıtın ihtiyacından kat kat fazladır. Evet-hayır yanıtlarını 10 token'la, kısa özetleri 200'le, yapılandırılmış JSON'u şemanızın gerektirdiği kadar artı küçük bir tamponla sınırlayın. Model bazen siz istemeseniz bile sözü uzatmak ister; o uzatmaların bedelini de siz ödersiniz. max_tokens'ı kısmak çoğu durumda çıktı maliyetini %30 ila 50 düşürür.

Getirilen bağlamı her sorgu için yalnızca gerekenle sınırlayın. RAG sistemleri çoğu zaman 10 ila 20 parça getirir ve güvenli olsun diye hepsini prompt'a doldurur. Sonuçta her istekte binlerce alakasız token'ın bedeli ödenir. En alakalı 3 ila 5 parçaya indiren bir yeniden sıralayıcı (reranker) eklemek, girdi token kullanımını genellikle hiç kalite kaybı olmadan %50 ila 70 azaltır; hatta model alakasız bağlamla dağılmadığı için çoğu zaman kaliteyi artırır.

Her isteği token sayısı, kullanılan model ve önbellekli mi önbelleksiz mi olduğu bilgisiyle birlikte kaydedin. Göremediğiniz şeyi optimize edemezsiniz; üstelik AI maliyetleri yeni bir özellik yayınlandığında ya da bir prompt değiştiğinde bir gecede şekil değiştirebilir. Günlük harcama uyarıları kurun. Harcamayı özelliğe, modele ve uç noktaya göre ayrıştıran bir panel oluşturun. Karşılaştığımız üretim maliyet aşımlarının çoğu, biri faturaya bakmadan iki hafta önce bir kullanım kalıbının değişmesinden kaynaklanır.