Kalkulator biaya integrasi AI

Aktifkan prompt caching sebelum mengoptimalkan hal lain. Anthropic maupun OpenAI sama-sama mengizinkan Anda menyimpan cache bagian input yang stabil (system prompt, konteks yang di-retrieve, definisi tool) dengan diskon sekitar 90% untuk token yang ter-cache. Cache 5 menit Anthropic gratis, dan cache 1 jam hanya menambah premi 25%. Untuk chatbot atau sistem RAG dengan system prompt stabil di atas 2K token, caching balik modal dalam hitungan jam setelah rilis. Banyak tim lupa mengaktifkannya dan akhirnya membayar 5 sampai 10 kali lebih mahal selama berbulan-bulan.

Pindahkan semua workload yang tidak perlu real-time ke Batch API. Klasifikasi, peringkasan, pembuatan embedding, evaluasi, dan pemrosesan semalaman adalah kandidat yang cocok. Biaya batch persis 50% dari harga standar dengan imbalan SLA 24 jam, dan pekerjaan integrasinya ringan: model sama, prompt sama, hanya endpoint yang berbeda. Banyak tim menjalankan seluruh pipeline moderasi konten atau penandaan dokumen dengan harga standar, padahal batch bisa memangkas tagihan hingga setengahnya tanpa perbedaan kualitas sama sekali.

Rutekan permintaan berdasarkan tingkat kesulitan. Kirim query mudah (sapaan, pencarian sederhana, tugas pemformatan) ke Claude Haiku atau GPT-4o mini dengan biaya $0,15 hingga $0,80 per juta token input. Simpan Claude Opus atau GPT-4.5 (di kisaran $15 hingga $75 per juta) untuk penalaran berat yang benar-benar gagal ditangani model murah. Classifier kesulitan sederhana di depan model router biasanya memangkas biaya 60 sampai 80% pada workload campuran. Banyak tim menyetel semuanya ke model frontier secara default—ibarat naik pesawat kelas satu cuma untuk membuang sampah.

Batasi max_tokens secara agresif. Token output harganya 3 sampai 5 kali lebih mahal daripada token input, dan kebanyakan respons tidak butuh buffer output 4K token yang diizinkan API secara default. Jika Anda hanya mengekstrak jawaban ya-atau-tidak, batasi output di 10 token. Untuk ringkasan pendek, 200 sudah cukup. Model kadang ingin menjelaskan penalarannya meski tidak diminta, dan Anda membayar penjelasan itu. Memperketat max_tokens saja sering kali memangkas biaya output 30 sampai 50%.

Cache respons deterministik di lapisan aplikasi. Jika input yang sama selalu menghasilkan output yang sama (kategorisasi, pencarian tetap, penerjemahan kode), simpan hasilnya di Redis atau database, lalu sajikan dari cache saat permintaan berulang. Caching tingkat aplikasi yang ditumpuk di atas caching tingkat API bisa memangkas total belanja LLM 30 sampai 50% lagi pada workload dengan input berulang. Kasus klasiknya adalah kategorisasi produk di skala e-commerce, di mana SKU yang sama dikategorisasi ratusan kali tanpa perlu.

Pasang pemantauan token sejak hari pertama. Anda tidak bisa mengoptimalkan apa yang tidak bisa diukur, dan biaya AI tumbuh cukup cepat sehingga prompt yang salah konfigurasi atau loop yang lepas kendali bisa menghasilkan tagihan $10.000 dalam satu akhir pekan. Catat token input, token output, model yang dipakai, serta status cached versus uncached untuk setiap permintaan. Setel peringatan pengeluaran harian. Sebagian besar pembengkakan biaya yang kami temui di produksi terjadi karena tidak ada yang menyadari perubahan pola pemakaian selama dua minggu, sampai tagihan datang.