Máy tính chi phí tích hợp AI

Bật prompt caching trước khi tối ưu bất kỳ thứ gì khác. Cả Anthropic lẫn OpenAI đều cho phép bạn cache các phần ổn định trong input (system prompt, context truy xuất được, tool definitions) với mức giảm khoảng 90% cho token được cache. Cache 5 phút của Anthropic miễn phí, còn cache 1 giờ chỉ thêm 25% phí. Với bất kỳ chatbot hay hệ thống RAG nào có system prompt ổn định trên 2K token, caching tự hoàn vốn chỉ trong vài giờ sau khi lên production. Hầu hết các team quên bật tính năng này và trả thừa 5 đến 10 lần suốt nhiều tháng trời.

Chuyển mọi workload không cần real-time sang Batch API. Phân loại, tóm tắt, tạo embedding, chạy evaluation và xử lý qua đêm đều là ứng viên phù hợp. Batch có giá đúng bằng 50% giá tiêu chuẩn, đổi lại SLA 24 giờ, và công sức tích hợp cực kỳ đơn giản: cùng model, cùng prompt, chỉ khác endpoint. Nhiều team vẫn chạy toàn bộ pipeline kiểm duyệt nội dung hoặc gắn tag tài liệu ở giá tiêu chuẩn, trong khi batch có thể cắt đôi hoá đơn mà chất lượng không hề khác biệt.

Định tuyến request theo độ khó. Gửi các truy vấn đơn giản (lời chào, tra cứu cơ bản, tác vụ format) sang Claude Haiku hoặc GPT-4o mini với giá $0,15 đến $0,80 mỗi triệu token input. Dành Claude Opus hoặc GPT-4.5 (giá $15 đến $75 mỗi triệu) cho các bài toán suy luận phức tạp mà model rẻ thực sự không giải quyết được. Một bộ phân loại độ khó đơn giản đặt trước model router thường giảm 60 đến 80% chi phí trên workload hỗn hợp. Đa số team mặc định đẩy mọi thứ lên frontier model, khác nào ngồi hạng nhất chỉ để đi đổ rác.

Giới hạn max_tokens thật chặt. Token output đắt gấp 3 đến 5 lần token input, và hầu hết phản hồi không cần đến buffer 4K token mà API cho phép mặc định. Nếu bạn chỉ cần câu trả lời có hoặc không, giới hạn output ở 10 token. Nếu tạo tóm tắt ngắn, giới hạn ở 200. Model đôi khi muốn giải thích lý luận của nó dù bạn không hề yêu cầu, và bạn đang trả tiền cho những lời giải thích đó. Siết chặt max_tokens thường tự nó cắt 30 đến 50% chi phí output.

Cache các phản hồi xác định ở tầng ứng dụng. Nếu cùng một input luôn cho ra cùng một output (phân loại, tra cứu cố định, dịch code), hãy lưu kết quả vào Redis hoặc database và trả về từ cache cho các request lặp lại. Caching ở tầng ứng dụng chồng lên caching ở tầng API có thể giảm thêm 30 đến 50% tổng chi phí LLM trên các workload có input lặp đi lặp lại. Trường hợp kinh điển là phân loại sản phẩm ở quy mô thương mại điện tử, nơi cùng một SKU bị phân loại hàng trăm lần một cách không cần thiết.

Thiết lập giám sát token ngay từ ngày đầu. Bạn không thể tối ưu thứ mình không đo được, và chi phí AI tăng nhanh đến mức một prompt cấu hình sai hoặc một vòng lặp không kiểm soát có thể tạo ra hoá đơn $10K chỉ trong một cuối tuần. Ghi log token input, token output, model sử dụng, và trạng thái cached hay uncached cho mọi request. Đặt cảnh báo chi tiêu hàng ngày. Hầu hết các trường hợp vượt ngân sách mà chúng tôi thấy trong production xảy ra vì không ai nhận ra sự thay đổi trong pattern sử dụng suốt hai tuần cho đến khi hoá đơn gửi tới.