AI 통합 비용 계산기

다른 어떤 최적화보다 프롬프트 캐싱을 먼저 켜세요. Anthropic과 OpenAI 모두 입력의 고정된 부분(시스템 프롬프트, 검색된 컨텍스트, 도구 정의)을 캐시할 수 있게 해주며, 캐시된 토큰에는 약 90% 할인이 적용됩니다. Anthropic의 5분 캐시는 무료이고, 1시간 캐시에는 25%의 프리미엄이 붙습니다. 2K 토큰이 넘는 안정적인 시스템 프롬프트를 쓰는 챗봇이나 RAG 시스템이라면, 캐싱은 배포 후 몇 시간 안에 본전을 뽑습니다. 대부분의 팀이 이걸 켜는 걸 잊고 몇 달간 5~10배나 더 지불합니다.

실시간이 아닌 워크로드는 모두 Batch API로 옮기세요. 분류, 요약, 임베딩 생성, 평가 실행, 야간 배치 처리 등이 좋은 후보입니다. Batch는 24시간 SLA를 조건으로 표준 요금의 정확히 50%만 받으며, 연동 작업도 간단합니다. 같은 모델, 같은 프롬프트에 엔드포인트만 다릅니다. 많은 팀이 콘텐츠 모더레이션이나 문서 태깅 파이프라인 전체를 표준 요금으로 돌리는데, Batch로 바꾸면 품질 차이 없이 비용을 절반으로 줄일 수 있습니다.

난이도에 따라 요청을 라우팅하세요. 쉬운 쿼리(인사말, 단순 조회, 포맷팅 작업)는 입력 토큰 백만 개당 0.15~0.80달러인 Claude Haiku나 GPT-4o mini로 보내세요. Claude Opus나 GPT-4.5(백만 개당 15~75달러)는 저가 모델이 정말로 실패하는 어려운 추론에만 쓰세요. 모델 라우터 앞에 간단한 난이도 분류기 하나만 둬도 혼합 워크로드에서 비용을 60~80% 줄일 수 있습니다. 대부분의 팀이 모든 요청을 프론티어 모델로 보내는데, 이건 쓰레기 버리러 퍼스트 클래스 타고 가는 격입니다.

max_tokens는 과감하게 제한하세요. 출력 토큰은 입력 토큰보다 3~5배 비싸고, 대부분의 응답에는 API가 기본으로 허용하는 4K 토큰 출력 버퍼가 필요 없습니다. 예/아니오 답변을 추출한다면 출력을 10토큰으로 제한하세요. 짧은 요약을 생성한다면 200으로 제한하세요. 모델은 요청하지 않아도 자기 추론을 설명하려 들 때가 있고, 그 설명에도 돈이 나갑니다. max_tokens를 조이는 것만으로 출력 비용이 30~50% 줄어드는 경우가 많습니다.

결정론적 응답은 애플리케이션 레이어에서 캐시하세요. 같은 입력이 같은 출력을 만든다면(분류, 고정 조회, 코드 변환), 결과를 Redis나 데이터베이스에 저장하고 반복 요청에는 캐시에서 바로 응답하세요. API 레벨 캐싱 위에 애플리케이션 레벨 캐싱을 겹치면, 반복 입력이 많은 워크로드에서 전체 LLM 지출을 추가로 30~50% 더 줄일 수 있습니다. 대표적인 사례가 이커머스 규모의 상품 분류로, 같은 SKU가 불필요하게 수백 번씩 분류되는 경우가 흔합니다.

첫날부터 토큰 모니터링을 계측하세요. 측정할 수 없으면 최적화할 수 없고, AI 비용은 빠르게 불어나기 때문에 잘못 설정된 프롬프트나 폭주 루프 하나면 주말 사이에 10,000달러 청구서가 나올 수 있습니다. 모든 요청에 대해 입력 토큰, 출력 토큰, 사용 모델, 캐시 여부를 로깅하세요. 일일 지출 알림도 설정하세요. 프로덕션에서 발생하는 비용 초과 대부분은 사용 패턴 변화를 아무도 알아채지 못한 채 2주가 지나고 청구서가 도착해서야 발견됩니다.