LLM VRAM 요구사항: 2026 마스터 테이블 (모든 모델, 모든 양자화)

LLM VRAM 요구사항: 2026 마스터 테이블 (모든 모델, 모든 양자화)

많은 사람을 당황하게 만드는 숫자가 있습니다. DeepSeek-V3.2는 6,710억 개의 파라미터를 가지고 있지만, 특정 토큰 처리 시에는 그중 370억 개만 활성화됩니다. 그렇다면 실제로 필요한 VRAM은 얼마나 될까요? 정답은 6,710억 개 전체입니다. Q4 양자화 기준으로 약 382GB가 필요합니다. LLM의 VRAM 요구 사항은 직관과 잘 맞지 않으며, '활성화된 파라미터'와 '실제로 로드해야 하는 데이터' 사이의 간극이 바로 하드웨어 예산이 폭증하는 지점입니다. 이 가이드에서는 마스터 테이블(주요 오픈 모델별, 양자화 수준별 GB 수치 및 실행 가능 GPU)과 누구나 약 10초 만에 모델 크기를 직접 계산할 수 있는 공식을 제공합니다.

핵심 요약

• 가중치所需 VRAM ≈ 파라미터 수 × 파라미터당 바이트: FP16 = 2.0, Q8 = 1.0, Q5_K_M ≈ 0.68, Q4_K_M ≈ 0.57. 여기에 KV 캐시와 약 15-20%의 오버헤드를 추가하세요.
• 혼합 전문가(MoE) 모델(DeepSeek, GLM-5.2, Qwen3-235B)은 모든 전문가 레이어를 VRAM에 로드해야 합니다. '활성화된 파라미터'는 속도를 보장할 뿐, 메모리 절약에는 도움이 되지 않습니다.
• KV 캐시는 숨겨진 비용입니다. Llama 3.3 70B는 8K 컨텍스트에서 약 2.6GB, 128K 컨텍스트에서는 가중치 외에 추가로 약 41GB의 캐시가 필요합니다.
• Q4_K_M이 합리적인 기본값입니다. FP16 대비 약 1/4 수준의 메모리 점유율로 거의 완전한 품질을 유지합니다.
• Gemma 4와 같은 12B 모델은 Q4 기준 8GB 그래픽 카드에 적합합니다. 70B 밀집(dense) 모델은 약 40GB가 필요하며, 최첨단 671B MoE 모델은 소형 서버급 환경이 필요합니다.

모델별 LLM VRAM 요구사항: 마스터 테이블

간단히 말해, Q4_K_M 기준 소형 모델(14B 미만)은 소비자용 8-12GB 카드에, 중형 모델(24-32B)은 16-24GB에, 70B 밀집 모델은 약 40GB에 각각 적합합니다. 반면 최첨단 MoE 모델은 모든 전문가 레이어가 상주해야 하므로 수백 기가바이트 단위로 급증합니다. 다음은 한눈에 보는 전체 현황입니다. 모든 수치는 각 모델의 파라미터 수를 기반으로 계산된 가중치 전용 메모리이며, Meta AI, Qwen 및 Hugging Face의 공식 모델 카드와 교차 검증되었습니다.

이 테이블에서 주목해야 할 두 가지 사항이 있습니다. 첫째, 양자화는 가장 강력한 레버리지 수단입니다. FP16에서 Q4로 낮추면 품질 저하가 거의 느껴지지 않으면서 메모리 점유율을 약 4배 줄일 수 있습니다. 둘째, MoE 행의 수치가 혹독하게 보이는 것은 사실이기 때문입니다. Qwen3-30B-A3B는 토큰당 3B 파라미터만 활성화하므로 작은 모델 수준의 속도로 실행되지만, 모든 전문가를 준비 상태로 두려면 여전히 30B 전체를 메모리에 올려야 합니다. 이러한 수치背后的 모델별 세부 정보가 궁금하다면, 벤치마크와 라이선스 정보를 다루는 Gemma 4 12B 심층 분석과 2026년 최고의 오픈소스 LLM 모음을 참고하세요.

VRAM 계산 공식: 직접 모델 크기 산출하기

모델 크기를 산출하려면, 파라미터 수에 사용하려는 양자화의 파라미터당 바이트 수를 곱한 후, KV 캐시와 런타임 오버헤드를 약간 추가하면 됩니다. 그게 전부입니다. 가중치가 대부분을 차지하며, 계산법은 휴지 뒷면에 적을 만큼 간단합니다.

가중치를 위한 핵심 방정식:

VRAM_weights (GB) = parameters (billions) × bits_per_weight ÷ 8

필요한 가중치당 비트 값(이는 명목 비트 깊이 외에 약간의 블록 메타데이터를 포함하는 GGUF k-quant 파일의 유효 비율입니다):

실제 예시, Q4_K_M 기준 Gemma 4 12B: 11.95 × 4.5 ÷ 8 = 가중치용 약 6.7GB. 이는 공식 모델 카드에서 인용하는 약 6.6GB와 일치하며, 적당한 컨텍스트 공간을 남기고 8GB 카드에 왜 적합한지 설명해 줍니다. 동일한 계산을 Q4 기준 70B 모델에 적용하면 70 × 4.5 ÷ 8 = 39.4GB가 나오며, 이것이 모두가 반복하는 "70B 모델에는 24GB 카드 두 장 또는 48GB 카드 한 장이 필요하다"는 경험칙의 이유입니다.

전체 그림에는 두 가지 항이 더 추가됩니다: 총 VRAM ≈ 가중치 + KV 캐시 + ~15-20% 오버헤드. 오버헤드는 활성화 버퍼, CUDA 컨텍스트 및 메모리 단편화를 포함하며, GPU는 드라이버용으로 약 0.5GB를 예약하므로 표시된 VRAM의 100%를 사용할 수 있다고 계획해서는 안 됩니다.

KV 캐시가 당신을 괴롭히는 이유

KV 캐시는 컨텍스트에 이미 포함된 모든 토큰의 어텐션 키와 값을 저장하며, 컨텍스트 길이에 따라 선형적으로 증가합니다. 짧은 프롬프트에서는 무시할 만한 수준이지만, 긴 컨텍스트로 가면 가중치 자체와 맞먹거나 초과할 수도 있습니다. 이는 "들어갈 것 같던" 모델이 생성 중간에 메모리 부족(OOM) 오류를 발생시키는 가장 흔한 단일 원인입니다.

토큰당 공식:

KV_cache_per_token (bytes) = num_layers × 2 × kv_dim × precision_bytes
kv_dim = num_kv_heads × head_dim   (grouped-query attention shrinks this)

Llama 3.3 70B를 예로 들어보겠습니다. 80개 레이어, 8개 KV 헤드, 헤드 차원 128이므로 kv_dim은 1024입니다. FP16 기준 토큰당 80 × 2 × 1024 × 2 = 327,680바이트, 약 0.31MB입니다. 이를 컨텍스트 길이와 곱하면 결과가 명확해집니다. 8K 토큰에서는 캐시가 약 2.6GB, 32K에서는 약 10GB, 128K에서는 약 41GB로 급증합니다. 마지막 수치는 40GB의 가중치 외에 추가로 필요한 것이므로, 윈도우를 채우는 순간 "40GB 모델"은 조용히 80GB 문제가 됩니다.

두 가지 실용적인 해결책이 있습니다. 그룹 쿼리 어텐션(Grouped-query attention, 최근 모든 모델이 사용)은 기존 멀티 헤드 설계 대비 kv_dim을 이미 크게 줄였으므로, 현대 모델은 Llama 2보다 이 부분에서 훨씬 관대합니다. 또한 대부분의 추론 엔진은 KV 캐시를 8비트 또는 4비트로 양자화하여 작은 품질 비용으로 크기를 절반 또는 1/4로 줄일 수 있습니다. 프로덕션 환경에서 긴 컨텍스트를 서비스한다면, 페이지드 어텐션(paged attention)으로 이 메모리를 가장 효율적으로 관리하는 백엔드가 무엇인지 vLLM vs SGLang 비교에서 확인할 수 있습니다.

MoE 모델: 왜 '활성화된 파라미터'가 VRAM을 절약하지 못하는가

이것은 사람들에게 가장 많은 비용을 지불하게 함정입니다. DeepSeek-V3.2(총 6,710억, 활성 370억, V3 아키텍처 공유) 또는 GLM-5.2(총 7,440억, 활성 400억)와 같은 혼합 전문가(MoE) 모델은 각 토큰을 소수의 전문가 서브셋을 통해 라우팅합니다. 마케팅은 활성 숫자에 의존하는데, 이는 속도를 설명하기 때문입니다. 토큰당 370억 파라미터 분량의 연산만 수행하므로 모델 규모 대비 추론 속도가 빠릅니다. 하지만 모든 전문가는 선택될 준비를 하며 메모리에 상주해야 하므로, VRAM 예산은 활성 파라미터 수가 아닌 총 파라미터 수에 의해 결정됩니다.

따라서 위 테이블의 솔직한 해석은 다음과 같습니다. GLM-5.2는 40B 모델의 속도로 실행되지만 744B 모델의 메모리를 차지합니다. 이것이 단일 포워드 패스는 저렴하더라도 이러한 최첨단 오픈 모델이 8-GPU 서버나 대규모 통합 메모리 머신을 필요로 하는 이유입니다. Qwen3-235B-A22B도 더 작은 규모에서 동일한 형태를 띠며, 토큰당 처리는 빠르지만 호스팅 부담은 큽니다.

MoE의 장점은 통합 메모리 하드웨어에서 드러납니다. 512GB 통합 메모리를 갖춘 Mac Studio는 Q4 기준 6,710억 모델을 보유하면서도 실행 가능한 속도로 구동할 수 있는데, 이는 정확히 370억만 활성화되므로 토큰당 메모리 대역폭 요구 사항이 합리적인 수준으로 유지되기 때문입니다. 로컬에서 이러한 모델을 실행하는 것이 처음이라면, 하드웨어 구매 전 로컬 LLM 설정 가이드부터 시작하세요.

어떤 양자화를 선택해야 할까?

거의 모든 사람에게 Q4_K_M이 올바른 기본값입니다. FP16 대비 메모리 점유율을 약 4배 줄이면서도 거의 완전한 품질을 유지합니다. 여유 VRAM이 있고 품질에 민감한 작업이라면 Q5_K_M이나 Q8로 업그레이드하고, 파인튜닝이나 참조 기준 벤치마킹이 아니라면 FP16은 사용하지 마세요. Q4 이하로 내려가면 품질 저하가 빠르게 눈에 띄므로, Q3 이하는 정말로 너무 작은 카드에 모델을 억지로 넣어야 할 때의 최후의 수단입니다.

주의할 점: 양자화 품질은 모델마다 동일하지 않습니다. 매우 작은 모델(4B 미만)은 대형 모델보다 Q4의 영향을 더 크게 받는데, 이는 절약할 수 있는 중복성이 적기 때문입니다. 70B 모델에서는 대부분의 작업에서 Q4와 Q8의 차이를 구분하기 어렵지만, 1.7B 모델에서는 그 격차가 분명합니다.

실제로 어떤 GPU가 필요한가?

마스터 테이블의 Q4 열을 KV 캐시를 위한 약간의 여유 공간을 고려한 카드와 매칭하세요. 다음은 예산 소비자용 하드웨어부터 데이터 센터까지의 실용적인 매핑과, 각 등급이 Q4에서 편안하게 실행할 수 있는 모델 티어입니다.

Apple Silicon은 통합 메모리가 계산 방식을 바꾸기 때문에 특별히 언급할 가치가 있습니다. Mac은 VRAM과 시스템 RAM을 분리하지 않으므로, 128GB M-series 머신은 여러 개의 discrete GPU가 필요한 모델을 로드할 수 있으며, 피크 처리량 대신 하나의 데스크톱에 거대한 가중치를 올릴 수 있는 능력을 traded off 합니다. 이러한 카드들의 잠재력을 최대한 끌어내는 백엔드에 대해서는, 실제 속도 차이를 벤치마킹한 로컬에서 LLM을 실행하기 위한 최고의 도구 모음을 참고하세요.

Techsy의 클라이언트 배포를 위한 VRAM 산정 방법

Techsy에서는 클라이언트를 위해 오픈 모델을 자주 배포하므로, VRAM 산정은 모델 선택, 프롬프트 작성 등 그 무엇보다 먼저 이루어지는 첫 번째 대화 주제입니다. 우리의 방법은 의도적으로 지루합니다. 왜냐하면 실패 모드(실제 컨텍스트 부하 하에서의 프로덕션 OOM)는 비용이 많이 들기 때문입니다. 다음은 우리가 실제로 수행하는 프로세스입니다.

테이블 계산을 시작으로 측정을 진행합니다. 모델을 로드한 후 추정치를 신뢰하기보다 실제 상주 메모리(footprint)를 확인합니다.

# What the GPU is actually holding
nvidia-smi --query-gpu=memory.used,memory.total --format=csv

# For an Ollama-served model, its real memory + how much sits on GPU vs CPU
ollama ps

# llama.cpp: control the split explicitly and cap context to bound KV cache
llama-server -m model-Q4_K_M.gguf --n-gpu-layers 999 --ctx-size 8192

계속 반복되는 교훈: 팀들은 가중치에만 맞춰 크기를 산정하고 KV 캐시를 잊어버린 뒤, 로딩은 잘 되던 모델이 데모 중 긴 요청 세 번 만에 죽어버리는 이유를 궁금해합니다. 우리는 앱이 실제로 사용할 최대 컨텍스트 기준의 가중치와 KV 캐시, 그리고 여유 공간을 포함하여 산정하며, --ctx-size를 제한하여 통제되지 않는 요청이 박스를 OOM 상태로 만들지 않도록 합니다. 고객Facing 서비스라면, 부하 시 OOM이 발생하는 FP16 70B보다는 절대 다운되지 않는 양자화된 32B를 실행하는 것을 선호합니다.

오픈 모델을 자체 호스팅할지 호스팅 API를 사용할지 고민 중이라면, 그 트레이드오프(하드웨어 비용 및 운영 부담 대 토큰당 가격 및 제어권)는 우리 팀이 AI 통합 engagements 동안 정확히 범위를 지정하는 부분입니다. 실제 워크로드에 맞춰 숫자를 계산해 보는 것이 도움이 된다면, 무료 상담 신청을 통해 함께 산정해 드리겠습니다.

저자 소개

Mert Batur Gurbuz는 Techsy.io의 공동 창업자로, 여기서 팀은 B2B 클라이언트를 위한 AI 에이전트, 자동화 시스템 및 음성/SDR 파이프라인을 구축합니다. 그는 버밍엄 대학교에서 공부하며, Techsy 팀이 프로덕션에서 실제로 사용하는 LLM 툴링 스택에 대해 글을 씁니다.

자격 증명: Techsy.io 공동 창업자, 버밍엄 대학교. LinkedIn에서 연결하세요.

자주 묻는 질문

70B 모델을 실행하려면 얼마나 많은 VRAM이 필요한가요?

Llama 3.3 70B와 같은 70B 밀집 모델은 Q4_K_M 기준 가중치에 약 40GB의 VRAM이 필요하므로, 48GB 카드(RTX 6000 Ada) 또는 24GB 카드 두 장을 계획하세요. 긴 컨텍스트를 사용한다면 KV 캐시를 위해 몇 기가바이트를 더 추가해야 하므로, 실제 요구 사항은 48GB 이상으로 늘어납니다.

Llama, Qwen 또는 DeepSeek는 얼마나 많은 VRAM이 필요한가요?

변형 버전 entirely에 따라 다릅니다. Llama 4 Scout는 Q4 기준 약 62GB, Qwen3-32B는 약 18GB, Qwen3-8B는 5GB 미만이 필요합니다. DeepSeek-V3.2는 6,710억 MoE 모델로, 모든 전문가를 로드해야 하므로 약 382GB가 필요합니다. MoE 모델의 경우 활성 파라미터 수가 아닌 총 파라미터 수를 항상 확인하세요.

8GB GPU에서 LLM을 실행할 수 있나요?

네, 충분히 가능합니다. RTX 4060과 같은 8GB 카드는 Q4_K_M 기준 최대 약 12B 파라미터 모델을 실행합니다. Gemma 4 12B는 약 6.8GB에 맞춰져 적당한 컨텍스트 공간을 남깁니다. 더 큰 모델의 경우 더 강력하게 양자화하거나, 컨텍스트를 짧게 유지하거나, 더 큰 카드로 이동해야 합니다.

RTX 4090과 같은 24GB GPU는 무엇을 실행할 수 있나요?

24GB 카드는 합리적인 컨텍스트를 위한 여유 공간을 두고 Q4_K_M 기준 최대 약 32B 밀집 모델을 처리하므로, Qwen3-32B와 Mistral Small 3.2 24B가 쾌적하게 실행됩니다. 또한 30B의 가중치를 로드하지만 희소 활성화 덕분에 3B 모델의 속도로 생성하는 Qwen3-30B-A3B MoE도 실행합니다.

양자화가 모델 품질을 해치나요?

Q4_K_M 이상에서는 품질 손실이 작으며, 특히 13B 이상의 모델에서는 실제 작업에서 종종 인지되지 않습니다. 수치가 낮아지고 모델이 작아질수록 격차는 커지므로, 70B에서의 Q4는 거의 무료에 가깝지만 1.7B에서의 Q4는 눈에 띕니다. 메모리가 충분하다면 Q8은 사실상 무손실입니다.

MoE 모델은 밀집 모델보다 적은 VRAM이 필요한가요?

아니요, 이것은 가장 흔한 오해입니다. 혼합 전문가 모델은 모든 전문가를 VRAM에 보유해야 하므로 메모리는 총 파라미터 수에 의해 결정됩니다. 활성 파라미터 수치는 추론 속도만을 설명합니다. GLM-5.2는 40B 모델의 속도로 실행되지만 744B 모델의 메모리가 필요합니다.

통합 메모리는 VRAM과 동일한가요?

기능적으로, 모델 로딩 측면에서는 그렇습니다. Apple Silicon 및 일부 다른 시스템은 CPU와 GPU 간에 하나의 메모리 풀을 공유하므로, 128GB Mac은 그렇지 않으면 여러 개의 discrete GPU가 필요한 모델을 로드할 수 있습니다. trade-off는 대역폭입니다. 통합 메모리는 일반적으로 하이엔드 데이터 센터 GPU보다 낮은 피크 처리량을 제공하므로, 초당 토큰 수는 낮습니다.

모델의 일부를 시스템 RAM이나 CPU로 오프로드할 수 있나요?

네. llama.cpp 및 Ollama와 같은 엔진은 --n-gpu-layers와 같은 플래그를 사용하여 일부 레이어를 GPU에, 나머지를 시스템 RAM에 유지할 수 있게 합니다. 이는 VRAM에 비해 너무 큰 모델을 실행할 수 있게 하지만, CPU에 있는 모든 레이어는 생성 속도를 급격히 늦추므로, 모델을 빠르게 만들기보다는 가능하게 만들기 위해 사용하세요.

테이블에 없는 모델의 VRAM은 어떻게 계산하나요?

파라미터 수(십억 단위)에 사용하려는 양자화의 가중치당 비트를 곱한 후 8로 나눕니다. Q4_K_M의 경우 약 4.5비트를 사용하므로, 40B 모델은 가중치용 40 × 4.5 ÷ 8 = 약 22.5GB가 필요합니다. 실제 요구 사항을 위해 약 15-20% 오버헤드와 KV 캐시를 추가하세요.