Ejecuta LLMs en local en 2026: configuración en 5 minutos para cualquier GPU

Puedes ejecutar un LLM localmente en tu propia máquina ahora mismo -- sin claves API, sin factura mensual, sin que tus datos abandonen tu hardware. El espacio de LLMs locales ha explotado: el 55% de la inferencia de IA empresarial ocurre ahora en las instalaciones propias, frente al 12% en 2023. Con herramientas como Ollama, pasar de cero a un modelo en funcionamiento tarda menos de 5 minutos con cero coste de API.

Esta guía consolida lo que normalmente tendrías que buscar en cinco artículos separados: requisitos de hardware, selección de modelos, comparación de herramientas, configuración paso a paso y despliegue en producción -- todo en un solo lugar.

De un vistazo: Resumen rápido de los LLMs locales

Antes de profundizar, aquí está el panorama en 60 segundos:

Ahora desglosemos cada uno de estos puntos para que puedas tomar las decisiones correctas para tu configuración.

¿Por qué ejecutar un LLM localmente?

Hay cuatro razones genuinas para ejecutar LLMs en tu propio hardware -- y una advertencia honesta sobre cuándo no deberías hacerlo.

Privacidad y soberanía de datos

Cuando ejecutas localmente, tus prompts, tus datos y tus respuestas nunca tocan un servidor de terceros. Punto. Esto no es una afirmación de marketing -- es arquitectura. No hay ninguna llamada de red que interceptar, ninguna condición de servicio que otorgue a un proveedor derechos de entrenamiento sobre tus datos.

Esto importa enormemente en sectores regulados. Las organizaciones de salud necesitan cumplimiento HIPAA. Las empresas financieras manejan datos confidenciales de clientes. Las agencias gubernamentales tratan información clasificada. El 55% de la inferencia de IA empresarial ocurre ahora en las instalaciones propias precisamente porque la carga de cumplimiento de la IA en la nube es brutal.

Eliminación de costes

Los precios de las APIs en la nube se acumulan rápido. Esto es lo que la misma carga de trabajo cuesta realmente:

Una inversión única en GPU de ~400 € reemplaza 20-90 €/mes en costes de API. Si eres un usuario moderado, alcanzas el punto de equilibrio en 4-6 meses. A partir de ahí, cada token es gratuito.

Velocidad para usuarios únicos

Esto sorprende a la gente: la inferencia local a menudo es más rápida que las APIs en la nube para un único usuario. Omites completamente el viaje de red de ida y vuelta. Una configuración local bien configurada ofrece una latencia de primer token inferior a 40 ms frente a 1-2 segundos a través de una API en la nube. Sin límites de velocidad, sin cortes, sin esperar en cola durante las horas pico.

Control y personalización

Afina los modelos con tus propios datos. Crea prompts de sistema personalizados sin restricciones de plataforma. Trabaja completamente sin conexión -- en un avión, en el campo, donde sea. Sin dependencia de proveedores significa que cambias de modelos o herramientas cuando aparece algo mejor.

La advertencia honesta

Las APIs en la nube todavía ganan en tres escenarios: necesitas razonamiento de clase GPT-4 (los modelos locales se acercan pero aún no llegan), necesitas un rendimiento masivo multi-usuario sin gestionar GPUs, o simplemente no quieres lidiar con hardware. Para todo lo demás, gana lo local.

Veredicto: Si procesas datos sensibles, quieres costes predecibles o detestas los límites de velocidad de las APIs, ejecutar localmente es una decisión obvia.

¿Qué hardware necesitas para ejecutar LLMs localmente?

La VRAM es el cuello de botella. Sin más. Un modelo que cabe completamente en la memoria GPU funciona aproximadamente 10 veces más rápido que uno que desborda hacia la RAM del sistema. La regla general: calcula ~0,5-1 GB de VRAM por cada mil millones de parámetros con cuantización Q4.

Recomendaciones de GPU para PC

Datos de rendimiento procedentes de benchmarks de GPU de Hardware Corner usando llama-bench de llama.cpp estandarizado en Ubuntu 24.04 con CUDA 12.8.

Recomendaciones para Apple Silicon

La memoria unificada de Apple Silicon es una ventaja real aquí. La GPU y la CPU comparten el mismo grupo de RAM, por lo que un M4 Max con 128 GB de memoria unificada puede ejecutar modelos que requerirían una GPU discreta de 2.000 €+ en un PC.

Una nota práctica: los modelos ocupan 4-40 GB en disco. Mantén al menos 100 GB libres en un SSD (NVMe preferiblemente) si planeas experimentar con varios modelos.

Veredicto: Comienza con lo que tienes -- incluso una CPU puede ejecutar un modelo 7B para hacer pruebas. Para un uso diario serio, la RTX 4060 Ti 16 GB (~400 €) o un Mac M4 Pro son la mejor opción.

¿Qué modelos debes ejecutar localmente?

No todos los modelos son iguales, y "el mejor modelo" depende completamente de para qué lo uses. Aquí tienes una tabla de decisión que simplifica la elección:

Todos estos están disponibles en formato GGUF -- el estándar universal para los archivos de LLM locales. Los encontrarás en Hugging Face, el hub principal para descargar modelos de pesos abiertos. Busca cualquier nombre de modelo más "GGUF" para encontrar versiones cuantizadas listas para uso local.

Una pregunta común: "¿Puedo ejecutar ChatGPT localmente?" No -- ChatGPT es el producto propietario de OpenAI. Pero Llama 3.3 y Qwen 3 ofrecen calidad comparable para la mayoría de tareas cotidianas y se ejecutan completamente en tu hardware.

Veredicto: Empieza con Llama 3.3 8B. Cubre bien el 80% de los casos de uso. Pasa a Qwen 3 para código o a Llama 3.3 70B cuando necesites más potencia.

¿Qué es la cuantización (y por qué importa)?

La cuantización es el concepto más importante para ejecutar LLMs localmente. Reduce la precisión de los pesos del modelo -- por ejemplo, de punto flotante de 16 bits a enteros de 4 bits -- para que modelos más grandes quepan en menos VRAM.

Piénsalo como la calidad de audio: un archivo FLAC sin pérdidas es enorme pero perfecto. Un MP3 a 320 kbps es una fracción del tamaño y prácticamente indistinguible para la mayoría de los oyentes. La cuantización Q4_K_M es tu MP3 a 320 kbps -- 75% menos VRAM con menos del 3% de pérdida de calidad en benchmarks estándar.

GGUF (General GGML Universal Format) es el formato de archivo que hace posible esto. Reemplazó al antiguo formato GGML y ahora es el estándar universal usado por Ollama, LM Studio y llama.cpp. Los archivos GGUF son autónomos, agnósticos a la arquitectura y mapeables en memoria -- lo que significa que las herramientas pueden cargarlos eficientemente. La especificación completa es abierta y está bien documentada.

Cuando descargas un modelo desde Ollama, obtienes Q4_K_M por defecto -- y esa es la elección correcta para la mayoría. Los usuarios avanzados pueden especificar la cuantización explícitamente: ollama pull llama3.3:70b-q4_K_M.

Veredicto: Usa Q4_K_M para todo, a menos que tengas VRAM de sobra. La diferencia de calidad es imperceptible para el 95% de las tareas.

¿Qué herramienta debes usar para ejecutar LLMs localmente?

El panorama de herramientas ha madurado rápido. Aquí están las seis herramientas que importan, comparadas lado a lado:

Ollama es el punto de partida. Envuelve llama.cpp con un servidor Go, añadiendo descarga de modelos con un comando, descarga automática a GPU y una API compatible con OpenAI. Se ha convertido en el estándar de facto para el desarrollo de LLM local, con más de 250.000 estrellas en GitHub.

LM Studio es el "Spotify de los LLMs" -- navega y descarga modelos a través de una interfaz gráfica limpia. Ideal para explorar y probar antes de comprometerte con un flujo de trabajo.

llama.cpp es el motor de inferencia C/C++ bruto bajo Ollama y LM Studio. Úsalo directamente cuando necesites máximo control, compilaciones personalizadas o despliegue en dispositivos edge.

vLLM es la opción para producción. Su gestión de memoria PagedAttention ofrece 19 veces el rendimiento de Ollama a escala -- 793 TPS frente a 41 TPS en benchmarks. Si sirves a múltiples usuarios, esto es lo que quieres.

Docker Model Runner es la integración nativa de LLM de Docker, ahora en GA. Ejecuta LLMs como artefactos OCI. Si tu equipo ya vive en Docker, esto elimina una herramienta más de tu stack.

Jan AI es una aplicación de escritorio de código abierto (Apache 2.0) con un diseño orientado a la privacidad y un sistema de extensiones. Una sólida alternativa a LM Studio si quieres cero telemetría.

Cuándo usar qué

Veredicto: Empieza con Ollama. En serio, simplemente empieza ahí. Cubre el 90% de los casos de uso. Pasa a vLLM para producción o LM Studio si prefieres una interfaz gráfica.

¿Cómo configuras tu primer LLM local?

Tres pasos. Cinco minutos. Vamos.

Paso 1: Instalar Ollama

# macOS / Linux (un solo comando):
curl -fsSL https://ollama.com/install.sh | sh

# Windows: descarga el instalador desde https://ollama.com/download

Paso 2: Descargar y ejecutar tu primer modelo

# Descargar Llama 3.3 (~4,7 GB) e iniciar el chat
ollama pull llama3.3
ollama run llama3.3

Eso es todo. Estás ejecutando un LLM de última generación en tu propia máquina. Escribe una pregunta y obtendrás una respuesta en milisegundos.

Paso 3: Usar la API (reemplazo directo de OpenAI)

Esta es la parte que hace que los LLMs locales sean genuinamente prácticos. Ollama expone una API compatible con OpenAI en localhost:11434. Cualquier aplicación que funcione con OpenAI puede apuntar a tu endpoint local en su lugar -- cero cambios de código.

# Probar la API con curl
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.3",
    "messages": [{"role": "user", "content": "Explica la computación cuántica en 3 frases"}]
  }'

# Python: Reemplazo directo para el SDK de OpenAI
from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

response = client.chat.completions.create(
    model="llama3.3",
    messages=[{"role": "user", "content": "Escribe una función Python para ordenar una lista"}]
)
print(response.choices[0].message.content)

Observa que el código Python usa el SDK estándar de OpenAI -- solo cambias base_url. Cada biblioteca, framework y herramienta que admite la API de OpenAI funciona con Ollama de inmediato.

Alternativa: Docker Model Runner

Si tu flujo de trabajo es Docker-nativo, Docker Model Runner te permite saltarte Ollama por completo:

# Descargar y ejecutar un modelo a través de Docker
docker model pull ai/llama3.3
docker model run ai/llama3.3 "Hola, ¿cómo estás?"

Docker Model Runner está ahora en GA y admite backends GPU CUDA, Metal y Vulkan. Ejecuta modelos como artefactos OCI y expone una API compatible con OpenAI -- misma experiencia de desarrollador, pero nativa del ecosistema Docker.

Veredicto: De cero a ejecutar un LLM tarda menos de 5 minutos con Ollama. La API compatible con OpenAI significa que tu código existente funciona sin cambios.

¿Cómo obtienes el mejor rendimiento en Mac?

Los usuarios de Mac tienen un arma secreta que la mayoría de las guías omiten por completo: MLX.

Todas las herramientas que hemos discutido -- Ollama, LM Studio, llama.cpp -- funcionan en Mac a través del backend Metal. Todas aprovechan los núcleos GPU de Apple Silicon y ofrecen un rendimiento sólido. Pero MLX, el propio framework de ML de Apple, va más allá.

MLX está diseñado específicamente para Apple Silicon. Aprovecha la arquitectura de memoria unificada a un nivel más bajo que Metal solo, ofreciendo una inferencia un 20-30% más rápida que llama.cpp en el mismo hardware. El paquete mlx-lm facilita ejecutar cualquier modelo compatible:

# Instalar MLX-LM
pip install mlx-lm

# Ejecutar un modelo con MLX (se descarga automáticamente desde Hugging Face)
mlx_lm.generate --model mlx-community/Llama-3.3-8B-Instruct-4bit \
  --prompt "Explica la diferencia entre Ollama y MLX"

¿Cuándo usar MLX versus Ollama en Mac?

• Ollama: Configuración más sencilla, gestión de modelos integrada, API compatible con OpenAI. Úsalo para la mayoría de las cosas -- especialmente si quieres que otras aplicaciones se conecten a tu LLM local.
• MLX: Inferencia bruta más rápida, optimización nativa de Apple. Úsalo cuando la velocidad importa -- copilotos de código, procesamiento por lotes o cualquier flujo de trabajo donde una generación un 20-30% más rápida ahorra tiempo real.

Ambas herramientas pueden ejecutarse simultáneamente. Muchos desarrolladores usan Ollama como su herramienta diaria y cambian a MLX para tareas críticas de rendimiento.

Apple también presentó el chip M5 en la WWDC25 con mejoras de velocidad reclamadas de 4x respecto al M4 para cargas de trabajo de ML. Si estás comprando nuevo hardware específicamente para LLMs locales, Apple Silicon sigue siendo una de las mejores propuestas de valor -- especialmente en los niveles M4 Max y Ultra donde 64-256 GB de memoria unificada te permite ejecutar modelos que costarían miles en GPUs discretas.

Veredicto: Los usuarios de Mac tienen un arma secreta en MLX. Para uso diario, Ollama en Mac simplemente funciona. Para máxima velocidad, MLX vale la configuración adicional.

¿Cuándo deberías ir más allá de Ollama?

Ollama es perfecto para desarrollo, creación de prototipos y cargas de trabajo de usuario único. Pero hay señales claras de que lo has superado:

vLLM es la actualización para producción. Su algoritmo PagedAttention gestiona la memoria GPU como páginas de memoria virtual en un sistema operativo -- asignando y liberando memoria en bloques en lugar de reservar fragmentos contiguos. El resultado: 793 TPS frente a 41 TPS de Ollama en benchmarks multi-usuario. No es una mejora marginal; es una clase diferente de herramienta.

El patrón híbrido también vale la pena considerar: usa un LLM local para tareas sensibles o rutinarias (resumen, clasificación, revisión de código) y enruta las consultas de razonamiento complejo a una API en la nube. Obtienes los beneficios de privacidad y coste de la inferencia local para el 80% de tu carga de trabajo, mientras mantienes acceso a la calidad de los modelos de frontera cuando lo necesitas.

Veredicto: La mayoría de los desarrolladores nunca necesitan abandonar Ollama. Si estás construyendo un producto que sirve a múltiples usuarios, vLLM es el siguiente paso obvio.

¿Qué puedes realmente construir con LLMs locales?

Ejecutar un chatbot es el caso de uso obvio, pero no el interesante. Aquí es donde los LLMs locales realmente brillan:

Copiloto de código local. Conecta Qwen 3 a través de Ollama a Continue.dev o Tabby. Tu código nunca abandona tu máquina -- crucial para bases de código propietarias. La configuración lleva 10 minutos y la experiencia rivaliza con los copilotos basados en la nube para la mayoría de las tareas. Si estás construyendo un SaaS impulsado por IA, un copiloto local acelera el desarrollo sin exponer tu base de código.

Sistema RAG privado. Indexa tus documentos internos y luego consúltalos con un LLM local. Combina LangChain + Ollama + ChromaDB y tendrás una base de conocimiento privada que maneja datos confidenciales sin dolores de cabeza de cumplimiento. Las empresas de salud y legales ya hacen esto para HIPAA y el secreto profesional.

Asistente sin conexión. No se requiere internet. Investigadores de campo, operaciones militares, ubicaciones de trabajo remoto -- en cualquier lugar donde la conectividad sea poco confiable, un LLM local sigue funcionando.

Pipeline de procesamiento de datos. Resume, clasifica o extrae información de miles de documentos a coste marginal cero. Sin límites de velocidad de API que ralenticen tu rendimiento. Un modelo 8B local en una GPU decente puede procesar cientos de páginas por minuto.

Herramientas de desarrollo impulsadas por IA. Bots de revisión de código, generadores de mensajes de commit, generación de pruebas -- todo ejecutándose en tu infraestructura. Los equipos que usan herramientas de IA para startups a menudo empiezan con APIs en la nube y migran sus tareas de alto volumen y baja complejidad a modelos locales a medida que escalan.

Soberanía de datos empresarial. El patrón de arquitectura híbrida: los LLMs locales manejan datos sensibles (HIPAA, GDPR, clasificados), las APIs en la nube manejan solicitudes no sensibles que requieren razonamiento de frontera. Obtienes lo mejor de ambos mundos.

Consulta nuestras Mejores herramientas para ejecutar LLMs localmente [próximamente] para reseñas en profundidad de cada herramienta mencionada anteriormente.

Veredicto: El caso de uso clave no es el chat -- es ejecutar IA sobre datos sensibles que no puedes enviar a una API en la nube. Los copilotos de código y el RAG privado son donde los LLMs locales realmente brillan.

Cómo Techsy aborda la integración de IA local

Hemos construido pipelines de IA locales para equipos que van desde startups de 3 personas hasta grandes organizaciones de ingeniería empresarial. Esto es lo que hemos aprendido:

1. Empieza con Ollama para prototipos -- valida el caso de uso antes de invertir en infraestructura
2. Diseña la arquitectura híbrida pronto -- decide qué tareas se quedan en local frente a cuáles llegan a una API en la nube
3. Usa vLLM cuando superes a Ollama -- específicamente cuando sirvas a más de un puñado de usuarios concurrentes
4. Containeriza todo -- Docker Model Runner o imágenes Docker personalizadas hacen el despliegue reproducible en todos los entornos
5. Presupuesta el hardware GPU con cuidado -- una RTX 4090 se paga sola en meses si reemplaza los costes de API en la nube

Para la mayoría de los casos de uso personales y de pequeños equipos, la configuración de Ollama en esta guía es genuinamente suficiente. Nuestros servicios tienen sentido cuando escales la IA local a producción: orquestación multi-modelo, pipelines de fine-tuning personalizados o construcción de productos donde la inferencia de LLM es una característica central.

¿Necesitas ayuda para integrar LLMs locales en tu producto? Obtén una consulta gratuita.

Preguntas frecuentes

¿Cómo ejecuto un LLM localmente?

Instala Ollama, ejecuta ollama pull llama3.3, luego ollama run llama3.3. Tres comandos y estás ejecutando un LLM de última generación en tu propio hardware. Todo el proceso lleva menos de 5 minutos, incluida la descarga del modelo.

¿Qué hardware necesito para ejecutar un LLM localmente?

Mínimo: 8 GB de RAM y cualquier CPU moderna -- pero será dolorosamente lento. Recomendado: una GPU con 12+ GB de VRAM (RTX 3060 o mejor) o un Mac Apple Silicon con 16+ GB de memoria unificada. La RTX 4060 Ti 16 GB por ~400 € es la mejor opción para la mayoría de las personas.

¿Puedo ejecutar un LLM en un Mac?

Sí, y los Mac son excelentes para ello. La memoria unificada de Apple Silicon te da más VRAM efectiva que la mayoría de las GPUs discretas al mismo precio. Un M4 Pro con 24 GB maneja modelos 7-13B fácilmente. Para aún mejor rendimiento, usa MLX -- el framework nativo de Apple que es un 20-30% más rápido que llama.cpp en el mismo chip.

¿Es gratis ejecutar un LLM localmente?

El software (Ollama, LM Studio, llama.cpp) y los modelos (Llama, Qwen, Mistral) son todos gratuitos y de código abierto. El único coste es el hardware, que probablemente ya tienes. Incluso un portátil básico puede ejecutar modelos más pequeños para pruebas.

¿Puedo ejecutar ChatGPT localmente?

No. ChatGPT es el producto propietario de OpenAI y no está disponible para despliegue local. Sin embargo, las alternativas de pesos abiertos como Llama 3.3 y Qwen 3 ofrecen calidad comparable para muchas tareas cotidianas y se ejecutan completamente en tu hardware.

¿Qué es GGUF?

GGUF (General GGML Universal Format) es el formato de archivo estándar para LLMs locales cuantizados. Es autónomo, agnóstico a la arquitectura y utilizado por Ollama, LM Studio y llama.cpp. Cuando ves un archivo de modelo que termina en .gguf, está listo para la inferencia local.

¿Qué es la cuantización y por qué importa?

La cuantización reduce la precisión del modelo (por ejemplo, de 16 bits a 4 bits) para que quepan modelos más grandes en menos memoria. La cuantización Q4_K_M reduce los requisitos de VRAM en aproximadamente un 75% mientras preserva el 97-98% de la calidad de salida. Es la razón por la que puedes ejecutar un modelo de 70 mil millones de parámetros en una sola GPU de consumidor.

¿Cuál es el mejor modelo LLM local en 2026?

Llama 3.3 8B es el mejor punto de partida general. Qwen 3 7B lidera para tareas de código y multilingüe. Phi-4-mini (3,8B) es la elección para hardware limitado. Llama 3.3 70B ofrece lo más parecido al razonamiento de clase GPT-4 que puedes ejecutar localmente.

¿Qué tan rápido es un LLM local comparado con las APIs en la nube?

Para un usuario único, el local a menudo es más rápido -- 30-50 ms de latencia de primer token frente a 1-2 segundos a través de una API en la nube. También eliminas los límites de velocidad y los tiempos de espera en cola. Para escenarios de alto rendimiento multi-usuario, las APIs en la nube o vLLM con infraestructura GPU adecuada superarán una configuración básica de Ollama.

¿Es seguro ejecutar un LLM localmente para datos sensibles?

Sí -- esa es una de las razones principales para ejecutar localmente. Los datos nunca abandonan tu máquina, así que no hay exposición a terceros. Las organizaciones de salud (HIPAA), financieras y gubernamentales usan LLMs locales precisamente porque ningún acuerdo de procesamiento de datos con un proveedor de nube puede igualar la privacidad de no enviar datos en absoluto.

¿Cuál es la diferencia entre Ollama y llama.cpp?

Ollama envuelve llama.cpp con un servidor Go, añadiendo gestión de modelos, descarga automática a GPU y una API compatible con OpenAI. llama.cpp es el motor de inferencia C/C++ bruto debajo. Usa Ollama por comodidad; usa llama.cpp directamente cuando necesites máximo control o despliegue en edge.

¿Puedo ejecutar un modelo 70B en hardware de consumidor?

Sí, con cuantización. Un modelo 70B en Q4_K_M necesita aproximadamente 24 GB de VRAM -- alcanzable con una RTX 4090 o un M4 Max con 48+ GB de memoria unificada. El rendimiento es utilizable (15-30 tokens por segundo) pero notablemente más lento que ejecutar un modelo 7B o 13B. Para uso diario, la mayoría de las personas encuentra que los modelos 7-13B ofrecen el mejor equilibrio velocidad-calidad.

Fuentes

• Sitio web oficial de Ollama
• Repositorio GitHub de Ollama
• Repositorio GitHub de llama.cpp
• Documentación de vLLM
• Blog de vLLM -- PagedAttention
• Repositorio GitHub de Apple MLX
• Repositorio GitHub de MLX-LM
• Documentación de Docker Model Runner
• Especificación del formato GGUF
• Documentación GGUF de Hugging Face
• Benchmarks GPU de Hardware Corner para LLMs