Calcula los requisitos de VRAM de GPU para ejecutar modelos de lenguaje grandes. Estima la memoria para pesos del modelo, caché KV y activaciones. Encuentra qué GPUs pueden ejecutar tu modelo de IA con nuestra calculadora de memoria completa.
También podrías encontrar útiles estas calculadoras
Compara costos de GPU auto-hospedada vs APIs de inferencia
Analiza el uso de la ventana de contexto de LLM y planificación de capacidad
Estima el conteo de tokens para GPT-4, Claude, Gemini y otros LLMs
Convierte entre binario, decimal, hex y octal
Ejecutar modelos de IA localmente requiere conocer tus requisitos de memoria GPU. Nuestra Calculadora de Memoria GPU estima la VRAM necesaria para cualquier modelo de lenguaje grande basándose en el conteo de parámetros, precisión, tamaño de lote y longitud de contexto. Descubre si tu GPU puede ejecutar Llama, Mistral u otros modelos populares.
La memoria GPU (VRAM) es consumida por tres componentes principales: pesos del modelo (parámetros × bytes por parámetro), caché KV (escala con longitud de contexto × tamaño de lote), y memoria de activación (almacenamiento temporal de cálculo). El total determina qué GPU puede ejecutar tu modelo.
Fórmula de Cálculo de VRAM
VRAM = Pesos del Modelo + Caché KV + Activaciones + OverheadSabe exactamente si tu RTX 3090, A100 o GPU de consumidor puede ejecutar un modelo específico antes de comprar o alquilar.
Ve cómo la cuantización INT8 o INT4 reduce los requisitos de memoria, permitiendo modelos más grandes en GPUs más pequeñas.
El caché KV crece linealmente con el contexto. Calcula si puedes soportar ventanas de contexto de 4K, 8K o 32K.
Los lotes más grandes mejoran el rendimiento pero necesitan más memoria. Encuentra tu tamaño de lote óptimo para la VRAM disponible.
Un modelo de 7B necesita aproximadamente: 28GB en FP32, 14GB en FP16/BF16, 7GB en INT8, o 3.5GB en INT4. Añade 1-4GB para caché KV dependiendo de la longitud de contexto y tamaño de lote. En la práctica, una GPU de 16GB como RTX 4080 puede ejecutar modelos de 7B en FP16 con contexto de 4K.
Un modelo de 70B en FP16 necesita ~140GB de VRAM—muy por encima de cualquier GPU de consumidor. Opciones: usa cuantización INT4 (~35GB, cabe en A100 80GB), usa múltiples GPUs con paralelismo de modelo, o descarga capas a RAM de CPU (mucho más lento).
FP16/BF16: Prácticamente sin pérdida de calidad, estándar para inferencia. INT8: 1-2% de degradación en benchmarks, excelente para producción. INT4: Pérdida de calidad notable en razonamiento complejo, pero aceptable para muchas aplicaciones. Siempre prueba en tu caso de uso específico.
VRAM adicional es usado por: contexto CUDA y kernels (~500MB-1GB), overhead del framework (PyTorch, etc.), fragmentación de memoria, almacenamiento de gradientes si entrenas, y múltiples copias del modelo para decodificación especulativa. Nuestras estimaciones incluyen overhead típico pero varían según configuración.
Ambos usan 16 bits por parámetro. FP16 tiene más precisión de mantisa, mejor para inferencia. BF16 tiene más rango de exponente, mejor para entrenamiento (evita overflow). Para inferencia, son intercambiables y usan la misma memoria.