Estima parámetros de modelos transformer y requisitos de memoria GPU. Calcula pesos de atención, FFN, embeddings y planifica infraestructura GPU para entrenamiento o inferencia.
También podrías encontrar útiles estas calculadoras
Calcula requisitos de VRAM para inferencia de LLM
Compara costos de GPU auto-hospedada vs APIs de inferencia
Analiza el uso de la ventana de contexto de LLM y planificación de capacidad
Convierte entre binario, decimal, hex y octal
Ejecutar modelos de lenguaje grandes requiere entender su huella de memoria. Nuestra Calculadora de Tamaño de Modelo te ayuda a estimar parámetros y requisitos de memoria GPU para transformers, ya sea que estés entrenando un modelo personalizado o desplegando para inferencia. Basado en las fórmulas de Transformer Math de EleutherAI y conteo de parámetros de Kipply.
Los modelos transformer consisten en capas de atención, redes feed-forward y embeddings. La fórmula clásica P ≈ 12Ld² estima parámetros desde capas (L) y dimensión oculta (d). Los requisitos de memoria dependen de la precisión (FP32/FP16/INT8) y si estás entrenando (requiere estados de optimizador y gradientes) o ejecutando inferencia (requiere caché KV).
Fórmula de Parámetros
P = 12 × L × d_model² + V × d_modelDetermina si tu modelo cabe en una sola GPU o requiere configuraciones multi-GPU con paralelismo de tensor/pipeline.
Los requisitos de memoria GPU impactan directamente los costos de computación en la nube. Dimensiona correctamente tu infraestructura para evitar gastos excesivos.
Al diseñar modelos personalizados, entiende los compromisos de parámetros/memoria de diferentes configuraciones de capas.
Ve cómo la cuantización INT8 o INT4 reduce los requisitos de memoria, permitiendo modelos más grandes en GPUs de consumo.
El entrenamiento requiere: 1) Pesos del modelo, 2) Estados del optimizador (AdamW almacena momentum y varianza = 8 bytes/parámetro), 3) Gradientes (4 bytes/parámetro), 4) Activaciones para retropropagación. Regla general: entrenamiento necesita ~16-20 bytes por parámetro en precisión mixta, mientras inferencia solo necesita 2 bytes por parámetro en FP16.
La fórmula captura ~95% de parámetros en transformers estándar. Asume expansión FFN de 4x (tamaño_intermedio = 4 × tamaño_oculto) y no incluye embeddings, layer norms o biases. Para conteos precisos, usa el desglose detallado que añade embeddings de vocabulario y otros componentes.
Sí, con cuantización. Un modelo de 7B en FP16 necesita ~14GB VRAM (cabe en los 24GB del RTX 4090). En INT8, necesita ~7GB (cabe en los 10GB del RTX 3080). En INT4, necesita ~3.5GB (cabe en muchas GPUs). La inferencia funciona bien cuantizada; el entrenamiento típicamente requiere mayor precisión.
Durante la generación autoregresiva, los modelos almacenan en caché pares clave-valor de tokens anteriores para evitar recálculo. El caché KV crece con la longitud de secuencia: caché_KV = 2 × batch × longitud_seq × capas × tamaño_oculto × bytes_precisión. Para un modelo de 7B generando 4K tokens, el caché KV puede exceder 1GB.
Opciones: 1) Checkpointing de gradientes (recalcula activaciones, ahorra ~70% de memoria de activaciones), 2) Precisión mixta (FP16/BF16 + pesos maestros FP32), 3) Fragmentación de optimizador ZeRO (divide estados de optimizador entre GPUs), 4) Reduce tamaño de batch (reducción lineal en memoria de activaciones), 5) Usa optimizadores de 8 bits.