Sobre esta herramienta
Esta calculadora estima si un modelo de lenguaje grande cabe en una GPU o un Mac concretos y a qué velocidad generaría texto. Está pensada para quienes ejecutan modelos localmente con llama.cpp y herramientas similares. La cuantización almacena los pesos del modelo con menor precisión, lo que reduce el uso de memoria a cambio de una pequeña pérdida de calidad; esta calculadora cuenta Q4_K_M como 0,55 bytes por parámetro. La caché KV guarda los datos de atención de cada token del contexto.
Dos cifras del hardware deciden el resultado. La capacidad de memoria determina si los pesos y el contexto que quieres llegan a cargarse, y el ancho de banda de memoria determina lo rápido que aparecen los tokens una vez cargados. Una tarjeta con mucha memoria pero poco ancho de banda, como una GPU de centro de datos antigua, puede alojar un modelo grande y aun así generar despacio.
Cómo funciona
En Buscar hardware, elige un modelo, una cuantización y una precisión de caché KV, y luego introduce la longitud de contexto y la velocidad mínima que aceptas en tokens por segundo; YaRN es opcional. La herramienta lista las máquinas que cumplen, con sus necesidades de memoria y rangos de velocidad. En Comprobar mi hardware, elige una máquina, selecciona las cuantizaciones que quieras comparar y fija un contexto objetivo para ver qué modelos caben.
La memoria necesaria es el tamaño de los pesos más la caché KV para todo el contexto más una sobrecarga fija de 2 GB. Los pesos en GB equivalen a los miles de millones de parámetros por los bytes por parámetro: 0,55 para Q4_K_M, 0,65 para Q5_K_M, 0,75 para Q6_K, 1,07 para Q8_0 y 2,0 para BF16. La caché por token ocupa bytes en Q8 y el doble en FP16, donde L es el número de capas. La velocidad de generación se estima como entre el 50% y el 75% del ancho de banda efectivo dividido entre el tamaño de los pesos activos, con factores de eficiencia más bajos para hardware sin CUDA, como las GPU de AMD y los chips de Apple.
Ejemplo
Para qwen3-32b en Q4_K_M con caché KV en Q8, los pesos ocupan GB y la caché ocupa 131,072 KB por token. En una RTX 4090 de 24 GB, tras 2 GB de sobrecarga y una reserva de 0,5 GB, caben unos 29.754 tokens de contexto, así que un objetivo de 32.768 tokens no se alcanza. La velocidad de generación estimada es de 28,6 a 43,0 tokens por segundo.
Ahora toma llama3.3-70b en Q4_K_M en un M4 Max con 128 GB de memoria unificada. Los pesos necesitan GB y la caché Q8 necesita 163,84 KB por token, de modo que un contexto de 32.768 tokens requiere unos 45,9 GB en total, e incluso el contexto nativo completo de 131.072 tokens cabe tras la reserva de 4 GB. El cuello de botella es la velocidad: la estimación es de solo unos 5,0 a 7,4 tokens por segundo, porque cada token lee los 38,5 GB de pesos con 546 GB/s de ancho de banda.
Supuestos y límites
Las estimaciones cubren solo la decodificación de un único flujo, calibrada con mediciones de llama.cpp; no se modela el tiempo de procesamiento del prompt. La memoria se expresa en gigabytes decimales, con una sobrecarga fija de 2 GB y una reserva de 0,5 GB en GPU dedicadas o de 4 GB en máquinas con memoria unificada. No se contemplan la descarga a CPU ni los encajes parciales. Las listas de modelos y hardware son catálogos fijos, y la velocidad real varía según los controladores y la configuración.
Preguntas frecuentes
¿Cuánta VRAM necesito para ejecutar un LLM localmente?
Aproximadamente el tamaño de los pesos cuantizados más la caché KV para tu longitud de contexto, más algo de sobrecarga. Una cuantización de 4 bits necesita algo más de medio gigabyte por cada mil millones de parámetros solo para los pesos, así que un modelo de 32B necesita unos 18 GB antes del contexto. Los contextos largos suman rápido, así que revisa la cifra de caché para tu longitud objetivo antes de comprar hardware.
¿Qué significa Q4_K_M?
Q4_K_M es un tipo de cuantización GGUF de llama.cpp que guarda la mayoría de los pesos con unos 4 bits mediante el método k-quant y mantiene algunos tensores con mayor precisión. Es una opción predeterminada habitual porque equilibra el tamaño del archivo y la calidad de las respuestas. Q5_K_M y Q6_K conservan más detalle a cambio de más tamaño, mientras que Q8_0 tiene una calidad cercana a la del modelo original.
¿Por qué la velocidad de generación está limitada por el ancho de banda de memoria?
Al generar un token cada vez, el hardware tiene que leer de la memoria todos los pesos activos para cada token. Por eso los tokens por segundo equivalen aproximadamente al ancho de banda de memoria dividido entre el tamaño de los pesos activos. Esa es la razón de que una cuantización más pequeña vaya más rápido en la misma máquina y de que, para chatear en local, el ancho de banda importe más que la potencia de cálculo.
¿Por qué los modelos mixture-of-experts necesitan mucha memoria pero son rápidos?
Un modelo mixture-of-experts debe mantener todos los expertos en memoria, pero cada token usa solo unos pocos. Las necesidades de memoria dependen del total de parámetros, mientras que la velocidad de generación depende del número menor de parámetros activos. Por ejemplo, qwen3-30b-a3b necesita memoria para 30.000 millones de parámetros, pero lee solo unos 3.000 millones por token.
¿Por qué mis tokens por segundo medidos difieren de la estimación?
La estimación es un rango calibrado con la generación de un solo flujo en llama.cpp, así que otro software, los controladores, el tamaño de lote y los límites térmicos mueven las cifras reales hacia arriba o hacia abajo. El procesamiento del prompt no se modela, por lo que los prompts largos añaden espera antes del primer token. Si parte del modelo se descarga a la RAM del sistema, la velocidad cae muy por debajo de la estimación, porque la calculadora solo cuenta ajustes completos.
Enlace con tus valores
Añade estos parámetros a la dirección de esta página para abrirla con los valores ya rellenados, por ejemplo para compartir un cálculo o enlazarlo desde un asistente de IA. El resultado se calcula en el navegador: el HTML de la página muestra un ejemplo con los valores predeterminados y la herramienta añade el atributo data-url-params cuando se aplican los valores del enlace.
| Parámetro | Valor | Si se omite |
|---|---|---|
modeCálculo | uno de: need, hardware | predeterminado: need |
modelModelo | uno de: qwen3-8b, qwen3-14b, qwen3-30b-a3b, qwen3-32b, llama3.1-8b, llama3.3-70b, qwen3-235b-a22b, qwen3-480b-a22b, qwen3-4b, gpt-oss-20b, gpt-oss-120b, deepseek-r1-distill-qwen-32b, qwen3-coder-30b-a3b, phi-4, qwen2.5-coder-32b; se usa con mode = need | predeterminado: qwen3-32b |
quantCuantización | uno de: Q4_K_M, Q5_K_M, Q6_K, Q8_0, BF16; se usa con mode = need | predeterminado: Q4_K_M |
context_tokensContexto (tokens) | número entero; permitido ≥ 0; se usa con mode = need | predeterminado: 131072 |
min_tokens_per_sMín. tokens/s | número; permitido ≥ 0; se usa con mode = need | predeterminado: 20 |
hardwareHardware | uno de: rtx_3090, rtx_4090, rtx_4090_48gb, rtx_5090, tesla_p40, tesla_p100_16gb, tesla_v100_32gb, mi50_32gb, 2x_rtx_3090, m4_pro, m5_pro, m5_max, m4_max, m3_ultra, dgx_spark_gb10, dgx_station_gb300; se usa con mode = hardware | predeterminado: rtx_4090 |
quantsCuantizaciones | valores separados por comas: 2,4,4,6; se usa con mode = hardware | predeterminado: Q4_K_M,Q8_0 |
target_context_tokensContexto objetivo | número entero; permitido ≥ 0; se usa con mode = hardware | predeterminado: 131072 |
kv_cacheCaché KV | uno de: q8, fp16 | predeterminado: q8 |
yarn_tokensYaRN (opcional) | número entero; permitido 1–262144 | opcional |
Ejemplos
?model=llama3.3-70b&quant=Q5_K_M&context_tokens=32768&kv_cache=fp16&min_tokens_per_s=15?hardware=m4_max&quants=Q4_K_M,Q6_K&target_context_tokens=65536
Escribe los decimales con punto. Codifica un espacio como %20, + como %2B, # como %23 y & como %26.
Elementos del resultado: [data-result-block="llm-hardware"]