Калькулятор железа для LLM

KV-кэш

До 262144 для qwen3-*. Качество падает за пределами native.

qwen3-32b · Q4_K_M · KV=Q8

веса ~17.6 GB · KV 131 KB/token · нужно ~36.8 GB для 131,072

Узкое место: KV 47% / веса 48% / overhead 5%

  • 2x RTX 3090max 131,07243-64 ток/с
  • RTX 4090 48GBmax 131,07229-43 ток/с

Единицы: десятичные 1 GB=109 байт1\,\text{GB} = 10^{9}\,\text{байт}, 1 KB=103 байт1\,\text{KB} = 10^{3}\,\text{байт}. Не GiB/KiB.

CPU-offload не считается fit-режимом; mmap влияет только на загрузку, не на VRAM.

Только оценка декода; префилл не моделируется — на MoE-гигантах префилл и есть бутылочное горлышко.

decode-only estimate; anchors: llama.cpp single stream, 2026-09

Об этих оценках

  • Однопоточный декод (batch=1\text{batch} = 1), калибровка по замерам llama.cpp, 2026-09.
  • Десятичные единицы: 1 GB=109 байт1\,\text{GB} = 10^{9}\,\text{байт}. На unified-машинах 4 GB зарезервировано под ОС.
  • При MoE-декоде читаются только активные эксперты, с коэффициентом 0,35× (скорость ограничена задержками).
  • Q8 KV вдвое сокращает кэш почти без потери качества.

Об этом инструменте

Этот калькулятор оценивает, поместится ли большая языковая модель на конкретный GPU или Mac и с какой скоростью она будет генерировать текст. Он рассчитан на тех, кто запускает модели локально через llama.cpp и похожие инструменты. Квантование хранит веса модели с пониженной точностью, что сокращает расход памяти ценой небольшой потери качества; квант Q4_K_M калькулятор считает как 0,55 байта на параметр. KV-кэш хранит данные внимания для каждого токена в контексте.

Результат определяют две характеристики железа. Объём памяти решает, загрузятся ли веса вместе с нужным контекстом, а пропускная способность памяти — насколько быстро после этого появляются токены. Карта с большим объёмом памяти, но невысокой пропускной способностью, например старый серверный GPU, может вместить крупную модель и всё равно генерировать медленно.

Как это работает

На вкладке «Найти железо» выберите модель, квант и точность KV-кэша, затем введите длину контекста и минимальную приемлемую скорость в токенах в секунду; YaRN — по желанию. Инструмент покажет подходящие машины с требованиями к памяти и диапазонами скорости. На вкладке «Проверить железо» выберите машину, отметьте кванты для сравнения и задайте целевой контекст, чтобы увидеть, какие модели помещаются.

Необходимая память складывается из размера весов, KV-кэша для всего контекста и фиксированных 2 ГБ накладных расходов. Веса в ГБ равны числу параметров в миллиардах, умноженному на байты на параметр: 0,55 для Q4_K_M, 0,65 для Q5_K_M, 0,75 для Q6_K, 1,07 для Q8_0 и 2,0 для BF16. Кэш на один токен занимает 2×L×Hkv×dhead2 \times L \times H_{kv} \times d_{head} байт при Q8 и вдвое больше при FP16, где L — число слоёв. Скорость генерации оценивается как 50–75% эффективной пропускной способности, делённой на размер активных весов, с пониженными коэффициентами эффективности для железа без CUDA, например видеокарт AMD и чипов Apple.

Пример

Для qwen3-32b в Q4_K_M с KV-кэшем Q8 веса занимают 32×0,55=17,632 \times 0{,}55 = 17{,}6 ГБ, а кэш — 131,072 КБ на токен. На RTX 4090 с 24 ГБ после 2 ГБ накладных расходов и резерва 0,5 ГБ помещается около 29 754 токенов контекста, поэтому цель в 32 768 токенов не достигается. Оценка скорости генерации — от 28,6 до 43,0 токена в секунду.

Теперь возьмём llama3.3-70b в Q4_K_M на M4 Max со 128 ГБ единой памяти. Веса требуют 70×0,55=38,570 \times 0{,}55 = 38{,}5 ГБ, кэш Q8 — 163,84 КБ на токен, так что контекст в 32 768 токенов требует около 45,9 ГБ, и даже полный нативный контекст в 131 072 токена помещается с учётом резерва 4 ГБ. Узкое место здесь скорость: оценка всего около 5,0–7,4 токена в секунду, потому что для каждого токена нужно прочитать все 38,5 ГБ весов при пропускной способности 546 ГБ/с.

Допущения и ограничения

Оценки относятся только к однопоточному декоду и откалиброваны по замерам llama.cpp; время обработки промпта не моделируется. Память считается в десятичных гигабайтах, с фиксированными накладными расходами 2 ГБ и резервом 0,5 ГБ на дискретных GPU или 4 ГБ на машинах с унифицированной памятью. Выгрузка части модели на CPU (offload) и частичное размещение не учитываются. Списки моделей и железа — фиксированные каталоги, а реальная скорость зависит от драйверов и настроек.

Частые вопросы

Сколько VRAM нужно, чтобы запустить LLM локально?

Примерно столько, сколько занимают квантованные веса, плюс KV-кэш для вашей длины контекста и некоторые накладные расходы. При 4-битном квантовании одни веса требуют чуть больше полугигабайта на миллиард параметров, так что модели 32B нужно около 18 ГБ ещё до учёта контекста. Длинный контекст быстро добавляет гигабайты, поэтому проверьте объём кэша для нужной длины до покупки железа.

Что означает Q4_K_M?

Q4_K_M — тип квантования GGUF в llama.cpp, при котором большинство весов хранится примерно в 4 битах по методу k-quant, а часть тензоров остаётся в более высокой точности. Это популярный вариант по умолчанию, потому что он хорошо балансирует размер файла и качество ответов. Q5_K_M и Q6_K сохраняют больше деталей ценой большего размера, а Q8_0 по качеству близок к исходной модели.

Почему скорость генерации ограничена пропускной способностью памяти?

При генерации по одному токену железо должно читать из памяти все активные веса для каждого токена. Поэтому число токенов в секунду примерно равно пропускной способности памяти, делённой на размер активных весов. Именно поэтому более сильное квантование работает быстрее на той же машине, а для локального чата пропускная способность важнее вычислительной мощности.

Почему модели со смесью экспертов (mixture-of-experts) требуют много памяти, но работают быстро?

Модель mixture-of-experts должна держать в памяти всех экспертов, но каждый токен использует лишь нескольких из них. Требования к памяти определяются общим числом параметров, а скорость генерации — меньшим числом активных параметров. Например, qwen3-30b-a3b нужна память под 30 миллиардов параметров, но на каждый токен она читает лишь около 3 миллиардов.

Почему измеренная скорость в токенах в секунду отличается от оценки?

Оценка — это диапазон, откалиброванный по однопоточной генерации в llama.cpp, поэтому другие программы, драйверы, размер батча и перегрев сдвигают реальные цифры в ту или иную сторону. Обработка промпта не моделируется, так что длинный промпт добавляет ожидание до первого токена. Если часть модели выгружена в системную память, скорость падает намного ниже оценки, ведь калькулятор учитывает только полное размещение.

Ссылка с вашими значениями

Добавьте эти параметры к адресу страницы, чтобы она открылась с уже заполненными значениями — например, чтобы поделиться расчётом или дать ссылку из ИИ-ассистента. Результат считается в браузере: в HTML страницы показан пример для значений по умолчанию, а когда значения из ссылки применены, инструмент ставит атрибут data-url-params.

ПараметрЗначениеЕсли не указан
modeРасчётодно из: need, hardwareпо умолчанию need
modelМодельодно из: qwen3-8b, qwen3-14b, qwen3-30b-a3b, qwen3-32b, llama3.1-8b, llama3.3-70b, qwen3-235b-a22b, qwen3-480b-a22b, qwen3-4b, gpt-oss-20b, gpt-oss-120b, deepseek-r1-distill-qwen-32b, qwen3-coder-30b-a3b, phi-4, qwen2.5-coder-32b; используется при mode = needпо умолчанию qwen3-32b
quantКвантодно из: Q4_K_M, Q5_K_M, Q6_K, Q8_0, BF16; используется при mode = needпо умолчанию Q4_K_M
context_tokensКонтекст (токены)целое число; допустимо ≥ 0; используется при mode = needпо умолчанию 131072
min_tokens_per_sМин. ток/счисло; допустимо ≥ 0; используется при mode = needпо умолчанию 20
hardwareЖелезоодно из: rtx_3090, rtx_4090, rtx_4090_48gb, rtx_5090, tesla_p40, tesla_p100_16gb, tesla_v100_32gb, mi50_32gb, 2x_rtx_3090, m4_pro, m5_pro, m5_max, m4_max, m3_ultra, dgx_spark_gb10, dgx_station_gb300; используется при mode = hardwareпо умолчанию rtx_4090
quantsКвантызначения через запятую: 2,4,4,6; используется при mode = hardwareпо умолчанию Q4_K_M,Q8_0
target_context_tokensЦелевой контекстцелое число; допустимо ≥ 0; используется при mode = hardwareпо умолчанию 131072
kv_cacheKV-кэшодно из: q8, fp16по умолчанию q8
yarn_tokensYaRN (опционально)целое число; допустимо 1–262144необязательный

Примеры

  • ?model=llama3.3-70b&quant=Q5_K_M&context_tokens=32768&kv_cache=fp16&min_tokens_per_s=15
  • ?hardware=m4_max&quants=Q4_K_M,Q6_K&target_context_tokens=65536

Дробную часть пишите через точку. Кодируйте пробел как %20, + как %2B, # как %23 и & как %26.

Элементы результата: [data-result-block="llm-hardware"]