Об этом инструменте
Этот калькулятор оценивает, поместится ли большая языковая модель на конкретный GPU или Mac и с какой скоростью она будет генерировать текст. Он рассчитан на тех, кто запускает модели локально через llama.cpp и похожие инструменты. Квантование хранит веса модели с пониженной точностью, что сокращает расход памяти ценой небольшой потери качества; квант Q4_K_M калькулятор считает как 0,55 байта на параметр. KV-кэш хранит данные внимания для каждого токена в контексте.
Результат определяют две характеристики железа. Объём памяти решает, загрузятся ли веса вместе с нужным контекстом, а пропускная способность памяти — насколько быстро после этого появляются токены. Карта с большим объёмом памяти, но невысокой пропускной способностью, например старый серверный GPU, может вместить крупную модель и всё равно генерировать медленно.
Как это работает
На вкладке «Найти железо» выберите модель, квант и точность KV-кэша, затем введите длину контекста и минимальную приемлемую скорость в токенах в секунду; YaRN — по желанию. Инструмент покажет подходящие машины с требованиями к памяти и диапазонами скорости. На вкладке «Проверить железо» выберите машину, отметьте кванты для сравнения и задайте целевой контекст, чтобы увидеть, какие модели помещаются.
Необходимая память складывается из размера весов, KV-кэша для всего контекста и фиксированных 2 ГБ накладных расходов. Веса в ГБ равны числу параметров в миллиардах, умноженному на байты на параметр: 0,55 для Q4_K_M, 0,65 для Q5_K_M, 0,75 для Q6_K, 1,07 для Q8_0 и 2,0 для BF16. Кэш на один токен занимает байт при Q8 и вдвое больше при FP16, где L — число слоёв. Скорость генерации оценивается как 50–75% эффективной пропускной способности, делённой на размер активных весов, с пониженными коэффициентами эффективности для железа без CUDA, например видеокарт AMD и чипов Apple.
Пример
Для qwen3-32b в Q4_K_M с KV-кэшем Q8 веса занимают ГБ, а кэш — 131,072 КБ на токен. На RTX 4090 с 24 ГБ после 2 ГБ накладных расходов и резерва 0,5 ГБ помещается около 29 754 токенов контекста, поэтому цель в 32 768 токенов не достигается. Оценка скорости генерации — от 28,6 до 43,0 токена в секунду.
Теперь возьмём llama3.3-70b в Q4_K_M на M4 Max со 128 ГБ единой памяти. Веса требуют ГБ, кэш Q8 — 163,84 КБ на токен, так что контекст в 32 768 токенов требует около 45,9 ГБ, и даже полный нативный контекст в 131 072 токена помещается с учётом резерва 4 ГБ. Узкое место здесь скорость: оценка всего около 5,0–7,4 токена в секунду, потому что для каждого токена нужно прочитать все 38,5 ГБ весов при пропускной способности 546 ГБ/с.
Допущения и ограничения
Оценки относятся только к однопоточному декоду и откалиброваны по замерам llama.cpp; время обработки промпта не моделируется. Память считается в десятичных гигабайтах, с фиксированными накладными расходами 2 ГБ и резервом 0,5 ГБ на дискретных GPU или 4 ГБ на машинах с унифицированной памятью. Выгрузка части модели на CPU (offload) и частичное размещение не учитываются. Списки моделей и железа — фиксированные каталоги, а реальная скорость зависит от драйверов и настроек.
Частые вопросы
Сколько VRAM нужно, чтобы запустить LLM локально?
Примерно столько, сколько занимают квантованные веса, плюс KV-кэш для вашей длины контекста и некоторые накладные расходы. При 4-битном квантовании одни веса требуют чуть больше полугигабайта на миллиард параметров, так что модели 32B нужно около 18 ГБ ещё до учёта контекста. Длинный контекст быстро добавляет гигабайты, поэтому проверьте объём кэша для нужной длины до покупки железа.
Что означает Q4_K_M?
Q4_K_M — тип квантования GGUF в llama.cpp, при котором большинство весов хранится примерно в 4 битах по методу k-quant, а часть тензоров остаётся в более высокой точности. Это популярный вариант по умолчанию, потому что он хорошо балансирует размер файла и качество ответов. Q5_K_M и Q6_K сохраняют больше деталей ценой большего размера, а Q8_0 по качеству близок к исходной модели.
Почему скорость генерации ограничена пропускной способностью памяти?
При генерации по одному токену железо должно читать из памяти все активные веса для каждого токена. Поэтому число токенов в секунду примерно равно пропускной способности памяти, делённой на размер активных весов. Именно поэтому более сильное квантование работает быстрее на той же машине, а для локального чата пропускная способность важнее вычислительной мощности.
Почему модели со смесью экспертов (mixture-of-experts) требуют много памяти, но работают быстро?
Модель mixture-of-experts должна держать в памяти всех экспертов, но каждый токен использует лишь нескольких из них. Требования к памяти определяются общим числом параметров, а скорость генерации — меньшим числом активных параметров. Например, qwen3-30b-a3b нужна память под 30 миллиардов параметров, но на каждый токен она читает лишь около 3 миллиардов.
Почему измеренная скорость в токенах в секунду отличается от оценки?
Оценка — это диапазон, откалиброванный по однопоточной генерации в llama.cpp, поэтому другие программы, драйверы, размер батча и перегрев сдвигают реальные цифры в ту или иную сторону. Обработка промпта не моделируется, так что длинный промпт добавляет ожидание до первого токена. Если часть модели выгружена в системную память, скорость падает намного ниже оценки, ведь калькулятор учитывает только полное размещение.
Ссылка с вашими значениями
Добавьте эти параметры к адресу страницы, чтобы она открылась с уже заполненными значениями — например, чтобы поделиться расчётом или дать ссылку из ИИ-ассистента. Результат считается в браузере: в HTML страницы показан пример для значений по умолчанию, а когда значения из ссылки применены, инструмент ставит атрибут data-url-params.
| Параметр | Значение | Если не указан |
|---|---|---|
modeРасчёт | одно из: need, hardware | по умолчанию need |
modelМодель | одно из: qwen3-8b, qwen3-14b, qwen3-30b-a3b, qwen3-32b, llama3.1-8b, llama3.3-70b, qwen3-235b-a22b, qwen3-480b-a22b, qwen3-4b, gpt-oss-20b, gpt-oss-120b, deepseek-r1-distill-qwen-32b, qwen3-coder-30b-a3b, phi-4, qwen2.5-coder-32b; используется при mode = need | по умолчанию qwen3-32b |
quantКвант | одно из: Q4_K_M, Q5_K_M, Q6_K, Q8_0, BF16; используется при mode = need | по умолчанию Q4_K_M |
context_tokensКонтекст (токены) | целое число; допустимо ≥ 0; используется при mode = need | по умолчанию 131072 |
min_tokens_per_sМин. ток/с | число; допустимо ≥ 0; используется при mode = need | по умолчанию 20 |
hardwareЖелезо | одно из: rtx_3090, rtx_4090, rtx_4090_48gb, rtx_5090, tesla_p40, tesla_p100_16gb, tesla_v100_32gb, mi50_32gb, 2x_rtx_3090, m4_pro, m5_pro, m5_max, m4_max, m3_ultra, dgx_spark_gb10, dgx_station_gb300; используется при mode = hardware | по умолчанию rtx_4090 |
quantsКванты | значения через запятую: 2,4,4,6; используется при mode = hardware | по умолчанию Q4_K_M,Q8_0 |
target_context_tokensЦелевой контекст | целое число; допустимо ≥ 0; используется при mode = hardware | по умолчанию 131072 |
kv_cacheKV-кэш | одно из: q8, fp16 | по умолчанию q8 |
yarn_tokensYaRN (опционально) | целое число; допустимо 1–262144 | необязательный |
Примеры
?model=llama3.3-70b&quant=Q5_K_M&context_tokens=32768&kv_cache=fp16&min_tokens_per_s=15?hardware=m4_max&quants=Q4_K_M,Q6_K&target_context_tokens=65536
Дробную часть пишите через точку. Кодируйте пробел как %20, + как %2B, # как %23 и & как %26.
Элементы результата: [data-result-block="llm-hardware"]