Калькулятор видеопамяти для дообучения LLM (LoRA, QLoRA)

Посмотреть результаты · 11,9 ГБ

Параметры обучения

Метод

Замороженная база хранится в 4-битном NF4 с двойным квантованием; обучаются только адаптеры.

Модули для LoRA
Веса адаптера

PEFT создаёт веса адаптеров в fp32; SFTTrainer из TRL переводит их в bf16, если базовая модель квантована (QLoRA). Для чистого PEFT выберите fp32.

Оптимизатор

Оценка видеопамяти

Всего видеопамяти
Обучаемые параметры
41,94 млн (0,52 %)
Веса, градиенты, оптимизатор
6,2 ГБ
Активации
0,8 ГБ

Самая маленькая подходящая видеокарта из списка: RTX 3060 12GB (12 ГБ), запас 1,0 ГБ.

Без gradient checkpointing: 21,1 ГБ.

Модель: 8 030 261 248 параметров, 32 слоёв, скрытый слой 4 096, словарь 128 256.

Функция PEFT prepare_model_for_kbit_training переводит эмбеддинги и выходной слой в fp32: если ваш скрипт её вызывает, добавьте 2,1 ГБ.

Это оценка, а не замер: память под активации зависит от фреймворка и его ядер. Данные моделей и список GPU проверены 2026-10-24.

Из чего складывается память

Из чего складывается память
ЧастьПравилоПамятьДоля
Замороженные веса базы (4-бит NF4)0.5 B×Ψlin0.5\,\text{B} \times \Psi_{\text{lin}}3,49 ГБ29,3 %
Константы квантования0.127 bit×Ψlin0.127\,\text{bit} \times \Psi_{\text{lin}}0,11 ГБ0,93 %
Эмбеддинги и выходной слой (bf16)2 B×Ψemb2\,\text{B} \times \Psi_{\text{emb}}2,10 ГБ17,6 %
Веса адаптеров LoRA2 B×ΨLoRA2\,\text{B} \times \Psi_{\text{LoRA}}0,08 ГБ0,7 %
Градиенты адаптеров2 B×ΨLoRA2\,\text{B} \times \Psi_{\text{LoRA}}0,08 ГБ0,7 %
Состояния оптимизатора (адаптеры)8 B×ΨLoRA8\,\text{B} \times \Psi_{\text{LoRA}}0,34 ГБ2,8 %
Активации (с checkpointing)2sbhL+34sbh2sbhL + 34sbh0,82 ГБ6,9 %
Логиты для функции потерь10 B×sbV10\,\text{B} \times sbV2,63 ГБ22 %
Контекст CUDA и ядра1.3 GB1.3\,\text{GB}1,30 ГБ10,9 %
Запас10 %10\,\%0,97 ГБ8,1 %
Всего видеопамяти11,92 ГБ100 %

Ψ\Psi — число параметров, Ψlin\Psi_{\text{lin}} — параметры линейных слоёв, Ψemb\Psi_{\text{emb}} — параметры эмбеддингов и выходного слоя, ΨLoRA\Psi_{\text{LoRA}} — параметры адаптеров; ss — длина последовательности, bb — микробатч, hh — размер скрытого слоя, LL — число слоёв, VV — словарь, NN — число GPU. B — байты; ГБ — миллиард байт.

Какие видеокарты подходят

  • RTX 3060 12GB 12 ГБ (12,9 ГБ)свободно 1,0 ГБ
  • RTX 4060 Ti 16GB 16 ГБ (17,2 ГБ)свободно 5,3 ГБ
  • RTX 4080 16 ГБ (17,2 ГБ)свободно 5,3 ГБ
  • Tesla P100 16GB 16 ГБ (17,2 ГБ)свободно 5,3 ГБ
  • RTX 3090 24 ГБ (25,8 ГБ)свободно 13,9 ГБ
  • RTX 4090 24 ГБ (25,8 ГБ)свободно 13,9 ГБ
  • Tesla P40 24 ГБ (25,8 ГБ)свободно 13,9 ГБ
  • MI50 32GB 32 ГБ (34,4 ГБ)свободно 22,5 ГБ
  • RTX 5090 32 ГБ (34,4 ГБ)свободно 22,5 ГБ
  • Tesla V100 32GB 32 ГБ (34,4 ГБ)свободно 22,5 ГБ
  • A100 40GB 40 ГБ (42,9 ГБ)свободно 31,0 ГБ
  • L40S 48 ГБ (51,5 ГБ)свободно 39,6 ГБ
  • RTX 4090 48GB 48 ГБ (51,5 ГБ)свободно 39,6 ГБ
  • RTX A6000 48 ГБ (51,5 ГБ)свободно 39,6 ГБ
  • A100 80GB 80 ГБ (85,9 ГБ)свободно 74,0 ГБ
  • H100 80GB 80 ГБ (85,9 ГБ)свободно 74,0 ГБ
  • H100 NVL 94 ГБ (100,9 ГБ)свободно 89,0 ГБ
  • RTX PRO 6000 96 ГБ (103,1 ГБ)свободно 91,2 ГБ
  • DGX Spark GB10 128 ГБ (137,4 ГБ)свободно 125,5 ГБ
  • H200 141 ГБ (151,4 ГБ)свободно 139,5 ГБ
  • B200 180 ГБ (193,3 ГБ)свободно 181,4 ГБ

Номинальный объём памяти со страниц характеристик производителей. Производители считают в двоичных гигабайтах, поэтому карта на 24 ГБ вмещает 25,8 млрд байт (в скобках); с этим числом и сравнивается итог, ведь контекст CUDA в него уже входит. Для MI50 нет CUDA-сборки bitsandbytes (QLoRA, 8-битный AdamW); у V100 и карт Pascal (P40, P100) нет bf16, а в fp16 памяти нужно столько же.

Об этом инструменте

Для дообучения языковой модели нужно гораздо больше видеопамяти, чем для запуска. Кроме весов GPU держит градиенты, состояния оптимизатора и активации каждого слоя до обратного прохода. Калькулятор складывает эти части для полного дообучения, LoRA и QLoRA — для модели из списка или описанной вами — и показывает, на каких распространённых видеокартах хватит памяти.

Каждая часть показана вместе с правилом и источником, потому что калькуляторы дообучения часто расходятся вдвое: один считает 18 байт на параметр, другой 12, третий забывает про логиты, четвёртый молча включает checkpointing. Здесь каждое допущение — настройка, которую видно и можно поменять.

Как считается память

Полное дообучение со смешанной точностью хранит на каждый параметр 2 байта весов в bf16, 2 байта градиентов, 4 байта мастер-копии в fp32 и 8 байт момента и дисперсии AdamW: всего 16 байт, как в статье ZeRO (Rajbhandari et al., 2020). 8-битный AdamW хранит 2 байта состояния вместо 8, SGD с моментом — 4. Стадии ZeRO 1, 2 и 3 делят между GPU сначала состояния оптимизатора, потом градиенты, потом веса.

LoRA замораживает базовую модель по 2 байта на параметр и обучает две маленькие матрицы рядом с каждой адаптируемой: вес размером d×kd \times k получает r(d+k)r(d + k) параметров адаптера (Hu et al., 2021). Градиенты и состояния оптимизатора есть только у них: PEFT создаёт их в fp32 (16 байт на параметр с AdamW), а SFTTrainer из TRL для квантованных моделей переводит их в bf16 (12 байт). QLoRA хранит замороженные линейные слои в 4-битном NormalFloat с двойным квантованием, 4+8/64+32/(64⋅256)≈4,1274 + 8/64 + 32/(64 \cdot 256) \approx 4{,}127 бита на параметр (Dettmers et al., 2023), а эмбеддинги и выходной слой остаются в bf16.

Активации зависят от данных. Каждый слой хранит около 34 sbh34\,sbh байт при длине последовательности ss, микробатче bb и размере скрытого слоя hh (Korthikanti et al., 2022); FlashAttention убирает из этой оценки слагаемое матрицы внимания. Gradient checkpointing хранит только вход каждого слоя, 2 sbh2\,sbh, и пересчитывает по одному слою. Функция потерь добавляет около 10 байт на токен и слово словаря для логитов, если только fused-ядро не считает их по частям. Обозначим WW веса, GG градиенты, OO состояния оптимизатора с мастер-копией, AA активации и Λ\Lambda логиты; сверху 1,3 ГБ на контекст CUDA и запас 10%:

M=(W+G+O+A+Λ)×1,1+1,3 ГБM = (W + G + O + A + \Lambda) \times 1{,}1 + 1{,}3\ \text{ГБ}

Почему калькуляторы расходятся и что не учтено

Большую часть расхождений объясняют три допущения, и каждое здесь — настройка. Байты на параметр: руководство Hugging Face по обучению считает 18 для AdamW со смешанной точностью (градиенты в fp32 и вторая копия весов), статья ZeRO — 16, а «больше 780 ГБ» из статьи QLoRA для 16-битного дообучения LLaMA 65B соответствуют 12, без мастер-копии; выключите мастер-веса, чтобы получить эту цифру. Логиты: при словаре Llama 3 в 128 256 токенов логиты для 2048 токенов занимают 2,6 ГБ, а fused-ядра кросс-энтропии этого избегают. Checkpointing: для Llama 3.1 8B на 2048 токенах его отключение поднимает активации с 0,8 до 9,1 ГБ.

Не учтены: кратковременные буферы внутри одной операции (деквантованный вес одного слоя в QLoRA, слой, который собирает ZeRO-3), выгрузка в оперативную память и paged-оптимизаторы, модели mixture-of-experts, визуальные энкодеры и обучение на предпочтениях вроде DPO, где хранится вторая, эталонная модель. Используйте результат для планирования, а первые шаги обучения проверьте через torch.cuda.max_memory_allocated().

Пример

Проверка по статье QLoRA. У LLaMA 65B 65,29 млрд параметров, 80 слоёв и скрытый слой 8192. С QLoRA, адаптерами ранга 64 в bf16 на всех линейных слоях, как в статье, и последовательностями по 512 токенов: 4-битные веса занимают 32,38 ГБ, константы квантования 1,03 ГБ, эмбеддинги в bf16 1,05 ГБ; 799,5 млн параметров адаптеров занимают 1,60 ГБ, их градиенты 1,60 ГБ, состояния AdamW 6,40 ГБ; активации с checkpointing 0,81 ГБ, логиты 0,16 ГБ. Итого 45,0 ГБ тензоров, а с контекстом 1,3 ГБ и запасом 10% — 50,8 ГБ. Карта на 48 ГБ вмещает 51,5 млрд байт, так что одна 48-гигабайтная видеокарта из статьи подходит с запасом 0,7 ГБ; paged-оптимизаторы из статьи дают ещё запас, перенося 6,4 ГБ состояний оптимизатора в оперативную память, когда GPU не хватает.

Проверка по статье ZeRO. Для модели на 7,5 млрд параметров на 64 GPU статья даёт 120 ГБ состояний модели на GPU без шардирования, 31,4 ГБ на стадии 1, 16,6 ГБ на стадии 2 и 1,88 ГБ на стадии 3. Правила этого калькулятора дают 120; 31,41; 16,64 и 1,875 ГБ.

Llama 3.1 8B. LoRA ранга 16 на всех линейных слоях (41,9 млн параметров адаптеров в bf16), 2048 токенов, микробатч 1 и checkpointing: 16,06 ГБ замороженных весов, 0,50 ГБ на адаптеры с градиентами и состояниями оптимизатора, 0,82 ГБ активаций и 2,63 ГБ логитов, всего 23,3 ГБ. Unsloth называет минимум 22 ГБ для 16-битной LoRA на модели 8B. Тот же запуск с QLoRA требует 11,9 ГБ, а с fused-функцией потерь — 9,0 ГБ.

Частые вопросы

Сколько видеопамяти нужно, чтобы дообучить модель на 7–8 млрд параметров?

С QLoRA — около 9–12 ГБ при 2048 токенах и микробатче 1: 11,9 ГБ с настройками по умолчанию и 9,0 ГБ с fused-функцией потерь. Карта на 12 ГБ (12,9 млрд байт) вмещает это впритык, 16 ГБ оставляют запас для более длинных последовательностей. 16-битной LoRA нужно около 23 ГБ, то есть карта на 24 ГБ. Полное дообучение с AdamW требует около 146 ГБ, то есть нескольких GPU с ZeRO или FSDP. Более длинные последовательности и большие батчи добавляют память под активации; калькулятор показывает сколько.

Чем LoRA отличается от QLoRA по памяти?

Обе обучают одинаковые небольшие адаптеры; разница в замороженной базовой модели. LoRA держит её в bf16 по 2 байта на параметр, QLoRA — в 4-битном NF4, около 0,52 байта. Для Llama 3.1 8B это 16,1 ГБ против 5,7 ГБ вместе с эмбеддингами в bf16. QLoRA обучается немного медленнее, потому что каждый слой деквантуется на лету.

Почему полному дообучению нужно 16 байт на параметр?

Обучение со смешанной точностью считает в bf16 (по 2 байта весов и градиентов на параметр), но обновляет мастер-копию в fp32 (4 байта), а AdamW хранит на каждый параметр две статистики в fp32 — момент и дисперсию (8 байт). Модели на 8 млрд параметров поэтому нужно около 128 ГБ ещё до активаций. 8-битный AdamW снижает это до 10 байт на параметр, а ZeRO или FSDP делят всё между GPU.

Уменьшает ли gradient checkpointing расход памяти?

Да, он уменьшает память под активации. Для Llama 3.1 8B на 2048 токенах активации падают с 9,1 до 0,8 ГБ: хранится только вход каждого слоя, остальное пересчитывается при обратном проходе. Цена — лишний прямой проход: Korthikanti et al. намерили до 30–40% дополнительного времени обучения.

Как разделить дообучение между несколькими GPU?

С помощью DeepSpeed ZeRO или PyTorch FSDP. Стадия 1 делит состояния оптимизатора, стадия 2 — ещё и градиенты, стадия 3 (полное шардирование FSDP) — ещё и веса. Полное дообучение Llama 3.1 8B на восьми GPU на стадии 3 требует около 22,8 ГБ на каждый. Активации не делятся: каждый GPU обрабатывает свой микробатч. Укажите число GPU, чтобы увидеть память на каждом.

Источники

Ссылка с вашими значениями

Добавьте эти параметры к адресу страницы, чтобы она открылась с уже заполненными значениями — например, чтобы поделиться расчётом или дать ссылку из ИИ-ассистента. Результат считается в браузере: в HTML страницы показан пример для значений по умолчанию, а когда значения из ссылки применены, инструмент ставит атрибут data-url-params.

ПараметрЗначениеЕсли не указан
methodМетододно из: full, lora, qloraпо умолчанию qlora
architectureСвоя модельодно из: preset, customпо умолчанию preset
modelМодельодно из: llama3.2-1b, llama3.2-3b, qwen3-4b, mistral-7b-v0.3, qwen2.5-7b, llama3.1-8b, qwen3-8b, phi-4, qwen3-14b, qwen3-32b, llama3.3-70b, llama-2-7b, llama-7b, llama-65b; используется при architecture = presetпо умолчанию llama3.1-8b
parameters_billionsПараметрычисло; допустимо 0.01–2000; используется при architecture = customобязательный
layersСлоицелое число; допустимо 1–512; используется при architecture = customобязательный
hidden_sizeРазмер скрытого слояцелое число; допустимо 64–65536; используется при architecture = customобязательный
vocabulary_sizeРазмер словаряцелое число; допустимо 1–2000000; используется при architecture = customобязательный
tied_embeddingsОбщие эмбеддинги (tie_word_embeddings)true или false; используется при architecture = customпо умолчанию false
optimizerОптимизатородно из: adamw, adamw_8bit, sgdпо умолчанию adamw
master_weightsХранить мастер-копию весов в fp32true или false; используется при method = fullпо умолчанию true
lora_rankРанг LoRA (r)целое число; допустимо 1–1024; используется при method = lora, qloraпо умолчанию 16
lora_targetsМодули для LoRAодно из: qv, attention, all; используется при method = lora, qloraпо умолчанию all
adapter_precisionВеса адаптераодно из: fp32, bf16; используется при method = lora, qloraпо умолчанию bf16
sequence_lengthДлина последовательности (токены)целое число; допустимо 1–1048576по умолчанию 2048
batch_sizeМикробатч на GPUцелое число; допустимо 1–1024по умолчанию 1
gradient_checkpointingGradient checkpointing (пересчёт активаций)true или falseпо умолчанию true
fused_lossFused-ядро кросс-энтропии (Liger, Unsloth)true или falseпо умолчанию false
gpu_countЧисло GPUцелое число; допустимо 1–1024по умолчанию 1
zero_stageШардирование (стадия ZeRO)одно из: 0, 1, 2, 3по умолчанию 0

Примеры

  • ?method=qlora&model=llama-65b&lora_rank=64&adapter_precision=bf16&sequence_length=512
  • ?method=lora&model=llama3.1-8b&lora_rank=16&lora_targets=all&sequence_length=2048&batch_size=1
  • ?method=full&model=llama3.1-8b&gpu_count=8&zero_stage=3
  • ?method=qlora&architecture=custom&parameters_billions=12&layers=48&hidden_size=3840&vocabulary_size=262144&tied_embeddings=true

Дробную часть пишите через точку. Кодируйте пробел как %20, + как %2B, # как %23 и & как %26.

Элементы результата: [data-result-block="fine-tuning-vram"]