Об этом инструменте
Для дообучения языковой модели нужно гораздо больше видеопамяти, чем для запуска. Кроме весов GPU держит градиенты, состояния оптимизатора и активации каждого слоя до обратного прохода. Калькулятор складывает эти части для полного дообучения, LoRA и QLoRA — для модели из списка или описанной вами — и показывает, на каких распространённых видеокартах хватит памяти.
Каждая часть показана вместе с правилом и источником, потому что калькуляторы дообучения часто расходятся вдвое: один считает 18 байт на параметр, другой 12, третий забывает про логиты, четвёртый молча включает checkpointing. Здесь каждое допущение — настройка, которую видно и можно поменять.
Как считается память
Полное дообучение со смешанной точностью хранит на каждый параметр 2 байта весов в bf16, 2 байта градиентов, 4 байта мастер-копии в fp32 и 8 байт момента и дисперсии AdamW: всего 16 байт, как в статье ZeRO (Rajbhandari et al., 2020). 8-битный AdamW хранит 2 байта состояния вместо 8, SGD с моментом — 4. Стадии ZeRO 1, 2 и 3 делят между GPU сначала состояния оптимизатора, потом градиенты, потом веса.
LoRA замораживает базовую модель по 2 байта на параметр и обучает две маленькие матрицы рядом с каждой адаптируемой: вес размером получает параметров адаптера (Hu et al., 2021). Градиенты и состояния оптимизатора есть только у них: PEFT создаёт их в fp32 (16 байт на параметр с AdamW), а SFTTrainer из TRL для квантованных моделей переводит их в bf16 (12 байт). QLoRA хранит замороженные линейные слои в 4-битном NormalFloat с двойным квантованием, бита на параметр (Dettmers et al., 2023), а эмбеддинги и выходной слой остаются в bf16.
Активации зависят от данных. Каждый слой хранит около байт при длине последовательности , микробатче и размере скрытого слоя (Korthikanti et al., 2022); FlashAttention убирает из этой оценки слагаемое матрицы внимания. Gradient checkpointing хранит только вход каждого слоя, , и пересчитывает по одному слою. Функция потерь добавляет около 10 байт на токен и слово словаря для логитов, если только fused-ядро не считает их по частям. Обозначим веса, градиенты, состояния оптимизатора с мастер-копией, активации и логиты; сверху 1,3 ГБ на контекст CUDA и запас 10%:
Почему калькуляторы расходятся и что не учтено
Большую часть расхождений объясняют три допущения, и каждое здесь — настройка. Байты на параметр: руководство Hugging Face по обучению считает 18 для AdamW со смешанной точностью (градиенты в fp32 и вторая копия весов), статья ZeRO — 16, а «больше 780 ГБ» из статьи QLoRA для 16-битного дообучения LLaMA 65B соответствуют 12, без мастер-копии; выключите мастер-веса, чтобы получить эту цифру. Логиты: при словаре Llama 3 в 128 256 токенов логиты для 2048 токенов занимают 2,6 ГБ, а fused-ядра кросс-энтропии этого избегают. Checkpointing: для Llama 3.1 8B на 2048 токенах его отключение поднимает активации с 0,8 до 9,1 ГБ.
Не учтены: кратковременные буферы внутри одной операции (деквантованный вес одного слоя в QLoRA, слой, который собирает ZeRO-3), выгрузка в оперативную память и paged-оптимизаторы, модели mixture-of-experts, визуальные энкодеры и обучение на предпочтениях вроде DPO, где хранится вторая, эталонная модель. Используйте результат для планирования, а первые шаги обучения проверьте через torch.cuda.max_memory_allocated().
Пример
Проверка по статье QLoRA. У LLaMA 65B 65,29 млрд параметров, 80 слоёв и скрытый слой 8192. С QLoRA, адаптерами ранга 64 в bf16 на всех линейных слоях, как в статье, и последовательностями по 512 токенов: 4-битные веса занимают 32,38 ГБ, константы квантования 1,03 ГБ, эмбеддинги в bf16 1,05 ГБ; 799,5 млн параметров адаптеров занимают 1,60 ГБ, их градиенты 1,60 ГБ, состояния AdamW 6,40 ГБ; активации с checkpointing 0,81 ГБ, логиты 0,16 ГБ. Итого 45,0 ГБ тензоров, а с контекстом 1,3 ГБ и запасом 10% — 50,8 ГБ. Карта на 48 ГБ вмещает 51,5 млрд байт, так что одна 48-гигабайтная видеокарта из статьи подходит с запасом 0,7 ГБ; paged-оптимизаторы из статьи дают ещё запас, перенося 6,4 ГБ состояний оптимизатора в оперативную память, когда GPU не хватает.
Проверка по статье ZeRO. Для модели на 7,5 млрд параметров на 64 GPU статья даёт 120 ГБ состояний модели на GPU без шардирования, 31,4 ГБ на стадии 1, 16,6 ГБ на стадии 2 и 1,88 ГБ на стадии 3. Правила этого калькулятора дают 120; 31,41; 16,64 и 1,875 ГБ.
Llama 3.1 8B. LoRA ранга 16 на всех линейных слоях (41,9 млн параметров адаптеров в bf16), 2048 токенов, микробатч 1 и checkpointing: 16,06 ГБ замороженных весов, 0,50 ГБ на адаптеры с градиентами и состояниями оптимизатора, 0,82 ГБ активаций и 2,63 ГБ логитов, всего 23,3 ГБ. Unsloth называет минимум 22 ГБ для 16-битной LoRA на модели 8B. Тот же запуск с QLoRA требует 11,9 ГБ, а с fused-функцией потерь — 9,0 ГБ.
Частые вопросы
Сколько видеопамяти нужно, чтобы дообучить модель на 7–8 млрд параметров?
С QLoRA — около 9–12 ГБ при 2048 токенах и микробатче 1: 11,9 ГБ с настройками по умолчанию и 9,0 ГБ с fused-функцией потерь. Карта на 12 ГБ (12,9 млрд байт) вмещает это впритык, 16 ГБ оставляют запас для более длинных последовательностей. 16-битной LoRA нужно около 23 ГБ, то есть карта на 24 ГБ. Полное дообучение с AdamW требует около 146 ГБ, то есть нескольких GPU с ZeRO или FSDP. Более длинные последовательности и большие батчи добавляют память под активации; калькулятор показывает сколько.
Чем LoRA отличается от QLoRA по памяти?
Обе обучают одинаковые небольшие адаптеры; разница в замороженной базовой модели. LoRA держит её в bf16 по 2 байта на параметр, QLoRA — в 4-битном NF4, около 0,52 байта. Для Llama 3.1 8B это 16,1 ГБ против 5,7 ГБ вместе с эмбеддингами в bf16. QLoRA обучается немного медленнее, потому что каждый слой деквантуется на лету.
Почему полному дообучению нужно 16 байт на параметр?
Обучение со смешанной точностью считает в bf16 (по 2 байта весов и градиентов на параметр), но обновляет мастер-копию в fp32 (4 байта), а AdamW хранит на каждый параметр две статистики в fp32 — момент и дисперсию (8 байт). Модели на 8 млрд параметров поэтому нужно около 128 ГБ ещё до активаций. 8-битный AdamW снижает это до 10 байт на параметр, а ZeRO или FSDP делят всё между GPU.
Уменьшает ли gradient checkpointing расход памяти?
Да, он уменьшает память под активации. Для Llama 3.1 8B на 2048 токенах активации падают с 9,1 до 0,8 ГБ: хранится только вход каждого слоя, остальное пересчитывается при обратном проходе. Цена — лишний прямой проход: Korthikanti et al. намерили до 30–40% дополнительного времени обучения.
Как разделить дообучение между несколькими GPU?
С помощью DeepSpeed ZeRO или PyTorch FSDP. Стадия 1 делит состояния оптимизатора, стадия 2 — ещё и градиенты, стадия 3 (полное шардирование FSDP) — ещё и веса. Полное дообучение Llama 3.1 8B на восьми GPU на стадии 3 требует около 22,8 ГБ на каждый. Активации не делятся: каждый GPU обрабатывает свой микробатч. Укажите число GPU, чтобы увидеть память на каждом.
Источники
- Rajbhandari et al. (2020), ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
- Hu et al. (2021), LoRA: Low-Rank Adaptation of Large Language Models
- Dettmers et al. (2023), QLoRA: Efficient Finetuning of Quantized LLMs
- Korthikanti et al. (2022), Reducing Activation Recomputation in Large Transformer Models
- Hugging Face Transformers: GPU memory usage in training
- Hugging Face PEFT: LoRA developer guide
Ссылка с вашими значениями
Добавьте эти параметры к адресу страницы, чтобы она открылась с уже заполненными значениями — например, чтобы поделиться расчётом или дать ссылку из ИИ-ассистента. Результат считается в браузере: в HTML страницы показан пример для значений по умолчанию, а когда значения из ссылки применены, инструмент ставит атрибут data-url-params.
| Параметр | Значение | Если не указан |
|---|---|---|
methodМетод | одно из: full, lora, qlora | по умолчанию qlora |
architectureСвоя модель | одно из: preset, custom | по умолчанию preset |
modelМодель | одно из: llama3.2-1b, llama3.2-3b, qwen3-4b, mistral-7b-v0.3, qwen2.5-7b, llama3.1-8b, qwen3-8b, phi-4, qwen3-14b, qwen3-32b, llama3.3-70b, llama-2-7b, llama-7b, llama-65b; используется при architecture = preset | по умолчанию llama3.1-8b |
parameters_billionsПараметры | число; допустимо 0.01–2000; используется при architecture = custom | обязательный |
layersСлои | целое число; допустимо 1–512; используется при architecture = custom | обязательный |
hidden_sizeРазмер скрытого слоя | целое число; допустимо 64–65536; используется при architecture = custom | обязательный |
vocabulary_sizeРазмер словаря | целое число; допустимо 1–2000000; используется при architecture = custom | обязательный |
tied_embeddingsОбщие эмбеддинги (tie_word_embeddings) | true или false; используется при architecture = custom | по умолчанию false |
optimizerОптимизатор | одно из: adamw, adamw_8bit, sgd | по умолчанию adamw |
master_weightsХранить мастер-копию весов в fp32 | true или false; используется при method = full | по умолчанию true |
lora_rankРанг LoRA (r) | целое число; допустимо 1–1024; используется при method = lora, qlora | по умолчанию 16 |
lora_targetsМодули для LoRA | одно из: qv, attention, all; используется при method = lora, qlora | по умолчанию all |
adapter_precisionВеса адаптера | одно из: fp32, bf16; используется при method = lora, qlora | по умолчанию bf16 |
sequence_lengthДлина последовательности (токены) | целое число; допустимо 1–1048576 | по умолчанию 2048 |
batch_sizeМикробатч на GPU | целое число; допустимо 1–1024 | по умолчанию 1 |
gradient_checkpointingGradient checkpointing (пересчёт активаций) | true или false | по умолчанию true |
fused_lossFused-ядро кросс-энтропии (Liger, Unsloth) | true или false | по умолчанию false |
gpu_countЧисло GPU | целое число; допустимо 1–1024 | по умолчанию 1 |
zero_stageШардирование (стадия ZeRO) | одно из: 0, 1, 2, 3 | по умолчанию 0 |
Примеры
?method=qlora&model=llama-65b&lora_rank=64&adapter_precision=bf16&sequence_length=512?method=lora&model=llama3.1-8b&lora_rank=16&lora_targets=all&sequence_length=2048&batch_size=1?method=full&model=llama3.1-8b&gpu_count=8&zero_stage=3?method=qlora&architecture=custom¶meters_billions=12&layers=48&hidden_size=3840&vocabulary_size=262144&tied_embeddings=true
Дробную часть пишите через точку. Кодируйте пробел как %20, + как %2B, # как %23 и & как %26.
Элементы результата: [data-result-block="fine-tuning-vram"]