Tentang alat ini
Kalkulator ini memperkirakan apakah sebuah model bahasa besar muat di GPU atau Mac tertentu dan seberapa cepat model itu menghasilkan teks. Alat ini ditujukan bagi yang menjalankan model secara lokal dengan llama.cpp dan perangkat serupa. Kuantisasi menyimpan bobot model dengan presisi lebih rendah, sehingga penggunaan memori turun dengan sedikit penurunan kualitas; kalkulator ini menghitung Q4_K_M sebagai 0,55 byte per parameter. Cache KV menyimpan data atensi untuk setiap token dalam konteks.
Dua angka perangkat keras menentukan hasilnya. Kapasitas memori menentukan apakah bobot dan konteks yang Anda inginkan bisa dimuat, sedangkan bandwidth memori menentukan seberapa cepat token muncul setelahnya. Kartu dengan memori besar tetapi bandwidth rendah, seperti GPU pusat data generasi lama, bisa menampung model besar namun tetap lambat menghasilkan teks.
Bagaimana cara kerjanya
Di tab Temukan perangkat keras, pilih model, kuantisasi, dan presisi cache KV, lalu masukkan panjang konteks serta kecepatan minimum yang Anda terima dalam token per detik; YaRN bersifat opsional. Alat ini menampilkan mesin yang lolos beserta kebutuhan memori dan rentang kecepatannya. Di tab Periksa perangkat keras saya, pilih mesin dan kuantisasi yang ingin dibandingkan, lalu atur konteks sasaran untuk melihat model mana yang muat.
Kebutuhan memori adalah ukuran bobot ditambah cache KV untuk seluruh konteks ditambah overhead tetap 2 GB. Bobot dalam GB sama dengan miliar parameter dikali byte per parameter: 0,55 untuk Q4_K_M, 0,65 untuk Q5_K_M, 0,75 untuk Q6_K, 1,07 untuk Q8_0, dan 2,0 untuk BF16. Cache per token adalah byte pada Q8 dan dua kali lipatnya pada FP16, dengan L sebagai jumlah lapisan. Kecepatan decode diperkirakan sebesar 50% hingga 75% dari bandwidth efektif dibagi ukuran bobot aktif, dengan faktor efisiensi lebih rendah untuk perangkat keras non-CUDA seperti GPU AMD dan chip Apple.
Contoh
Untuk qwen3-32b pada Q4_K_M dengan cache KV Q8, bobot memakan GB dan cache memakan 131,072 KB per token. Pada RTX 4090 dengan 24 GB, setelah overhead 2 GB dan cadangan 0,5 GB, sekitar 29.754 token konteks bisa muat, jadi target 32.768 token tidak tercapai. Perkiraan kecepatan decode adalah 28,6 hingga 43,0 token per detik.
Sekarang ambil llama3.3-70b pada Q4_K_M di M4 Max dengan memori terpadu 128 GB. Bobot membutuhkan GB dan cache Q8 membutuhkan 163,84 KB per token, sehingga konteks 32.768 token memerlukan total sekitar 45,9 GB, dan bahkan konteks bawaan penuh 131.072 token tetap muat setelah cadangan 4 GB. Hambatannya ada pada kecepatan: perkiraannya hanya sekitar 5,0 hingga 7,4 token per detik, karena setiap token harus membaca seluruh 38,5 GB bobot melalui bandwidth 546 GB/s.
Asumsi dan batasan
Perkiraan hanya mencakup dekode satu aliran dan dikalibrasi dengan pengukuran llama.cpp; waktu pemrosesan prompt tidak dimodelkan. Memori dihitung dalam gigabyte desimal, dengan overhead tetap 2 GB dan cadangan 0,5 GB pada GPU diskrit atau 4 GB pada mesin dengan memori terpadu. Offload ke CPU dan pemuatan sebagian tidak diperhitungkan. Daftar model dan perangkat keras adalah katalog tetap, dan kecepatan sebenarnya bervariasi tergantung driver dan pengaturan.
Pertanyaan yang sering diajukan
Berapa banyak VRAM yang dibutuhkan untuk menjalankan LLM secara lokal?
Kira-kira sebesar ukuran bobot terkuantisasi ditambah cache KV untuk panjang konteks Anda, ditambah sedikit overhead. Kuantisasi 4 bit membutuhkan sedikit lebih dari setengah gigabyte per miliar parameter hanya untuk bobot, jadi model 32B membutuhkan sekitar 18 GB sebelum konteks. Konteks panjang cepat bertambah besar, jadi periksa angka cache untuk panjang target Anda sebelum membeli perangkat keras.
Apa arti Q4_K_M?
Q4_K_M adalah jenis kuantisasi GGUF di llama.cpp yang menyimpan sebagian besar bobot dengan sekitar 4 bit memakai metode k-quant, sementara beberapa tensor dipertahankan dengan presisi lebih tinggi. Jenis ini sering menjadi pilihan bawaan karena menyeimbangkan ukuran berkas dan kualitas keluaran. Q5_K_M dan Q6_K mempertahankan lebih banyak detail dengan ukuran lebih besar, sedangkan kualitas Q8_0 mendekati model aslinya.
Mengapa kecepatan pembuatan teks dibatasi oleh bandwidth memori?
Saat menghasilkan satu token setiap kali, perangkat keras harus membaca semua bobot aktif dari memori untuk setiap token. Karena itu, token per detik kira-kira sama dengan bandwidth memori dibagi ukuran bobot aktif. Inilah sebabnya kuantisasi yang lebih kecil berjalan lebih cepat di mesin yang sama, dan bandwidth lebih menentukan daripada daya komputasi mentah untuk chat lokal.
Mengapa model mixture-of-experts butuh banyak memori tetapi berjalan cepat?
Model mixture-of-experts harus menyimpan semua expert di memori, tetapi setiap token hanya memakai beberapa di antaranya. Kebutuhan memori mengikuti total parameter, sedangkan kecepatan decode mengikuti jumlah parameter aktif yang lebih kecil. Contohnya, qwen3-30b-a3b membutuhkan memori untuk 30 miliar parameter tetapi hanya membaca sekitar 3 miliar per token.
Mengapa token per detik yang saya ukur berbeda dari perkiraan?
Perkiraan ini berupa rentang yang dikalibrasi untuk decode satu aliran di llama.cpp, sehingga perangkat lunak lain, driver, ukuran batch, dan batas termal bisa menggeser angka sebenarnya ke atas atau ke bawah. Pemrosesan prompt tidak dimodelkan, jadi prompt panjang menambah waktu tunggu sebelum token pertama muncul. Jika sebagian model dipindahkan ke RAM sistem, kecepatannya turun jauh di bawah perkiraan, karena kalkulator hanya menghitung model yang muat sepenuhnya.
Tautan dengan nilai Anda
Tambahkan parameter ini ke alamat halaman agar halaman terbuka dengan nilai yang sudah terisi, misalnya untuk membagikan perhitungan atau menautkannya dari asisten AI. Hasil dihitung di browser: HTML halaman menampilkan contoh untuk nilai bawaan, dan alat ini menetapkan atribut data-url-params setelah nilai dari tautan diterapkan.
| Parameter | Nilai | Jika tidak diisi |
|---|---|---|
modePerhitungan | salah satu dari: need, hardware | bawaan: need |
modelModel | salah satu dari: qwen3-8b, qwen3-14b, qwen3-30b-a3b, qwen3-32b, llama3.1-8b, llama3.3-70b, qwen3-235b-a22b, qwen3-480b-a22b, qwen3-4b, gpt-oss-20b, gpt-oss-120b, deepseek-r1-distill-qwen-32b, qwen3-coder-30b-a3b, phi-4, qwen2.5-coder-32b; dipakai saat mode = need | bawaan: qwen3-32b |
quantKuantisasi | salah satu dari: Q4_K_M, Q5_K_M, Q6_K, Q8_0, BF16; dipakai saat mode = need | bawaan: Q4_K_M |
context_tokensKonteks (token) | bilangan bulat; diizinkan ≥ 0; dipakai saat mode = need | bawaan: 131072 |
min_tokens_per_sMin tok/dtk | angka; diizinkan ≥ 0; dipakai saat mode = need | bawaan: 20 |
hardwarePerangkat keras | salah satu dari: rtx_3090, rtx_4090, rtx_4090_48gb, rtx_5090, tesla_p40, tesla_p100_16gb, tesla_v100_32gb, mi50_32gb, 2x_rtx_3090, m4_pro, m5_pro, m5_max, m4_max, m3_ultra, dgx_spark_gb10, dgx_station_gb300; dipakai saat mode = hardware | bawaan: rtx_4090 |
quantsKuantisasi | nilai dipisahkan koma: 2,4,4,6; dipakai saat mode = hardware | bawaan: Q4_K_M,Q8_0 |
target_context_tokensKonteks sasaran | bilangan bulat; diizinkan ≥ 0; dipakai saat mode = hardware | bawaan: 131072 |
kv_cachecache KV | salah satu dari: q8, fp16 | bawaan: q8 |
yarn_tokensYaRN (opsional) | bilangan bulat; diizinkan 1–262144 | opsional |
Contoh
?model=llama3.3-70b&quant=Q5_K_M&context_tokens=32768&kv_cache=fp16&min_tokens_per_s=15?hardware=m4_max&quants=Q4_K_M,Q6_K&target_context_tokens=65536
Tulis desimal dengan titik. Kodekan spasi sebagai %20, + sebagai %2B, # sebagai %23, dan & sebagai %26.
Elemen hasil: [data-result-block="llm-hardware"]