Beranda / Glosarium / Parameter
Apa itu Parameters?
Parameter adalah bobot terlatih dari neural network. Katalog osFoundry melabeli setiap model dengan jumlah parameternya (misalnya 7B, 70B) sehingga Anda dapat mencocokkan ukuran model dengan hardware dan kebutuhan kualitas Anda.
Detail
Jumlah parameter adalah proxy kasar untuk kapasitas LLM. Model 7B memiliki 7 miliar bobot terlatih; 70B memiliki 70 miliar. Lebih banyak parameter umumnya berarti kualitas lebih baik tetapi memori dan compute yang eksponensial lebih banyak. Model 7B Q4 membutuhkan ~6 GB VRAM; 70B Q4 membutuhkan ~50 GB.
Jumlah parameter bukan satu-satunya faktor kualitas — data pelatihan, arsitektur, dan post-training juga penting. Model 7B modern sering mengalahkan model 70B lama pada benchmark umum.
Pertanyaan yang sering diajukan
What is the practical difference between 8B and 70B models?
Knowledge breadth, consistency over long reasoning chains, and multi-step instruction following. For simple rewriting or short summaries the gap is often barely noticeable.
How do I estimate memory from parameter count?
Bit width x count: FP16 needs ~2 bytes per parameter (7B ≈ 14 GB), 4-bit quantization ~0.5 bytes plus overhead (7B ≈ 4-5 GB). Add KV-cache memory on top at runtime.
Do MoE models use all their parameters at once?
No — memory must hold the total parameter count, but each token only runs through the active subset. Estimate speed from active parameters and memory from the total.
Istilah terkait
Fitur terkait