Home / Glossary / Parameters
Parameters क्या है?
Parameters एक neural network के learned weights हैं। osFoundry का catalog हर model को इसकी parameter count (जैसे 7B, 70B) के साथ label करता है ताकि आप model size को अपने hardware और quality needs से match कर सकें।
विवरण
Parameter count एक LLM की capacity के लिए rough proxy है। एक 7B model में 7 billion learned weights हैं; एक 70B में 70 billion। अधिक parameters का आम तौर पर मतलब है बेहतर quality लेकिन exponentially अधिक memory और compute। एक 7B Q4 model को ~6 GB VRAM की आवश्यकता होती है; एक 70B Q4 को ~50 GB।
Parameter count एकमात्र quality factor नहीं है — training data, architecture, और post-training भी मायने रखते हैं। आधुनिक 7B models अक्सर common benchmarks पर पुराने 70B models से बेहतर होते हैं।
सामान्य प्रश्न
What is the practical difference between 8B and 70B models?
Knowledge breadth, consistency over long reasoning chains, and multi-step instruction following. For simple rewriting or short summaries the gap is often barely noticeable.
How do I estimate memory from parameter count?
Bit width x count: FP16 needs ~2 bytes per parameter (7B ≈ 14 GB), 4-bit quantization ~0.5 bytes plus overhead (7B ≈ 4-5 GB). Add KV-cache memory on top at runtime.
Do MoE models use all their parameters at once?
No — memory must hold the total parameter count, but each token only runs through the active subset. Estimate speed from active parameters and memory from the total.
संबंधित शब्द
संबंधित सुविधाएँ