Home / Glossary / Base model

What is Base Model?

एक base model किसी भी task-specific fine-tuning या RLHF से पहले एक pre-trained LLM है। osFoundry base models को fine-tuning (LoRA / QLoRA) के लिए starting point के रूप में मानता है और जब किसी specialised behaviour की आवश्यकता नहीं होती तब direct chat backends के रूप में।

Detail

Base models एक large text corpus पर initial training run द्वारा produce किए जाते हैं। वे अगले tokens की भविष्यवाणी करते हैं लेकिन आमतौर पर instructions को अच्छी तरह से follow नहीं करते — यही fine-tuning जोड़ती है। उदाहरणों में Llama 3.1 (base) इसके instruction-tuned variant से पहले शामिल है।

अधिकांश chat applications के लिए आपको instruction-tuned version चाहिए। Base models आपके अपने LoRA fine-tuning के starting point के रूप में उपयोगी हैं — वे पहले से ही tuned models की तुलना में नए behaviours को अधिक readily accept करते हैं।

How osFoundry approaches Base Model

osFoundry की training pipeline आपको 60+ supported base models में से किसी को भी fine-tune करने देती है। Base pick करें, अपने dataset पर point करें, train करें, route करें। Adapter auto-registered है और training finish होते ही Maestro से routable है।