Home / Features / Train and fine-tune
osFoundry पर AI models को train और fine-tune करें
अपने data पर LoRA के साथ Llama, Mistral, या Qwen को fine-tune करें। Cheap inference के लिए Quantise करें। Runtime पर adapters को hot-swap करें।
osFoundry आपको अपने data पर LoRA के साथ किसी भी open-weight LLM को fine-tune करने देता है, cheap inference के लिए result को quantise करने देता है, और runtime पर adapters को hot-swap करने देता है — सब workspace छोड़े बिना। Training jobs आपके local GPU, osFoundry cloud, या आपकी अपनी infrastructure पर चलते हैं। जो models आप train करते हैं वे तुरंत Maestro और आपके workspace में हर Room App के लिए उपलब्ध होते हैं।
Quick answer
- Llama 3, Mistral, Qwen, और 60+ अन्य base models पर LoRA fine-tuning — UI-driven, कोई notebook आवश्यक नहीं।
- तीन training paths: local GPU, osFoundry cloud, या bring-your-own-server।
- Cheap inference के लिए trained adapters को Q4/Q5 तक quantise करें।
- LoRA adapters को per request hot-swap करें — कोई model reload नहीं, sub-second switch।
What it is
अधिकांश AI platforms या तो आपको hosted models में lock कर देते हैं या आपको एक notebook दे देते हैं। osFoundry की training pipeline workspace-native है: एक base pick करें, एक dataset (आपका KB, एक public dataset, या एक upload) पर point करें, LoRA rank चुनें, और ship करें। Trained adapter automatically आपके model catalog में register होता है और training finish होते ही Maestro से routable होता है।
Key capabilities
- 60+ open-weight base models पर LoRA + QLoRA fine-tuning।
- Adapter download — कहीं और deploy करने के लिए osFoundry से .safetensors खींचें।
- Q4_K_M, Q5_K_M, Q6_K, FP16 पर Quantisation — एक click में convert करें।
- एक single base model पर 16 active LoRA adapters तक Hot-swap करें।
- अपनी knowledge bases, uploaded JSONL/CSV, या 250K public datasets में से किसी पर भी train करें।
- प्रति job तीन training paths: local GPU, osFoundry cloud, या आपकी अपनी infrastructure।
How to do it in osFoundry
- एक base model pick करें — /community/models browse करें, open-weight (Llama, Mistral, Qwen, Phi, आदि) पर filter करें, अपने target GPU के लिए fit होने वाला size pick करें।
- एक dataset पर point करें — एक knowledge base चुनें (auto-formatted instruction pairs के रूप में), एक JSONL/CSV upload करें, या catalog में indexed 250K public datasets में से pick करें।
- Training config चुनें — LoRA rank (8/16/32/64), learning rate, epochs, target modules। Sensible defaults प्रदान किए गए; वहाँ से tune करें।
- कहाँ train करना है pick करें — Local GPU (free), osFoundry cloud (per-second GPU pricing), या BYO infrastructure (job को अपने cluster पर push करें)।
- Adapter ship करें — जब training finish होती है, adapter आपके model catalog में automatically register हो जाता है। एक base model endpoint पर Hot-swap करें और मिनटों में requests routing शुरू करें।
How osFoundry compares
| Capability | osFoundry | Most other tools |
|---|
| Training UI | Workspace-native — कोई notebook नहीं, कोई command line नहीं। | Notebook या CLI आवश्यक। |
| Adapter export | Training config के साथ One-click .safetensors download। | Vendor में locked, या manual export। |
| कहाँ चलता है | Local GPU, हमारा cloud, या आपकी अपनी infrastructure। | Single venue, fixed pricing। |
| Routing post-train | Adapter तुरंत Maestro और Room Apps से routable। | आपके app code में Manual wiring। |
Use cases
- Customer-support team: 18 months के support transcripts पर Mistral 7B को Fine-tune करें। Agent आपके tone में answer देता है, आपके products को reference करता है, और on-brand रहता है।
- Legal ops: अपनी firm के style में नए contracts को redline करने के लिए labelled contract corpus पर Llama 3.1 8B को Train करें। On-prem रहता है; adapter कभी workspace नहीं छोड़ता।
- Game studio: In-game NPC dialogue के लिए अपनी IP bible पर Qwen 14B को LoRA-tune करें। एक shared base model पर voices को distinct रखने के लिए प्रति character एक अलग LoRA Hot-swap करें।
Frequently asked questions
osFoundry पर एक LoRA fine-tune में कितना समय लगता है?
एक 50K-row dataset पर एक 7B model एक single A100 पर ~30 मिनट लेता है। एक 70B model ~3 घंटे लेता है। Local M2/M3 Macs 7B को ~2 घंटों में handle करते हैं।
क्या मैं osFoundry से LoRA adapter export कर सकता हूँ?
हाँ — हर trained adapter .safetensors के रूप में downloadable है और training config शामिल है। कोई lock-in नहीं।
क्या osFoundry full fine-tuning का support करता है, केवल LoRA नहीं?
LoRA + QLoRA आज recommended paths हैं। >7B models का Full fine-tuning roadmap पर है; अभी के लिए, यदि आपको इसकी आवश्यकता हो तो BYO infrastructure।
मैं किन datasets पर train कर सकता हूँ?
आपकी knowledge bases (auto-formatted instruction pairs के रूप में), uploaded JSONL/CSV/parquet, या HuggingFace से indexed 250K public datasets।
Training की cost कितनी है?
Local training free है (आपका hardware)। Cloud training inference endpoints के समान rates पर GPU time के per-second से bill होती है। A100 पर एक 7B LoRA per training run लगभग $2–3 है; 70B $20–30 है।
क्या मैं एक interrupted training job को resume कर सकता हूँ?
हाँ — checkpoints प्रत्येक N steps (configurable) पर save होते हैं। Resumption scratch से नहीं, last checkpoint से उठाता है।
Pricing
Local training: free (आपका hardware)। Cloud training: inference endpoints के समान rates (A10 / A100 / H100) पर per-second GPU billing। Adapter storage workspace file storage के रूप में metered है।
Related features