Home / Glossary / Self-hosting
What is Self-hosting?
Self-hosting का अर्थ है एक LLM को आपके द्वारा नियंत्रित infrastructure पर चलाना — आपका laptop, आपका data centre, या आपके द्वारा provision किया गया एक dedicated GPU। osFoundry का self-host runtime एक click में 76,000 open-weight models में से किसी को भी support करता है।
Detail
एक LLM को self-hosting करना आपको weights, runtime, routing, और data flow पर full नियंत्रण देता है। Tradeoff यह है कि आप (या आपका platform) infra ops के मालिक हैं। Self-host के सामान्य कारण: privacy, data residency, scale पर cost predictability, या ऐसे models चलाना जो API के माध्यम से उपलब्ध नहीं हैं।
Self-hosting केवल open-weight models के साथ काम करती है। Proprietary models (GPT-4, Claude) केवल API हैं।
How osFoundry approaches Self-hosting
osFoundry self-host integration tax को collapse करता है: built-in inference server, one-click model install, workspace-wide routing, कोई llama.cpp setup नहीं। Local hardware, हमारा cloud, या आपका अपना GPU server — प्रति model pick करें।
Related terms
Related features