Accueil / Glossaire / Auto-hébergement

What is Auto-hébergement?

L’auto-hébergement signifie exécuter un LLM sur une infrastructure que vous contrôlez — votre ordinateur portable, votre centre de données ou un GPU dédié que vous provisionnez. Le runtime d’auto-hébergement d’osFoundry prend en charge n’importe lequel des 76 000 modèles open-weight en un clic.

Detail

L’auto-hébergement d’un LLM vous donne un contrôle total sur les poids, le runtime, le routage et le flux de données. Le compromis est que vous (ou votre plateforme) possédez les opérations d’infrastructure. Raisons courantes d’auto-héberger : confidentialité, résidence des données, prévisibilité des coûts à l’échelle, ou exécution de modèles non disponibles via API.

L’auto-hébergement ne fonctionne qu’avec les modèles open-weight. Les modèles propriétaires (GPT-4, Claude) sont uniquement API.

How osFoundry approaches Auto-hébergement

osFoundry réduit la taxe d’intégration de l’auto-hébergement : serveur d’inférence intégré, installation de modèle en un clic, routage à l’échelle de l’espace de travail, pas de configuration llama.cpp. Matériel local, notre cloud ou votre propre serveur GPU — choisissez par modèle.