Inicio / Glosario / Autohospedaje
What is Autohospedaje?
Autohospedar significa ejecutar un LLM sobre infraestructura que ustedes controlan: su portátil, su data center o una GPU dedicada que aprovisionan. El runtime de autohospedaje de osFoundry soporta cualquiera de los 76 000 modelos de pesos abiertos con un clic.
Detail
Autohospedar un LLM les da control total sobre los pesos, el runtime, el enrutamiento y el flujo de datos. El trade-off es que ustedes (o su plataforma) asumen las ops de infraestructura. Razones comunes para autohospedar: privacidad, residencia de datos, predictibilidad de coste a escala o ejecutar modelos que no están disponibles vía API.
El autohospedaje solo funciona con modelos de pesos abiertos. Los modelos propietarios (GPT-4, Claude) son solo API.
How osFoundry approaches Autohospedaje
osFoundry elimina el impuesto de integración del autohospedaje: servidor de inferencia integrado, instalación de modelo con un clic, enrutamiento en todo el workspace, sin configurar llama.cpp. Hardware local, nuestra nube o su propio servidor de GPU: elijan por modelo.
Related terms
Related features