Início / Glossário / Self-hosting
What is Self-hosting?
Self-hosting significa rodar um LLM em uma infraestrutura que você controla — seu laptop, seu data center ou uma GPU dedicada que você provisiona. O runtime de self-host do osFoundry suporta qualquer um dos 76.000 modelos de pesos abertos em um clique.
Detail
Self-hosting de um LLM dá controle total sobre pesos, runtime, roteamento e fluxo de dados. O trade-off é que você (ou sua plataforma) é dono das operações de infra. Razões comuns para self-host: privacidade, residência de dados, previsibilidade de custos em escala ou rodar modelos que não estão disponíveis via API.
Self-hosting só funciona com modelos de pesos abertos. Modelos proprietários (GPT-4, Claude) são apenas via API.
How osFoundry approaches Self-hosting
O osFoundry colapsa o imposto de integração do self-host: servidor de inferência embutido, instalação de modelo em um clique, roteamento em todo o workspace, sem setup de llama.cpp. Hardware local, nossa nuvem ou seu próprio servidor de GPU — escolha por modelo.
Related terms
Related features