osFoundry / Platform
Servidores locais
Execute inferência local na sua máquina ou Workstation. As rotas são automáticas — o Maestro escolhe local quando pode.
O que é
Os servidores locais permitem executar a inferência de IA na sua própria máquina em vez de mandar cada requisição para uma API hospedada. O osFoundry inclui um servidor de inferência local que carrega arquivos de modelo no formato GGUF a partir de uma pasta no seu Mac ou estação de trabalho e os disponibiliza para o restante do aplicativo. Como o modelo roda em um hardware que você já tem, uma execução local não custa nada por token, não precisa de chave de API e mantém o prompt e seus dados dentro do dispositivo, o que importa quando o conteúdo é privado, regulado ou simplesmente algo que você não quer que saia da empresa.\n\nDentro do osFoundry, o Maestro é a camada de roteamento que decide para onde vai cada requisição. O roteamento é automático: o Maestro escolhe o servidor local sempre que a requisição cabe no que a sua máquina consegue processar, e recorre a um modelo na nuvem (usando a sua própria chave) só quando a tarefa exige recursos que o modelo local não cobre. Você não configura isso a cada mensagem; é uma política permanente que vale para o chat, os agentes e os papéis do pipeline. Você mantém o controle do runtime local pelo painel de configurações: quantas camadas do transformer descarregar na GPU, o tamanho da janela de contexto, a quantização do cache KV (f16, bf16, q8_0, q4_0 e outras), o número de slots de requisições em paralelo e, em máquinas com várias GPUs, como dividir o modelo entre os dispositivos.\n\nIsso importa porque a maioria dos produtos de \"IA no seu espaço de trabalho\" oferece exatamente um único lugar para onde os dados podem ir: os servidores deles. O osFoundry é BYOK e local-first por concepção. Os servidores locais são a base desse desenho: a opção que não custa nada, não expõe nada e funciona offline para os modelos que o seu hardware consegue rodar, enquanto as suas chaves de nuvem BYOK ficam logo ao lado para os trabalhos mais pesados. Um único espaço de trabalho, os dois caminhos, sem cobrança por usuário e sem margem de revenda em nenhum deles.
Principais recursos
- Roda modelos GGUF diretamente no seu Mac ou estação de trabalho por meio de um servidor de inferência llama.cpp integrado, sem ida e volta à nuvem nem chave de API para execuções locais
- O Maestro encaminha cada turno automaticamente e escolhe o servidor local sempre que a requisição cabe, recorrendo a um modelo na nuvem apenas quando a tarefa exige
- Ajusta o runtime local pela interface: camadas de offload na GPU, tamanho de contexto, tipo de cache KV (f16/q8_0/q4_0 e mais), slots em paralelo e divisão multi-GPU
- Mantém prompts e dados no seu dispositivo nas execuções locais, de modo que conteúdo privado ou regulado nunca saia da máquina
- Fica no mesmo espaço de trabalho que suas chaves de nuvem BYOK: chat, agentes, apps, código e conhecimento acessam o local ou a nuvem sem trocar de ferramenta
Casos de uso
- Engenheiro atento à privacidade: roda um modelo GGUF local para que prompts com contratos e código nunca saiam da estação de trabalho, e deixa o Maestro escalar para uma chave de nuvem apenas na consulta mais difícil, quando aparece
- Criador solo com orçamento apertado: apoia-se na inferência local para o chat e o trabalho com agentes do dia a dia para manter o gasto de nuvem por token perto de zero, ajustando o offload de GPU e o tamanho de contexto a um único notebook
- Usuário avançado de estação de trabalho: divide um modelo grande entre várias GPUs e aumenta os slots em paralelo para atender vários agentes ao mesmo tempo, inteiramente no dispositivo
Perguntas frequentes
Preciso de uma chave de API para rodar um modelo localmente?
Não. As execuções locais usam um arquivo de modelo na sua própria máquina e um servidor de inferência integrado, então nada é cobrado por token e nenhuma chave é exigida. Você só precisa de uma chave quando o Maestro encaminha uma requisição para um modelo na nuvem, e essa chave é sua: o osFoundry não revende acesso nem adiciona margem.
Como o osFoundry decide entre local e nuvem?
O Maestro cuida do roteamento automaticamente. Ele prefere o servidor local sempre que a requisição cabe no que a sua máquina consegue rodar, e recorre a um modelo na nuvem só quando a tarefa exige. Você configura o runtime local (camadas de GPU, tamanho de contexto, tipo de cache), mas não precisa rotear cada mensagem na mão.
Que tipos de modelos e hardware o servidor local suporta?
Ele carrega modelos no formato GGUF a partir de uma pasta na sua máquina e os disponibiliza por um runtime no estilo llama.cpp. Você pode descarregar camadas para uma GPU, ajustar a janela de contexto e a quantização do cache KV à sua memória, rodar vários slots de requisições em paralelo e dividir entre várias GPUs. Quais modelos rodam bem depende da sua RAM, VRAM e CPU.