Início / Recursos / Rode qualquer modelo

Rode qualquer modelo de IA com o osFoundry — local, em nuvem ou self-hosted

BYOK para qualquer API de nuvem, rode pesos abertos no seu laptop ou implante um endpoint de GPU dedicado — tudo a partir de um único workspace.

osFoundry é uma plataforma híbrida de orquestração de IA que roda qualquer modelo de IA a partir de um único workspace — Llama, Qwen ou Mistral de pesos abertos no seu laptop; Claude, GPT ou Gemini com suas próprias chaves de API; e endpoints de GPU dedicados em nossa nuvem para capacidade reservada. Troque de backend no meio da conversa, nunca fique preso a um único provedor e pague apenas pelos segundos em que seu modelo realmente roda.

Resposta rápida

Rode modelos de pesos abertos localmente com o runtime de inferência no dispositivo do osFoundry — sem custo por token, nenhum dado sai da sua máquina.
Traga suas próprias chaves de API (BYOK) para Anthropic, OpenAI, Google, Mistral, Together e qualquer endpoint compatível com OpenAI.
Implante endpoints de GPU dedicados na nuvem osFoundry para throughput reservado no modelo de pesos abertos da sua escolha.
Roteie requisições entre os três modos a partir de um único chat — troque local ↔ nuvem ↔ self-host sem sair da conversa.
Sem markup em tokens — sua conta do provedor é cobrada diretamente.

O que é

A maioria das ferramentas de IA força um único backend: um produto de chat hospedado, uma única API de modelo ou um self-host que você mantém sozinho. O osFoundry trata inferência local, APIs em nuvem e endpoints self-hosted como três backends intercambiáveis por trás de uma superfície de chat, uma camada de configuração e uma superfície de faturamento. O mesmo prompt pode atingir um modelo local 8B para triagem de baixa latência, uma API Claude Sonnet para raciocínio difícil e um Llama 70B self-hosted para dados sensíveis — tudo em uma única conversa.

Principais recursos

Inferência local com modelos de pesos abertos quantizados (Q4 a FP16) em Apple Silicon e GPUs NVIDIA.
BYOK para qualquer provedor com API compatível com OpenAI — chaves vivem no seu keychain criptografado.
Despacho de modelo por requisição guiado por regras de roteamento configuráveis pelo usuário no osStudio.
Hot-swap de adapters LoRA no momento da inferência sem reiniciar o modelo.
Visão da frota de servidores de inferência — capacidade agrupada entre caixas locais, endpoints em nuvem e GPUs self-hosted.
Cadeias de fallback: tente local primeiro, faça failover para nuvem se o modelo não estiver carregado.

Como fazer na osFoundry

Escolha um modelo — Navegue pelo catálogo em /community/models e /community/api-models — mais de 76.000 pesos abertos e 364 modelos de API hospedada, com referências cruzadas entre os de dupla natureza (por exemplo, Llama 3.1 70B é ambos).
Conecte — Para BYOK: cole sua chave de provedor no diálogo de chave e atribua o modelo a um papel do Maestro. Para local: clique em Instalar na página do modelo. Para self-host: implante um endpoint de GPU na aba Servidores.
Use — Converse diretamente com ele, chame invokeAI de um Room App ou acesse-o como endpoint HTTP a partir dos seus próprios serviços — mesmo modelo, mesmo roteamento, três interfaces.

Como a osFoundry se compara

Recurso	osFoundry	A maioria das outras ferramentas
Backends	Local + nuvem + self-hosted, alternáveis por requisição.	Backend único, lock-in de fornecedor.
Markup de tokens	Nenhum — preço direto do provedor.	20–100% de markup em tokens hospedados.
Modo de privacidade	Modo apenas local — nenhum tráfego sai do dispositivo.	Sempre ligado à nuvem.
Contagem de modelos	76K abertos + 364 API + seus pesos self-hosted.	Um punhado de modelos curados.

Casos de uso

Desenvolvedor solo: Rode Llama 3.1 8B localmente para chat diário de programação. Troque para Claude Sonnet para refatorações difíceis. Mesma thread de chat.
Equipe com privacidade em primeiro lugar: Force todos os prompts sensíveis a modelos locais; permita que prompts de informação pública usem APIs em nuvem. Regras de roteamento aplicam a política.
Startup de alto volume: Self-host Mixtral 8x22B em uma A100 reservada para 80% do tráfego; estoure para GPT-4o nos 20% difíceis.

Frota de servidores de inferência

Agregue capacidade entre máquinas locais, endpoints BYOK e GPUs self-hosted em um único pool endereçável. O Maestro roteia por requisição com base em disponibilidade e prioridades configuradas.

Perguntas frequentes

Posso usar o osFoundry sem comprar créditos?

Sim. BYOK e inferência local funcionam sem qualquer compra de crédito do osFoundry — você paga seu próprio provedor pelo uso em nuvem, e a inferência local é gratuita.

O osFoundry faz markup em tokens de API em nuvem?

Não. BYOK passa seu tráfego diretamente para sua conta do provedor. Cobramos apenas pelos nossos próprios serviços hospedados em nuvem (endpoints de GPU, hospedagem de apps, armazenamento).

Para quais provedores posso fazer BYOK?

Anthropic, OpenAI, Google (Vertex + AI Studio), Mistral, Together, Groq, DeepSeek, Cohere e qualquer endpoint compatível com OpenAI. Novos provedores são adicionados via a biblioteca de conectores.

Que hardware preciso para rodar modelos de pesos abertos localmente?

Uma GPU de consumidor com 16 GB de VRAM roda bem modelos 7–13B em Q4. 24 GB lida com modelos 30B. Modelos 70B+ precisam de uma A100/H100 80 GB ou trade-offs de quantização.

Posso trocar de modelo no meio da conversa?

Sim. Cada turno pode usar um modelo diferente. As regras de roteamento do Maestro no osStudio permitem trocar automaticamente com base no conteúdo do prompt.

Como um endpoint self-hosted difere da inferência local?

Inferência local roda na sua própria máquina. Um endpoint self-hosted roda em uma GPU dedicada que você provisiona na nuvem osFoundry — capacidade reservada, sem limites de taxa, acessado pela sua rede privada.

O osFoundry também suporta modelos de imagem, áudio e vídeo?

Sim. O catálogo inclui 76K modelos de pesos abertos entre chat, imagem, áudio, vídeo e embedding. BYOK funciona para provedores hospedados de imagem/áudio (DALL·E, Midjourney via Replicate, ElevenLabs etc.).

Posso rodar o osFoundry totalmente offline?

Sim — instale o app desktop, baixe um modelo local e desabilite rotas em nuvem. O modo local-first é uma configuração de primeira classe do workspace.

Preços

Inferência local: gratuita (seu hardware). BYOK: o preço do seu provedor, sem markup. Endpoints de GPU hospedados no osFoundry: por segundo de tempo de GPU, veja preços para tarifas atuais.