Inicio / Funciones / Ejecutar cualquier modelo

Ejecuten cualquier modelo de IA con osFoundry: local, nube o autohospedado

BYOK con cualquier API de nube, ejecuten pesos abiertos en su portátil o desplieguen un endpoint de GPU dedicado, todo desde un único workspace.

osFoundry es una plataforma híbrida de orquestación de IA que ejecuta cualquier modelo de IA desde un único workspace: Llama, Qwen o Mistral de pesos abiertos en su portátil; Claude, GPT o Gemini con sus propias claves de API; y endpoints de GPU dedicados en nuestra nube para capacidad reservada. Cambien de backend a mitad de conversación, no se queden bloqueados en un único proveedor y paguen solo por los segundos que su modelo realmente se ejecute.

Respuesta rápida

Ejecuten modelos de pesos abiertos en local con el runtime de inferencia on-device de osFoundry: sin coste por token, sin que ningún dato salga de su máquina.
Traigan sus propias claves de API (BYOK) para Anthropic, OpenAI, Google, Mistral, Together y cualquier endpoint compatible con OpenAI.
Desplieguen endpoints de GPU dedicados en la nube de osFoundry para throughput reservado en el modelo de pesos abiertos que prefieran.
Enruten solicitudes entre los tres modos desde un solo chat: cambien entre local ↔ nube ↔ autohospedaje sin salir de la conversación.
Sin recargo en los tokens: se factura directamente a su cuenta del proveedor.

Qué es

La mayoría de las herramientas de IA fuerzan un único backend: un producto de chat alojado, una sola API de modelo o un autohospedaje que mantienen ustedes solos. osFoundry trata la inferencia local, las APIs en la nube y los endpoints autohospedados como tres backends intercambiables detrás de una sola superficie de chat, una sola capa de configuración y una sola superficie de facturación. El mismo prompt puede llegar a un modelo local 8B para un triaje de baja latencia, a una API Claude Sonnet para razonamiento difícil y a un Llama 70B autohospedado para datos sensibles, todo en una sola conversación.

Capacidades principales

Inferencia local con modelos de pesos abiertos cuantizados (Q4 a FP16) en Apple Silicon y GPUs NVIDIA.
BYOK a cualquier proveedor con una API compatible con OpenAI: las claves viven en su keychain cifrado.
Despacho de modelo por solicitud impulsado por reglas de enrutamiento configurables por el usuario en osStudio.
Hot-swap de adaptadores LoRA en tiempo de inferencia sin reiniciar el modelo.
Vista de flota del servidor de inferencia: capacidad agrupada entre máquinas locales, endpoints en la nube y GPUs autohospedadas.
Cadenas de fallback: probar primero local, hacer failover a la nube si el modelo no está cargado.

Cómo hacerlo en osFoundry

Elijan un modelo — Naveguen por el catálogo en /community/models y /community/api-models: más de 76 000 pesos abiertos y 364 modelos de API alojados, con enlaces cruzados entre los que tienen doble naturaleza (p. ej. Llama 3.1 70B es ambos).
Cabléenlo — Para BYOK: peguen la clave del proveedor en el diálogo de clave y asignen el modelo a un rol de Maestro. Para local: pulsen Instalar en la página del modelo. Para autohospedaje: desplieguen un endpoint de GPU desde la pestaña Servers.
Úsenlo — Chateen con él directamente, llamen a invokeAI desde una Room App o accedan a él como endpoint HTTP desde sus propios servicios: mismo modelo, mismo enrutamiento, tres interfaces.

Cómo se compara osFoundry

Capacidad	osFoundry	La mayoría de otras herramientas
Backends	Local + nube + autohospedado, conmutables por solicitud.	Un único backend, bloqueado al proveedor.
Recargo sobre tokens	Ninguno: precio directo del proveedor.	20-100 % de recargo sobre los tokens alojados.
Modo privacidad	Modo solo local: ningún tráfico sale jamás del dispositivo.	Siempre con destino a la nube.
Número de modelos	76 K abiertos + 364 de API + sus pesos autohospedados.	Un puñado de modelos curados.

Casos de uso

Desarrollador solo: Ejecutar Llama 3.1 8B en local para el chat de programación diario. Cambiar a Claude Sonnet para refactors difíciles. Mismo hilo de chat.
Equipo privacy-first: Forzar todos los prompts sensibles a modelos locales; permitir que los prompts con información pública usen APIs en la nube. Las reglas de enrutamiento aplican la política.
Startup de gran volumen: Autohospedar Mixtral 8x22B en una A100 reservada para el 80 % del tráfico; explotar a GPT-4o para el 20 % difícil.

Flota de servidores de inferencia

Agreguen capacidad de máquinas locales, endpoints BYOK y GPUs autohospedadas en un único pool direccionable. Maestro enruta por solicitud según la disponibilidad y las prioridades configuradas.

Preguntas frecuentes

¿Puedo usar osFoundry sin comprar créditos?

Sí. BYOK y la inferencia local funcionan sin ninguna compra de créditos en osFoundry: paguen a su propio proveedor por el uso en la nube y la inferencia local es gratuita.

¿osFoundry recarga los tokens de API en la nube?

No. BYOK pasa su tráfico directamente a su cuenta del proveedor. Cobramos solo por nuestros propios servicios alojados en la nube (endpoints de GPU, hosting de apps, almacenamiento).

¿Con qué proveedores puedo usar BYOK?

Anthropic, OpenAI, Google (Vertex + AI Studio), Mistral, Together, Groq, DeepSeek, Cohere y cualquier endpoint compatible con OpenAI. Los nuevos proveedores se añaden vía la biblioteca de conectores.

¿Qué hardware necesito para ejecutar modelos de pesos abiertos en local?

Una GPU de consumo con 16 GB de VRAM corre bien modelos de 7-13B a Q4. 24 GB maneja modelos de 30B. Los modelos de 70B+ necesitan una A100/H100 de 80 GB o concesiones de cuantización.

¿Puedo cambiar de modelo a mitad de conversación?

Sí. Cada turno puede usar un modelo distinto. Las reglas de enrutamiento de Maestro en osStudio les permiten cambiar automáticamente según el contenido del prompt.

¿En qué se diferencia un endpoint autohospedado de la inferencia local?

La inferencia local corre en su propia máquina. Un endpoint autohospedado corre sobre una GPU dedicada que aprovisionan en la nube de osFoundry: capacidad reservada, sin rate limits, accedido por su red privada.

¿osFoundry soporta también modelos de imagen, audio y vídeo?

Sí. El catálogo incluye 76 K modelos de pesos abiertos para chat, imagen, audio, vídeo y embedding. BYOK funciona para proveedores alojados de imagen/audio (DALL·E, Midjourney vía Replicate, ElevenLabs, etc.).

¿Puedo ejecutar osFoundry totalmente offline?

Sí: instalen la app de escritorio, descarguen un modelo local y deshabiliten las rutas a la nube. El modo local-first es un ajuste de workspace de primera clase.

Precios

Inferencia local: gratuita (su hardware). BYOK: el precio de su proveedor, sin recargo. Endpoints de GPU alojados en osFoundry: por segundo de tiempo de GPU, vean la página de precios para las tarifas actuales.