osFoundry / Platform
Servidores locales
Ejecuta inferencia local en tu máquina o workstation. El enrutamiento es automático: Maestro elige local cuando puede.
Qué es
Los servidores locales te permiten ejecutar la inferencia de IA en tu propia máquina en lugar de enviar cada petición a una API alojada. osFoundry incluye un servidor de inferencia local que carga archivos de modelo en formato GGUF desde una carpeta de tu Mac o estación de trabajo y los sirve al resto de la aplicación. Como el modelo corre sobre hardware que ya tienes, una ejecución local no cuesta nada por token, no necesita clave API y mantiene el prompt y sus datos dentro de tu dispositivo, algo que importa cuando el contenido es privado, está regulado o simplemente no quieres que salga de la empresa.\n\nDentro de osFoundry, Maestro es la capa de enrutamiento que decide adónde va cada petición. El enrutado es automático: Maestro elige el servidor local siempre que la petición encaja con lo que tu máquina puede manejar, y recurre a un modelo en la nube (con tu propia clave) solo cuando la tarea exige capacidades que el modelo local no cubre. No hace falta cablear esto en cada mensaje; es una política permanente que rige el chat, los agentes y los roles de la canalización. Mantienes el control del runtime local desde el panel de ajustes: cuántas capas del transformer descargar en la GPU, el tamaño de la ventana de contexto, la cuantización de la caché KV (f16, bf16, q8_0, q4_0 y otras), el número de ranuras de peticiones en paralelo y, en máquinas con varias GPU, cómo repartir el modelo entre dispositivos.\n\nEsto importa porque la mayoría de productos de \"IA en tu espacio de trabajo\" te dan exactamente un único sitio al que pueden ir los datos: sus servidores. osFoundry es BYOK y local-first por diseño. Los servidores locales son la base de ese diseño: la opción que no cuesta nada, no expone nada y funciona sin conexión para los modelos que tu hardware pueda ejecutar, mientras tus claves de nube BYOK quedan justo al lado para los trabajos más pesados. Un solo espacio de trabajo, ambas vías, sin cuotas por usuario ni márgenes de reventa en ninguna de ellas.
Capacidades principales
- Ejecuta modelos GGUF directamente en tu Mac o estación de trabajo mediante un servidor de inferencia llama.cpp integrado, sin viaje a la nube ni clave API para las ejecuciones locales
- Maestro enruta cada turno de forma automática y elige el servidor local siempre que la petición encaja, recurriendo a un modelo en la nube solo cuando la tarea lo requiere
- Ajusta el runtime local desde la interfaz: capas de descarga a GPU, tamaño de contexto, tipo de caché KV (f16/q8_0/q4_0 y más), ranuras en paralelo y reparto multi-GPU
- Mantiene prompts y datos en tu dispositivo en las ejecuciones locales, de modo que el contenido privado o regulado nunca sale de la máquina
- Convive en el mismo espacio de trabajo que tus claves de nube BYOK: chat, agentes, apps, código y conocimiento tiran de lo local o de la nube sin cambiar de herramienta
Casos de uso
- Ingeniero atento a la privacidad: ejecuta un modelo GGUF local para que los prompts con contratos y código nunca salgan de la estación de trabajo, y deja que Maestro escale a una clave de nube solo en la consulta puntual más difícil
- Creador en solitario con presupuesto ajustado: se apoya en la inferencia local para el chat y el trabajo con agentes del día a día para dejar el gasto en la nube cerca de cero, afinando la descarga a GPU y el tamaño de contexto para un solo portátil
- Usuario avanzado de estación de trabajo: reparte un modelo grande entre varias GPU y sube las ranuras en paralelo para servir a varios agentes a la vez, todo en local
Preguntas frecuentes
¿Necesito una clave API para ejecutar un modelo en local?
No. Las ejecuciones locales usan un archivo de modelo de tu propia máquina y un servidor de inferencia integrado, así que no se factura nada por token ni se requiere clave. Solo necesitas una clave cuando Maestro enruta una petición a un modelo en la nube, y esa clave es tuya: osFoundry no revende el acceso ni añade márgenes.
¿Cómo decide osFoundry entre local y nube?
Maestro gestiona el enrutado de forma automática. Prefiere el servidor local siempre que la petición encaja con lo que tu máquina puede ejecutar, y recurre a un modelo en la nube solo cuando la tarea lo necesita. Tú configuras el runtime local (capas de GPU, tamaño de contexto, tipo de caché), pero no tienes que enrutar cada mensaje a mano.
¿Qué tipo de modelos y hardware admite el servidor local?
Carga modelos en formato GGUF desde una carpeta de tu máquina y los sirve a través de un runtime al estilo de llama.cpp. Puedes descargar capas a una GPU, ajustar la ventana de contexto y la cuantización de la caché KV a tu memoria, ejecutar varias ranuras de peticiones en paralelo y repartir entre varias GPU. Qué modelos corren bien depende de tu RAM, tu VRAM y tu CPU.