osFoundry / Platform
Serveurs locaux
Exécutez l'inférence locale sur votre machine ou Workstation. Les routes sont automatiques — Maestro choisit local quand c'est possible.
Présentation
Les serveurs locaux vous permettent d'exécuter l'inférence IA sur votre propre machine au lieu d'envoyer chaque requête à une API hébergée. osFoundry embarque un serveur d'inférence local qui charge des fichiers de modèle au format GGUF depuis un dossier de votre Mac ou de votre station de travail et les met à disposition du reste de l'application. Comme le modèle tourne sur un matériel que vous possédez déjà, une exécution locale ne coûte rien par token, n'exige aucune clé API et garde le prompt et ses données sur l'appareil. Cela compte quand le contenu est confidentiel, réglementé, ou simplement quelque chose que vous ne voulez pas voir sortir de l'entreprise.\n\nAu sein d'osFoundry, Maestro est la couche de routage qui décide où va chaque requête. Le routage est automatique : Maestro choisit le serveur local dès qu'une requête tient dans ce que votre machine sait traiter, et ne se tourne vers un modèle cloud (avec votre propre clé) que lorsqu'une tâche réclame des capacités hors de portée du modèle local. Vous n'avez pas à câbler cela message par message ; c'est une règle permanente qui s'applique au chat, aux agents et aux rôles du pipeline. Vous gardez la main sur le runtime local depuis le panneau de réglages : combien de couches du transformer déléguer au GPU, la taille de la fenêtre de contexte, la quantification du cache KV (f16, bf16, q8_0, q4_0 et autres), le nombre de créneaux de requêtes en parallèle et, sur les machines multi-GPU, comment répartir le modèle entre les appareils.\n\nCela compte parce que la plupart des produits d'\"IA dans votre espace de travail\" ne vous laissent qu'un seul endroit où vos données peuvent aller : leurs serveurs. osFoundry est BYOK et local-first par conception. Les serveurs locaux en sont le socle : l'option qui ne coûte rien, n'expose rien et fonctionne hors ligne pour les modèles que votre matériel peut exécuter, tandis que vos clés cloud BYOK se tiennent juste à côté pour les tâches plus lourdes. Un seul espace de travail, les deux voies, sans frais par siège ni marge de revente sur aucune des deux.
Fonctionnalités clés
- Exécute des modèles GGUF directement sur votre Mac ou votre station de travail via un serveur d'inférence llama.cpp intégré, sans aller-retour vers le cloud ni clé API pour les exécutions locales
- Maestro route chaque tour automatiquement et choisit le serveur local dès qu'une requête convient, ne se rabattant sur un modèle cloud que si la tâche l'exige
- Ajuste le runtime local depuis l'interface : couches déléguées au GPU, taille de contexte, type de cache KV (f16/q8_0/q4_0 et plus), créneaux parallèles et répartition multi-GPU
- Garde les prompts et les données sur votre appareil lors des exécutions locales, si bien qu'un contenu privé ou réglementé ne quitte jamais la machine
- Cohabite dans le même espace de travail que vos clés cloud BYOK : chat, agents, apps, code et connaissances puisent dans le local ou le cloud sans changer d'outil
Cas d’usage
- Ingénieure soucieuse de confidentialité : exécute un modèle GGUF local pour que les prompts contenant contrats et code ne quittent jamais la station de travail, et laisse Maestro basculer sur une clé cloud seulement pour la requête plus ardue de temps à autre
- Créateur solo au budget serré : s'appuie sur l'inférence locale pour le chat et le travail d'agents au quotidien afin de maintenir la dépense cloud par token proche de zéro, en réglant le déchargement GPU et la taille de contexte pour un seul portable
- Utilisateur avancé de station de travail : répartit un gros modèle sur plusieurs GPU et augmente les créneaux parallèles pour servir plusieurs agents à la fois, entièrement sur l'appareil
Questions fréquentes
Ai-je besoin d'une clé API pour exécuter un modèle en local ?
Non. Les exécutions locales utilisent un fichier de modèle sur votre propre machine et un serveur d'inférence intégré : rien n'est facturé au token et aucune clé n'est requise. Vous n'avez besoin d'une clé que lorsque Maestro route une requête vers un modèle cloud, et cette clé est la vôtre : osFoundry ne revend pas l'accès et n'ajoute aucune marge.
Comment osFoundry choisit-il entre local et cloud ?
Maestro gère le routage automatiquement. Il privilégie le serveur local dès que la requête tient dans ce que votre machine peut exécuter, et ne se rabat sur un modèle cloud que lorsque la tâche l'exige. Vous configurez le runtime local (couches GPU, taille de contexte, type de cache), mais vous n'avez pas à router chaque message à la main.
Quels modèles et quel matériel le serveur local prend-il en charge ?
Il charge des modèles au format GGUF depuis un dossier de votre machine et les sert via un runtime de type llama.cpp. Vous pouvez déléguer des couches à un GPU, ajuster la fenêtre de contexte et la quantification du cache KV à votre mémoire, exécuter plusieurs créneaux de requêtes en parallèle et répartir sur plusieurs GPU. Quels modèles tournent bien dépend de votre RAM, de votre VRAM et de votre CPU.