osFoundry / Platform
Hot-swap LoRA
Échangez des adaptateurs LoRA sur un modèle de base en cours d'exécution en moins de 50 ms. Personas différents, mêmes poids.
Présentation
Hot-swap LoRA vous permet de passer d'une personnalité de modèle affinée à une autre en moins de 50 millisecondes, sans recharger le modèle de base. Un adaptateur LoRA (Low-Rank Adaptation) est un petit ensemble de deltas de poids, quelques mégaoctets en général, qui oriente un modèle de base bien plus grand vers un ton, une tâche ou un domaine précis. Comme l'adaptateur est minuscule et que les poids de base sont partagés, vous pouvez garder un modèle de base en mémoire et sauter entre des dizaines d'adaptateurs aussi vite que vous changez un réglage. Des personas différentes, les mêmes poids.\n\nAu sein d'osFoundry, tout cela se passe entièrement sur votre appareil. osFoundry est un espace de travail IA de bureau en approche local-first, et son runtime local maintient le modèle de base résident en mémoire pendant que les adaptateurs s'y attachent et s'en détachent. Charger depuis le disque un nouveau modèle de plusieurs gigaoctets prend quelques secondes et un préchauffage complet du GPU ; poser un adaptateur LoRA sur des poids déjà chargés évite tout cela, et c'est de là que vient le chiffre sous les 50 ms. Vous orientez un chat, un agent ou un rôle de pipeline vers un adaptateur, et le message suivant passe par cette persona (une voix de support client, un relecteur de code, un style de résumé juridique) sans démonter puis reconstruire le modèle. Changez encore, et vous revenez à la base ou passez à un autre adaptateur tout aussi vite.\n\nCela compte parce qu'un seul modèle de base téléchargé se transforme ainsi en toute une étagère de spécialistes, à un coût quasi nul. Vous ne payez pas, ne téléchargez pas et ne chargez pas en GPU un modèle distinct par persona, et comme osFoundry est bring-your-own-key et local-first, il n'y a ni frais par siège ni marge de revente : vous fournissez le modèle de base et les adaptateurs, et l'inférence reste sur votre machine. C'est un choix pratique pour les montages multi-agents où chaque agent a besoin de son propre comportement, et pour les travaux sensibles à la confidentialité où les données qui alimentent chaque persona ne devraient jamais quitter l'appareil.
Fonctionnalités clés
- Permutez des adaptateurs LoRA sur un modèle de base déjà chargé en moins de 50 ms, sans recharger les poids de base de plusieurs gigaoctets
- Gardez un modèle de base résident en mémoire et empilez de nombreux adaptateurs de faible rang, de sorte que changer de persona coûte une permutation de pointeur, pas un démarrage à froid
- Exécutez chaque persona sur l'appareil dans le runtime local d'osFoundry, pour que vos prompts, vos adaptateurs et vos sorties ne quittent jamais votre machine
- Attribuez un adaptateur affiné différent à chaque agent, chat ou rôle de pipeline et basculez entre eux en cours de session
- Apportez vos propres modèles de base et vos propres adaptateurs, sans frais par siège ni marge de revente sur l'inférence
Cas d’usage
- Développeur solo : garde un modèle de base 7B chargé et bascule entre un adaptateur de code, un adaptateur de rédaction et un adaptateur de résumé d'un onglet à l'autre sans attendre le rechargement d'un modèle à chaque fois
- Orchestrateur multi-agents : attribue un LoRA affiné distinct à chaque agent d'un pipeline, de sorte qu'un chercheur, un critique et un éditeur s'exécutent chacun avec sa propre voix sur les mêmes poids de base partagés
- Équipe soucieuse de la confidentialité : exécute des personas spécifiques à un domaine entièrement sur l'appareil, pour que les prompts et sorties sensibles qui façonnent chaque persona ne quittent jamais la machine locale
Questions fréquentes
Pourquoi permuter à chaud un adaptateur LoRA est-il plus rapide que charger un autre modèle ?
Charger un autre modèle lit depuis le disque des poids de plusieurs gigaoctets et préchauffe le GPU, ce qui prend quelques secondes. Un adaptateur LoRA n'est que quelques mégaoctets de deltas de faible rang qui se posent sur des poids de base déjà résidents en mémoire, donc la permutation est une petite opération en mémoire et non un démarrage à froid : moins de 50 ms dans le runtime local d'osFoundry.
Ai-je besoin d'un modèle de base distinct pour chaque persona ?
Non. C'est justement l'intérêt de la fonctionnalité. Un modèle de base reste chargé, et chaque persona n'est qu'un adaptateur différent posé sur les mêmes poids. Vous téléchargez et conservez la base une fois, puis vous gardez une étagère de petits adaptateurs entre lesquels vous basculez, au lieu de stocker et charger en GPU un modèle complet par persona.
La permutation des adaptateurs se fait-elle sur ma machine ou dans le cloud ?
Sur votre machine. osFoundry est un espace de travail de bureau local-first et exécute les modèles locaux via son runtime sur l'appareil, de sorte que le modèle de base, les adaptateurs et les données qui traversent chaque persona restent sur votre appareil. C'est du bring-your-own-key, sans frais par siège ni marge sur l'inférence.