osFoundry / Platform
Hot-swap de LoRA
Troque adaptadores LoRA em um modelo base em execução em menos de 50ms. Personas diferentes, mesmos pesos.
O que é
O Hot-swap LoRA permite alternar entre personalidades de modelo ajustadas em menos de 50 milissegundos, sem recarregar o modelo base. Um adaptador LoRA (Low-Rank Adaptation) é um pequeno conjunto de deltas de pesos, em geral de poucos megabytes, que direciona um modelo base muito maior para um tom, uma tarefa ou um domínio específicos. Como o adaptador é minúsculo e os pesos base são compartilhados, você pode manter um modelo base na memória e pular entre dezenas de adaptadores tão rápido quanto mudar uma configuração. Personas diferentes, os mesmos pesos.\n\nDentro do osFoundry isso roda inteiramente no seu dispositivo. O osFoundry é um espaço de trabalho de IA para desktop com abordagem local-first, e seu runtime local mantém o modelo base residente na memória enquanto os adaptadores se acoplam e se desacoplam por cima. Carregar do disco um modelo novo de vários gigabytes leva segundos e um aquecimento completo da GPU; encaixar um adaptador LoRA sobre pesos que já estão carregados dispensa tudo isso, e é daí que vem a marca de menos de 50 ms. Você aponta um chat, um agente ou um papel de pipeline para um adaptador, e a próxima mensagem passa por aquela persona (uma voz de suporte ao cliente, um revisor de código, um estilo de resumo jurídico) sem desmontar e reconstruir o modelo. Troque de novo e você volta ao base ou vai para outro adaptador com a mesma rapidez.\n\nIsso importa porque transforma um único modelo base baixado em toda uma prateleira de especialistas a um custo quase nulo. Você não paga, não baixa nem carrega na GPU um modelo separado por persona, e como o osFoundry é bring-your-own-key e local-first, não há cobrança por assento nem margem de revenda: você fornece o modelo base e os adaptadores, e a inferência permanece na sua máquina. É um encaixe prático para configurações multiagente em que cada agente precisa do próprio comportamento, e para trabalhos sensíveis à privacidade em que os dados que alimentam cada persona nunca deveriam sair do dispositivo.
Principais recursos
- Troque adaptadores LoRA sobre um modelo base já carregado em menos de 50 ms, sem recarregar os pesos base de vários gigabytes
- Mantenha um modelo base residente na memória e sobreponha muitos adaptadores de baixo posto, de modo que mudar de persona custe uma troca de ponteiro, não uma partida a frio
- Rode cada persona no dispositivo, no runtime local do osFoundry, para que seus prompts, adaptadores e saídas nunca deixem a sua máquina
- Atribua um adaptador ajustado diferente a cada agente, chat ou papel de pipeline e alterne entre eles no meio da sessão
- Traga seus próprios modelos base e seus próprios adaptadores, sem cobrança por assento nem margem de revenda sobre a inferência
Casos de uso
- Desenvolvedor solo: mantém um modelo base de 7B carregado e alterna entre um adaptador de código, um de redação e um de resumo entre abas, sem esperar um modelo recarregar a cada vez
- Orquestrador multiagente: atribui um LoRA ajustado distinto a cada agente de um pipeline, de modo que um pesquisador, um crítico e um editor rodem cada um com a própria voz sobre os mesmos pesos base compartilhados
- Equipe atenta à privacidade: roda personas específicas de domínio inteiramente no dispositivo, para que os prompts e as saídas sensíveis que moldam cada persona nunca saiam da máquina local
Perguntas frequentes
Por que trocar um adaptador LoRA a quente é mais rápido do que carregar outro modelo?
Carregar outro modelo lê do disco pesos de vários gigabytes e aquece a GPU, o que leva segundos. Um adaptador LoRA são apenas alguns megabytes de deltas de baixo posto que se acoplam sobre pesos base já residentes na memória, então a troca é uma pequena operação em memória, e não uma partida a frio: menos de 50 ms no runtime local do osFoundry.
Preciso de um modelo base separado para cada persona?
Não. É justamente esse o ponto do recurso. Um modelo base permanece carregado, e cada persona é apenas um adaptador diferente sobreposto aos mesmos pesos. Você baixa e guarda o base uma vez e depois mantém uma prateleira de adaptadores pequenos, alternando entre eles, em vez de armazenar e carregar na GPU um modelo completo por persona.
A troca de adaptadores acontece na minha máquina ou na nuvem?
Na sua máquina. O osFoundry é um espaço de trabalho de desktop local-first e roda os modelos locais pelo runtime no dispositivo, de modo que o modelo base, os adaptadores e os dados que passam por cada persona ficam no seu dispositivo. É bring-your-own-key, sem cobrança por assento nem margem sobre a inferência.