osFoundry / Platform
Hot-swap de LoRA
Intercambia adaptadores LoRA en un modelo base en ejecución en menos de 50ms. Distintas personalidades, mismos pesos.
Qué es
Hot-swap LoRA te permite alternar entre personalidades de modelo afinadas en menos de 50 milisegundos sin recargar el modelo base. Un adaptador LoRA (Low-Rank Adaptation) es un pequeño conjunto de deltas de pesos, normalmente de unos pocos megabytes, que orienta a un modelo base mucho más grande hacia un tono, una tarea o un dominio concretos. Como el adaptador es diminuto y los pesos base se comparten, puedes mantener un modelo base en memoria y saltar entre docenas de adaptadores con la misma rapidez con la que cambias un ajuste. Personas distintas, los mismos pesos.\n\nDentro de osFoundry esto ocurre por completo en tu dispositivo. osFoundry es un espacio de trabajo de IA de escritorio con enfoque local-first, y su runtime local mantiene el modelo base residente en memoria mientras los adaptadores se acoplan y desacoplan encima. Cargar desde disco un modelo nuevo de varios gigabytes lleva segundos y un calentamiento completo de la GPU; montar un adaptador LoRA sobre pesos que ya están cargados se salta todo eso, y de ahí sale la cifra de menos de 50 ms. Apuntas un chat, un agente o un rol de pipeline hacia un adaptador, y el siguiente mensaje se ejecuta a través de esa persona (una voz de atención al cliente, un revisor de código, un estilo de resumen jurídico) sin desmontar y reconstruir el modelo. Cambia otra vez y vuelves a la base o a otro adaptador con la misma rapidez.\n\nEsto importa porque convierte un único modelo base descargado en toda una estantería de especialistas casi sin coste. No pagas, ni descargas, ni cargas en la GPU un modelo distinto por cada persona, y como osFoundry es bring-your-own-key y local-first, no hay tarifas por asiento ni margen de reventa: tú aportas el modelo base y los adaptadores, y la inferencia se queda en tu máquina. Encaja de forma práctica en montajes multiagente donde cada agente necesita su propio comportamiento, y en el trabajo sensible a la privacidad donde los datos que alimentan cada persona no deberían salir nunca del dispositivo.
Capacidades principales
- Intercambia adaptadores LoRA sobre un modelo base ya cargado en menos de 50 ms, sin recargar los pesos base de varios gigabytes
- Mantén un modelo base residente en memoria y superpón muchos adaptadores de bajo rango, de modo que cambiar de persona cueste un cambio de puntero y no un arranque en frío
- Ejecuta cada persona en tu dispositivo con el runtime local de osFoundry, para que tus prompts, adaptadores y salidas nunca abandonen tu máquina
- Asigna un adaptador afinado distinto a cada agente, chat o rol de pipeline, y alterna entre ellos a mitad de sesión
- Aporta tus propios modelos base y tus propios adaptadores, sin tarifas por asiento ni margen de reventa sobre la inferencia
Casos de uso
- Desarrollador en solitario: mantiene un modelo base de 7B cargado y alterna entre un adaptador de código, uno de redacción y otro de resumen entre pestañas sin esperar a que se recargue un modelo cada vez
- Orquestador multiagente: asigna un LoRA afinado distinto a cada agente de un pipeline, de modo que un investigador, un crítico y un editor funcionen cada uno con su propia voz sobre los mismos pesos base compartidos
- Equipo consciente de la privacidad: ejecuta personas específicas de dominio íntegramente en el dispositivo, para que los prompts y las salidas sensibles que dan forma a cada persona nunca salgan de la máquina local
Preguntas frecuentes
¿Por qué intercambiar en caliente un adaptador LoRA es más rápido que cargar otro modelo?
Cargar otro modelo lee de disco pesos de varios gigabytes y calienta la GPU, lo que lleva segundos. Un adaptador LoRA son solo unos pocos megabytes de deltas de bajo rango que se acoplan sobre pesos base que ya residen en memoria, así que el cambio es una pequeña operación en memoria y no un arranque en frío: menos de 50 ms en el runtime local de osFoundry.
¿Necesito un modelo base distinto para cada persona?
No. Ese es precisamente el sentido de la función. Un modelo base permanece cargado, y cada persona es solo un adaptador distinto superpuesto sobre los mismos pesos. Descargas y guardas la base una vez, y luego mantienes una estantería de adaptadores pequeños y alternas entre ellos, en lugar de almacenar y cargar en la GPU un modelo completo por persona.
¿El intercambio de adaptadores ocurre en mi máquina o en la nube?
En tu máquina. osFoundry es un espacio de trabajo de escritorio local-first y ejecuta los modelos locales a través de su runtime en el dispositivo, de modo que el modelo base, los adaptadores y los datos que fluyen por cada persona se quedan en tu dispositivo. Es bring-your-own-key, sin tarifas por asiento ni margen sobre la inferencia.