What is LoRA?

Abbreviation: LoRA

LoRA (Low-Rank Adaptation) afina solo un pequeño número de parámetros «adaptador» sobre un modelo base congelado, reduciendo drásticamente el coste de entrenamiento. osFoundry afina cualquiera de los más de 60 modelos base de pesos abiertos con LoRA en un flujo de UI, sin necesidad de notebook.

Detail

En lugar de actualizar todos los parámetros del modelo durante el fine-tuning (lento, intensivo en memoria), LoRA inserta pequeñas matrices entrenables en las capas de atención. El modelo base permanece congelado; solo se entrenan los pesos del adaptador. Resultado: 100-1000× menos almacenamiento, 10× menos tiempo de entrenamiento, calidad comparable en la mayoría de tareas.

Los adaptadores LoRA son diminutos (~MB en vez de GB), portables entre despliegues y apilables: pueden hot-swap varios adaptadores sobre un mismo modelo base.

How osFoundry approaches LoRA

osFoundry entrena adaptadores LoRA en minutos u horas, los registra en su catálogo de modelos y los hot-swap sobre endpoints de modelo base en tiempo de inferencia: muchos comportamientos especializados sobre una GPU compartida.