What is LoRA?

Abbreviation: LoRA

LoRA (Low-Rank Adaptation) fine-tune uniquement un petit nombre de paramètres « adaptateurs » au-dessus d’un modèle de base gelé, réduisant considérablement le coût d’entraînement. osFoundry fine-tune n’importe lequel des 60+ modèles de base open-weight avec LoRA via un flux d’interface utilisateur — aucun notebook requis.

Detail

Au lieu de mettre à jour tous les paramètres du modèle lors du fine-tuning (lent, gourmand en mémoire), LoRA insère de petites matrices entraînables dans les couches d’attention. Le modèle de base reste gelé ; seuls les poids de l’adaptateur sont entraînés. Résultat : 100-1000× moins de stockage, 10× moins de temps d’entraînement, qualité comparable sur la plupart des tâches.

Les adaptateurs LoRA sont minuscules (~Mo au lieu de Go), portables entre déploiements et empilables — vous pouvez hot-swap plusieurs adaptateurs sur un seul modèle de base.

How osFoundry approaches LoRA

osFoundry entraîne les adaptateurs LoRA en minutes-à-heures, les enregistre dans votre catalogue de modèles, et les hot-swap sur les endpoints de modèles de base au moment de l’inférence — de nombreux comportements spécialisés sur un seul GPU partagé.