What is LoRA?

Abbreviation: LoRA

LoRA (Low-Rank Adaptation, низкоранговая адаптация) тонко настраивает только небольшое количество «адаптерных» параметров поверх замороженной базовой модели, резко снижая стоимость обучения. osFoundry тонко настраивает любую из более 60 базовых моделей с открытыми весами с LoRA через UI-процесс — никакого ноутбука не требуется.

Detail

Вместо обновления всех параметров модели во время тонкой настройки (медленно, требует много памяти), LoRA вставляет небольшие обучаемые матрицы в слои attention. Базовая модель остаётся замороженной; обучаются только веса адаптера. Результат: в 100–1000 раз меньше хранилища, в 10 раз меньше времени обучения, сопоставимое качество на большинстве задач.

Адаптеры LoRA крошечные (~МБ вместо ГБ), переносимы между развёртываниями и стекаются — можно горячо менять несколько адаптеров на одной базовой модели.

How osFoundry approaches LoRA

osFoundry обучает адаптеры LoRA за минуты или часы, регистрирует их в каталоге моделей и горячо меняет их на эндпоинтах базовых моделей во время инференса — много специализированных поведений на одном общем GPU.