Главная / Глоссарий / Базовая модель

What is Базовая модель (Base Model)?

Базовая модель — это предобученная LLM до какой-либо тонкой настройки для задачи или RLHF. osFoundry рассматривает базовые модели как отправную точку для тонкой настройки (LoRA / QLoRA) и как прямой чат-бэкенд, когда не требуется специализированное поведение.

Detail

Базовые модели создаются в ходе первоначального обучения на большом текстовом корпусе. Они предсказывают следующие токены, но обычно плохо следуют инструкциям — это то, что добавляет тонкая настройка. Примеры включают Llama 3.1 (базовая) до её варианта с настройкой на инструкции.

Для большинства чат-приложений вам нужна версия с настройкой на инструкции. Базовые модели полезны как отправная точка для собственной тонкой настройки LoRA — они принимают новое поведение более охотно, чем уже настроенные модели.

How osFoundry approaches Базовая модель (Base Model)

Конвейер обучения osFoundry позволяет тонко настраивать любую из более 60 поддерживаемых базовых моделей. Выберите базу, укажите свой набор данных, обучите, маршрутизируйте. Адаптер автоматически регистрируется и доступен для маршрутизации из Maestro в момент завершения.