osFoundry / Platform
Hot-swap LoRA
Меняйте LoRA-адаптеры на работающей базовой модели быстрее 50 мс. Разные персоны, те же веса.
Что это
Hot-swap LoRA позволяет переключаться между дообученными «личностями» модели меньше чем за 50 миллисекунд, не перезагружая базовую модель. LoRA-адаптер (Low-Rank Adaptation) — это небольшой набор дельт весов, обычно всего несколько мегабайт, который направляет куда более крупную базовую модель к нужному тону, задаче или предметной области. Поскольку адаптер крошечный, а веса базы общие, вы можете держать одну базовую модель в памяти и перескакивать между десятками адаптеров так же быстро, как меняете настройку. Разные персоны, одни и те же веса.\n\nВнутри osFoundry всё это выполняется целиком на вашем устройстве. osFoundry — это настольное AI-рабочее пространство с подходом local-first, и его локальная среда выполнения держит базовую модель резидентно в памяти, пока адаптеры подключаются и отключаются поверх неё. Загрузка новой модели в несколько гигабайт с диска занимает секунды и требует полного прогрева GPU; наложение LoRA-адаптера на уже загруженные веса пропускает всё это, отсюда и цифра меньше 50 мс. Вы направляете чат, агента или роль в конвейере на адаптер, и следующее сообщение проходит через эту персону, будь то голос клиентской поддержки, ревьюер кода или стиль юридических сводок, без разборки и повторной сборки модели. Переключитесь снова, и вы так же быстро вернётесь к базе или перейдёте на другой адаптер.\n\nЭто важно, потому что один скачанный базовый модель превращается в целую полку специалистов почти без затрат. Вы не платите за отдельную модель на каждую персону, не скачиваете её и не грузите в GPU, а поскольку osFoundry работает по принципу bring-your-own-key и local-first, здесь нет платы за место и нет реселлерской наценки на инференс: базовую модель и адаптеры предоставляете вы, а инференс остаётся на вашей машине. Это практично для мультиагентных схем, где каждому агенту нужно своё поведение, и для чувствительных к приватности задач, где данные, питающие каждую персону, не должны покидать устройство.
Ключевые возможности
- Меняйте LoRA-адаптеры на уже загруженной базовой модели меньше чем за 50 мс, не перезагружая многогигабайтные веса базы
- Держите одну базовую модель резидентно в памяти и наслаивайте поверх множество низкоранговых адаптеров, так что смена персоны стоит замены указателя, а не холодного старта
- Запускайте каждую персону на устройстве в локальной среде выполнения osFoundry, так что ваши промпты, адаптеры и выводы никогда не покидают вашу машину
- Назначайте отдельный дообученный адаптер каждому агенту, чату или роли в конвейере и переключайтесь между ними прямо посреди сессии
- Приносите свои базовые модели и свои адаптеры, без платы за место и без реселлерской наценки на инференс
Сценарии использования
- Разработчик-одиночка: держит загруженной одну базовую модель на 7B и переключается между адаптером для кода, адаптером для текста и адаптером-суммаризатором по вкладкам, не дожидаясь перезагрузки модели каждый раз
- Оркестратор мультиагентов: назначает каждому агенту в конвейере отдельный дообученный LoRA, так что исследователь, критик и редактор работают каждый своим голосом поверх одних и тех же общих весов базы
- Команда, заботящаяся о приватности: запускает узкоспециализированные персоны полностью на устройстве, так что чувствительные промпты и выводы, формирующие каждую персону, никогда не покидают локальную машину
Часто задаваемые вопросы
Почему горячая замена LoRA-адаптера быстрее, чем загрузка другой модели?
Загрузка другой модели считывает с диска многогигабайтные веса и прогревает GPU, а это занимает секунды. LoRA-адаптер — это всего несколько мегабайт низкоранговых дельт, которые накладываются поверх весов базы, уже находящихся в памяти, поэтому замена — это небольшая операция в памяти, а не холодный старт: меньше 50 мс в локальной среде выполнения osFoundry.
Нужна ли мне отдельная базовая модель для каждой персоны?
Нет. В этом и смысл функции. Одна базовая модель остаётся загруженной, а каждая персона — это лишь другой адаптатор поверх тех же весов. Вы скачиваете и храните базу один раз, а затем держите полку небольших адаптеров и переключаетесь между ними, вместо того чтобы хранить и грузить в GPU полную модель на каждую персону.
Замена адаптеров происходит на моей машине или в облаке?
На вашей машине. osFoundry — это настольное рабочее пространство с подходом local-first, оно запускает локальные модели через свою среду выполнения на устройстве, так что базовая модель, адаптеры и данные, проходящие через каждую персону, остаются на вашем устройстве. Это bring-your-own-key, без платы за место и без наценки на инференс.