osFoundry / Platform
热切换 LoRA
在 50ms 内为运行中的基础模型热切换 LoRA 适配器。不同人格,同一权重。
简介
Hot-swap LoRA 让你在不重新加载基础模型的情况下，用不到 50 毫秒的时间在多个微调后的模型人格之间切换。LoRA（Low-Rank Adaptation）适配器是一小组权重增量，通常只有几兆字节，它把一个大得多的基础模型导向特定的语气、任务或领域。由于适配器极小、基础权重又是共享的，你可以让一个基础模型常驻内存，像改一项设置那样迅速地在几十个适配器之间跳转。人格各异，权重相同。\n\n在 osFoundry 内部，这一切完全在你的设备上运行。osFoundry 是一个 local-first 的桌面 AI 工作区，它的本地运行时让基础模型常驻内存，适配器则在其之上随取随卸。从磁盘加载一个几兆字节大小的全新模型需要数秒，还要完整地预热 GPU；而把 LoRA 适配器叠到已加载的权重上则跳过了这一切，不到 50 毫秒的数字正来源于此。你把一个聊天、一个 agent 或一个流水线角色指向某个适配器，下一条消息就会经由那个人格来处理，无论是客服口吻、代码审查者，还是法律摘要风格，都无需拆解并重建模型。再切换一次，你会以同样的速度回到基础模型或转到另一个适配器。\n\n这之所以重要，是因为它几乎零成本地把一个下载好的基础模型变成一整架专家。你不必为每个人格单独购买、下载或往 GPU 里加载一个模型；而且由于 osFoundry 采用 bring-your-own-key 并坚持 local-first，既没有按席位收费，也没有推理上的转售加价：基础模型和适配器由你自备，推理始终留在你的机器上。它非常契合每个 agent 都需要各自行为的多 agent 场景，也契合那些对隐私敏感、驱动每个人格的数据绝不应离开设备的工作。
主要功能
- 在已加载的基础模型上，不到 50 毫秒即可热切换 LoRA 适配器，无需重新加载数 GB 的基础权重
- 让一个基础模型常驻内存，在其之上叠加多个低秩适配器，于是切换人格只是一次指针替换，而非冷启动
- 在 osFoundry 的本地运行时中让每个人格都在设备上运行，你的 prompt、适配器和输出都不会离开本机
- 为每个 agent、聊天或流水线角色分配不同的微调适配器，并在会话进行中随时切换
- 自备你自己的基础模型和适配器，既无按席位收费，也无推理上的转售加价
使用场景
- 独立开发者：让一个 7B 基础模型保持加载，在标签页之间切换编码适配器、写作适配器和摘要适配器，每次都无需等待模型重新加载
- 多 agent 编排者：为流水线中的每个 agent 分配各自的微调 LoRA，让研究者、评论者和编辑者各自以自己的口吻，在同一份共享基础权重之上运行
- 注重隐私的团队：把领域专用的人格完全放在设备上运行，让塑造每个人格的敏感 prompt 与输出绝不离开本地机器
常见问题
为什么热切换 LoRA 适配器比加载另一个模型更快？
加载另一个模型要从磁盘读取数 GB 权重并预热 GPU，需要数秒。而 LoRA 适配器只是几兆字节的低秩增量，叠加在已经常驻内存的基础权重之上，因此这次切换只是一次很小的内存内操作，而非冷启动，在 osFoundry 的本地运行时中不到 50 毫秒。
每个人格都需要一个单独的基础模型吗？
不需要。这正是这个功能的意义所在。一个基础模型保持加载，每个人格只是叠在同一份权重之上的不同适配器。你只需下载并保存基础模型一次，之后备着一架小小的适配器在它们之间切换，而不必为每个人格存储并往 GPU 加载一整个模型。
适配器切换是在我的机器上，还是在云端进行？
在你的机器上。osFoundry 是 local-first 的桌面工作区，通过其设备端运行时运行本地模型，因此基础模型、适配器，以及流经每个人格的数据都留在你的设备上。它采用 bring-your-own-key，既无按席位收费，也无推理上的加价。