What is LoRA（低秩自适应）?

Abbreviation: LoRA

LoRA（低秩自适应）只在冻结的基础模型之上微调少量「适配器」参数，从而大幅降低训练成本。osFoundry 通过 UI 流程对 60 多个开放权重基础模型进行 LoRA 微调，无需任何 notebook。

Detail

传统微调会更新所有模型参数（缓慢且耗内存），而 LoRA 则在注意力层中插入小型可训练矩阵。基础模型保持冻结，仅训练适配器权重。结果：存储减少 100 至 1000 倍，训练时间减少 10 倍，多数任务上质量相当。

LoRA 适配器很小（MB 级而非 GB 级），可在不同部署间移植，并可叠加——您可以在一个基础模型上热切换多个适配器。

osFoundry 可在数分钟到数小时内训练 LoRA 适配器，将其注册到您的模型目录，并在推理时热切换到基础模型端点——同一张共享 GPU 上承载多种专门化行为。