首页 / 功能 / 训练与微调

在 osFoundry 上训练并微调 AI 模型

用 LoRA 在您的数据上微调 Llama、Mistral 或 Qwen。量化以降低推理成本。运行时热切换适配器。

osFoundry 让您用 LoRA 在自己的数据上微调任意开放权重 LLM，将结果量化以实现低成本推理，并在运行时热切换适配器——全部都在工作空间内完成。训练任务可在本地 GPU、osFoundry 云或您自己的基础设施上运行。您训练的模型可立即供 Maestro 以及工作空间内所有 Room App 使用。

Quick answer

对 Llama 3、Mistral、Qwen 及 60 多个其他基础模型进行 LoRA 微调——UI 驱动，无需 notebook。
三条训练路径：本地 GPU、osFoundry 云，或自带服务器。
将训练好的适配器量化至 Q4/Q5 以实现低成本推理。
按请求热切换 LoRA 适配器——无需重新加载模型，亚秒级切换。

What it is

大多数 AI 平台要么把您锁定在托管模型上，要么甩给您一个 notebook。osFoundry 的训练流水线则是工作空间原生的：选择基础模型，指向数据集（您的知识库、公开数据集或上传文件），选择 LoRA 秩，然后启动。训练好的适配器会自动注册到您的模型目录，训练完成的那一刻即可从 Maestro 路由。

Key capabilities

对 60 多个开放权重基础模型进行 LoRA + QLoRA 微调。
适配器下载——从 osFoundry 取出 .safetensors，在别处部署。
一键量化为 Q4_K_M、Q5_K_M、Q6_K、FP16。
在单个基础模型上热切换最多 16 个活动 LoRA 适配器。
在您的知识库、上传的 JSONL/CSV，或 25 万个公开数据集中的任意一个上训练。
每个任务可选三种训练路径：本地 GPU、osFoundry 云，或您自己的基础设施。

How to do it in osFoundry

挑选基础模型 — 浏览 /community/models，筛选开放权重（Llama、Mistral、Qwen、Phi 等），选择与目标 GPU 匹配的规模。
指向数据集 — 选择一个知识库（自动格式化为指令对）、上传 JSONL/CSV，或从目录中索引的 25 万个公开数据集中挑选。
选择训练配置 — LoRA 秩（8/16/32/64）、学习率、轮数、目标模块。已提供合理默认值，可在此基础上调优。
选择训练地点 — 本地 GPU（免费）、osFoundry 云（按秒 GPU 定价），或 BYO 基础设施（将任务推送到您自己的集群）。
上线适配器 — 训练完成后，适配器会自动注册到您的模型目录。热切换到基础模型端点，几分钟内即可开始路由请求。

How osFoundry compares

Capability	osFoundry	Most other tools
训练 UI	工作空间原生——无 notebook，无命令行。	需要 notebook 或 CLI。
适配器导出	一键下载 .safetensors，附带训练配置。	被厂商锁定，或需手动导出。
运行位置	本地 GPU、我们的云，或您自己的基础设施。	单一场所，固定定价。
训练后路由	适配器立即可从 Maestro 和 Room App 路由。	手动将其接入您的应用代码。

Use cases

客户支持团队: 在 18 个月的支持工单上微调 Mistral 7B。智能体以您的语气作答、引用您的产品，并保持品牌一致。
法务运营: 用标注的合同语料训练 Llama 3.1 8B，以您律所的风格审改新合同。保留在本地；适配器永不离开工作空间。
游戏工作室: 在您的 IP 圣经上对 Qwen 14B 进行 LoRA 微调，用于游戏内 NPC 对话。在一个共享基础模型上为每个角色热切换不同的 LoRA，以保持各自独特的声音。

Frequently asked questions

osFoundry 上的一次 LoRA 微调需要多久？

在单卡 A100 上，7B 模型在 5 万行数据集上约需 30 分钟。70B 约需 3 小时。本地 M2/M3 Mac 处理 7B 约需 2 小时。

我能从 osFoundry 导出 LoRA 适配器吗？

可以——每个训练好的适配器都可作为 .safetensors 下载，并附带训练配置。无锁定。

osFoundry 支持完整微调而不仅是 LoRA 吗？

目前推荐 LoRA + QLoRA。对 7B 以上模型的完整微调在路线图中；目前如有需要请使用 BYO 基础设施。

我能在哪些数据集上训练？

您的知识库（自动格式化为指令对）、上传的 JSONL/CSV/parquet，或从 HuggingFace 索引的 25 万个公开数据集。

训练成本是多少？

本地训练免费（使用您的硬件）。云端训练按 GPU 时间秒计费，与推理端点费率相同。在 A100 上一次 7B LoRA 大约 2 至 3 美元；70B 为 20 至 30 美元。

我能恢复中断的训练任务吗？

可以——每隔 N 步会保存检查点（可配置）。恢复时从最近的检查点继续，而非从零开始。

Pricing

本地训练：免费（使用您的硬件）。云端训练：按 GPU 时间秒计费，与推理端点费率相同（A10 / A100 / H100）。适配器存储按工作空间文件存储计量。