首页 / 术语表 / 基础模型

What is 基础模型（Base Model）?

基础模型是指尚未经过任何任务特定微调或 RLHF 的预训练 LLM。osFoundry 将基础模型作为微调（LoRA / QLoRA）的起点，也可在无需专门行为时作为直接对话后端。

Detail

基础模型由在大型文本语料上的初始训练产出。它们能预测下一个 token，但通常并不善于遵循指令——这正是微调要补足的能力。例如 Llama 3.1（base）就是其指令微调版本之前的版本。

大多数对话应用更适合使用指令微调版本。基础模型则适合作为您自己 LoRA 微调的起点——相比已经微调过的模型，它们更容易接受新行为。

osFoundry 的训练流水线支持对 60 多个受支持基础模型中的任一个进行微调。选择基础模型，指向数据集，训练，路由。训练完成的那一刻，适配器即被自动注册并可从 Maestro 路由。