首页 / 术语表 / LLM
What is 大语言模型（Large Language Model）?
Abbreviation: LLM
大语言模型（LLM）是在海量文本语料上训练的神经网络，通过预测下一个 token 生成流畅的自然语言输出。osFoundry 可在 100 多个 LLM 之间路由请求，覆盖任意提供方——本地、云端或自托管。
Detail
LLM 是基于 Transformer 的神经网络，参数规模从约 10 亿到超过 1 万亿不等。它们驱动着当今的对话、代码生成、摘要、翻译以及大多数智能体 AI。质量取决于训练数据、架构和后训练手段（RLHF、DPO）。
LLM 有两种分发模式：闭源（仅通过 API 访问，例如 GPT-4、Claude）和开放权重（可下载并自托管，例如 Llama、Mistral、Qwen）。osFoundry 目录收录了 76,000 个开放权重模型，外加 364 个托管 API 模型。
How osFoundry approaches 大语言模型（Large Language Model）
osFoundry 将每一个 LLM 都视为可互换的后端。可通过 BYOK 接入托管模型，可安装开放权重模型进行本地推理，也可部署专属 GPU 端点以获得预留算力。Maestro 根据您在 osStudio 中定义的规则按请求路由。
FAQ
osFoundry 与 LLM 是什么关系？
osFoundry 是位于 LLM 之上的编排层。它本身不制造 LLM，而是让您在一个工作空间内将请求路由到本地、云端和自托管的各种 LLM。
哪个 LLM 最好？
没有任何一个 LLM 能在所有任务上都最佳。osFoundry 让您按工作负载对不同 LLM 进行 A/B 测试，并据此路由。
我能在一次对话中使用多个 LLM 吗？
可以。Maestro 可以根据 osStudio 路由规则在对话中途切换模型。
Related terms
Related features