What is 自托管（Self-hosting）?

自托管是指在您自己控制的基础设施上运行 LLM——您的笔记本电脑、您的数据中心，或您预置的专属 GPU。osFoundry 的自托管运行时支持一键部署 76,000 个开放权重模型中的任一个。

Detail

自托管 LLM 让您完全掌控权重、运行时、路由和数据流。代价是您（或您的平台）需要承担基础设施运维。常见自托管理由：隐私、数据驻留、规模化下的成本可预测性，或运行无 API 提供的模型。

自托管仅适用于开放权重模型。专有模型（GPT-4、Claude）只能通过 API 访问。

osFoundry 消除了自托管的集成负担：内置推理服务器、一键模型安装、工作空间级路由、无需 llama.cpp 配置。本地硬件、我们的云、或您自己的 GPU 服务器——按模型自选。