osFoundry / Platform
本地服务器
在您的机器或工作站上运行本地推理。路由是自动的——Maestro 能选本地时就选本地。
简介
本地服务器让你在自己的机器上运行 AI 推理，而不必把每个请求都发往托管 API。osFoundry 内置了一个本地推理服务器，它从你 Mac 或工作站上的某个文件夹加载 GGUF 格式的模型文件，并向应用的其余部分提供服务。由于模型跑在你已有的硬件上，本地运行按 token 计费为零，无需 API 密钥，提示词及其数据都留在设备内。当内容涉及隐私、受监管，或只是你不希望它离开公司时，这一点尤为重要。\n\n在 osFoundry 内部，Maestro 是决定每个请求去向的路由层。路由是自动的：只要请求落在你机器能处理的范围内，Maestro 就选择本地服务器；只有当任务需要本地模型无法胜任的能力时，它才会（用你自己的密钥）转向云端模型。你不必逐条消息去接线，这是一条贯穿聊天、智能体和流水线角色的常驻策略。你可以在设置面板中掌控本地运行时：把多少 transformer 层卸载到 GPU、上下文窗口大小、KV 缓存的量化方式（f16、bf16、q8_0、q4_0 等）、并行请求槽的数量，以及在多 GPU 机器上如何把模型拆分到各设备。\n\n这一点之所以重要，是因为多数「工作区内的 AI」产品只给你一个数据去处：它们自己的服务器。osFoundry 从设计之初就是 BYOK 且本地优先。本地服务器正是这一设计的底座：它不产生费用，不暴露任何东西，对你硬件能跑的模型还能离线工作；而你的 BYOK 云端密钥就紧挨在旁，用来应对更重的任务。一个工作区，两条路径，两者都没有按席位收费，也没有转售加价。
主要功能
- 通过内置的 llama.cpp 推理服务器，直接在你的 Mac 或工作站上运行 GGUF 模型，本地运行无需往返云端，也不需要 API 密钥
- Maestro 自动路由每一轮，只要请求合适就选择本地服务器，仅在任务确实需要时才转向云端模型
- 在界面中调优本地运行时：GPU 卸载层数、上下文大小、KV 缓存类型（f16/q8_0/q4_0 等）、并行槽位以及多 GPU 拆分
- 本地运行时把提示词和数据留在你的设备上，隐私或受监管的内容绝不离开这台机器
- 与你的 BYOK 云端密钥同处一个工作区：聊天、智能体、应用、代码与知识都能在不切换工具的情况下取用本地或云端
使用场景
- 注重隐私的工程师：运行本地 GGUF 模型，让包含合同和代码库的提示词绝不离开工作站，仅在偶尔遇到更难的查询时才让 Maestro 升级到云端密钥
- 预算有限的独立开发者：把日常聊天和智能体工作都压在本地推理上，把按 token 的云端花费压到接近零，并将 GPU 卸载和上下文大小调到适配单台笔记本
- 工作站进阶用户：把大模型拆分到多块 GPU，并调高并行槽位以同时服务多个智能体，全程都在设备上完成
常见问题
在本地运行模型需要 API 密钥吗？
不需要。本地运行使用你自己机器上的模型文件和内置推理服务器，因此不按 token 计费，也无需密钥。只有当 Maestro 把某个请求路由到云端模型时你才需要密钥，而那把密钥是你自己的：osFoundry 不转售访问权限，也不加价。
osFoundry 如何在本地与云端之间做决定？
路由由 Maestro 自动处理。只要请求落在你机器能运行的范围内，它就优先用本地服务器；只有当任务需要时才回退到云端模型。你负责配置本地运行时（GPU 层数、上下文大小、缓存类型），但不必逐条消息手动路由。
本地服务器支持哪些模型和硬件？
它从你机器上的某个文件夹加载 GGUF 格式的模型，并通过 llama.cpp 风格的运行时提供服务。你可以把层卸载到 GPU，按内存调整上下文窗口和 KV 缓存量化，运行多个并行请求槽，并拆分到多块 GPU。具体哪些模型跑得顺畅，取决于你的 RAM、VRAM 和 CPU。