allknowingroger_-_Yi-pass-40B-gguf
由 RichardErkhov 打造，allknowingroger_-_Yi-pass-40B-gguf 是一款 40 十亿参数 对话模型。allknowingroger_-_Yi-pass-40B-gguf is an open-weights chat model with roughly 40 billion parameters.
by RichardErkhov · 40B 参数
最佳适用场景
在 osFoundry 中使用 allknowingroger_-_Yi-pass-40B-gguf 的方式
使用您自己的密钥接入（BYOK）
打开密钥对话框并粘贴您的 RichardErkhov API 密钥。osFoundry 会自动发现 allknowingroger_-_Yi-pass-40B-gguf——在 Pipeline 标签中将其分配给 Maestro 角色（router、direct、orchestrator 或 fallback），即可在每次对话中启用。您的密钥、您的服务商账户——零 token 加价。
部署专属端点
allknowingroger_-_Yi-pass-40B-gguf 为开源权重模型——可在本地免费运行，或在您的工作区部署专属 GPU 端点以获得无速率限制的预留算力。
在 Room App 中使用
Room App 在 manifest 中声明 AI 功能，然后通过 invokeAI 调用：
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
从您自己的应用中调用
模型接入工作区后，您可将其托管为 API，并从您自己的服务、脚本或 CI 中（osFoundry 之外）访问。
什么硬件可以运行 allknowingroger_-_Yi-pass-40B-gguf
allknowingroger_-_Yi-pass-40B-gguf 可在一张 24GB 消费级或工作站 GPU上运行（约 24 GB VRAM，含 KV-cache 余量）。全精度推理FP16 精度需要 H200 141GB 或 2x A100 80GB（约 96 GB）。
allknowingroger_-_Yi-pass-40B-gguf 与同类模型对比
| 模型 | 组织 | 参数量 | 上下文 | 输入价格 | 自行托管 |
|---|
| allknowingroger_-_Yi-pass-40B-gguf | RichardErkhov | 40B | — | Free (local) | 支持 |
| ALIA-40b-i1-GGUF | mradermacher | 40B | — | Free (local) | 支持 |
| Outlier-40B | Outlier-Ai | 40B | — | Free (local) | 支持 |
| evo2_40b | arcinstitute | 40B | — | Free (local) | 支持 |
许可证
未指定 — 许可证条款未指定——商业使用前请核对上游模型卡。
请查阅上游文档。
关于 allknowingroger_-_Yi-pass-40B-gguf 的常见问题
allknowingroger_-_Yi-pass-40B-gguf 可以免费使用吗？
allknowingroger_-_Yi-pass-40B-gguf 在您自己的硬件上本地运行时可免费使用。通过 osFoundry 的托管访问按用量计费（输入 Free (local)，输出 Free (local)）。您可随时在本地与托管方式之间切换。
我可以将 allknowingroger_-_Yi-pass-40B-gguf 用于商业用途吗？
允许有条件的商业使用。 许可证条款未指定——商业使用前请核对上游模型卡。 请查阅上游文档。
allknowingroger_-_Yi-pass-40B-gguf 需要多少 VRAM？
Q4 量化下约 24 GB，FP16 全精度下约 96 GB。可在单张 24GB 消费级 GPU 上运行。
我可以在本地运行 allknowingroger_-_Yi-pass-40B-gguf 吗？
可以。allknowingroger_-_Yi-pass-40B-gguf 为开源权重模型，可在工作站 GPU 上本地运行。osFoundry 的本地运行时负责模型加载、量化与路由。
allknowingroger_-_Yi-pass-40B-gguf 最擅长什么？
allknowingroger_-_Yi-pass-40B-gguf 非常适合低延迟对话与路由, 请求路由与分诊, 文本分类。
如何在 osFoundry 中使用 allknowingroger_-_Yi-pass-40B-gguf？
在密钥对话框中粘贴您的 RichardErkhov API 密钥（若为可自托管的开源权重模型，则部署其权重），在 Pipeline 标签中将 allknowingroger_-_Yi-pass-40B-gguf 分配给某个 Maestro 角色，然后即可在对话、通过 invokeAI 的 Room App 或您自己的应用中使用。
由 RichardErkhov 发布，发布日期 2024年10月20日。 来源：https://huggingface.co/RichardErkhov/allknowingroger_-_Yi-pass-40B-gguf