Llama 3 Euryale 70B v2.1
由 Sao10k 打造,Llama 3 Euryale 70B v2.1 是一款 对话模型,配备 8K token 上下文窗口。Euryale 70B v2.1 is a model focused on creative roleplay from [Sao10k](https://ko-fi.com/sao10k). - Better prompt adherence. - Better anatomy / spatial awareness. - Adapts much better to unique and custom...
by Sao10k · 8K token 上下文窗口
最佳适用场景
在 osFoundry 中使用 Llama 3 Euryale 70B v2.1 的方式
使用您自己的密钥接入(BYOK)
打开密钥对话框并粘贴您的 Sao10k API 密钥。osFoundry 会自动发现 Llama 3 Euryale 70B v2.1——在 Pipeline 标签中将其分配给 Maestro 角色(router、direct、orchestrator 或 fallback),即可在每次对话中启用。您的密钥、您的服务商账户——零 token 加价。
在 Room App 中使用
Room App 在 manifest 中声明 AI 功能,然后通过 invokeAI 调用:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
从您自己的应用中调用
模型接入工作区后,您可将其托管为 API,并从您自己的服务、脚本或 CI 中(osFoundry 之外)访问。
自行运行 Llama 3 Euryale 70B v2.1
Llama 3 Euryale 70B v2.1 也以开源权重形式提供——自行托管,实现完全的数据自主并免除按 token 计费的成本。请查阅该页面了解 GPU 需求以及与 API 定价的成本对比。
Llama 3 Euryale 70B v2.1 与同类模型对比
许可证
Hosted — usage subject to provider terms — 仅托管模型——使用受服务商 API 条款约束。请使用您自己的服务商密钥。
不分发权重;使用受服务商条款约束。
关于 Llama 3 Euryale 70B v2.1 的常见问题
Llama 3 Euryale 70B v2.1 的费用是多少?
Llama 3 Euryale 70B v2.1 按输入 $ 1.48 /1M、输出 $ 1.48 /1M计费。使用您自己的 Sao10k API 密钥——osFoundry 透传服务商定价,不加价。
我可以将 Llama 3 Euryale 70B v2.1 用于商业用途吗?
允许有条件的商业使用。 仅托管模型——使用受服务商 API 条款约束。请使用您自己的服务商密钥。 不分发权重;使用受服务商条款约束。
Llama 3 Euryale 70B v2.1 的上下文窗口有多大?
Llama 3 Euryale 70B v2.1 支持 8K token 的上下文窗口。
我可以在本地运行 Llama 3 Euryale 70B v2.1 吗?
不可以——Llama 3 Euryale 70B v2.1 仅以托管方式提供,通过 Sao10k API 访问。 存在可自行托管的开源权重等效模型——请参见上方的交叉链接。
Llama 3 Euryale 70B v2.1 最擅长什么?
Llama 3 Euryale 70B v2.1 非常适合低延迟对话与路由, 请求路由与分诊, 文本分类。
如何在 osFoundry 中使用 Llama 3 Euryale 70B v2.1?
在密钥对话框中粘贴您的 Sao10k API 密钥(若为可自托管的开源权重模型,则部署其权重),在 Pipeline 标签中将 Llama 3 Euryale 70B v2.1 分配给某个 Maestro 角色,然后即可在对话、通过 invokeAI 的 Room App 或您自己的应用中使用。
由 Sao10k 发布,发布日期 2024年6月18日。 来源:https://openrouter.ai/sao10k/l3-euryale-70b