Llama 3.1 Euryale 70B v2.2
Sao10K 的 Llama 3.1 Euryale 70B v2.2 是一款 对话模型。Euryale L3.1 70B v2.2 is a model focused on creative roleplay from [Sao10k](https://ko-fi.com/sao10k). It is the successor of [Euryale L3 70B v2.1](/models/sao10k/l3-euryale-70b).
by Sao10K · 131K token 上下文窗口
最佳适用场景
在 osFoundry 中使用 Llama 3.1 Euryale 70B v2.2 的方式
使用您自己的密钥接入(BYOK)
打开密钥对话框并粘贴您的 Sao10K API 密钥。osFoundry 会自动发现 Llama 3.1 Euryale 70B v2.2——在 Pipeline 标签中将其分配给 Maestro 角色(router、direct、orchestrator 或 fallback),即可在每次对话中启用。您的密钥、您的服务商账户——零 token 加价。
在 Room App 中使用
Room App 在 manifest 中声明 AI 功能,然后通过 invokeAI 调用:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
从您自己的应用中调用
模型接入工作区后,您可将其托管为 API,并从您自己的服务、脚本或 CI 中(osFoundry 之外)访问。
自行运行 Llama 3.1 Euryale 70B v2.2
Llama 3.1 Euryale 70B v2.2 也以开源权重形式提供——自行托管,实现完全的数据自主并免除按 token 计费的成本。请查阅该页面了解 GPU 需求以及与 API 定价的成本对比。
Llama 3.1 Euryale 70B v2.2 与同类模型对比
许可证
Hosted — usage subject to provider terms — 仅托管模型——使用受服务商 API 条款约束。请使用您自己的服务商密钥。
不分发权重;使用受服务商条款约束。
关于 Llama 3.1 Euryale 70B v2.2 的常见问题
Llama 3.1 Euryale 70B v2.2 的费用是多少?
Llama 3.1 Euryale 70B v2.2 按输入 $ 0.850 /1M、输出 $ 0.850 /1M计费。使用您自己的 Sao10K API 密钥——osFoundry 透传服务商定价,不加价。
我可以将 Llama 3.1 Euryale 70B v2.2 用于商业用途吗?
允许有条件的商业使用。 仅托管模型——使用受服务商 API 条款约束。请使用您自己的服务商密钥。 不分发权重;使用受服务商条款约束。
Llama 3.1 Euryale 70B v2.2 的上下文窗口有多大?
Llama 3.1 Euryale 70B v2.2 支持 131K token 的上下文窗口。
我可以在本地运行 Llama 3.1 Euryale 70B v2.2 吗?
不可以——Llama 3.1 Euryale 70B v2.2 仅以托管方式提供,通过 Sao10K API 访问。 存在可自行托管的开源权重等效模型——请参见上方的交叉链接。
Llama 3.1 Euryale 70B v2.2 最擅长什么?
Llama 3.1 Euryale 70B v2.2 非常适合低延迟对话与路由, 请求路由与分诊, 文本分类。
如何在 osFoundry 中使用 Llama 3.1 Euryale 70B v2.2?
在密钥对话框中粘贴您的 Sao10K API 密钥(若为可自托管的开源权重模型,则部署其权重),在 Pipeline 标签中将 Llama 3.1 Euryale 70B v2.2 分配给某个 Maestro 角色,然后即可在对话、通过 invokeAI 的 Room App 或您自己的应用中使用。
由 Sao10K 发布,发布日期 2024年8月28日。 来源:https://openrouter.ai/sao10k/l3.1-euryale-70b