Llama 3.1 8B Instruct
Llama 3.1 8B Instruct(Meta, 2024)はチャットモデルです。Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient. It has demonstrated strong performance compared to...
by Meta · 16Kトークンのコンテキストウィンドウ
得意な用途
- 低レイテンシのチャットとルーティング
- リクエストのルーティングとトリアージ
- テキスト分類
osFoundryでのLlama 3.1 8B Instructの使い方
ご自身のキーで接続(BYOK)
キーダイアログを開き、MetaのAPIキーを貼り付けるだけで、osFoundryがLlama 3.1 8B Instructを自動的に検出します。パイプラインタブでMaestroのロール(router、direct、orchestrator、fallback)に割り当てれば、すべてのチャットですぐに利用できます。ご自身のキー・ご自身のプロバイダーアカウントで、トークン手数料は一切上乗せしません。
Room Appで使う
Room Appはマニフェストで AI 機能を宣言し、invokeAIで呼び出します:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
ご自身のアプリから呼び出す
モデルをワークスペースに組み込めば、APIとしてホストして、osFoundryの外側にあるご自身のサービス・スクリプト・CIから呼び出すことができます。
Llama 3.1 8B Instructと類似モデルの比較
ライセンス
Hosted — usage subject to provider terms — ホスティング専用モデル — 利用はプロバイダーのAPI規約に従います。ご自身のプロバイダーキーをお持ちください。
重みは配布されません。利用はプロバイダー規約に従います。
Llama 3.1 8B Instructについてのよくある質問
Llama 3.1 8B Instructの料金はいくらですか?
Llama 3.1 8B Instructは入力 $ 0.020 /1M、出力 $ 0.050 /1Mの従量課金です。ご自身のMeta APIキーをお持ちいただければ、osFoundryはプロバイダー価格をそのまま反映し、上乗せはありません。
Llama 3.1 8B Instructを商用利用できますか?
条件付きで商用利用が許可されています。 ホスティング専用モデル — 利用はプロバイダーのAPI規約に従います。ご自身のプロバイダーキーをお持ちください。 重みは配布されません。利用はプロバイダー規約に従います。
Llama 3.1 8B Instructのコンテキストウィンドウはどれくらいですか?
Llama 3.1 8B Instructは16Kトークンのコンテキストウィンドウに対応しています。
Llama 3.1 8B Instructをローカルで実行できますか?
いいえ、Llama 3.1 8B Instructはホスティング専用で、Meta API経由でのみ利用できます。
Llama 3.1 8B Instructが最も得意なことは何ですか?
Llama 3.1 8B Instructは低レイテンシのチャットとルーティング, リクエストのルーティングとトリアージ, テキスト分類に適しています。
osFoundryでLlama 3.1 8B Instructをどう使えばよいですか?
キーダイアログでMeta APIキーを貼り付け(セルフホスト可能なモデルの場合はオープンウェイトをデプロイ)、パイプラインタブでLlama 3.1 8B InstructをMaestroのロールに割り当てれば、チャット、invokeAI経由のRoom App、ご自身のアプリから利用できます。
Metaにより公開(2024年7月23日)。 出典: https://openrouter.ai/meta-llama/llama-3.1-8b-instruct