Llama 3.3 70B
Llama 3.3 70B（Meta, 2024）は70億パラメータのチャットモデルです。Meta's flagship open-weights chat model. Strong reasoning, multilingual, instruction-tuned for dialog and agentic workflows.
by Meta · 70Bパラメータ · 128Kトークンのコンテキストウィンドウ
得意な用途
- 一般的なチャットとQ&A
- ツール利用を伴うエージェントオーケストレーション
- 長文ドキュメントの分析と要約
- 多言語会話
osFoundryでのLlama 3.3 70Bの使い方
ご自身のキーで接続（BYOK）
キーダイアログを開き、MetaのAPIキーを貼り付けるだけで、osFoundryがLlama 3.3 70Bを自動的に検出します。パイプラインタブでMaestroのロール（router、direct、orchestrator、fallback）に割り当てれば、すべてのチャットですぐに利用できます。ご自身のキー・ご自身のプロバイダーアカウントで、トークン手数料は一切上乗せしません。
専用エンドポイントをデプロイ
Llama 3.3 70Bはオープンウェイトです。ローカルで無料で実行することも、ワークスペースに専用GPUエンドポイントをデプロイして、レート制限のない予約済み容量を確保することもできます。
Room Appで使う
Room Appはマニフェストで AI 機能を宣言し、invokeAIで呼び出します:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
ご自身のアプリから呼び出す
モデルをワークスペースに組み込めば、APIとしてホストして、osFoundryの外側にあるご自身のサービス・スクリプト・CIから呼び出すことができます。
Llama 3.3 70Bを動かせるハードウェア
Llama 3.3 70BはA100 80GBまたはH100 80GB 1枚（Q4量子化）で動作します（KVキャッシュの余裕を含めて約42 GBのVRAM）。フル精度推論はFP16では複数のH100/H200 GPUが必要です（約168 GB）。
Llama 3.3 70Bと類似モデルの比較
ライセンス
Llama 3.3 Community Licence — commercial use under 700M MAU — 月間アクティブユーザー7億人までの商用利用を認めます。それ以上の規模のデプロイには別途ライセンスが必要です。
"Built with Llama" の帰属表示が必要です。
Llama 3.3 70Bについてのよくある質問
Llama 3.3 70Bは無料で使えますか？
Llama 3.3 70Bはご自身のハードウェアでローカル実行する場合は無料です。osFoundry経由のホスティングアクセスは従量課金（入力 Free (local) / $ 0.59 /1M、出力 Free (local) / $ 0.79 /1M）となります。ローカルとホスティングはいつでも切り替えられます。
Llama 3.3 70Bを商用利用できますか？
条件付きで商用利用が許可されています。 月間アクティブユーザー7億人までの商用利用を認めます。それ以上の規模のデプロイには別途ライセンスが必要です。 "Built with Llama" の帰属表示が必要です。
Llama 3.3 70Bのコンテキストウィンドウはどれくらいですか？
Llama 3.3 70Bは128Kトークンのコンテキストウィンドウに対応しています。
Llama 3.3 70Bに必要なVRAMはどれくらいですか？
Q4量子化で約42 GB、フルFP16精度で約168 GBが目安です。A100/H100 80GB 1枚で動作します。
Llama 3.3 70Bをローカルで実行できますか？
はい。Llama 3.3 70Bはオープンウェイトで、ワークステーション向けGPUでローカル実行できます。osFoundryのローカルランタイムがモデルのロード、量子化、ルーティングを処理します。
Llama 3.3 70Bが最も得意なことは何ですか？
Llama 3.3 70Bは一般的なチャットとQ&A, ツール利用を伴うエージェントオーケストレーション, 長文ドキュメントの分析と要約に適しています。
osFoundryでLlama 3.3 70Bをどう使えばよいですか？
キーダイアログでMeta APIキーを貼り付け（セルフホスト可能なモデルの場合はオープンウェイトをデプロイ）、パイプラインタブでLlama 3.3 70BをMaestroのロールに割り当てれば、チャット、invokeAI経由のRoom App、ご自身のアプリから利用できます。
Metaにより公開（2024年12月6日）。