Name: llama-7b-hf-32768-fpf-gguf
Author: Chemin-AI

Question 1

llama-7b-hf-32768-fpf-ggufは無料で使えますか？

Accepted Answer

llama-7b-hf-32768-fpf-ggufはご自身のハードウェアでローカル実行する場合は無料です。osFoundry経由のホスティングアクセスは従量課金（入力 Free (local)、出力 Free (local)）となります。ローカルとホスティングはいつでも切り替えられます。

Question 2

llama-7b-hf-32768-fpf-ggufを商用利用できますか？

Accepted Answer

条件付きで商用利用が許可されています。 ライセンス条件が明示されていません。商用利用の前に上流のモデルカードをご確認ください。 上流のドキュメントをご確認ください。

Question 3

llama-7b-hf-32768-fpf-ggufに必要なVRAMはどれくらいですか？

Accepted Answer

Q4量子化で約5 GB、フルFP16精度で約17 GBが目安です。24GBのコンシューマー向けGPU1枚で動作します。

Question 4

llama-7b-hf-32768-fpf-ggufをローカルで実行できますか？

Accepted Answer

はい。llama-7b-hf-32768-fpf-ggufはオープンウェイトで、ワークステーション向けGPUでローカル実行できます。osFoundryのローカルランタイムがモデルのロード、量子化、ルーティングを処理します。

Question 5

llama-7b-hf-32768-fpf-ggufが最も得意なことは何ですか？

Accepted Answer

llama-7b-hf-32768-fpf-ggufは低レイテンシのチャットとルーティング, リクエストのルーティングとトリアージ, テキスト分類に適しています。

Question 6

osFoundryでllama-7b-hf-32768-fpf-ggufをどう使えばよいですか？

Accepted Answer

キーダイアログでChemin-AI APIキーを貼り付け（セルフホスト可能なモデルの場合はオープンウェイトをデプロイ）、パイプラインタブでllama-7b-hf-32768-fpf-ggufをMaestroのロールに割り当てれば、チャット、invokeAI経由のRoom App、ご自身のアプリから利用できます。