ホーム / 用語集 / セルフホスティング

What is セルフホスティング?

セルフホスティングとは、自身が制御するインフラ(ノートPC、データセンター、自身でプロビジョニングした専用GPUなど)でLLMを動かすことです。osFoundryのセルフホストランタイムは76,000のオープンウェイトモデルをワンクリックでサポートします。

Detail

LLMをセルフホストすることで、重み、ランタイム、ルーティング、データフローをすべて制御できます。トレードオフとして、自身(またはプラットフォーム)がインフラ運用を担います。セルフホストする理由としては、プライバシー、データレジデンシー、規模におけるコスト予測性、API提供のないモデルを動かしたい、などが挙げられます。

セルフホストはオープンウェイトモデルでのみ機能します。独自モデル(GPT-4、Claude)はAPI経由のみです。

How osFoundry approaches セルフホスティング

osFoundryはセルフホストの統合コストを圧縮します。組み込み推論サーバー、モデルのワンクリックインストール、ワークスペース全体のルーティング、llama.cppのセットアップ不要。ローカルハードウェア、当社のクラウド、または自前のGPUサーバーをモデルごとに選べます。