osFoundry / Platform
ローカルサーバー
ローカル推論をマシンやワークステーションで実行。ルーティングは自動 ― Maestroは可能ならローカルを選びます。
概要
ローカルサーバーを使えば、すべてのリクエストをホスト型APIに送らず、手元のマシンでAI推論を動かせます。osFoundryにはローカル推論サーバーが同梱されており、MacやワークステーションのフォルダにあるGGUF形式のモデルファイルを読み込んで、アプリの各機能に提供します。すでに所有しているハードウェア上でモデルが動くため、ローカル実行はトークンあたりの費用がかからず、APIキーも不要で、プロンプトとそのデータは端末内に留まります。内容が機密であったり、規制対象であったり、あるいは単に社外へ出したくない場合に、この点が効いてきます。\n\nosFoundryの内部では、Maestroが各リクエストの行き先を決める振り分け層として働きます。振り分けは自動です。リクエストが手元のマシンで処理できる範囲に収まっていればMaestroはローカルサーバーを選び、ローカルモデルではまかなえない能力がタスクに必要なときだけ、自分のキーを使ってクラウドモデルに手を伸ばします。メッセージごとに設定する必要はなく、チャット、エージェント、パイプラインの各ロールに常時適用される方針として働きます。ローカルランタイムの制御は設定パネルから行えます。GPUにオフロードするTransformer層の数、コンテキストウィンドウのサイズ、KVキャッシュの量子化方式（f16、bf16、q8_0、q4_0など）、並列リクエストのスロット数、そしてマルチGPU構成ではデバイス間でモデルをどう分割するかを調整できます。\n\nこの違いが意味を持つのは、多くの「ワークスペース内蔵AI」製品が、データの行き先をただ一つ、つまり自社サーバーだけに限っているからです。osFoundryは設計思想としてBYOKかつローカルファーストです。ローカルサーバーはその設計の土台であり、費用がかからず、何も外部にさらさず、手元のハードウェアで動かせるモデルについてはオフラインでも動きます。そのすぐ隣に、重い処理を任せるためのBYOKクラウドキーが並びます。ワークスペースは一つ、経路は両方あり、どちらにも席数課金も再販マージンもありません。
主な機能
- 内蔵のllama.cpp推論サーバーを通じて、GGUFモデルをMacやワークステーション上で直接実行。クラウドとの往復もなく、ローカル実行にAPIキーも不要
- Maestroが各ターンを自動で振り分け、リクエストが収まるならローカルサーバーを選び、タスクがクラウドモデルを必要とするときだけそちらへ切り替える
- ローカルランタイムをUIから調整。GPUオフロード層数、コンテキストサイズ、KVキャッシュの型（f16/q8_0/q4_0ほか）、並列スロット、マルチGPU分割まで設定できる
- ローカル実行ではプロンプトとデータを端末に留め、機密情報や規制対象の内容がマシンの外へ出ることはない
- BYOKのクラウドキーと同じワークスペースに同居。チャット、エージェント、アプリ、コード、ナレッジのどれもが、ツールを切り替えずローカルとクラウドの両方から動く
活用例
- プライバシーを重視するエンジニア: 契約書やコードベースを含むプロンプトがワークステーションの外へ出ないようローカルGGUFモデルを走らせ、まれに難しい問い合わせが来たときだけMaestroにクラウドキーへ切り替えさせる
- 予算を抑える個人開発者: 日常のチャットやエージェント作業をローカル推論に寄せてクラウドのトークン費用をほぼゼロに保ち、GPUオフロードとコンテキストサイズを一台のノートPCに合わせて調整する
- ワークステーションを使い込むパワーユーザー: 大きなモデルを複数GPUに分割し、並列スロットを増やして複数のエージェントを同時にさばく。すべて端末上で完結する
よくある質問
モデルをローカル実行するのにAPIキーは必要ですか
不要です。ローカル実行は手元のマシンにあるモデルファイルと内蔵の推論サーバーを使うため、トークン課金は発生せず、キーもいりません。キーが必要になるのはMaestroがリクエストをクラウドモデルに振り分けるときだけで、そのキーはあなた自身のものです。osFoundryがアクセスを再販したりマージンを上乗せしたりすることはありません。
osFoundryはローカルとクラウドをどう使い分けますか
Maestroが振り分けを自動で処理します。リクエストが手元のマシンで動かせる範囲に収まっていればローカルサーバーを優先し、タスクがクラウドモデルを必要とするときだけそちらへ切り替えます。ローカルランタイム（GPU層、コンテキストサイズ、キャッシュ型）は設定できますが、メッセージごとに手動で振り分ける必要はありません。
ローカルサーバーはどんなモデルやハードウェアに対応していますか
手元のマシンのフォルダからGGUF形式のモデルを読み込み、llama.cpp系のランタイムを通じて提供します。層をGPUにオフロードし、メモリに合わせてコンテキストウィンドウとKVキャッシュの量子化を調整し、複数の並列リクエストスロットを走らせ、複数GPUに分割できます。どのモデルが快適に動くかは、RAM、VRAM、CPUによって決まります。