ホーム / 機能 / あらゆるモデルを実行

osFoundryであらゆるAIモデルを実行 — ローカル、クラウド、セルフホスト

任意のクラウドAPIへBYOK、ノートPCでオープンウェイトを実行、または専用GPUエンドポイントを展開 — すべてひとつのワークスペースから。

osFoundryはハイブリッドなAIオーケストレーションプラットフォームで、ひとつのワークスペースからあらゆるAIモデルを実行できます。ノートPC上のLlama、Qwen、Mistralといったオープンウェイトモデル、自身のAPIキー経由のClaude、GPT、Gemini、そして当社クラウド上の予約容量を持つ専用GPUエンドポイントまで。会話の途中でバックエンドを切り替え可能で、単一プロバイダーにロックインされず、モデルが実際に動いた秒数分だけ支払う形です。

要点

オープンウェイトモデルをosFoundryのオンデバイス推論ランタイムでローカル実行 — トークン費用なし、データはマシンを出ません。
Anthropic、OpenAI、Google、Mistral、Together、その他あらゆるOpenAI互換エンドポイントに対してBYOK(自身のAPIキー)で利用可能。
好みのオープンウェイトモデル向けに、予約スループットを持つ専用GPUエンドポイントをosFoundryクラウドへ展開可能。
ローカル ↔ クラウド ↔ セルフホストの3モードを、会話を中断せず1つのチャットから切り替えてリクエストをルーティング。
トークンへの上乗せなし — プロバイダーアカウントへ直接請求されます。

概要

多くのAIツールはバックエンドをひとつに強制します。ホスト型のチャット製品、単一のモデルAPI、あるいは自前で維持するセルフホストなどです。osFoundryはローカル推論、クラウドAPI、セルフホストエンドポイントを、ひとつのチャット表面、ひとつの設定レイヤー、ひとつの請求面の背後にある交換可能な3つのバックエンドとして扱います。同じプロンプトが、低レイテンシーのトリアージにはローカル8Bモデル、難しい推論にはClaude Sonnet API、機密データにはセルフホストのLlama 70Bへ — すべて1つの会話の中で到達できます。

主な機能

Apple SiliconおよびNVIDIA GPU上で、量子化済みオープンウェイトモデル(Q4〜FP16)によるローカル推論。
OpenAI互換APIを持つ任意のプロバイダーへBYOK — キーは暗号化されたキーチェーンに保管されます。
osStudioで設定可能なルーティングルールに基づく、リクエスト単位のモデルディスパッチ。
モデルを再起動せずに、推論時にLoRAアダプターをホットスワップ。
推論サーバーフリート画面 — ローカルマシン、クラウドエンドポイント、セルフホストGPUの容量をプールできます。
フォールバックチェーン: まずローカルを試し、モデル未ロードならクラウドに切り替え。

osFoundryでの手順

モデルを選ぶ — /community/modelsと/community/api-modelsのカタログを閲覧 — 7.6万件超のオープンウェイトと364件のホスト型APIモデル、両方の性質を持つもの(例: Llama 3.1 70B)は相互リンクされています。
セットアップ — BYOKの場合: プロバイダーキーをキーダイアログに貼り付け、モデルをMaestroのロールに割り当てます。ローカルの場合: モデルページのインストールを押下。セルフホストの場合: ServersタブからGPUエンドポイントをデプロイします。
使う — 直接チャットする、Room AppからinvokeAIを呼ぶ、自身のサービスからHTTPエンドポイントとして叩く — 同じモデル、同じルーティング、3つのインターフェース。

他の選択肢との比較

項目	osFoundry	他の多くのツール
バックエンド	ローカル+クラウド+セルフホスト、リクエスト単位で切り替え可。	単一バックエンドにベンダーロックイン。
トークン上乗せ	なし — プロバイダー直の価格。	ホストトークンに20〜100%の上乗せ。
プライバシーモード	ローカル限定モード — トラフィックは決してデバイスを出ません。	常時クラウド経由。
モデル数	76Kのオープン+364のAPI+セルフホストの重み。	厳選された少数のモデルのみ。

活用例

個人開発者: 日常のコーディングチャットにはLlama 3.1 8Bをローカルで実行。難しいリファクタリングではClaude Sonnetへ切り替え。同じチャットスレッドの中で。
プライバシー重視のチーム: 機密プロンプトはすべてローカルモデルへ強制し、公開情報のプロンプトはクラウドAPIを許可。ルーティングルールでポリシーを強制します。
高ボリュームのスタートアップ: トラフィックの80%は予約済みA100上のMixtral 8x22Bをセルフホスト、難しい20%はGPT-4oへバースト。

推論サーバーフリート

ローカルマシン、BYOKエンドポイント、セルフホストGPUの容量を1つのアドレス可能なプールへ集約。Maestroが可用性と設定済みの優先度に基づき、リクエスト単位でルーティングします。

よくある質問

クレジットを購入せずにosFoundryを使えますか?

はい。BYOKとローカル推論はいずれもosFoundryのクレジット購入なしで使えます。クラウド利用はプロバイダーへ自身で支払い、ローカル推論は無料です。

osFoundryはクラウドAPIのトークンに上乗せをしますか?

いいえ。BYOKはトラフィックを直接プロバイダーアカウントに通します。当社のクラウドホスト型サービス(GPUエンドポイント、アプリホスティング、ストレージ)についてのみ課金します。

どのプロバイダーへBYOKできますか?

Anthropic、OpenAI、Google(Vertex + AI Studio)、Mistral、Together、Groq、DeepSeek、Cohere、その他あらゆるOpenAI互換エンドポイントです。新プロバイダーはコネクターライブラリ経由で追加されます。

オープンウェイトモデルをローカルで動かすのに必要なハードウェアは?

16 GB VRAMのコンシューマーGPUで7〜13BモデルがQ4で快適に動きます。24 GBで30Bモデル、70B超はA100/H100 80 GBか、量子化のトレードオフが必要です。

会話の途中でモデルを切り替えられますか?

はい。各ターンで異なるモデルを使えます。osStudioのMaestroルーティングルールにより、プロンプト内容に基づいて自動的に切り替えることもできます。

セルフホストエンドポイントとローカル推論の違いは?

ローカル推論はあなたのマシンで動きます。セルフホストエンドポイントは、osFoundryクラウドにプロビジョニングした専用GPU上で動き、予約容量とレート制限なしで、プライベートネットワーク経由でアクセスできます。

osFoundryは画像、音声、動画モデルもサポートしていますか?

はい。カタログにはチャット、画像、音声、動画、埋め込みにわたる7.6万のオープンウェイトモデルが含まれます。BYOKはホスト型の画像/音声プロバイダー(DALL·E、Replicate経由のMidjourney、ElevenLabsなど)にも使えます。

osFoundryを完全オフラインで動かせますか?

はい — デスクトップアプリをインストールし、ローカルモデルをダウンロードし、クラウドルートを無効化します。ローカルファーストモードは第一級のワークスペース設定です。

料金

ローカル推論: 無料(あなたのハードウェア)。BYOK: プロバイダー価格、上乗せなし。osFoundryホスト型GPUエンドポイント: GPU稼働秒単位。現行レートは料金ページをご覧ください。