ホーム / 機能 / あらゆるモデルを実行 / LoRAホットスワップ
osFoundryで推論時にLoRAアダプターをホットスワップ
osFoundryは、ひとつのベースモデル上でLoRAアダプターをホットスワップできます — 再ロードなし、サブ秒切り替え。複数のペルソナ、ドメインエキスパート、ファインチューニングされたスキルを1つのベースモデルに重ね、リクエスト単位でルーティング。N個の特化バリアントを提供するコストを、Nモデル分のデプロイから1つに削減します。
Quick answer
- ベースモデルあたり最大16個のアクティブLoRAアダプター。
- サブ秒のアダプター切り替え — モデル再ロードなし。
- 1つのベースモデル分の支払いで、多数の特化バリアントへルーティング。
- osFoundry内で学習したアダプターは自動登録。
Frequently asked questions
いくつのアダプターをホットスワップできますか?
ベースモデルあたり最大16個のアクティブアダプターを1つのエンドポイントで動かせます。
他所で学習したアダプターでも動きますか?
はい — .safetensorsをアップロードすればアダプターが登録されます。
Related features