osFoundry / Platform
LoRAホットスワップ
稼働中のベースモデル上のLoRAアダプタを50ms以下で入れ替え。同じウェイト、異なるペルソナ。
概要
Hot-swap LoRAは、ファインチューニング済みのモデルの人格を、ベースモデルを再ロードせずに50ミリ秒未満で切り替える機能です。LoRA（Low-Rank Adaptation）アダプターとは、重みの差分だけを集めた小さなデータで、多くの場合わずか数メガバイトにおさまります。これがはるかに大きなベースモデルを、特定の口調やタスク、ドメインへと方向づけます。アダプターが極小で、ベースの重みは共有されるため、ベースモデルを1つメモリに常駐させたまま、設定を変える程度の速さで数十のアダプターを切り替えられます。人格は違っても、重みは同じままです。\n\nosFoundryの内部では、この処理がすべてお使いのデバイス上で完結します。osFoundryはローカルファーストのデスクトップ型AIワークスペースであり、そのローカルランタイムがベースモデルをメモリに常駐させたまま、アダプターだけを上に付け外しします。数ギガバイトのモデルをディスクから新たにロードするには数秒かかり、GPUのウォームアップも一からやり直しになります。すでにロード済みの重みにLoRAアダプターを載せる場合は、こうした工程をすべて省けます。50ミリ秒未満という数字はここから生まれます。チャットやエージェント、パイプラインの各役割にアダプターを指定すれば、次のメッセージはそのペルソナ、たとえばカスタマーサポートの語り口やコードレビュアー、法務要約のスタイルを通して処理されます。モデルを解体して組み直す必要はありません。もう一度切り替えれば、同じ速さでベースに戻るか、別のアダプターへ移れます。\n\nこの機能が意味を持つのは、ダウンロード済みの1つのベースモデルが、ほぼコストなしで専門家をずらりと並べた棚に変わるからです。ペルソナごとに別々のモデルを買ったり、ダウンロードしたり、GPUにロードしたりする必要はありません。osFoundryはBYOK（自前のキー）かつローカルファーストなので、シート単位の課金も、推論への再販業者マージンもありません。ベースモデルとアダプターはあなたが用意し、推論はあなたのマシンの中にとどまります。各エージェントに固有の振る舞いが求められるマルチエージェント構成や、各ペルソナを動かすデータをデバイスの外に出したくないプライバシー重視の業務に、無理なく適合します。
主な機能
- すでにロード済みのベースモデルに対して、数ギガバイトのベース重みを再ロードすることなく、50ミリ秒未満でLoRAアダプターを差し替えられます
- ベースモデルを1つメモリに常駐させたまま、多数の低ランクアダプターを上に重ねられるため、ペルソナの切り替えはコールドスタートではなくポインタの入れ替えで済みます
- すべてのペルソナをosFoundryのローカルランタイムでオンデバイス実行するため、プロンプトもアダプターも出力もマシンの外に出ません
- エージェント、チャット、パイプラインの各役割ごとに別々のファインチューニング済みアダプターを割り当て、セッションの途中でも切り替えられます
- ベースモデルもアダプターも自前で持ち込め、シート単位の課金も、推論への再販業者マージンもありません
活用例
- 個人開発者：7Bのベースモデルを1つロードしたまま、コーディング用、執筆用、要約用のアダプターをタブ間で切り替え、そのたびにモデルの再ロードを待たずに作業できます
- マルチエージェントの構成担当：パイプラインの各エージェントに個別のファインチューニング済みLoRAを割り当て、リサーチャー、批評役、編集役が同じ共有ベース重みの上でそれぞれの語り口で動きます
- プライバシー重視のチーム：ドメイン特化のペルソナを完全にオンデバイスで動かし、各ペルソナを形づくる機密性の高いプロンプトや出力がローカルマシンの外に出ないようにします
よくある質問
LoRAアダプターのホットスワップは、別のモデルをロードするより、なぜ速いのですか。
別のモデルをロードすると、数ギガバイトの重みをディスクから読み込み、GPUをウォームアップし直すため、数秒かかります。LoRAアダプターは低ランクの差分がわずか数メガバイトあるだけで、すでにメモリに常駐しているベース重みの上に載せます。そのため切り替えはコールドスタートではなく、小さなメモリ内操作にとどまり、osFoundryのローカルランタイムでは50ミリ秒未満で完了します。
ペルソナごとに別々のベースモデルが必要ですか。
いいえ。むしろそれを不要にするのがこの機能の狙いです。ベースモデルは1つロードしたままで、各ペルソナは同じ重みの上に重ねた別々のアダプターにすぎません。ベースは一度ダウンロードして保持し、あとは小さなアダプターを棚に並べて切り替えます。ペルソナごとにフルモデルを保存してGPUにロードする必要はありません。
アダプターの切り替えは、自分のマシンで行われるのですか、それともクラウドですか。
お使いのマシン上です。osFoundryはローカルファーストのデスクトップ型ワークスペースで、オンデバイスのランタイムを通じてローカルモデルを動かします。そのため、ベースモデルも、アダプターも、各ペルソナを通るデータも、あなたのデバイスにとどまります。BYOK（自前のキー）方式で、シート単位の課金も推論へのマージンもありません。