osFoundry / Platform
Hot-swap LoRA
Tukar adapter LoRA pada model dasar yang berjalan dalam waktu kurang dari 50ms. Persona berbeda, bobot sama.
Apa itu
Hot-swap LoRA memungkinkan Anda beralih antar-kepribadian model hasil fine-tuning dalam waktu di bawah 50 milidetik tanpa memuat ulang base model. Sebuah adaptor LoRA (Low-Rank Adaptation) adalah kumpulan kecil delta bobot, biasanya hanya beberapa megabyte, yang mengarahkan base model yang jauh lebih besar ke nada, tugas, atau domain tertentu. Karena adaptornya sangat kecil dan bobot base-nya dipakai bersama, Anda bisa menyimpan satu base model di memori dan berpindah antar puluhan adaptor secepat mengubah sebuah pengaturan. Persona berbeda, bobot sama.\n\nDi dalam osFoundry, semua ini berjalan sepenuhnya di perangkat Anda. osFoundry adalah workspace AI desktop yang local-first, dan runtime lokalnya menjaga base model tetap berada di memori sementara adaptor dipasang dan dilepas di atasnya. Memuat model baru berukuran beberapa gigabyte dari disk butuh beberapa detik plus pemanasan GPU penuh; menempelkan adaptor LoRA ke bobot yang sudah dimuat melewati semua itu, dan dari situlah angka di bawah 50 md berasal. Anda mengarahkan sebuah chat, agent, atau peran pipeline ke sebuah adaptor, lalu pesan berikutnya berjalan lewat persona itu, entah suara customer support, seorang code reviewer, atau gaya ringkasan hukum, tanpa membongkar dan membangun ulang model. Ganti lagi, dan Anda kembali ke base atau ke adaptor lain dengan kecepatan yang sama.\n\nIni penting karena mengubah satu base model yang sudah diunduh menjadi satu rak penuh spesialis dengan biaya nyaris nol. Anda tidak membayar, mengunduh, atau memuat ke GPU satu model terpisah per persona, dan karena osFoundry bersifat bring-your-own-key dan local-first, tidak ada biaya per kursi maupun markup reseller: Anda menyediakan base model dan adaptornya, dan inferensi tetap di mesin Anda. Ini cocok secara praktis untuk setup multi-agent di mana setiap agent butuh perilakunya sendiri, dan untuk pekerjaan yang sensitif privasi di mana data yang menggerakkan tiap persona semestinya tidak pernah keluar dari perangkat.
Kemampuan utama
- Tukar adaptor LoRA pada base model yang sudah dimuat dalam waktu di bawah 50 md, tanpa memuat ulang bobot base yang berukuran beberapa gigabyte
- Simpan satu base model tetap di memori dan tumpuk banyak adaptor low-rank di atasnya, sehingga ganti persona hanya butuh pertukaran pointer, bukan cold start
- Jalankan setiap persona di perangkat lewat runtime lokal osFoundry, sehingga prompt, adaptor, dan output Anda tidak pernah meninggalkan mesin Anda
- Tetapkan adaptor hasil fine-tuning yang berbeda untuk tiap agent, chat, atau peran pipeline, lalu berpindah di antaranya di tengah sesi
- Bawa base model dan adaptor Anda sendiri, tanpa biaya per kursi dan tanpa markup reseller pada inferensi
Kasus penggunaan
- Pengembang solo: menjaga satu base model 7B tetap dimuat dan berpindah antara adaptor coding, adaptor menulis, dan adaptor peringkas antar-tab tanpa menunggu model dimuat ulang setiap kali
- Orkestrator multi-agent: menetapkan LoRA hasil fine-tuning yang berbeda untuk tiap agent dalam pipeline, sehingga seorang peneliti, seorang kritikus, dan seorang editor masing-masing berjalan dengan suaranya sendiri di atas bobot base yang sama
- Tim yang peduli privasi: menjalankan persona spesifik domain sepenuhnya di perangkat, sehingga prompt dan output sensitif yang membentuk tiap persona tidak pernah keluar dari mesin lokal
Pertanyaan yang sering diajukan
Kenapa hot-swap adaptor LoRA lebih cepat daripada memuat model yang berbeda?
Memuat model berbeda membaca bobot berukuran beberapa gigabyte dari disk dan memanaskan GPU, yang butuh beberapa detik. Adaptor LoRA hanya beberapa megabyte delta low-rank yang menempel di atas bobot base yang sudah ada di memori, sehingga pertukarannya adalah operasi kecil di memori, bukan cold start: di bawah 50 md di runtime lokal osFoundry.
Apakah saya butuh base model terpisah untuk tiap persona?
Tidak. Justru itulah inti dari fitur ini. Satu base model tetap dimuat, dan tiap persona hanyalah adaptor berbeda yang ditumpuk di atas bobot yang sama. Anda mengunduh dan menyimpan base sekali, lalu menyimpan satu rak adaptor kecil dan berpindah di antaranya, alih-alih menyimpan dan memuat ke GPU satu model penuh per persona.
Apakah pertukaran adaptor terjadi di mesin saya atau di cloud?
Di mesin Anda. osFoundry adalah workspace desktop local-first dan menjalankan model lokal lewat runtime di perangkat, sehingga base model, adaptor, dan data yang mengalir lewat tiap persona tetap di perangkat Anda. Ini bring-your-own-key, tanpa biaya per kursi dan tanpa markup pada inferensi.