Beranda / Fitur / Latih dan fine-tune
Latih dan fine-tune model AI di osFoundry
Fine-tune Llama, Mistral, atau Qwen dengan LoRA pada data Anda. Kuantisasi untuk inference murah. Hot-swap adapter pada waktu jalan.
osFoundry memungkinkan Anda fine-tune LLM open-weight apa pun dengan LoRA pada data Anda sendiri, mengkuantisasi hasilnya untuk inference murah, dan hot-swap adapter pada waktu jalan — semua tanpa meninggalkan workspace. Job training berjalan pada GPU lokal Anda, di osFoundry cloud, atau pada infrastruktur Anda sendiri. Model yang Anda latih segera tersedia untuk Maestro dan setiap Room App di workspace Anda.
Quick answer
- Fine-tuning LoRA pada Llama 3, Mistral, Qwen, dan 60+ base model lainnya — didorong UI, tanpa notebook.
- Tiga path training: GPU lokal, osFoundry cloud, atau bring-your-own-server.
- Kuantisasi adapter terlatih turun ke Q4/Q5 untuk inference murah.
- Hot-swap adapter LoRA per request — tanpa reload model, pergantian sub-detik.
What it is
Sebagian besar platform AI mengunci Anda ke model hosted atau menyerahkan Anda sebuah notebook. Pipeline training osFoundry bersifat native workspace: pilih base, arahkan ke dataset (KB Anda, dataset publik, atau upload), pilih LoRA rank, dan kirimkan. Adapter terlatih terdaftar di katalog model Anda secara otomatis dan dapat dirutekan dari Maestro begitu selesai.
Key capabilities
- Fine-tuning LoRA + QLoRA pada 60+ base model open-weight.
- Download adapter — tarik .safetensors keluar dari osFoundry untuk di-deploy di tempat lain.
- Kuantisasi ke Q4_K_M, Q5_K_M, Q6_K, FP16 — konversi satu klik.
- Hot-swap hingga 16 adapter LoRA aktif pada satu base model.
- Latih pada knowledge base Anda, JSONL/CSV yang di-upload, atau 250K dataset publik.
- Tiga path training per job: GPU lokal, osFoundry cloud, atau infrastruktur Anda sendiri.
How to do it in osFoundry
- Pilih base model — Jelajahi /community/models, filter ke open-weight (Llama, Mistral, Qwen, Phi, dll.), pilih ukuran yang cocok dengan GPU target Anda.
- Arahkan ke dataset — Pilih knowledge base (otomatis diformat sebagai pasangan instruksi), upload JSONL/CSV, atau pilih dari 250K dataset publik yang terindeks di katalog.
- Pilih config training — LoRA rank (8/16/32/64), learning rate, epoch, target module. Default yang masuk akal disediakan; setel dari sana.
- Pilih di mana melatih — GPU lokal (gratis), osFoundry cloud (harga GPU per-detik), atau BYO infrastructure (push job ke cluster Anda sendiri).
- Kirim adapter — Saat training selesai, adapter terdaftar di katalog model Anda secara otomatis. Hot-swap ke endpoint base model dan mulai merutekan request dalam beberapa menit.
How osFoundry compares
| Capability | osFoundry | Most other tools |
|---|
| UI training | Native workspace — tanpa notebook, tanpa command line. | Notebook atau CLI diperlukan. |
| Ekspor adapter | Download .safetensors satu-klik dengan config training. | Terkunci ke vendor, atau ekspor manual. |
| Di mana berjalan | GPU lokal, cloud kami, atau infrastruktur Anda sendiri. | Venue tunggal, harga tetap. |
| Routing pasca-train | Adapter segera dapat dirutekan dari Maestro dan Room App. | Wiring manual ke kode app Anda. |
Use cases
- Tim customer support: Fine-tune Mistral 7B pada 18 bulan transkrip support. Agent menjawab dengan nada Anda, mereferensi produk Anda, dan tetap on-brand.
- Legal ops: Latih Llama 3.1 8B pada korpus kontrak berlabel untuk redline kontrak baru dengan gaya firma Anda. Tetap on-prem; adapter tidak pernah meninggalkan workspace.
- Game studio: LoRA-tune Qwen 14B pada IP bible Anda untuk dialog NPC dalam game. Hot-swap LoRA berbeda per karakter untuk menjaga suara berbeda pada satu base model bersama.
Frequently asked questions
Berapa lama LoRA fine-tune di osFoundry?
Model 7B pada dataset 50K-baris memakan waktu ~30 menit pada satu A100. Model 70B memakan waktu ~3 jam. Mac M2/M3 lokal menangani 7B dalam ~2 jam.
Bisakah saya mengekspor adapter LoRA dari osFoundry?
Ya — setiap adapter terlatih dapat di-download sebagai .safetensors dan mencakup config training. Tanpa lock-in.
Apakah osFoundry mendukung full fine-tuning, bukan hanya LoRA?
LoRA + QLoRA adalah path yang direkomendasikan hari ini. Full fine-tuning model >7B ada di roadmap; untuk sekarang, BYO infrastructure jika Anda membutuhkannya.
Dataset apa yang dapat saya gunakan untuk melatih?
Knowledge base Anda (otomatis diformat sebagai pasangan instruksi), JSONL/CSV/parquet yang di-upload, atau 250K dataset publik yang terindeks dari HuggingFace.
Berapa biaya training?
Training lokal gratis (hardware Anda). Training cloud ditagih per-detik waktu GPU pada tarif yang sama dengan endpoint inference. LoRA 7B pada A100 kira-kira $2–3 per run training; 70B adalah $20–30.
Bisakah saya melanjutkan job training yang terganggu?
Ya — checkpoint disimpan setiap N langkah (dapat dikonfigurasi). Resumption mengambil dari checkpoint terakhir, bukan dari awal.
Pricing
Training lokal: gratis (hardware Anda). Training cloud: billing GPU per-detik pada tarif yang sama dengan endpoint inference (A10 / A100 / H100). Storage adapter dihitung sebagai file storage workspace.
Related features