Beranda / Fitur / Latih dan fine-tune / Fine-tuning LoRA

Fine-tune Llama, Mistral, atau Qwen dengan LoRA di osFoundry

osFoundry fine-tune base model open-weight apa pun dengan LoRA atau QLoRA pada data Anda — tanpa notebook, tanpa command line. Pilih base, arahkan ke dataset (KB Anda, upload, atau dataset publik), atur LoRA rank, dan latih. Adapter terdaftar di katalog model Anda dan segera dapat dirutekan dari Maestro dan Room App saat training selesai.

Quick answer

LoRA + QLoRA pada 60+ base model open-weight.
Latih pada KB Anda, upload JSONL/CSV, atau 250K dataset publik.
Didorong UI — tanpa notebook.
Adapter dapat dirutekan workspace saat training selesai.

Key capabilities

60+ base model yang didukung (Llama 3, Mistral, Qwen, Phi, Gemma…).
Alur LoRA + QLoRA; rank 8/16/32/64 dapat dipilih.
Latih pada KB (otomatis diformat), JSONL/CSV/parquet, atau 250K dataset publik.
Tiga runtime: GPU lokal, osFoundry cloud, infrastruktur Anda sendiri.
Checkpoint setiap N langkah — lanjutkan job yang terganggu dari checkpoint terakhir.
Ekspor adapter: .safetensors dengan config training lengkap.

How to do it in osFoundry

Pilih base + target LoRA — Pilih base model. Konfigurasi LoRA rank, learning rate, epoch, dan target module. Default bekerja untuk sebagian besar kasus.
Arahkan ke dataset Anda — Pilih KB (format pasangan auto-instruction), upload JSONL, atau pilih dataset publik.
Jalankan training — Pilih runtime (lokal/cloud/BYO). Tonton kurva loss live saat melatih.
Hot-swap adapter — Saat training selesai, hot-swap adapter ke endpoint base-model yang ter-deploy. Handle yang sama, perilaku baru.

Use cases

Customer support: LoRA-tune Mistral 7B pada tiket sebelumnya. Agent sekarang menjawab dengan nada Anda dengan pengetahuan produk.
Tim hukum: Latih Llama 3.1 8B pada kontrak berlabel. Redline dokumen baru dengan gaya firma Anda on-prem.
Game studio: LoRA per-karakter hot-swapped ke satu base model. Satu GPU, banyak suara NPC berbeda.

Frequently asked questions

Berapa lama LoRA fine-tune?

Model 7B pada 50K baris: ~30 menit pada A100. 70B: ~3 jam. Mac M2/M3 konsumen: ~2 jam untuk 7B.

Rank apa yang harus saya gunakan?

Mulai dengan rank 16. Tingkatkan ke 32 atau 64 untuk domain shift yang lebih sulit; turunkan ke 8 untuk tuning stilistik.

Bisakah saya melatih pada knowledge base saya?

Ya — KB otomatis diformat sebagai pasangan instruksi.

Bisakah saya mengekspor adapter?

Ya — download .safetensors dengan config training lengkap. Dapat di-deploy di luar osFoundry juga.

Apakah QLoRA didukung?

Ya — QLoRA mengurangi VRAM dengan mengkuantisasi base ke 4-bit. Pilih QLoRA di config training jika GPU Anda terbatas memori.

Bagaimana saya mengevaluasi hasilnya?

Bandingkan adapter terhadap base pada set evaluasi Anda dengan tampilan compare side-by-side. Promosikan saat kualitas melewati bar Anda.

Pricing

Lokal: gratis. Cloud: waktu GPU per-detik. LoRA 7B pada A100 biayanya kira-kira $2-3 per run; 70B biayanya $20-30.