Beranda / Glosarium / Base model

What is Base Model?

Base model adalah LLM yang telah pre-trained sebelum fine-tuning khusus tugas atau RLHF. osFoundry memperlakukan base model sebagai titik awal untuk fine-tuning (LoRA / QLoRA) dan sebagai backend chat langsung saat tidak diperlukan perilaku terspesialisasi.

Detail

Base model dihasilkan oleh proses pelatihan awal pada korpus teks besar. Mereka memprediksi token berikutnya tetapi biasanya tidak mengikuti instruksi dengan baik — itulah yang ditambahkan fine-tuning. Contohnya termasuk Llama 3.1 (base) sebelum varian yang di-instruction-tuned.

Untuk sebagian besar aplikasi chat Anda menginginkan versi instruction-tuned. Base model berguna sebagai titik awal untuk fine-tuning LoRA Anda sendiri — mereka menerima perilaku baru lebih mudah daripada model yang sudah di-tune.

How osFoundry approaches Base Model

Pipeline training osFoundry memungkinkan Anda fine-tune salah satu dari 60+ base model yang didukung. Pilih base, arahkan ke dataset Anda, latih, rutekan. Adapter otomatis terdaftar dan dapat dirutekan dari Maestro begitu selesai.