Beranda / Fitur / Latih dan fine-tune / Kuantisasi

Kuantisasi model untuk inference murah di osFoundry

osFoundry mengkuantisasi model open-weight apa pun turun ke Q4_K_M, Q5_K_M, Q6_K, atau FP16 dalam satu klik. Model 70B yang dikuantisasi ke Q4 muat pada satu A100 80 GB atau dua kartu konsumen 24 GB — berjalan pada biaya 5–10× lebih rendah daripada FP16 dengan kehilangan kualitas minimal untuk workload chat.

Jawaban singkat

Kuantisasi satu-klik: Q4_K_M, Q5_K_M, Q6_K, FP16.
Model terkuantisasi menjaga handle routing yang sama — drop-in replacement.
Pengurangan biaya 5–10× pada Q4 untuk tugas chat tipikal.
Jalankan benchmark kualitas terhadap set evaluasi Anda sendiri sebelum mengganti.

Pertanyaan yang sering diajukan

Berapa banyak kualitas yang hilang pada Q4?

Untuk model chat pada tugas chat, ~1–3 poin persentase pada benchmark standar. Model generasi kode kehilangan lebih banyak — coba Q5_K_M untuk kode.

Bisakah saya kembali jika kualitas turun?

Ya. Model terkuantisasi ditambahkan berdampingan dengan yang asli — tidak pernah menggantikannya.

Fitur terkait