osFoundry / Platform
Kuantisasi model
Kuantisasi model apa pun ke q4 / q3 dalam beberapa klik. Jalankan model 70B di GPU laptop.
Apa itu
Kuantisasi model di osFoundry mengecilkan model berbobot terbuka dengan menurunkan presisi numerik bobotnya, sehingga model yang tidak muat di memori GPU Anda pada presisi penuh menjadi muat setelah dikuantisasi. Anda mengarahkan osFoundry ke sebuah model, memilih level target seperti q4 atau q3, dan osFoundry menghasilkan salinan terkuantisasi yang bisa Anda jalankan secara lokal. Manfaat praktisnya persis seperti yang dicari orang: model 70 miliar parameter yang biasanya butuh server multi-GPU dapat diperkecil cukup jauh untuk dimuat dan dijalankan di satu GPU laptop, dengan mengorbankan sedikit akurasi.
Karena osFoundry adalah workspace desktop local-first dengan kunci milik Anda sendiri (BYOK), kuantisasi berlangsung di mesin Anda dan model terkuantisasi tetap berada di perangkat Anda kecuali Anda memindahkannya. Tidak perlu perjalanan bolak-balik ke cloud dan tidak ada reseller yang menyela antara Anda dan model. Workspace yang sama yang menjalankan model terkuantisasi juga menjalankan chat, agen, aplikasi, kode, dan pengetahuan Anda, jadi model yang Anda kuantisasi langsung bisa dipakai sebagai backend lokal untuk pekerjaan itu, bukan sekadar berkas yang harus Anda sambungkan di tempat lain.
Kuantisasi adalah trade-off, dan osFoundry memperlakukannya sebagai sesuatu yang Anda kendalikan. Build q4 mempertahankan sebagian besar kualitas model sekaligus memangkas jejak memorinya menjadi sekitar seperempat dibanding bobot 16-bit; turun ke q3 menghemat lebih banyak memori tetapi mengorbankan lebih banyak akurasi. Anda memilih level per model, menyimpan baik yang asli maupun salinan terkuantisasi, dan berpindah antara model lokal terkuantisasi dengan model cloud atau self-hosted dari antarmuka yang sama, berguna saat Anda ingin model kecil terkuantisasi untuk draf lokal yang cepat dan model cloud yang lebih besar untuk tahap akhir.
Kemampuan utama
- Kuantisasi model berbobot terbuka apa pun ke q4 atau q3 dalam beberapa klik, tanpa merakit pipeline command-line
- Jalankan model kelas 70B di satu GPU laptop dengan memangkas jejak memorinya lewat kuantisasi
- Kuantisasi berjalan lokal di perangkat Anda dan model terkuantisasi tetap lokal: tidak ada yang diunggah
- Simpan yang asli dan salinan terkuantisasi berdampingan, dan pilih level presisi per model
- Jalankan model lokal terkuantisasi berdampingan dengan model cloud dan self-hosted dari satu workspace BYOK, tanpa markup reseller
Kasus penggunaan
- Developer solo: mengkuantisasi model 70B ke q4 agar berjalan di GPU laptop untuk bantuan koding offline di pesawat atau di jaringan yang dikunci
- Analis yang peduli privasi: menyimpan model terkuantisasi sepenuhnya di perangkat agar dokumen sensitif tidak pernah keluar dari mesin selama analisis
- Builder yang menjaga biaya: memakai model lokal q3 yang cepat untuk drafting berulang dan beralih ke model cloud di workspace yang sama hanya untuk keluaran akhir
Pertanyaan yang sering diajukan
Seberapa kecil model menjadi pada q4 atau q3?
Kuantisasi menurunkan presisi bobot model, sehingga pemakaian memori turun tajam. Build q4 kira-kira seperempat ukuran model yang sama dengan bobot 16-bit, itulah sebabnya model 70B yang butuh server multi-GPU pada presisi penuh bisa muat di satu GPU laptop. q3 menghemat lebih banyak memori tetapi mengorbankan lebih banyak akurasi, jadi Anda memilih level per model sesuai trade-off yang Anda inginkan.
Apakah mengkuantisasi model menurunkan kualitasnya?
Sedikit, ya. Kuantisasi adalah trade-off: q4 mempertahankan sebagian besar kualitas model sambil memangkas banyak memori, sementara q3 menghemat lebih banyak memori dan kehilangan lebih banyak akurasi. osFoundry membiarkan Anda memilih level per model dan menyimpan yang asli di samping salinan terkuantisasi, sehingga Anda bisa membandingkan dan memutuskan apa yang dapat diterima untuk tugas Anda alih-alih memilih secara buta.
Di mana kuantisasi berjalan, dan apakah model saya keluar dari mesin saya?
Berjalan lokal. osFoundry adalah workspace desktop local-first dengan kunci milik Anda sendiri, jadi kuantisasi berlangsung di perangkat Anda dan model terkuantisasi tetap di sana kecuali Anda memilih memindahkannya. Tidak ada unggahan cloud yang diwajibkan dan tidak ada reseller antara Anda dan model, dan itulah yang membuatnya cocok untuk pekerjaan privat atau offline.