Главная / Возможности / Обучение и тонкая настройка / Квантование
Квантуйте модели для дешёвого инференса на osFoundry
osFoundry квантует любую модель с открытыми весами до Q4_K_M, Q5_K_M, Q6_K или FP16 в один клик. Модель 70B, квантованная до Q4, помещается на одном A100 80 ГБ или двух потребительских картах 24 ГБ — работает в 5–10 раз дешевле, чем FP16, с минимальной потерей качества для чат-нагрузок.
Кратко
- Квантование в один клик: Q4_K_M, Q5_K_M, Q6_K, FP16.
- Квантованные модели сохраняют тот же хэндл маршрутизации — drop-in замена.
- Снижение стоимости в 5–10 раз при Q4 для типичных чат-задач.
- Запустите бенчмарки качества на вашем собственном eval-наборе перед заменой.
Часто задаваемые вопросы
Сколько качества теряется при Q4?
Для чат-моделей на чат-задачах — ~1–3 процентных пункта на стандартных бенчмарках. Модели генерации кода теряют больше — попробуйте Q5_K_M для кода.
Могу ли я вернуться, если качество упадёт?
Да. Квантованные модели добавляются рядом с оригиналом — никогда не заменяют его.
Связанные возможности