osFoundry / Platform
Квантизация моделей
Квантуйте любую модель до q4 / q3 в несколько кликов. Запускайте 70B модель на GPU ноутбука.
Что это
Квантизация моделей в osFoundry уменьшает модель с открытыми весами, снижая числовую точность её весов, так что модель, которая при полной точности не помещается в память вашего GPU, после квантизации помещается. Вы указываете osFoundry модель, выбираете целевой уровень вроде q4 или q3, и он создаёт квантованную копию, которую можно запустить локально. Практическая выгода — ровно та, что ищут: модель на 70 миллиардов параметров, обычно требующую сервера с несколькими GPU, можно сжать достаточно, чтобы загрузить и запустить на одном GPU ноутбука, ценой некоторой точности.
Поскольку osFoundry — это local-first десктопное рабочее пространство с вашим собственным ключом (BYOK), квантизация происходит на вашей машине, а квантованная модель остаётся на вашем устройстве, пока вы сами её не перенесёте. Никаких обязательных обращений к облаку не требуется, и между вами и моделью нет никакого посредника. То же рабочее пространство, что запускает квантованную модель, обслуживает и ваш чат, агентов, приложения, код и знания, поэтому модель, которую вы квантуете, сразу пригодна как локальный бэкенд для этой работы, а не файл, который надо где-то отдельно подключать.
Квантизация — это компромисс, и osFoundry делает его тем, чем управляете вы. Сборка q4 сохраняет большую часть качества модели, сокращая объём памяти примерно вчетверо по сравнению с 16-битными весами; переход к q3 экономит больше памяти, но жертвует большей точностью. Вы выбираете уровень для каждой модели, храните и оригинал, и квантованную копию, а также переключаетесь между локальными квантованными моделями и облачными или самостоятельно размещёнными из одного интерфейса — это удобно, когда нужна небольшая квантованная модель для быстрых локальных черновиков и более крупная облачная модель для финальных проходов.
Ключевые возможности
- Квантуйте любую модель с открытыми весами до q4 или q3 за несколько кликов, без сборки конвейера в командной строке
- Запустите модель класса 70B на одном GPU ноутбука, сократив её объём памяти за счёт квантизации
- Квантизация выполняется локально на вашем устройстве, и квантованная модель остаётся локальной: ничего не выгружается
- Держите оригинал и квантованную копию рядом и выбирайте уровень точности для каждой модели
- Запускайте квантованные локальные модели рядом с облачными и самостоятельно размещёнными из одного BYOK-пространства, без наценки посредника
Сценарии использования
- Разработчик-одиночка: квантует модель на 70B до q4, чтобы она работала на GPU ноутбука и помогала кодить офлайн в самолёте или в закрытой сети
- Аналитик, заботящийся о приватности: держит квантованную модель целиком на устройстве, чтобы конфиденциальные документы никогда не покидали машину во время анализа
- Строитель, следящий за затратами: использует быструю локальную q3-модель для итеративных черновиков и переключается на облачную модель в том же пространстве только ради финального результата
Часто задаваемые вопросы
Насколько меньше становится модель на q4 или q3?
Квантизация снижает точность весов модели, поэтому расход памяти резко падает. Сборка q4 примерно вчетверо меньше той же модели в 16-битных весах, поэтому модель на 70B, которой при полной точности нужен сервер с несколькими GPU, помещается на одном GPU ноутбука. q3 экономит ещё больше памяти, но жертвует большей точностью, так что вы выбираете уровень для каждой модели в зависимости от желаемого компромисса.
Снижает ли квантизация модели её качество?
Отчасти да. Квантизация — это компромисс: q4 сохраняет большую часть качества модели, существенно сокращая память, тогда как q3 экономит больше памяти и теряет больше точности. osFoundry позволяет выбирать уровень для каждой модели и хранить оригинал рядом с квантованной копией, так что вы можете сравнить и решить, что приемлемо для вашей задачи, а не выбирать вслепую.
Где выполняется квантизация и покидает ли моя модель мою машину?
Она выполняется локально. osFoundry — это local-first десктопное рабочее пространство с вашим собственным ключом, поэтому квантизация происходит на вашем устройстве, а квантованная модель остаётся там, пока вы не решите её перенести. Обязательной выгрузки в облако нет, как нет и посредника между вами и моделью, и именно это делает его подходящим для приватной или офлайн-работы.