osFoundry / Platform
Quantização de modelo
Quantize qualquer modelo para q4 / q3 em alguns cliques. Rode um modelo de 70B em uma GPU de laptop.
O que é
A quantização de modelos no osFoundry reduz um modelo de pesos abertos ao baixar a precisão numérica dos seus pesos, de modo que um modelo que não caberia na memória da sua GPU em precisão total passa a caber depois de quantizado. Você aponta o osFoundry para um modelo, escolhe um nível-alvo como q4 ou q3, e ele gera uma cópia quantizada pronta para rodar localmente. O ganho prático é exatamente o que as pessoas procuram: um modelo de 70 bilhões de parâmetros que normalmente exige um servidor com várias GPUs pode ser comprimido o suficiente para carregar e rodar na GPU de um único notebook, ao custo de alguma precisão.
Como o osFoundry é um workspace de desktop local-first e com sua própria chave (BYOK), a quantização acontece na sua máquina e o modelo quantizado permanece no seu dispositivo, a menos que você o mova. Não há nenhuma ida e volta obrigatória à nuvem nem um revendedor entre você e o modelo. O mesmo workspace que roda o modelo quantizado também roda seu chat, seus agentes, suas apps, seu código e seu conhecimento, então um modelo que você quantiza fica imediatamente utilizável como backend local para esse trabalho, em vez de ser um arquivo que você precisa conectar em outro lugar.
A quantização é um compromisso, e o osFoundry a trata como algo que você controla. Uma build q4 mantém a maior parte da qualidade do modelo reduzindo o consumo de memória para cerca de um quarto em relação a pesos de 16 bits; descer para q3 economiza mais memória, mas abre mão de mais precisão. Você escolhe o nível por modelo, mantém tanto o original quanto a cópia quantizada, e alterna entre modelos locais quantizados e modelos na nuvem ou auto-hospedados a partir da mesma interface, o que é útil quando você quer um modelo pequeno quantizado para rascunhos locais rápidos e um modelo maior na nuvem para as passagens finais.
Principais recursos
- Quantize qualquer modelo de pesos abertos para q4 ou q3 com poucos cliques, sem montar uma pipeline por linha de comando
- Rode um modelo da classe 70B na GPU de um único notebook cortando seu consumo de memória por meio da quantização
- A quantização roda localmente no seu dispositivo e o modelo quantizado permanece local: nada é enviado
- Mantenha o original e a cópia quantizada lado a lado e escolha o nível de precisão por modelo
- Rode modelos locais quantizados junto a modelos na nuvem e auto-hospedados a partir de um único workspace BYOK, sem sobretaxa de revendedor
Casos de uso
- Desenvolvedor solo: quantiza um modelo de 70B para q4 para que ele rode na GPU de um notebook e ajude a programar offline num avião ou numa rede restrita
- Analista atento à privacidade: mantém um modelo quantizado inteiramente no dispositivo para que documentos sensíveis nunca deixem a máquina durante a análise
- Builder de olho no custo: usa um modelo local q3 rápido para rascunhar de forma iterativa e muda para um modelo na nuvem no mesmo workspace apenas para a saída final
Perguntas frequentes
Quanto menor um modelo fica em q4 ou q3?
A quantização baixa a precisão dos pesos de um modelo, então o uso de memória cai bastante. Uma build q4 tem cerca de um quarto do tamanho do mesmo modelo em pesos de 16 bits, e é por isso que um modelo de 70B que precisa de um servidor com várias GPUs em precisão total pode caber na GPU de um único notebook. q3 economiza ainda mais memória, mas abre mão de mais precisão, então você escolhe o nível por modelo conforme o compromisso que deseja.
Quantizar um modelo reduz a qualidade dele?
Um pouco, sim. A quantização é um compromisso: q4 mantém a maior parte da qualidade do modelo cortando bastante memória, enquanto q3 economiza mais memória e perde mais precisão. O osFoundry deixa você escolher o nível por modelo e manter o original ao lado da cópia quantizada, para que você possa comparar e decidir o que é aceitável para a sua tarefa em vez de se comprometer às cegas.
Onde a quantização roda e o meu modelo sai da minha máquina?
Roda localmente. O osFoundry é um workspace de desktop local-first e com sua própria chave, então a quantização acontece no seu dispositivo e o modelo quantizado fica ali, a menos que você opte por movê-lo. Não há upload obrigatório para a nuvem nem revendedor entre você e o modelo, e é isso que o torna adequado para trabalho privado ou offline.