osFoundry / Platform
Cuantización de modelos
Cuantiza cualquier modelo a q4 / q3 en unos clics. Ejecuta un modelo de 70B en la GPU de una laptop.
Qué es
La cuantización de modelos en osFoundry reduce el tamaño de un modelo de pesos abiertos bajando la precisión numérica de sus pesos, de modo que un modelo que no cabría en la memoria de tu GPU a precisión completa sí cabe una vez cuantizado. Señalas un modelo a osFoundry, eliges un nivel objetivo como q4 o q3, y obtienes una copia cuantizada lista para ejecutar en local. El resultado práctico es justo lo que la gente busca: un modelo de 70.000 millones de parámetros que normalmente necesita un servidor con varias GPU puede comprimirse lo suficiente para cargarse y ejecutarse en la GPU de un solo portátil, a cambio de algo de precisión.
Como osFoundry es un espacio de trabajo de escritorio local-first y con tu propia clave (BYOK), la cuantización ocurre en tu máquina y el modelo cuantizado permanece en tu dispositivo salvo que decidas moverlo. No hace falta ningún viaje de ida y vuelta a la nube ni hay un revendedor entre tú y el modelo. El mismo espacio de trabajo que ejecuta el modelo cuantizado ejecuta también tu chat, tus agentes, tus apps, tu código y tu conocimiento, así que un modelo que cuantizas queda inmediatamente disponible como backend local para ese trabajo, en lugar de ser un archivo que tienes que conectar en otro sitio.
La cuantización es un compromiso, y osFoundry lo trata como algo que tú controlas. Una versión q4 conserva la mayor parte de la calidad de un modelo reduciendo su huella de memoria a aproximadamente una cuarta parte frente a pesos de 16 bits; bajar a q3 ahorra más memoria pero sacrifica más precisión. Eliges el nivel por modelo, conservas tanto el original como la copia cuantizada, y cambias entre modelos locales cuantizados y modelos en la nube o autoalojados desde la misma interfaz, algo útil cuando quieres un modelo pequeño cuantizado para borradores locales rápidos y un modelo grande en la nube para las pasadas finales.
Capacidades principales
- Cuantiza cualquier modelo de pesos abiertos a q4 o q3 con unos pocos clics, sin montar una tubería por línea de comandos
- Ejecuta un modelo de clase 70B en la GPU de un solo portátil recortando su huella de memoria mediante cuantización
- La cuantización se ejecuta en local en tu dispositivo y el modelo cuantizado se queda ahí: no se sube nada
- Conserva el original y la copia cuantizada uno al lado del otro y elige el nivel de precisión por modelo
- Ejecuta modelos locales cuantizados junto a modelos en la nube y autoalojados desde un único espacio BYOK, sin recargos de revendedor
Casos de uso
- Desarrollador en solitario: cuantiza un modelo de 70B a q4 para que corra en la GPU de un portátil y le ayude a programar sin conexión en un avión o en una red restringida
- Analista con conciencia de privacidad: mantiene un modelo cuantizado enteramente en el dispositivo para que los documentos sensibles nunca salgan de la máquina durante el análisis
- Constructor atento a costes: usa un modelo local q3 rápido para el borrador iterativo y cambia a un modelo en la nube en el mismo espacio solo para la salida final
Preguntas frecuentes
¿Cuánto se reduce un modelo con q4 o q3?
La cuantización baja la precisión de los pesos de un modelo, así que el uso de memoria cae de forma notable. Una versión q4 ocupa aproximadamente una cuarta parte del mismo modelo con pesos de 16 bits, por eso un modelo de 70B que necesita un servidor con varias GPU a precisión completa puede caber en la GPU de un solo portátil. q3 ahorra aún más memoria pero sacrifica más precisión, así que eliges el nivel por modelo según el compromiso que busques.
¿Cuantizar un modelo reduce su calidad?
Algo, sí. La cuantización es un compromiso: q4 conserva la mayor parte de la calidad del modelo recortando mucha memoria, mientras que q3 ahorra más memoria y pierde más precisión. osFoundry te deja elegir el nivel por modelo y conservar el original junto a la copia cuantizada, de modo que puedes comparar y decidir qué es aceptable para tu tarea en lugar de comprometerte a ciegas.
¿Dónde se ejecuta la cuantización y sale mi modelo de mi máquina?
Se ejecuta en local. osFoundry es un espacio de trabajo de escritorio local-first y con tu propia clave, así que la cuantización ocurre en tu dispositivo y el modelo cuantizado se queda ahí salvo que decidas moverlo. No hay subida obligatoria a la nube ni revendedor entre tú y el modelo, y eso es lo que lo hace apto para trabajo privado o sin conexión.