osFoundry / Platform
Quantizzazione dei modelli
Quantizza qualsiasi modello a Q4 / Q3 in pochi clic. Esegui un modello da 70B su una GPU laptop.
Che cos’è
La quantizzazione dei modelli in osFoundry rimpicciolisce un modello a pesi aperti abbassando la precisione numerica dei suoi pesi, così un modello che a piena precisione non entrerebbe nella memoria della tua GPU ci entra dopo la quantizzazione. Indichi un modello a osFoundry, scegli un livello obiettivo come q4 o q3, e ottieni una copia quantizzata da eseguire in locale. Il vantaggio pratico è proprio quello che si cerca: un modello da 70 miliardi di parametri, che di norma richiede un server multi-GPU, può essere compresso quanto basta per caricarsi ed eseguirsi sulla GPU di un singolo portatile, al costo di un po' di accuratezza.
Poiché osFoundry è un workspace desktop local-first e con la tua chiave (BYOK), la quantizzazione avviene sulla tua macchina e il modello quantizzato resta sul tuo dispositivo a meno che tu non lo sposti. Non serve alcun viaggio di andata e ritorno verso il cloud e non c'è alcun rivenditore tra te e il modello. Lo stesso workspace che esegue il modello quantizzato fa girare anche la tua chat, i tuoi agenti, le tue app, il tuo codice e la tua conoscenza, così un modello che quantizzi è subito utilizzabile come backend locale per quel lavoro, invece di essere un file da collegare altrove.
La quantizzazione è un compromesso, e osFoundry lo tratta come qualcosa che controlli tu. Una build q4 conserva gran parte della qualità di un modello riducendo l'ingombro di memoria a circa un quarto rispetto ai pesi a 16 bit; scendere a q3 fa risparmiare più memoria ma cede più accuratezza. Scegli il livello per ogni modello, conservi sia l'originale sia la copia quantizzata e passi tra modelli locali quantizzati e modelli cloud o self-hosted dalla stessa interfaccia, utile quando vuoi un piccolo modello quantizzato per bozze locali veloci e un modello cloud più grande per le rifiniture finali.
Funzionalità principali
- Quantizza qualsiasi modello a pesi aperti a q4 o q3 in pochi clic, senza assemblare una pipeline da riga di comando
- Esegui un modello di classe 70B sulla GPU di un singolo portatile riducendone l'ingombro di memoria tramite quantizzazione
- La quantizzazione gira in locale sul tuo dispositivo e il modello quantizzato resta locale: non viene caricato nulla
- Conserva l'originale e la copia quantizzata fianco a fianco e scegli il livello di precisione per ogni modello
- Esegui modelli locali quantizzati accanto a modelli cloud e self-hosted da un unico workspace BYOK, senza ricarichi da rivenditore
Casi d’uso
- Sviluppatore solo: quantizza un modello da 70B a q4 così gira sulla GPU di un portatile per un aiuto alla programmazione offline in aereo o su una rete blindata
- Analista attento alla privacy: tiene un modello quantizzato interamente sul dispositivo così che i documenti sensibili non lascino mai la macchina durante l'analisi
- Builder attento ai costi: usa un veloce modello locale q3 per le bozze iterative e passa a un modello cloud nello stesso workspace solo per l'output finale
Domande frequenti
Di quanto rimpicciolisce un modello con q4 o q3?
La quantizzazione abbassa la precisione dei pesi di un modello, quindi l'uso di memoria cala nettamente. Una build q4 è circa un quarto dello stesso modello con pesi a 16 bit, ed è per questo che un modello da 70B che a piena precisione richiede un server multi-GPU può entrare nella GPU di un singolo portatile. q3 fa risparmiare ancora più memoria ma cede più accuratezza, così scegli il livello per ogni modello in base al compromesso che desideri.
Quantizzare un modello ne riduce la qualità?
Un po', sì. La quantizzazione è un compromesso: q4 conserva gran parte della qualità del modello riducendo molto la memoria, mentre q3 risparmia più memoria e perde più accuratezza. osFoundry ti lascia scegliere il livello per ogni modello e conservare l'originale accanto alla copia quantizzata, così puoi confrontare e decidere cosa è accettabile per il tuo compito invece di impegnarti alla cieca.
Dove viene eseguita la quantizzazione, e il mio modello lascia la mia macchina?
Viene eseguita in locale. osFoundry è un workspace desktop local-first e con la tua chiave, quindi la quantizzazione avviene sul tuo dispositivo e il modello quantizzato resta lì a meno che tu non scelga di spostarlo. Non c'è alcun upload obbligatorio verso il cloud né alcun rivenditore tra te e il modello, ed è ciò che lo rende adatto al lavoro privato o offline.