Cos'è un modello a mixture of experts (MoE) in parole semplici?

È un modello diviso in molte sotto-reti specializzate chiamate esperti, con un router che invia ogni token solo ad alcune di esse. Il modello può quindi essere enorme nelle dimensioni totali — contenendo molta conoscenza — pur eseguendo solo una piccola quantità di calcolo per token. Separa quanto sa il modello da quanto costa eseguirlo.

Qual è la differenza tra parametri totali e attivi?

I parametri totali sono tutti gli esperti caricati in memoria; i parametri attivi sono i pochi effettivamente usati per elaborare un dato token. DeepSeek-V3, ad esempio, ha 671B in totale ma solo 37B attivi per token. Il calcolo segue il conteggio attivo, mentre la memoria segue il totale — ecco perché i due numeri devono sempre essere citati insieme.

Perché un modello MoE ha bisogno di così tanta VRAM se usa solo pochi esperti?

Poiché il router può inviare qualsiasi token a qualsiasi esperto, tutti gli esperti devono essere residenti in memoria anche se solo pochi si attivano per token. Quindi un modello MoE necessita di VRAM proporzionale al suo conteggio totale di parametri, non a quello attivo — Mixtral 8x7B necessita grossomodo della memoria di un modello denso da 47B nonostante abbia un calcolo equivalente a 13B.

Un modello MoE è più veloce di un modello denso della stessa dimensione totale?

Sì, per token. Poiché si attiva solo una frazione dei parametri, un MoE esegue molti meno FLOPs per token rispetto a un modello denso con lo stesso conteggio totale di parametri, quindi è più economico e veloce da eseguire — a patto che tu riesca a tenere tutti gli esperti in memoria. Scambia il costo della memoria con l'efficienza di calcolo.

Come decide il router quali esperti usare?

Il router (rete di gating) calcola un punteggio per ciascun esperto dato il token, solitamente tramite una piccola proiezione appresa seguita da un softmax, poi seleziona i top-k esperti con punteggio più alto — spesso i 2 migliori. Solo quegli esperti elaborano il token. Durante l'addestramento, le tecniche di bilanciamento del carico impediscono ai token di concentrarsi su pochi esperti preferiti.

"8x7B" significa 56 miliardi di parametri?

No. Mixtral 8x7B ha circa 46,7B in totale, non 56B, perché gli esperti condividono i livelli di attenzione e di embedding — solo i livelli feed-forward sono divisi in otto esperti. E solo ~12,9B sono attivi per token. Il totale non è mai uguale al numero di esperti per la dimensione dell'esperto; è una convenzione di denominazione, non aritmetica.

I modelli MoE sono migliori o peggiori dei modelli densi per il ragionamento?

È variabile. A parità di qualità di pre-addestramento, i modelli MoE tendono a fare bene nei compiti ricchi di conoscenza e rispondono fortemente al fine-tuning con istruzioni, ma possono restare indietro rispetto ai modelli densi su alcuni benchmark a forte componente di ragionamento. I modelli MoE focalizzati sul ragionamento, come DeepSeek-R1, colmano quel divario con il reinforcement learning anziché con la sola architettura.

← Resources

By Ren Sugaya — Performance Engineer, GPU & Inference · 2026-05-12 · INSIGHT

Mixture of Experts spiegata: parametri totali vs attivi

Un modello a mixture of experts ha un numero totale di parametri enorme, ma ne attiva solo una frazione per token, usando un router per selezionare alcune sotto-reti esperte. Questo articolo spiega come funziona MoE, la distinzione fondamentale tra parametri totali e attivi, perché è economico in termini di calcolo ma esigente in memoria, e cosa significa per eseguire modelli come DeepSeek e Mixtral.

Cos'è una mixture of experts

Un LLM a mixture of experts (MoE) è un transformer sparso in cui alcuni livelli feed-forward contengono più sotto-reti parallele chiamate "esperti", e un router appreso seleziona solo un piccolo sottoinsieme di esse per elaborare ogni token. Il risultato è un modello con un numero totale di parametri grande che ne attiva solo una frazione per token.

Mettilo a confronto con un modello denso, dove ogni token attraversa la stessa rete feed-forward in ogni blocco, attivando tutti i parametri ogni volta. MoE sostituisce quei livelli densi con livelli di esperti sparsi, così la capacità (quanto sa il modello) viene disaccoppiata dal costo (quanto calcolo richiede ogni token).

Gli esperti e il router

Due componenti definiscono un livello MoE. Ogni esperto è una piccola rete neurale, tipicamente un blocco feed-forward. Il router (o rete di gating) assegna un punteggio al token in ingresso rispetto a ciascun esperto e lo instrada verso i top-k con punteggio più alto — di solito i 2 migliori su 8. Solo quegli esperti contribuiscono all'output di quel token; gli altri restano inattivi per quel token.

Questa sparsità top-k è tutto il trucco: è ciò che riduce il calcolo per token. Alcuni design aggiungono un "esperto condiviso" sempre attivo accanto a quelli instradati, per catturare i pattern comuni di cui ogni token ha bisogno.

Parametri totali vs attivi — il concetto chiave

Il concetto più importante — e il più frainteso online — è la differenza tra parametri totali e attivi. I parametri totali sono tutti gli esperti che devono essere caricati; i parametri attivi sono solo quelli usati per token. La dimensione dichiarata non è calcolo, quindi la domanda che segue qualsiasi conteggio di parametri MoE è sempre: quanti sono attivi per token?

La denominazione "8x7B" è la trappola classica. Mixtral 8x7B non ha 8 × 7 = 56B parametri. Poiché gli esperti condividono i livelli di attenzione e di embedding — solo i livelli feed-forward sono divisi in esperti — il totale reale è di circa 46,7B, con circa 12,9B attivi per token. Il suo calcolo assomiglia a quello di un modello denso di ~13B nonostante contenga ~47B parametri.

Modelli reali: Mixtral e DeepSeek

Due esempi concreti ancorano l'idea. Mixtral 8x7B ha ~46,7B parametri totali e ~12,9B attivi per token tramite routing top-2-su-8. DeepSeek-V3 porta lo schema molto più in alto: 671B parametri totali con soli 37B attivi per token, usando 256 esperti instradati più un esperto condiviso sempre attivo, con il router che seleziona 8 esperti instradati per token. DeepSeek-R1, il modello di ragionamento, è costruito sulla base V3 — stessa architettura, stessi 671B totali / 37B attivi, con reinforcement learning aggiunto per matematica e codice.

Entro il 2025, MoE era diventata l'architettura di frontiera dominante, con Llama 4, Qwen3 e altri che l'avevano tutti adottata — proprio perché consente ai laboratori di scalare la capacità totale senza scalare il calcolo per token.

L'avvertenza sulla VRAM: calcolo veloce, tanta memoria

Ecco l'insidia che sorprende le persone: il calcolo sparso non riduce la memoria. Ogni esperto deve essere residente in VRAM (o RAM) anche se solo pochi si attivano per token, perché il router potrebbe inviare il token successivo a uno qualsiasi di essi. Quindi Mixtral 8x7B necessita grossomodo della memoria di un modello denso di ~47B — nell'ordine di 96 GB non quantizzato — pur avendo l'impronta di calcolo di un modello da 13B. Non puoi eseguirlo su una singola GPU consumer solo perché "solo 13B sono attivi".

Riepilogo del compromesso: MoE offre migliori token per dollaro (meno FLOPs per token) ma peggiore memoria per dollaro (tutti gli esperti residenti). La quantizzazione aiuta sul lato della memoria, motivo per cui i modelli MoE vengono solitamente eseguiti quantizzati in locale o su endpoint multi-GPU.

Eseguire modelli MoE in osFoundry

osFoundry esegue modelli MoE come DeepSeek-V3/R1 e Mixtral in locale o su un endpoint cloud dedicato, così ottieni l'efficienza per token dell'attivazione sparsa senza gestire l'architettura tu stesso. Poiché il vero collo di bottiglia è la memoria — ogni esperto deve stare in VRAM — la piattaforma lo rende una scelta di deployment: eseguire in locale quando il tuo hardware può contenere tutti gli esperti (quantizzati), o usare un endpoint dedicato quando un modello di classe 671B non entra nella tua macchina. E poiché tutte le chiamate al modello sono BYOK, puoi passare liberamente tra un modello MoE per inferenza economica ad alta capacità e un modello denso per un'impronta di memoria ridotta, a seconda dell'attività. Il compromesso totale vs attivo diventa un'impostazione, non un grattacapo hardware.

Frequently asked questions

Cos'è un modello a mixture of experts (MoE) in parole semplici?: È un modello diviso in molte sotto-reti specializzate chiamate esperti, con un router che invia ogni token solo ad alcune di esse. Il modello può quindi essere enorme nelle dimensioni totali — contenendo molta conoscenza — pur eseguendo solo una piccola quantità di calcolo per token. Separa quanto sa il modello da quanto costa eseguirlo.
Qual è la differenza tra parametri totali e attivi?: I parametri totali sono tutti gli esperti caricati in memoria; i parametri attivi sono i pochi effettivamente usati per elaborare un dato token. DeepSeek-V3, ad esempio, ha 671B in totale ma solo 37B attivi per token. Il calcolo segue il conteggio attivo, mentre la memoria segue il totale — ecco perché i due numeri devono sempre essere citati insieme.
Perché un modello MoE ha bisogno di così tanta VRAM se usa solo pochi esperti?: Poiché il router può inviare qualsiasi token a qualsiasi esperto, tutti gli esperti devono essere residenti in memoria anche se solo pochi si attivano per token. Quindi un modello MoE necessita di VRAM proporzionale al suo conteggio totale di parametri, non a quello attivo — Mixtral 8x7B necessita grossomodo della memoria di un modello denso da 47B nonostante abbia un calcolo equivalente a 13B.
Un modello MoE è più veloce di un modello denso della stessa dimensione totale?: Sì, per token. Poiché si attiva solo una frazione dei parametri, un MoE esegue molti meno FLOPs per token rispetto a un modello denso con lo stesso conteggio totale di parametri, quindi è più economico e veloce da eseguire — a patto che tu riesca a tenere tutti gli esperti in memoria. Scambia il costo della memoria con l'efficienza di calcolo.
Come decide il router quali esperti usare?: Il router (rete di gating) calcola un punteggio per ciascun esperto dato il token, solitamente tramite una piccola proiezione appresa seguita da un softmax, poi seleziona i top-k esperti con punteggio più alto — spesso i 2 migliori. Solo quegli esperti elaborano il token. Durante l'addestramento, le tecniche di bilanciamento del carico impediscono ai token di concentrarsi su pochi esperti preferiti.
"8x7B" significa 56 miliardi di parametri?: No. Mixtral 8x7B ha circa 46,7B in totale, non 56B, perché gli esperti condividono i livelli di attenzione e di embedding — solo i livelli feed-forward sono divisi in otto esperti. E solo ~12,9B sono attivi per token. Il totale non è mai uguale al numero di esperti per la dimensione dell'esperto; è una convenzione di denominazione, non aritmetica.
I modelli MoE sono migliori o peggiori dei modelli densi per il ragionamento?: È variabile. A parità di qualità di pre-addestramento, i modelli MoE tendono a fare bene nei compiti ricchi di conoscenza e rispondono fortemente al fine-tuning con istruzioni, ma possono restare indietro rispetto ai modelli densi su alcuni benchmark a forte componente di ragionamento. I modelli MoE focalizzati sul ragionamento, come DeepSeek-R1, colmano quel divario con il reinforcement learning anziché con la sola architettura.