O que é um modelo de mistura de especialistas (MoE) em termos simples?

É um modelo dividido em muitas sub-redes especializadas chamadas especialistas, com um roteador que envia cada token apenas a algumas delas. Assim, o modelo pode ser enorme em tamanho total — armazenando muito conhecimento — enquanto realiza apenas uma pequena quantidade de computação por token. Separa o quanto o modelo sabe do quanto custa executá-lo.

Qual é a diferença entre parâmetros totais e ativos?

Parâmetros totais são todos os especialistas carregados na memória; parâmetros ativos são os poucos realmente usados para processar um determinado token. DeepSeek-V3, por exemplo, tem 671B no total, mas apenas 37B ativos por token. A computação acompanha a contagem ativa, enquanto a memória acompanha o total — razão pela qual os dois números sempre precisam ser citados juntos.

Por que um modelo MoE precisa de tanta VRAM se usa apenas alguns especialistas?

Porque o roteador pode enviar qualquer token a qualquer especialista, todos os especialistas precisam estar residentes na memória mesmo que apenas alguns sejam ativados por token. Assim, um modelo MoE precisa de VRAM proporcional à sua contagem total de parâmetros, não à ativa — Mixtral 8x7B precisa aproximadamente da memória de um modelo denso de 47B apesar de ter computação equivalente a 13B.

Um modelo MoE é mais rápido que um modelo denso do mesmo tamanho total?

Sim, por token. Como apenas uma fração dos parâmetros é ativada, um MoE realiza muito menos FLOPs por token do que um modelo denso com a mesma contagem total de parâmetros, então é mais barato e rápido de executar — desde que você consiga armazenar todos os especialistas na memória. Ele troca custo de memória por eficiência computacional.

Como o roteador decide quais especialistas usar?

O roteador (rede de gating) calcula uma pontuação para cada especialista dado o token, geralmente por meio de uma pequena projeção aprendida seguida de um softmax, e então seleciona os top-k especialistas com maior pontuação — frequentemente os 2 melhores. Apenas esses especialistas processam o token. Durante o treinamento, técnicas de balanceamento de carga evitam que os tokens se concentrem em alguns especialistas favoritos.

"8x7B" significa 56 bilhões de parâmetros?

Não. Mixtral 8x7B tem cerca de 46,7B no total, não 56B, porque os especialistas compartilham as camadas de atenção e de embedding — apenas as camadas feed-forward são divididas em oito especialistas. E apenas ~12,9B estão ativos por token. O total nunca é igual a especialistas vezes tamanho do especialista; é uma convenção de nomenclatura, não aritmética.

Os modelos MoE são melhores ou piores que os modelos densos para raciocínio?

É variado. Com qualidade de pré-treinamento equivalente, os modelos MoE tendem a se sair bem em tarefas intensivas em conhecimento e respondem fortemente ao ajuste por instrução, mas podem ficar atrás dos modelos densos em alguns benchmarks de raciocínio intensivo. Os modelos MoE focados em raciocínio, como DeepSeek-R1, fecham essa lacuna com aprendizado por reforço, em vez de apenas com a arquitetura.

← Resources

By Ren Sugaya — Performance Engineer, GPU & Inference · 2026-05-12 · INSIGHT

Mistura de especialistas explicada: parâmetros totais vs. ativos

Um modelo de mistura de especialistas tem um número total de parâmetros enorme, mas ativa apenas uma fração por token, usando um roteador para selecionar algumas sub-redes especialistas. Isso explica como o MoE funciona, a distinção crucial entre parâmetros totais e ativos, por que é barato em computação mas exigente em memória, e o que isso significa para executar modelos como DeepSeek e Mixtral.

O que é uma mistura de especialistas

Um LLM de mistura de especialistas (MoE) é um transformer esparso no qual algumas camadas feed-forward contêm várias sub-redes paralelas chamadas "especialistas", e um roteador aprendido seleciona apenas um pequeno subconjunto delas para processar cada token. O resultado é um modelo com um número total de parâmetros grande que ativa apenas uma fração deles por token.

Compare isso com um modelo denso, onde cada token passa pela mesma rede feed-forward em cada bloco, ativando todos os parâmetros a cada vez. O MoE substitui essas camadas densas por camadas de especialistas esparsas, de modo que a capacidade (o quanto o modelo sabe) fica desacoplada do custo (o quanto de computação cada token consome).

Os especialistas e o roteador

Dois componentes definem uma camada MoE. Cada especialista é uma pequena rede neural, tipicamente um bloco feed-forward. O roteador (ou rede de gating) pontua o token de entrada em relação a cada especialista e o direciona para os top-k com maior pontuação — geralmente os 2 melhores de 8. Apenas esses especialistas contribuem para a saída daquele token; os demais ficam ociosos para aquele token.

Essa esparsidade top-k é todo o truque: é o que reduz a computação por token. Alguns designs adicionam um "especialista compartilhado" que fica sempre ativo junto com os roteados, para capturar padrões comuns de que todo token precisa.

Parâmetros totais vs. ativos — a ideia central

O conceito mais importante — e o mais distorcido na internet — é a diferença entre parâmetros totais e ativos. Parâmetros totais são todos os especialistas que precisam ser carregados; parâmetros ativos são apenas os usados por token. O tamanho anunciado não é computação, então a pergunta que acompanha qualquer contagem de parâmetros MoE é sempre: quantos estão ativos por token?

A nomenclatura "8x7B" é a armadilha clássica. Mixtral 8x7B não tem 8 × 7 = 56B parâmetros. Como os especialistas compartilham as camadas de atenção e de embedding — apenas as camadas feed-forward são divididas em especialistas — o total real é de cerca de 46,7B, com aproximadamente 12,9B ativos por token. Sua computação se assemelha à de um modelo denso de ~13B, mesmo contendo ~47B parâmetros.

Modelos reais: Mixtral e DeepSeek

Dois exemplos concretos ancoram a ideia. Mixtral 8x7B tem ~46,7B parâmetros totais e ~12,9B ativos por token via roteamento top-2-de-8. DeepSeek-V3 escala o padrão muito mais: 671B parâmetros totais com apenas 37B ativos por token, usando 256 especialistas roteados mais um especialista compartilhado sempre ativo, com o roteador selecionando 8 especialistas roteados por token. DeepSeek-R1, o modelo de raciocínio, é construído sobre a base V3 — mesma arquitetura, mesmos 671B totais / 37B ativos, com aprendizado por reforço adicionado para matemática e código.

Até 2025, o MoE havia se tornado a arquitetura de fronteira dominante, com Llama 4, Qwen3 e outros todos adotando-a — precisamente porque permite aos laboratórios escalar a capacidade total sem escalar a computação por token.

A ressalva sobre a VRAM: computação rápida, muita memória

Aqui está o detalhe que surpreende as pessoas: computação esparsa não reduz a memória. Cada especialista precisa estar residente na VRAM (ou RAM) mesmo que apenas alguns sejam ativados por token, porque o roteador pode enviar o próximo token a qualquer um deles. Assim, Mixtral 8x7B precisa aproximadamente da memória de um modelo denso de ~47B — na ordem de 96 GB sem quantização — apesar de ter a pegada computacional de um modelo de 13B. Você não pode executá-lo em uma única GPU de consumo só porque "apenas 13B estão ativos".

Resumo do trade-off: o MoE oferece melhores tokens por dólar (menos FLOPs por token), mas pior memória por dólar (todos os especialistas residentes). A quantização ajuda no lado da memória, razão pela qual os modelos MoE geralmente são executados quantizados localmente ou em endpoints multi-GPU.

Executando modelos MoE no osFoundry

O osFoundry executa modelos MoE como DeepSeek-V3/R1 e Mixtral localmente ou em um endpoint cloud dedicado, para que você obtenha a eficiência por token da ativação esparsa sem gerenciar a arquitetura você mesmo. Como o gargalo real é a memória — todos os especialistas precisam estar na VRAM — a plataforma torna isso uma escolha de implantação: executar localmente quando seu hardware consegue armazenar todos os especialistas (quantizados), ou usar um endpoint dedicado quando um modelo da classe 671B não cabe na sua máquina. E como todas as chamadas de modelo são BYOK, você pode alternar livremente entre um modelo MoE para inferência barata de alta capacidade e um modelo denso para uma pegada de memória menor, conforme a tarefa. O trade-off total vs. ativo se torna uma configuração, não uma dor de cabeça de hardware.

Frequently asked questions

O que é um modelo de mistura de especialistas (MoE) em termos simples?: É um modelo dividido em muitas sub-redes especializadas chamadas especialistas, com um roteador que envia cada token apenas a algumas delas. Assim, o modelo pode ser enorme em tamanho total — armazenando muito conhecimento — enquanto realiza apenas uma pequena quantidade de computação por token. Separa o quanto o modelo sabe do quanto custa executá-lo.
Qual é a diferença entre parâmetros totais e ativos?: Parâmetros totais são todos os especialistas carregados na memória; parâmetros ativos são os poucos realmente usados para processar um determinado token. DeepSeek-V3, por exemplo, tem 671B no total, mas apenas 37B ativos por token. A computação acompanha a contagem ativa, enquanto a memória acompanha o total — razão pela qual os dois números sempre precisam ser citados juntos.
Por que um modelo MoE precisa de tanta VRAM se usa apenas alguns especialistas?: Porque o roteador pode enviar qualquer token a qualquer especialista, todos os especialistas precisam estar residentes na memória mesmo que apenas alguns sejam ativados por token. Assim, um modelo MoE precisa de VRAM proporcional à sua contagem total de parâmetros, não à ativa — Mixtral 8x7B precisa aproximadamente da memória de um modelo denso de 47B apesar de ter computação equivalente a 13B.
Um modelo MoE é mais rápido que um modelo denso do mesmo tamanho total?: Sim, por token. Como apenas uma fração dos parâmetros é ativada, um MoE realiza muito menos FLOPs por token do que um modelo denso com a mesma contagem total de parâmetros, então é mais barato e rápido de executar — desde que você consiga armazenar todos os especialistas na memória. Ele troca custo de memória por eficiência computacional.
Como o roteador decide quais especialistas usar?: O roteador (rede de gating) calcula uma pontuação para cada especialista dado o token, geralmente por meio de uma pequena projeção aprendida seguida de um softmax, e então seleciona os top-k especialistas com maior pontuação — frequentemente os 2 melhores. Apenas esses especialistas processam o token. Durante o treinamento, técnicas de balanceamento de carga evitam que os tokens se concentrem em alguns especialistas favoritos.
"8x7B" significa 56 bilhões de parâmetros?: Não. Mixtral 8x7B tem cerca de 46,7B no total, não 56B, porque os especialistas compartilham as camadas de atenção e de embedding — apenas as camadas feed-forward são divididas em oito especialistas. E apenas ~12,9B estão ativos por token. O total nunca é igual a especialistas vezes tamanho do especialista; é uma convenção de nomenclatura, não aritmética.
Os modelos MoE são melhores ou piores que os modelos densos para raciocínio?: É variado. Com qualidade de pré-treinamento equivalente, os modelos MoE tendem a se sair bem em tarefas intensivas em conhecimento e respondem fortemente ao ajuste por instrução, mas podem ficar atrás dos modelos densos em alguns benchmarks de raciocínio intensivo. Os modelos MoE focados em raciocínio, como DeepSeek-R1, fecham essa lacuna com aprendizado por reforço, em vez de apenas com a arquitetura.