Mixture of Experts（MoE）モデルをわかりやすく言うと？

エキスパートと呼ばれる多数の専門サブネットワークに分割されたモデルで、ルーターが各トークンをそのうちの一部だけに送ります。そのため、モデルは総サイズが大きく（多くの知識を保持）、トークンごとにはわずかな計算しか行いません。モデルがどれだけ知識を持つかと、実行コストとを切り離す仕組みです。

総パラメータ数とアクティブパラメータ数の違いは？

総パラメータ数はメモリにロードされた全エキスパートの数で、アクティブパラメータ数は特定のトークンを処理するために実際に使われる少数の数です。たとえばDeepSeek-V3は総数671Bですが、トークンごとのアクティブ数はわずか37Bです。計算量はアクティブ数に連動し、メモリは総数に連動するため、この2つの数値は常にセットで示す必要があります。

少数のエキスパートしか使わないのに、なぜMoEモデルはそれほどVRAMを必要とするの？

ルーターはどのトークンもどのエキスパートに送る可能性があるため、トークンごとに発火するのは少数でも、全エキスパートがメモリに常駐している必要があります。そのため、MoEモデルが必要とするVRAMはアクティブパラメータ数ではなく総パラメータ数に比例します。Mixtral 8x7Bは13B相当の計算量にもかかわらず、デンスな47Bモデルに近いメモリを必要とします。

MoEモデルは同じ総サイズのデンスモデルより速い？

はい、トークンごとに見れば速いです。活性化されるパラメータは全体の一部だけなので、MoEは同じ総パラメータ数のデンスモデルよりもトークンごとのFLOPsがはるかに少なく、実行コストが低く高速です。ただし、全エキスパートをメモリに収められる場合に限ります。計算効率と引き換えにメモリコストを払う、というトレードオフです。

ルーターはどのエキスパートを使うかをどう決める？

ルーター（ゲーティングネットワーク）は、トークンが入力されると各エキスパートに対してスコアを計算します。通常は小さな学習済みの射影とsoftmaxを経て、スコア上位k個のエキスパートを選びます（多くの場合は上位2個）。そのエキスパートだけがトークンを処理します。学習中は、トークンが一部のお気に入りエキスパートに偏らないよう、負荷分散の手法が使われます。

「8x7B」は560億パラメータという意味？

いいえ。Mixtral 8x7Bの総数は約46.7Bで、56Bではありません。エキスパートはアテンション層と埋め込み層を共有しており、フィードフォワード層だけが8つのエキスパートに分割されているためです。さらに、トークンごとにアクティブなのは~12.9Bだけです。総数はエキスパート数×エキスパートサイズには決してなりません。これは命名規則であり、計算式ではないのです。

MoEモデルは推論タスクでデンスモデルより優れている？それとも劣る？

一概には言えません。事前学習の品質が同等であれば、MoEモデルは知識重視のタスクで強く、インストラクションチューニングへの反応も良好ですが、推論重視のベンチマークによってはデンスモデルに劣ることもあります。DeepSeek-R1のような推論特化のMoEモデルは、アーキテクチャだけに頼らず強化学習によってそのギャップを埋めています。

← Resources

By Ren Sugaya — Performance Engineer, GPU & Inference · 2026-05-12 · INSIGHT

Mixture of Experts（MoE）解説：総パラメータ数とアクティブパラメータ数

Mixture of Expertsモデルは総パラメータ数が非常に多いものの、ルーターがいくつかのエキスパートのサブネットワークを選択することで、トークンごとにその一部だけを活性化します。本記事では、MoEの仕組み、最も重要な総パラメータ数とアクティブパラメータ数の違い、計算コストは低いのにメモリ消費は大きい理由、そしてDeepSeekやMixtralのようなモデルを動かすうえで何を意味するのかを解説します。

Mixture of Expertsとは

Mixture of Experts（MoE）LLMはスパースなトランスフォーマーの一種で、一部のフィードフォワード層に「エキスパート」と呼ばれる複数の並列サブネットワークを持ち、学習済みのルーターが各トークンを処理するためにそのうちのごく一部だけを選択します。その結果、総パラメータ数は多いものの、トークンごとに活性化されるパラメータは全体のごく一部にとどまります。

これをデンスモデルと比較してみましょう。デンスモデルでは、すべてのトークンが各ブロックで同じフィードフォワードネットワークを通過し、毎回すべてのパラメータを活性化します。MoEはその密な層をスパースなエキスパート層に置き換えることで、容量（モデルがどれだけ知識を持つか）とコスト（トークンごとにどれだけの計算が必要か）を切り離します。

エキスパートとルーター

MoE層は2つの要素で定義されます。エキスパートはそれぞれ小さなニューラルネットワークで、一般的にはフィードフォワードブロックです。ルーター（ゲーティングネットワーク）は入力トークンを各エキスパートに対してスコアリングし、スコア上位k個のエキスパートにルーティングします。一般的には8個中の上位2個です。そのトークンの出力に寄与するのはこれらのエキスパートだけで、残りはそのトークンに対してアイドル状態になります。

このtop-kのスパース性こそがMoEの肝です。これがトークンごとの計算量を削減する仕組みです。設計によっては、すべてのトークンが必要とする共通パターンを捉えるために、ルーティングされたエキスパートと常に並行して動作する「共有エキスパート」を加えるものもあります。

総パラメータ数とアクティブパラメータ数——核心となる考え方

最も重要であり、ネット上で最も誤解されている概念が、総パラメータ数とアクティブパラメータ数の違いです。総パラメータ数はロードが必要なすべてのエキスパートの数であり、アクティブパラメータ数はトークンごとに実際に使われる数だけを指します。見出しに出るサイズは計算量ではないため、MoEのパラメータ数を見たときの次の問いは常に「トークンごとに何個がアクティブか？」になります。

「8x7B」という命名は典型的な落とし穴です。Mixtral 8x7Bは8 × 7 = 56Bパラメータではありません。エキスパートはアテンション層と埋め込み層を共有しており、フィードフォワード層だけがエキスパートに分割されているため、実際の総数は約46.7Bで、トークンごとのアクティブ数は約12.9Bです。~47Bのパラメータを持つにもかかわらず、計算量は~13Bのデンスモデルに近くなります。

実際のモデル：MixtralとDeepSeek

2つの具体例でこの考え方を掘り下げましょう。Mixtral 8x7Bは、top-2-of-8ルーティングにより総パラメータ数が~46.7B、トークンごとのアクティブパラメータ数が~12.9Bです。DeepSeek-V3はこのパターンをはるかに大きなスケールへと拡張しています。256個のルーティングエキスパートと1個の常時オンの共有エキスパートを使い、ルーターがトークンごとに8個のルーティングエキスパートを選ぶことで、総パラメータ数671Bに対してトークンごとのアクティブ数はわずか37Bです。推論モデルのDeepSeek-R1はV3をベースに構築されており、アーキテクチャも671B総数/37Bアクティブも同じで、数学とコードのための強化学習が追加されています。

2025年までにMoEはフロンティアの主流アーキテクチャとなり、Llama 4やQwen3をはじめ多くのモデルが採用しました。まさに、トークンごとの計算量を増やさずに総容量をスケールできるからです。

VRAMの落とし穴：計算は速いがメモリは大きい

ここに、多くの人が驚くポイントがあります。スパースな計算をしてもメモリは減りません。ルーターは次のトークンをどのエキスパートにも送る可能性があるため、トークンごとに発火するのは少数だとしても、すべてのエキスパートがVRAM（またはRAM）に常駐している必要があります。そのため、Mixtral 8x7Bは13Bモデル相当の計算フットプリントであるにもかかわらず、非量子化で約96GBと、デンスな~47Bモデルに近いメモリを必要とします。「アクティブなのは13Bだけだから」という理由で、1枚のコンシューマー向けGPUに収めることはできません。

トレードオフをまとめると、MoEはトークンあたりのコスト（トークンごとのFLOPsが少ない）では優れる一方、メモリコスト（全エキスパートが常駐）では劣ります。量子化はメモリ面を助けてくれるため、MoEモデルは通常、量子化してローカルで動かすか、マルチGPUのエンドポイントで動かします。

osFoundryでMoEモデルを動かす

osFoundryでは、DeepSeek-V3/R1やMixtralといったMoEモデルをローカルまたは専用クラウドエンドポイントで実行できるため、アーキテクチャを自分で管理することなく、スパース活性化によるトークンごとの効率を活用できます。真のボトルネックはメモリ——全エキスパートがVRAMに常駐する必要がある——であるため、プラットフォームはこれをデプロイ時の選択肢として用意しています。ハードウェアが全エキスパート（量子化済み）を保持できるならローカルで実行し、671Bクラスのモデルが手元のマシンに収まらないなら専用エンドポイントを使う、という具合です。また、すべてのモデル呼び出しがBYOKなので、タスクごとに、安価で高容量な推論向けのMoEモデルと、よりメモリフットプリントの小さいデンスモデルとを自由に切り替えられます。総数とアクティブのトレードオフは、ハードウェアの悩みではなく、ひとつの設定になるのです。

Frequently asked questions

Mixture of Experts（MoE）モデルをわかりやすく言うと？: エキスパートと呼ばれる多数の専門サブネットワークに分割されたモデルで、ルーターが各トークンをそのうちの一部だけに送ります。そのため、モデルは総サイズが大きく（多くの知識を保持）、トークンごとにはわずかな計算しか行いません。モデルがどれだけ知識を持つかと、実行コストとを切り離す仕組みです。
総パラメータ数とアクティブパラメータ数の違いは？: 総パラメータ数はメモリにロードされた全エキスパートの数で、アクティブパラメータ数は特定のトークンを処理するために実際に使われる少数の数です。たとえばDeepSeek-V3は総数671Bですが、トークンごとのアクティブ数はわずか37Bです。計算量はアクティブ数に連動し、メモリは総数に連動するため、この2つの数値は常にセットで示す必要があります。
少数のエキスパートしか使わないのに、なぜMoEモデルはそれほどVRAMを必要とするの？: ルーターはどのトークンもどのエキスパートに送る可能性があるため、トークンごとに発火するのは少数でも、全エキスパートがメモリに常駐している必要があります。そのため、MoEモデルが必要とするVRAMはアクティブパラメータ数ではなく総パラメータ数に比例します。Mixtral 8x7Bは13B相当の計算量にもかかわらず、デンスな47Bモデルに近いメモリを必要とします。
MoEモデルは同じ総サイズのデンスモデルより速い？: はい、トークンごとに見れば速いです。活性化されるパラメータは全体の一部だけなので、MoEは同じ総パラメータ数のデンスモデルよりもトークンごとのFLOPsがはるかに少なく、実行コストが低く高速です。ただし、全エキスパートをメモリに収められる場合に限ります。計算効率と引き換えにメモリコストを払う、というトレードオフです。
ルーターはどのエキスパートを使うかをどう決める？: ルーター（ゲーティングネットワーク）は、トークンが入力されると各エキスパートに対してスコアを計算します。通常は小さな学習済みの射影とsoftmaxを経て、スコア上位k個のエキスパートを選びます（多くの場合は上位2個）。そのエキスパートだけがトークンを処理します。学習中は、トークンが一部のお気に入りエキスパートに偏らないよう、負荷分散の手法が使われます。
「8x7B」は560億パラメータという意味？: いいえ。Mixtral 8x7Bの総数は約46.7Bで、56Bではありません。エキスパートはアテンション層と埋め込み層を共有しており、フィードフォワード層だけが8つのエキスパートに分割されているためです。さらに、トークンごとにアクティブなのは~12.9Bだけです。総数はエキスパート数×エキスパートサイズには決してなりません。これは命名規則であり、計算式ではないのです。
MoEモデルは推論タスクでデンスモデルより優れている？それとも劣る？: 一概には言えません。事前学習の品質が同等であれば、MoEモデルは知識重視のタスクで強く、インストラクションチューニングへの反応も良好ですが、推論重視のベンチマークによってはデンスモデルに劣ることもあります。DeepSeek-R1のような推論特化のMoEモデルは、アーキテクチャだけに頼らず強化学習によってそのギャップを埋めています。