Was ist ein Mixture-of-Experts-Modell (MoE) in einfachen Worten?

Es ist ein Modell, das in viele spezialisierte Teilnetzwerke – sogenannte Experten – aufgeteilt ist, mit einem Router, der jeden Token nur an einige davon weiterleitet. Das Modell kann also insgesamt riesig sein – viel Wissen speichern – und dabei nur wenig Rechenleistung pro Token benötigen. Es trennt, was das Modell weiß, von dem, was es kostet, es auszuführen.

Warum benötigt ein MoE-Modell so viel VRAM, wenn es nur wenige Experten verwendet?

Weil der Router jeden Token an jeden Experten schicken kann, müssen alle Experten im Speicher vorhanden sein, auch wenn pro Token nur wenige feuern. Ein MoE-Modell benötigt also VRAM proportional zu seiner Gesamtparameterzahl, nicht zur aktiven – Mixtral 8x7B benötigt ungefähr den Speicher eines dichten 47B-Modells, obwohl es vom Rechenaufwand her einem 13B-Modell entspricht.

Ist ein MoE-Modell schneller als ein dichtes Modell gleicher Gesamtgröße?

Ja, pro Token. Da nur ein Bruchteil der Parameter aktiviert wird, führt ein MoE weit weniger FLOPs pro Token aus als ein dichtes Modell mit der gleichen Gesamtparameterzahl, ist also günstiger und schneller auszuführen – solange alle Experten in den Speicher passen. Es tauscht Speicherkosten gegen Recheneffizienz.

Wie entscheidet der Router, welche Experten verwendet werden?

Der Router (Gating-Netzwerk) berechnet anhand des Tokens für jeden Experten einen Score, typischerweise über eine kleine erlernte Projektion gefolgt von einem Softmax, und wählt dann die Top-k höchstbewerteten Experten aus – häufig die besten 2. Nur diese Experten verarbeiten den Token. Während des Trainings verhindern Load-Balancing-Techniken, dass sich Tokens auf wenige Lieblingsexperten konzentrieren.

Bedeutet "8x7B" 56 Milliarden Parameter?

Nein. Mixtral 8x7B hat insgesamt etwa 46,7B, nicht 56B, weil die Experten die Attention- und Embedding-Schichten teilen – nur die Feed-Forward-Schichten sind in acht Experten aufgeteilt. Und nur ~12,9B sind pro Token aktiv. Der Gesamtwert entspricht nie Experten mal Expertengröße; das ist eine Namenskonvention, keine Arithmetik.

Sind MoE-Modelle besser oder schlechter als dichte Modelle beim Reasoning?

Das ist gemischt. Bei vergleichbarer Vortrainingsqualität schneiden MoE-Modelle bei wissensintensiven Aufgaben tendenziell gut ab und reagieren stark auf Instruction-Tuning, können aber bei einigen reasoning-intensiven Benchmarks hinter dichten Modellen zurückbleiben. Auf Reasoning ausgerichtete MoE-Modelle wie DeepSeek-R1 schließen diese Lücke mit Reinforcement Learning statt allein durch die Architektur.

← Resources

By Ren Sugaya — Performance Engineer, GPU & Inference · 2026-05-12 · INSIGHT

Mixture of Experts erklärt: Gesamtparameter vs. aktive Parameter

Ein Mixture-of-Experts-Modell hat eine enorme Gesamtparameterzahl, aktiviert aber nur einen Bruchteil davon pro Token – mithilfe eines Routers, der einige wenige Experten-Teilnetzwerke auswählt. Hier wird erklärt, wie MoE funktioniert, was die entscheidende Unterscheidung zwischen Gesamt- und aktiven Parametern bedeutet, warum es recheneffizient, aber speicherhungrig ist, und was das für das Ausführen von Modellen wie DeepSeek und Mixtral bedeutet.

Was eine Mixture of Experts ist

Ein Mixture-of-Experts-LLM (MoE) ist ein spärlicher Transformer, bei dem einige Feed-Forward-Schichten mehrere parallele Teilnetzwerke enthalten, die als "Experten" bezeichnet werden, und ein erlernter Router nur eine kleine Teilmenge davon auswählt, um jeden Token zu verarbeiten. Das Ergebnis ist ein Modell mit einer großen Gesamtparameterzahl, das nur einen Bruchteil dieser Parameter pro Token aktiviert.

Dem gegenüber steht ein dichtes Modell, bei dem jeder Token in jedem Block dasselbe Feed-Forward-Netzwerk durchläuft und dabei jedes Mal alle Parameter aktiviert. MoE ersetzt diese dichten Schichten durch spärliche Experten-Schichten, sodass die Kapazität (wie viel das Modell weiß) von den Kosten (wie viel Rechenaufwand jeder Token erfordert) entkoppelt ist.

Die Experten und der Router

Zwei Komponenten definieren eine MoE-Schicht. Jeder Experte ist ein kleines neuronales Netz, typischerweise ein Feed-Forward-Block. Der Router (oder das Gating-Netzwerk) bewertet den eingehenden Token gegenüber jedem Experten und leitet ihn zu den Top-k mit den höchsten Bewertungen weiter – häufig die besten 2 von 8. Nur diese Experten tragen zur Ausgabe dieses Tokens bei; die übrigen bleiben für diesen Token inaktiv.

Diese Top-k-Sparsität ist der eigentliche Trick: Sie senkt den Rechenaufwand pro Token. Einige Architekturen fügen einen "gemeinsamen Experten" hinzu, der stets aktiv ist und neben den gerouteten Experten arbeitet, um allgemeine Muster zu erfassen, die jeder Token benötigt.

Gesamt- vs. aktive Parameter – die Schlüsselidee

Das wichtigste Konzept – und das online am häufigsten missverstandene – ist der Unterschied zwischen Gesamt- und aktiven Parametern. Gesamtparameter sind alle Experten, die geladen werden müssen; aktive Parameter sind nur diejenigen, die pro Token verwendet werden. Die plakative Zahl ist keine Rechenleistung, daher lautet die Anschlussfrage bei jeder MoE-Parameterzahl immer: Wie viele sind pro Token aktiv?

Die "8x7B"-Benennung ist die klassische Falle. Mixtral 8x7B hat nicht 8 × 7 = 56B Parameter. Da die Experten die Attention- und Embedding-Schichten teilen – nur die Feed-Forward-Schichten sind in Experten aufgeteilt – beträgt der tatsächliche Gesamtwert etwa 46,7B, mit rund 12,9B aktiven Parametern pro Token. Seine Rechenleistung ähnelt der eines dichten ~13B-Modells, obwohl es ~47B Parameter enthält.

Reale Modelle: Mixtral und DeepSeek

Zwei konkrete Beispiele veranschaulichen die Idee. Mixtral 8x7B hat ~46,7B Gesamtparameter und ~12,9B aktive Parameter pro Token über Top-2-von-8-Routing. DeepSeek-V3 skaliert das Muster weit höher: 671B Gesamtparameter mit nur 37B aktiven Parametern pro Token, unter Verwendung von 256 gerouteten Experten plus einem stets aktiven gemeinsamen Experten, wobei der Router 8 geroutete Experten pro Token auswählt. DeepSeek-R1, das Reasoning-Modell, baut auf der V3-Basis auf – gleiche Architektur, gleiche 671B gesamt / 37B aktiv, mit zusätzlichem Reinforcement Learning für Mathematik und Code.

Bis 2025 war MoE zur dominierenden Frontier-Architektur geworden, die Llama 4, Qwen3 und andere allesamt übernommen haben – gerade weil sie es Laboren ermöglicht, die Gesamtkapazität zu skalieren, ohne den Rechenaufwand pro Token zu erhöhen.

Der VRAM-Vorbehalt: schnelle Berechnung, großer Speicherbedarf

Hier ist der Haken, der die Leute überrascht: Spärliche Berechnung reduziert den Speicherbedarf nicht. Jeder Experte muss im VRAM (oder RAM) vorhanden sein, auch wenn pro Token nur wenige feuern, weil der Router den nächsten Token an jeden beliebigen von ihnen senden könnte. Mixtral 8x7B benötigt daher ungefähr den Speicher eines dichten ~47B-Modells – in der Größenordnung von 96 GB unquantisiert – obwohl es den Rechenaufwand eines 13B-Modells hat. Man kann es nicht auf einer einzigen Consumer-GPU ausführen, nur weil "nur 13B aktiv sind".

Zusammenfassung des Kompromisses: MoE liefert bessere Tokens pro Dollar (weniger FLOPs pro Token), aber schlechtere Speichereffizienz pro Dollar (alle Experten resident). Quantisierung hilft auf der Speicherseite, weshalb MoE-Modelle typischerweise quantisiert lokal oder auf Multi-GPU-Endpunkten ausgeführt werden.

MoE-Modelle in osFoundry ausführen

osFoundry führt MoE-Modelle wie DeepSeek-V3/R1 und Mixtral entweder lokal oder auf einem dedizierten Cloud-Endpunkt aus, sodass Sie die Token-Effizienz der spärlichen Aktivierung nutzen können, ohne die Architektur selbst verwalten zu müssen. Da der eigentliche Engpass der Speicher ist – jeder Experte muss im VRAM liegen – macht die Plattform daraus eine Deployment-Entscheidung: lokal ausführen, wenn Ihre Hardware alle Experten (quantisiert) halten kann, oder einen dedizierten Endpunkt verwenden, wenn ein Modell der 671B-Klasse nicht auf Ihren Rechner passt. Und da alle Modellaufrufe BYOK sind, können Sie je nach Aufgabe frei zwischen einem MoE-Modell für günstige Hochkapazitätsinferenz und einem dichten Modell für einen kleineren Speicher-Footprint wechseln. Der Gesamt-vs-aktiv-Kompromiss wird zu einer Einstellung statt zu einem Hardware-Problem.

Frequently asked questions

Was ist ein Mixture-of-Experts-Modell (MoE) in einfachen Worten?: Es ist ein Modell, das in viele spezialisierte Teilnetzwerke – sogenannte Experten – aufgeteilt ist, mit einem Router, der jeden Token nur an einige davon weiterleitet. Das Modell kann also insgesamt riesig sein – viel Wissen speichern – und dabei nur wenig Rechenleistung pro Token benötigen. Es trennt, was das Modell weiß, von dem, was es kostet, es auszuführen.
Was ist der Unterschied zwischen Gesamt- und aktiven Parametern?: Gesamtparameter sind alle in den Speicher geladenen Experten; aktive Parameter sind die wenigen, die tatsächlich zur Verarbeitung eines bestimmten Tokens verwendet werden. DeepSeek-V3 etwa hat insgesamt 671B, aber nur 37B aktive Parameter pro Token. Die Rechenleistung folgt der aktiven Zahl, während der Speicher der Gesamtzahl folgt – weshalb beide Zahlen immer zusammen angegeben werden müssen.
Warum benötigt ein MoE-Modell so viel VRAM, wenn es nur wenige Experten verwendet?: Weil der Router jeden Token an jeden Experten schicken kann, müssen alle Experten im Speicher vorhanden sein, auch wenn pro Token nur wenige feuern. Ein MoE-Modell benötigt also VRAM proportional zu seiner Gesamtparameterzahl, nicht zur aktiven – Mixtral 8x7B benötigt ungefähr den Speicher eines dichten 47B-Modells, obwohl es vom Rechenaufwand her einem 13B-Modell entspricht.
Ist ein MoE-Modell schneller als ein dichtes Modell gleicher Gesamtgröße?: Ja, pro Token. Da nur ein Bruchteil der Parameter aktiviert wird, führt ein MoE weit weniger FLOPs pro Token aus als ein dichtes Modell mit der gleichen Gesamtparameterzahl, ist also günstiger und schneller auszuführen – solange alle Experten in den Speicher passen. Es tauscht Speicherkosten gegen Recheneffizienz.
Wie entscheidet der Router, welche Experten verwendet werden?: Der Router (Gating-Netzwerk) berechnet anhand des Tokens für jeden Experten einen Score, typischerweise über eine kleine erlernte Projektion gefolgt von einem Softmax, und wählt dann die Top-k höchstbewerteten Experten aus – häufig die besten 2. Nur diese Experten verarbeiten den Token. Während des Trainings verhindern Load-Balancing-Techniken, dass sich Tokens auf wenige Lieblingsexperten konzentrieren.
Bedeutet "8x7B" 56 Milliarden Parameter?: Nein. Mixtral 8x7B hat insgesamt etwa 46,7B, nicht 56B, weil die Experten die Attention- und Embedding-Schichten teilen – nur die Feed-Forward-Schichten sind in acht Experten aufgeteilt. Und nur ~12,9B sind pro Token aktiv. Der Gesamtwert entspricht nie Experten mal Expertengröße; das ist eine Namenskonvention, keine Arithmetik.
Sind MoE-Modelle besser oder schlechter als dichte Modelle beim Reasoning?: Das ist gemischt. Bei vergleichbarer Vortrainingsqualität schneiden MoE-Modelle bei wissensintensiven Aufgaben tendenziell gut ab und reagieren stark auf Instruction-Tuning, können aber bei einigen reasoning-intensiven Benchmarks hinter dichten Modellen zurückbleiben. Auf Reasoning ausgerichtete MoE-Modelle wie DeepSeek-R1 schließen diese Lücke mit Reinforcement Learning statt allein durch die Architektur.