Architektur und interne Modellbausteine
Expert Router
Heißt auch Gating Network oder MoE-Router.
Komponente zur Auswahl der zuständigen MoE-Experten.
Ein Expert Router ist die Steuerung in einem Mixture-of-Experts-Modell, die für die Darstellung eines Tokens passende Experten-Teilnetze auswählt. (Hugging Face) Er wird auch Gating Network genannt und gemeinsam mit den übrigen Modellbestandteilen trainiert. (Hugging Face)
So kannst du dir das vorstellen
Stell dir eine Fertigung mit mehreren Bearbeitungsstationen vor. Ein Verteiler bewertet für jedes ankommende Werkstück, welche Stationen es bearbeiten sollen. Manche Stationen erhalten gerade viel Arbeit, andere wenig.
Der Verteiler steht für den Router. Die Analogie erklärt Auswahl und Auslastung, aber keine festen Fachgebiete: Die Experten im Modell sind mathematische Teilnetze, keine vorab benannten Abteilungen für Recht, Vertrieb oder Technik. (Hugging Face)
Auswahl auf Ebene der Tokens
Ein Token ist eine Einheit der Eingabefolge; der Router arbeitet mit dessen aktueller interner Zahlendarstellung und berechnet Bewertungen für die verfügbaren Experten. (Hugging Face) Bei Top-k-Routing werden daraus eine begrenzte Anzahl von Experten ausgewählt und ihre Ergebnisse gewichtet zusammengeführt. (Hugging Face)
Die Auswahl kann sich von Token zu Token und von Schicht zu Schicht unterscheiden. (Hugging Face) Eine gesamte Nutzerfrage wird daher nicht zwangsläufig an genau einen zuständigen „Spezialisten“ übergeben.
In Architekturen mit Shared Experts können zusätzlich Experten unabhängig von dieser Auswahl für alle Tokens mitarbeiten. (DeepSeek-V2) Der Router bestimmt dort nur einen Teil der tatsächlich aktiven Verarbeitung. (DeepSeek-V2)
Gute Auswahl muss auch ausführbar sein
Eine starke Konzentration auf wenige Experten kann einzelne Rechengeräte überlasten und andere ungenutzt lassen. (Hugging Face) Deshalb enthalten MoE-Trainingsverfahren häufig Mechanismen zum Lastausgleich, etwa zusätzliche Verlustterme. (Hugging Face)
Für das Verständnis einer Architektur solltest du deshalb Auswahlregel und Betriebsorganisation getrennt betrachten. Der Router entscheidet, welche Experten beteiligt sind; Expert Parallelism beschreibt dagegen, wie diese Experten auf Rechengeräte verteilt werden. (Hugging Face)
Verwandte Begriffe
Passend sind Mixture of Experts, Active Parameters, Shared Expert, Load-Balancing Loss, Expert Parallelism und SwiGLU.