---
term: "Dense Model"
slug: "dense-model"
glossar_id: "G028"
variants: ["Dichtes Modell","Dense Language Model"]
category: "grundbegriffe-und-modelltypen"
marker: ""
short: "Modell ohne tokenabhängige Auswahl weniger Experten wie bei MoE."
sources:
  - label: "Hugging Face"
    url: "https://huggingface.co/blog/moe"
  - label: "Google"
    url: "https://developers.google.com/machine-learning/glossary"
status: "entwurf"
updated: "2026-09-20"
---

Ein Dense Model, auf Deutsch dichtes Modell, verwendet im hier gemeinten Architekturvergleich einen gemeinsamen Verarbeitungspfad statt für jedes Token nur ausgewählte Experten eines Mixture-of-Experts-Systems zu aktivieren. ([Hugging Face](https://huggingface.co/blog/moe)) Der Begriff wird besonders dann relevant, wenn dichte und spärlich aktivierte MoE-Modelle miteinander verglichen werden. ([Hugging Face](https://huggingface.co/blog/moe))

## So kannst du dir das vorstellen

Stell dir zwei Werkstätten vor. In der ersten durchläuft jeder Auftrag dieselbe festgelegte Bearbeitungslinie. In der zweiten werden Teile eines Auftrags an ausgewählte Stationen aus einer größeren Gruppe verteilt.

Die erste Werkstatt steht in diesem Bild für das dichte Modell, die zweite für die selektive Verarbeitung in einem MoE-Modell. Das Bild erklärt die Auswahl des Rechenwegs. Es bedeutet nicht, dass ein dichtes Modell für jeden Text dieselben Zahlenwerte oder dieselbe Antwort berechnet.

## Warum der Vergleich bei Größenangaben zählt

Bei MoE-Modellen unterscheiden sich die gesamten vorhandenen Parameter von dem Teil, der für ein einzelnes Token aktiv verwendet wird. ([Hugging Face](https://huggingface.co/blog/moe)) Ein Vergleich nach der gesamten Parameterzahl allein kann daher unterschiedliche Rechenaufwände verdecken.

Wenn du zwei Modelle für einen Server auswählst, prüfe ihren Speicherbedarf und ihre Bearbeitungsgeschwindigkeit unter der erwarteten Last. Vergleiche außerdem die Qualität bei deinen Aufgaben. Die Architekturbezeichnung liefert einen Hinweis auf die Technik, aber kein vollständiges Ergebnis dieses Vergleichs.

## „Dicht“ hat hier eine begrenzte Bedeutung

Im Gegensatz zu einer sparsamen MoE-Schicht wird nicht pro Token eine kleine Teilmenge aus mehreren Experten ausgewählt. ([Hugging Face](https://huggingface.co/blog/moe)) Daraus sollte man jedoch keine Aussage ableiten, dass in jedem Verarbeitungsschritt buchstäblich jeder gespeicherte Zahlenwert dieselbe Rolle spielen müsse.

Außerdem kommt das Wort „dense“ auch in anderen Zusammenhängen vor, etwa bei voll verbundenen Schichten oder dichten Datenrepräsentationen. ([Google](https://developers.google.com/machine-learning/glossary)) Bei einer Dokumentation ist deshalb wichtig, ob vom Gesamtmodell, einer einzelnen Schicht oder einer Repräsentation die Rede ist.

## Verwandte Begriffe

**Mixture of Experts**, **Aktive Parameter**, **Modellgewichte**, **Feed-Forward Network**, **Inferenz** und **Quantisierung** sind die passenden Anschlüsse. Für Modellvergleiche ist die Unterscheidung zwischen vorhandenen und aktiven Parametern besonders hilfreich.