---
term: "Diffusion Language Model"
slug: "diffusion-language-model"
glossar_id: "G024"
variants: ["DLM", "Diffusionssprachmodell"]
category: "grundbegriffe-und-modelltypen"
marker: "Technik"
short: "Generierung durch schrittweise Rekonstruktion beschädigter oder maskierter Tokensequenzen."
redirects: ["diffusionssprachmodell"]
sources:
  - label: "LLaDA-Projekt"
    url: "https://ml-gsai.github.io/LLaDA-demo/"
  - label: "Hugging Face"
    url: "https://huggingface.co/docs/transformers/en/glossary"
status: "entwurf"
updated: "2026-09-20"
---

Ein Diffusionssprachmodell erzeugt Text durch schrittweise Rekonstruktion einer gestörten oder maskierten Folge; beim Verfahren LLaDA werden dafür zunächst verdeckte Tokenpositionen nach und nach ausgefüllt. ([LLaDA-Projekt](https://ml-gsai.github.io/LLaDA-demo/)) Die Erzeugung muss dabei nicht ausschließlich von links nach rechts stattfinden. ([LLaDA-Projekt](https://ml-gsai.github.io/LLaDA-demo/))

## So kannst du dir das vorstellen

Stell dir eine Texttafel vor, auf der anfangs alle Felder verdeckt sind. In mehreren Runden werden Vorschläge für die Felder eingesetzt. Einige Vorschläge bleiben stehen, andere werden für eine spätere Runde erneut abgedeckt.

So entsteht nach und nach eine zusammenhängende Folge. Das ist ein anderes Bild als das fortlaufende Anhängen eines einzigen neuen Stücks am rechten Rand.

Die Tafel veranschaulicht eine maskierte Variante von Textdiffusion. Sie soll nicht behaupten, dass alle Diffusionsverfahren genau denselben Ablauf verwenden.

## Ein konkreter Forschungsansatz: LLaDA

LLaDA steht für „Large Language Diffusion with mAsking“ und nutzt beim Generieren einen Übergang von vollständiger Maskierung zu einer ausgefüllten Folge. ([LLaDA-Projekt](https://ml-gsai.github.io/LLaDA-demo/)) In einem Schritt werden die maskierten Positionen gemeinsam vorhergesagt; je nach Verfahren können Positionen erneut maskiert werden. ([LLaDA-Projekt](https://ml-gsai.github.io/LLaDA-demo/))

Das ist ein konkretes Beispiel dafür, dass die Fähigkeiten großer Sprachmodelle nicht zwingend an eine rein autoregressive Generierung gebunden sein müssen. ([LLaDA-Projekt](https://ml-gsai.github.io/LLaDA-demo/)) Aus dem anderen Ablauf folgt aber noch kein allgemeiner Qualitäts- oder Geschwindigkeitsvorsprung.

## Was du bei einem Vergleich prüfen solltest

Wenn dir ein Anbieter ein Diffusionssprachmodell vorstellt, wären konkrete Aufgaben ein guter Ausgangspunkt. Wie gut werden vorgegebene Formate eingehalten? Wie lange dauert eine vollständige Antwort? Was geschieht bei längeren Ausgaben?

Dabei sollte der Vergleich unter denselben Bedingungen stattfinden. Verlange konkrete Messungen, wenn aus dem anderen Generierungsablauf ein Geschwindigkeitsvorteil für deine Anwendung abgeleitet wird.

## Nicht mit einer einzelnen Lückenübung verwechseln

Auch Masked Language Modeling verwendet verdeckte Tokens; bei LLaDA ist die wiederholte Rekonstruktion jedoch Teil des eigentlichen Generierungsverfahrens. ([Hugging Face](https://huggingface.co/docs/transformers/en/glossary), [LLaDA-Projekt](https://ml-gsai.github.io/LLaDA-demo/)) Entscheidend ist also, wie das Verfahren zur Erzeugung einer ganzen Ausgabe genutzt wird.

## Verwandte Begriffe

Passend sind **Autoregressives Modell**, **Masked Language Model**, **Generative KI**, **Sampling** und **Tokens**. Die Gegenüberstellung mit autoregressiver Generierung erklärt den Kernunterschied am schnellsten.