---
term: "Decode Phase"
slug: "decode-phase"
glossar_id: "G367"
variants: []
category: "inferenzoptimierung-serving-und-leistungskennzahlen"
marker: ""
short: "Phase der fortlaufenden Ausgabetokengenerierung."
sources:
  - label: "Agrawal et al.: Taming Throughput-Latency Tradeoff with Sarathi-Serve"
    url: "https://arxiv.org/abs/2403.02310"
  - label: "Kwon et al.: Efficient Memory Management for LLM Serving with PagedAttention"
    url: "https://arxiv.org/abs/2309.06180"
status: "entwurf"
updated: "2026-09-21"
---

Die Decode Phase ist der zweite Teil einer Anfrage: Nach der Verarbeitung der Eingabe entstehen die Ausgabetokens einzeln nacheinander. Jeder Schritt erzeugt genau ein Token und nutzt dabei die gespeicherten Zwischenwerte der vorherigen. [Agrawal et al.](https://arxiv.org/abs/2403.02310)

## Ein Token pro Durchlauf, und das ist teuer

Weil je Anfrage nur ein Token pro Durchlauf entsteht, sind die Rechenwerke schlecht ausgelastet: Die Modellgewichte müssen für dieses eine Token durch den Speicher gelesen werden. Genau deshalb lohnt sich hier die Bündelung vieler Anfragen, weil dieselben Gewichte dann für viele gleichzeitig genutzt werden.

Der begrenzende Faktor ist dabei der Zwischenspeicher für die Aufmerksamkeitswerte, der mit jeder Anfrage und mit jedem erzeugten Token wächst. Seine Verwaltung bestimmt, wie viele Anfragen parallel laufen können. [Kwon et al.](https://arxiv.org/abs/2309.06180)

## So kannst du dir das vorstellen

Die Ausgabe entsteht wie beim Diktieren: Wort für Wort, und jedes Wort hängt an dem, was schon gesagt wurde. Man kann nicht am Ende anfangen. Das Bild erklärt die Folge der Schritte, nicht die Rechenschritte darin.

## Was es in der Praxis bedeutet

Die Länge der Antwort bestimmt die Gesamtdauer stärker als die Länge der Eingabe, sobald der Prompt verarbeitet ist. Wer schnelle Antworten braucht, begrenzt die Ausgabelänge, verlangt knappe Formulierungen oder lässt strukturierte statt ausformulierter Antworten erzeugen.

Sichtbar wird diese Phase in der Streamingausgabe: Das Tempo, mit dem Wörter erscheinen, ist die Geschwindigkeit dieser Schritte. Gefühlt schneller wird eine Anwendung oft schon dadurch, dass sie streamt, statt auf die fertige Antwort zu warten.

## Wo es verwechselt wird

Die Decode Phase hat nichts mit Verschlüsselung zu tun; gemeint ist die schrittweise Erzeugung. Und sie ist nicht dasselbe wie Sampling, das die Auswahl des jeweils nächsten Tokens beschreibt.

## Verwandte Begriffe

**Prefill**, **Inter-Token Latency**, **Tokens per Second**, **KV Cache**, **Continuous Batching**, **Sampling**.