---
term: "Prefill"
slug: "prefill"
glossar_id: "G366"
variants: ["Prompt Processing"]
category: "inferenzoptimierung-serving-und-leistungskennzahlen"
marker: ""
short: "Verarbeitung des Eingabekontexts vor beziehungsweise zu Beginn der Ausgabe."
sources:
  - label: "Agrawal et al.: Taming Throughput-Latency Tradeoff with Sarathi-Serve"
    url: "https://arxiv.org/abs/2403.02310"
  - label: "Kwon et al.: Efficient Memory Management for LLM Serving with PagedAttention"
    url: "https://arxiv.org/abs/2309.06180"
status: "entwurf"
updated: "2026-09-21"
---

Prefill ist die erste Phase einer Anfrage: Der gesamte Prompt wird verarbeitet, und am Ende steht das erste Ausgabetoken. Weil alle Eingabetokens gleichzeitig verarbeitet werden können, lastet diese Phase die Rechenwerke gut aus, dauert aber bei langen Eingaben entsprechend lange. [Agrawal et al.](https://arxiv.org/abs/2403.02310)

## Die Wartezeit vor dem ersten Wort

Was Nutzer als Verzögerung vor dem Antwortbeginn erleben, ist im Wesentlichen diese Phase. Ihre Dauer hängt an der Länge der Eingabe: Ein kurzer Prompt ist sofort verarbeitet, ein Prompt mit angehängten Dokumenten braucht spürbar länger.

Dabei entstehen zugleich die Zwischenwerte für die Aufmerksamkeit, die anschließend wiederverwendet werden. Deren Verwaltung bestimmt, wie viele Anfragen gleichzeitig laufen können. [Kwon et al.](https://arxiv.org/abs/2309.06180)

## So kannst du dir das vorstellen

Prefill ist das Lesen der Akte, bevor jemand zu diktieren beginnt. Bei drei Seiten geht es schnell, bei dreihundert dauert es, und erst danach kommt das erste Wort. Das Bild erklärt, woher die Anfangsverzögerung kommt, nicht wie gelesen wird.

## Was es in der Praxis bedeutet

Wer die Zeit bis zum ersten Token senken will, muss an der Eingabelänge ansetzen: weniger Kontext mitschicken, Dokumente vorher zusammenfassen, Abschnitte gezielt auswählen statt alles mitzugeben.

Ein zweiter Hebel ist die Wiederverwendung. Wenn viele Anfragen denselben Anfang teilen, etwa eine lange Systemanweisung, lässt sich deren Verarbeitung zwischenspeichern, statt sie jedes Mal zu wiederholen. Deshalb lohnt es sich, Prompts so zu bauen, dass der gleichbleibende Teil vorn steht.

## Wo es verwechselt wird

Prefill ist nicht die Ausgabe: Das ist die zweite Phase, in der Token für Token entsteht. Und die Dauer hängt an der Eingabelänge, nicht an der erwarteten Antwortlänge.

## Verwandte Begriffe

**Decode Phase**, **Time to First Token**, **KV Cache**, **Prompt Caching**, **Chunked Prefill**, **Context Window**.