---
term: "Draft Model"
slug: "draft-model"
glossar_id: "G379"
variants: ["Assistant Model"]
category: "inferenzoptimierung-serving-und-leistungskennzahlen"
marker: "Technik"
short: "Modell zur schnellen Generierung spekulativer Kandidatentokens."
sources:
  - label: "Leviathan et al.: Fast Inference from Transformers via Speculative Decoding"
    url: "https://arxiv.org/abs/2211.17192"
  - label: "Cai et al.: Medusa"
    url: "https://arxiv.org/abs/2401.10774"
status: "entwurf"
updated: "2026-09-21"
---

Das Draft Model ist das kleine, schnelle Modell, das beim spekulativen Erzeugen die Vorschläge liefert. Es muss nicht so gut sein wie das Zielmodell, sondern nur oft genug richtig liegen, denn jeder Vorschlag wird geprüft. [Leviathan et al.](https://arxiv.org/abs/2211.17192)

## Klein genug, ähnlich genug

Zwei Bedingungen muss es erfüllen. Es muss deutlich schneller sein, sonst lohnt der Aufwand nicht, und es muss zum Zielmodell passen, also denselben Tokenizer benutzen und ähnliche Fortsetzungen bevorzugen. Üblich sind stark verkleinerte Modelle derselben Familie.

Weil das Betreiben und Pflegen eines zweiten Modells lästig ist, gibt es Alternativen ohne eigenes Modell: zusätzliche Ausgabeköpfe am Zielmodell selbst, die mehrere kommende Tokens gleichzeitig vorhersagen. [Cai et al.: Medusa](https://arxiv.org/abs/2401.10774)

## So kannst du dir das vorstellen

Ein Zeichner macht die Vorskizze, der Meister zieht die endgültige Linie. Die Skizze muss nicht schön sein, nur ungefähr an der richtigen Stelle liegen. Das Bild erklärt die Rollenteilung, nicht die Auswahl des Modells.

## Was es in der Praxis bedeutet

Wer diesen Weg geht, braucht zusätzlichen Grafikspeicher für das zweite Modell, und dieser Platz fehlt für den Zwischenspeicher der Anfragen. Der Gewinn an Geschwindigkeit wird also mit weniger gleichzeitigen Anfragen bezahlt, weshalb sich die Rechnung erst im Betrieb entscheidet.

Passend ausgewählt wird nach der Annahmequote: Ein Entwurfsmodell, dessen Vorschläge selten übernommen werden, kostet mehr, als es bringt.

## Wo es verwechselt wird

Das Entwurfsmodell bestimmt nicht die Qualität der Antwort: Sie stammt vollständig vom Zielmodell. Und es ist kein Ersatz für das große Modell, sondern nur dessen Vorschlagsgeber.

## Verwandte Begriffe

**Speculative Decoding**, **Acceptance Rate**, **EAGLE**, **Model Serving**, **Tokenizer**.