---
term: "Prompt Caching"
slug: "prompt-caching"
glossar_id: "G369"
variants: ["Prefix Caching"]
category: "inferenzoptimierung-serving-und-leistungskennzahlen"
marker: ""
short: "Wiederverwendung bereits berechneter gemeinsamer Promptpräfixe."
sources:
  - label: "Anthropic: Prompt caching"
    url: "https://platform.claude.com/docs/en/build-with-claude/prompt-caching"
  - label: "Zheng et al.: SGLang"
    url: "https://arxiv.org/abs/2312.07104"
status: "entwurf"
updated: "2026-09-21"
---

Prompt Caching speichert die Verarbeitung eines gleichbleibenden Prompt-Anfangs zwischen, damit sie bei der nächsten Anfrage nicht wiederholt werden muss. Voraussetzung ist ein identischer Anfang: Systemanweisung, Werkzeugdefinitionen, Beispiele oder ein langes Dokument, das bei vielen Anfragen gleich bleibt.

## Der Anfang zählt, nicht der Inhalt

Wiederverwendet werden kann nur ein Präfix, also die Zeichenfolge von vorn bis zur ersten Abweichung. Ändert sich ein Wort weit oben, ist alles danach hinfällig. Deshalb gehört das Gleichbleibende nach vorn und das Wechselnde ans Ende.

Die Bedingungen unterscheiden sich je nach Anbieter. Eine Dokumentation nennt Mindestlängen je nach Modell, eine Gültigkeit von fünf Minuten mit optionaler Verlängerung sowie einen Preisaufschlag beim Schreiben und einen deutlich niedrigeren Preis beim Lesen aus dem Zwischenspeicher. [Anthropic: Prompt caching](https://platform.claude.com/docs/en/build-with-claude/prompt-caching) Im Serving eigener Modelle gibt es verwandte Verfahren, die gemeinsame Präfixe über einen Baum verwalten. [Zheng et al.: SGLang](https://arxiv.org/abs/2312.07104)

## So kannst du dir das vorstellen

Ein Anwalt muss die Mandatsakte nicht vor jedem Telefonat neu lesen, solange sie auf dem Tisch liegt. Kommt ein neuer Mandant, beginnt das Lesen von vorn. Das Bild erklärt die Bindung an den gleichen Anfang, nicht die Speichertechnik.

## Was es in der Praxis bedeutet

Bei Anwendungen mit langer Systemanweisung oder festem Dokumentenanhang ist das der wirksamste Kostenhebel, und die Zeit bis zum ersten Token sinkt mit. Wichtig ist, den Prompt entsprechend zu bauen: stabile Teile oben, Nutzeranfrage unten, keine Zeitstempel oder Zufallswerte im festen Teil.

Zu prüfen ist außerdem die Gültigkeitsdauer. Bei seltenen Anfragen läuft der Zwischenspeicher zwischendurch ab, und dann zahlst du den Aufschlag fürs Schreiben, ohne je aus dem Cache zu lesen.

## Wo es verwechselt wird

Zwischengespeichert wird die Verarbeitung des Prompts, nicht die Antwort: Dieselbe Frage wird weiterhin neu beantwortet. Und es ist kein Gedächtnis, weil der Inhalt in jeder Anfrage erneut mitgeschickt wird.

## Verwandte Begriffe

**KV Cache**, **Prefill**, **RadixAttention**, **Time to First Token**, **Cached Input Tokens**, **Cache-Augmented Generation**.