---
term: "KV Cache Offloading"
slug: "kv-cache-offloading"
glossar_id: "G383"
variants: []
category: "inferenzoptimierung-serving-und-leistungskennzahlen"
marker: "Technik"
short: "Auslagern von KV-Cache-Inhalten in eine andere Speicherebene."
sources:
  - label: "Kwon et al.: Efficient Memory Management for LLM Serving with PagedAttention"
    url: "https://arxiv.org/abs/2309.06180"
  - label: "Zhong et al.: DistServe"
    url: "https://arxiv.org/abs/2401.09670"
status: "entwurf"
updated: "2026-09-21"
---

KV Cache Offloading verschiebt Teile des Zwischenspeichers aus dem Grafikspeicher in langsameren Speicher, etwa Arbeitsspeicher oder SSD, und holt sie bei Bedarf zurück. Der Anlass ist der begrenzte Platz auf der Grafikkarte, der bestimmt, wie viele Anfragen gleichzeitig laufen können. [Kwon et al.](https://arxiv.org/abs/2309.06180)

## Platz gegen Bandbreite getauscht

Der Gewinn ist mehr gleichzeitige oder längere Anfragen, der Preis ist Zeit: Der Weg zwischen den Speicherebenen ist deutlich langsamer als der Zugriff im Grafikspeicher. Ob sich das lohnt, hängt davon ab, wie oft die ausgelagerten Teile wieder gebraucht werden.

Besonders nützlich ist das Verfahren für pausierte oder wiederaufgenommene Gespräche: Der Zustand einer Sitzung lässt sich beiseitelegen und später weiterverwenden, statt den Prompt erneut zu verarbeiten. Verwandte Systeme übertragen den Zwischenspeicher auch zwischen Rechenknoten. [Zhong et al.: DistServe](https://arxiv.org/abs/2401.09670)

## So kannst du dir das vorstellen

Akten, die gerade nicht gebraucht werden, wandern vom Schreibtisch ins Regal nebenan. Der Tisch bleibt frei, das Holen dauert etwas. Wer ständig zwischen zwanzig Akten wechselt, verliert mehr Zeit, als er gewinnt. Das Bild erklärt die Abwägung, nicht die Speichertechnik.

## Was es in der Praxis bedeutet

Für Betreiber ist das eine Möglichkeit, mit begrenztem Grafikspeicher mehr Nutzer oder längere Kontexte zu bedienen, ohne neue Hardware zu kaufen. Zu messen ist dabei die Wirkung auf die Zeit je Token, denn dort schlägt das Nachladen durch.

Interessant ist es außerdem für Anwendungen mit langen Pausen zwischen den Nachrichten, etwa Chatverläufe über Stunden. Dann muss der Verlauf nicht bei jeder Nachricht neu verarbeitet werden.

## Wo es verwechselt wird

Auslagern ist keine Verkleinerung des Zwischenspeichers: Dafür gibt es die Quantisierung seiner Inhalte. Und es ist kein Zwischenspeichern von Prompt-Anfängen, auch wenn beides Speicher sparen soll.

## Verwandte Begriffe

**KV Cache**, **KV Cache Quantization**, **PagedAttention**, **Prompt Caching**, **Memory-Bound**.