---
term: "KV Cache Quantization"
slug: "kv-cache-quantization"
glossar_id: "G384"
variants: []
category: "inferenzoptimierung-serving-und-leistungskennzahlen"
marker: "Technik"
short: "Speichersparende Quantisierung der gecachten Keys und Values."
sources:
  - label: "Liu et al.: KIVI"
    url: "https://arxiv.org/abs/2402.02750"
  - label: "Kwon et al.: Efficient Memory Management for LLM Serving with PagedAttention"
    url: "https://arxiv.org/abs/2309.06180"
status: "entwurf"
updated: "2026-09-21"
---

KV Cache Quantization speichert die zwischengespeicherten Aufmerksamkeitswerte mit weniger Bits je Zahl, etwa mit acht oder vier statt sechzehn. Der Zwischenspeicher wird dadurch kleiner, und es passen mehr oder längere Anfragen gleichzeitig auf dieselbe Grafikkarte. [Liu et al.: KIVI](https://arxiv.org/abs/2402.02750)

## Der Zwischenspeicher ist der neue Engpass

Mit größeren Bündeln und längeren Kontexten wächst dieser Speicher stark und wird zur bestimmenden Größe für Geschwindigkeit und Kapazität. Dazu kommt, dass sein Laden Zeit kostet, in der die Rechenwerke warten.

Die Quantisierung setzt genau dort an, indem sie die Datenmenge verkleinert. Sie ergänzt damit die blockweise Verwaltung, die den Verschnitt verringert, aber die Größe der Daten selbst nicht antastet. [Kwon et al.](https://arxiv.org/abs/2309.06180)

## So kannst du dir das vorstellen

Notizen werden in kleinerer Schrift geführt. Auf denselben Zettel passt mehr, und solange die Schrift lesbar bleibt, ändert sich nichts am Inhalt. Wird sie zu klein, liest man sich gelegentlich falsch. Das Bild erklärt den Tausch, es nennt keine Grenze für die Auflösung.

## Was es in der Praxis bedeutet

Für Betreiber ist das eine Stellschraube mit spürbarer Wirkung auf die Kapazität. Acht Bit gelten als weitgehend unproblematisch, während stärkere Verkleinerung eine Prüfung verlangt, ob die Qualität auf den eigenen Aufgaben stabil bleibt.

Zu prüfen ist das mit einer eigenen Testsammlung, besonders bei langen Kontexten. Dort zeigt sich ein Qualitätsverlust zuerst, weil sich kleine Ungenauigkeiten über viele Tokens summieren.

## Wo es verwechselt wird

Die Quantisierung des Zwischenspeichers ist nicht die Quantisierung der Modellgewichte: Das eine betrifft die laufende Anfrage, das andere das Modell selbst. Und sie ist etwas anderes als das Auslagern in langsameren Speicher.

## Verwandte Begriffe

**KV Cache**, **KV Cache Offloading**, **Quantization**, **Memory-Bound**, **Model Serving**.