---
term: "Weight-Only Quantization"
slug: "weight-only-quantization"
glossar_id: "G565"
variants: []
category: "quantisierung-und-modellformate"
marker: "Technik"
short: "Quantisierung der Gewichte, nicht in gleicher Weise der Aktivierungen."
sources:
  - label: "Lin et al.: AWQ"
    url: "https://arxiv.org/abs/2306.00978"
  - label: "Frantar et al.: GPTQ"
    url: "https://arxiv.org/abs/2210.17323"
status: "entwurf"
updated: "2026-09-21"
---

Bei dieser Variante werden nur die Gewichte in niedriger Präzision gespeichert. Die Zwischenwerte während der Verarbeitung bleiben in höherer Präzision, und die Gewichte werden für die Rechnung kurzfristig zurückgerechnet. Das ist die verbreitetste Form der Komprimierung bei Sprachmodellen. [Frantar et al.](https://arxiv.org/abs/2210.17323)

## Der Engpass ist der Speicherzugriff

Der Grund liegt im Verhalten beim Erzeugen von Text. Für jedes Token müssen alle Gewichte einmal aus dem Speicher geholt werden, während vergleichsweise wenig gerechnet wird. Die Geschwindigkeit hängt damit an der Speicherbandbreite, nicht an der Rechenleistung. Kleinere Gewichte bedeuten weniger zu transportierende Daten und damit direkt mehr Tokens pro Sekunde.

Verfahren dieser Art unterscheiden sich darin, wie sie mit auffälligen Gewichten umgehen. Ein verbreiteter Ansatz schützt gezielt den kleinen Anteil an Gewichten, der für die Ausgabe besonders wichtig ist, und komprimiert den Rest stärker. [Lin et al.](https://arxiv.org/abs/2306.00978)

## So kannst du dir das vorstellen

Ein Lager, dessen Kisten kleiner gepackt werden, damit mehr auf einen Transportgang passt. Ausgepackt wird am Arbeitsplatz wie bisher. Das Bild erklärt, warum der Transport der Engpass ist, es beschreibt keine konkrete Umsetzung.

## Was es in der Praxis konkret bedeutet

Für Eigenbetrieb mit wenigen gleichzeitigen Anfragen ist das die passende Variante: geringer Speicherbedarf, spürbar schnellere Ausgabe, überschaubarer Qualitätsverlust. Bei vielen gleichzeitigen Anfragen verschiebt sich das Bild, weil dann die Rechenleistung zum Engpass wird und das Zurückrechnen der Gewichte Zeit kostet.

## Wo es verwechselt wird

Weight-Only ist nicht gleichbedeutend mit „4 Bit": Die Bitzahl ist eine getrennte Angabe. Und die Rechnung läuft nicht in niedriger Präzision, weshalb der Geschwindigkeitsgewinn allein aus dem Speicherzugriff kommt.

## Verwandte Begriffe

**Weight-and-Activation Quantization**, **GPTQ**, **AWQ**, **Memory Bandwidth**, **Memory-Bound**, **Quantization**.