---
term: "Weight-and-Activation Quantization"
slug: "weight-and-activation-quantization"
glossar_id: "G566"
variants: []
category: "quantisierung-und-modellformate"
marker: "Technik"
short: "Quantisierung sowohl der Gewichte als auch der Aktivierungen."
sources:
  - label: "Xiao et al.: SmoothQuant"
    url: "https://arxiv.org/abs/2211.10438"
  - label: "Dettmers et al.: LLM.int8()"
    url: "https://arxiv.org/abs/2208.07339"
status: "entwurf"
updated: "2026-09-21"
---

Hier werden nicht nur die Gewichte, sondern auch die Zwischenwerte während der Verarbeitung in niedriger Präzision geführt. Damit kann die Rechnung selbst in ganzzahliger Arithmetik ablaufen, was auf passender Hardware deutlich schneller ist als der Umweg über Gleitkommazahlen. [Xiao et al.](https://arxiv.org/abs/2211.10438)

## Die Schwierigkeit liegt bei den Ausreißern

Aktivierungen sind unangenehmer zu komprimieren als Gewichte. In großen Sprachmodellen treten einzelne sehr große Werte auf, die den Wertebereich sprengen und bei naiver Umrechnung die Qualität einbrechen lassen. [Dettmers et al.](https://arxiv.org/abs/2208.07339)

Die Gegenmittel setzen an dieser Stelle an. Ein Ansatz verschiebt die Schwierigkeit rechnerisch von den Aktivierungen zu den Gewichten, die sie besser vertragen, sodass beide Seiten in niedriger Präzision arbeiten können. Ein anderer behandelt die wenigen auffälligen Werte gesondert in höherer Präzision.

## So kannst du dir das vorstellen

Zwei Messreihen auf dasselbe grobe Raster bringen, wobei eine Reihe einzelne extreme Ausschläge enthält. Ohne Vorbehandlung verschwinden alle feinen Unterschiede neben den Ausreißern. Das Bild erklärt das Problem, es beschreibt kein konkretes Verfahren.

## Was es in der Praxis konkret bedeutet

Diese Variante lohnt bei hoher Last mit vielen gleichzeitigen Anfragen, wo Rechenleistung der Engpass ist. Für den Einzelbetrieb auf einem Arbeitsplatzrechner bringt sie wenig gegenüber der Komprimierung nur der Gewichte. Prüfe außerdem die Hardware: Der Vorteil entsteht erst, wenn die Grafikkarte ganzzahlige Operationen beschleunigt.

## Wo es verwechselt wird

Der Unterschied zur Komprimierung nur der Gewichte ist nicht die Bitzahl, sondern was komprimiert wird. Und der Geschwindigkeitsvorteil kommt hier aus der Rechenart, nicht wie dort aus dem geringeren Speicherverkehr.

## Verwandte Begriffe

**Weight-Only Quantization**, **SmoothQuant**, **INT8**, **Tensor Cores**, **Quantization**, **Continuous Batching**.