---
term: "Quantization-Aware Training"
slug: "quantization-aware-training"
glossar_id: "G564"
variants: []
category: "quantisierung-und-modellformate"
marker: "Technik"
short: "Training unter Berücksichtigung späterer Quantisierungseffekte."
sources:
  - label: "Gholami et al.: A Survey of Quantization Methods"
    url: "https://arxiv.org/abs/2103.13630"
  - label: "Dettmers et al.: QLoRA"
    url: "https://arxiv.org/abs/2305.14314"
status: "entwurf"
updated: "2026-09-21"
---

Beim Quantization-Aware Training wird die spätere Komprimierung schon während des Trainings simuliert. Das Modell rechnet in voller Präzision weiter, sieht aber die durch Rundung entstehenden Fehler und kann sich darauf einstellen. Das Ergebnis ist ein Modell, das die Komprimierung besser verträgt. [Gholami et al.](https://arxiv.org/abs/2103.13630)

## Besser, aber teurer

Der Vorteil zeigt sich vor allem bei starker Komprimierung. Wo nachträgliche Verfahren bei sehr niedrigen Bitzahlen deutlich an Qualität verlieren, hält ein entsprechend trainiertes Modell länger durch. Der Preis ist ein vollständiger Trainingsdurchlauf, was für die meisten Anwender ausscheidet.

Verwandt, aber nicht dasselbe, ist das Anpassen eines bereits komprimierten Modells: Dabei bleibt das Grundmodell in niedriger Präzision eingefroren, und trainiert werden nur kleine zusätzliche Schichten. Das macht das Anpassen großer Modelle auf einzelnen Grafikkarten möglich. [Dettmers et al.](https://arxiv.org/abs/2305.14314)

## So kannst du dir das vorstellen

Ein Text, der von vornherein so geschrieben wird, dass er auch nach starkem Kürzen verständlich bleibt. Das ist mehr Arbeit als nachträgliches Streichen und liefert ein robusteres Ergebnis. Das Bild erklärt den Unterschied im Zeitpunkt, es beschreibt kein konkretes Verfahren.

## Was es in der Praxis konkret bedeutet

Für dich ist das relevant, wenn du sehr kleine Modelle auf schwacher Hardware betreiben willst, etwa auf Geräten ohne Grafikkarte. Dort lohnt der Blick, ob ein Anbieter bereits eine für niedrige Präzision trainierte Fassung bereitstellt, statt selbst nachträglich zu komprimieren. Selbst durchführen wirst du das Training in aller Regel nicht.

## Wo es verwechselt wird

Der Begriff wird mit dem Anpassen komprimierter Modelle verwechselt. Hier geht es um das Grundtraining, dort um nachträgliches Feintuning auf einem bereits komprimierten Modell. Und ein so trainiertes Modell ist nicht automatisch besser, sondern nur widerstandsfähiger gegen Präzisionsverlust.

## Verwandte Begriffe

**Post-Training Quantization**, **Quantization**, **LoRA**, **Bits per Weight**, **Fine-Tuning**, **Calibration Dataset**.