Double Quantization

Beim Komprimieren entstehen Zusatzangaben: Für jede Gruppe von Gewichten wird ein Skalierungsfaktor gespeichert, der den ursprünglichen Wertebereich wiederherstellt. Double Quantization komprimiert diese Faktoren ihrerseits. Dettmers et al.

Kleine Zusatzangaben summieren sich

Der Gedanke wirkt kleinlich, bis man nachrechnet. Bei einem Skalierungsfaktor je 64 Gewichte, gespeichert als 32-Bit-Zahl, kommen pro Gewicht ein halbes Bit hinzu. Bei einem Modell, das mit vier Bit pro Gewicht beworben wird, sind das gut zwölf Prozent Aufschlag allein für die Verwaltung.

Werden diese Faktoren selbst komprimiert, sinkt der Aufschlag deutlich, ohne dass die Qualität messbar leidet. Die Skalierungsfaktoren sind untereinander ähnlich, lassen sich also gut zusammenfassen. Gholami et al.

So kannst du dir das vorstellen

Beim Umzug werden nicht nur die Sachen in Kisten gepackt, sondern auch die Packlisten gekürzt. Die Listen sind klein, aber bei tausend Kisten fällt auch das ins Gewicht. Das Bild erklärt den Größenordnungseffekt, es beschreibt keine konkrete Umsetzung.

Was es in der Praxis konkret bedeutet

Als Schalter begegnet dir das beim Laden von Modellen in vier Bit, meist als Option neben der Wahl des Datentyps. Einschalten kostet geringfügig Rechenzeit beim Zurückrechnen und spart spürbar Speicher. Wenn du knapp am Speicherlimit liegst, ist es eine der Stellschrauben, die zuerst infrage kommen.

Wo es verwechselt wird

Doppelt quantisiert heißt nicht, dass die Gewichte zweimal komprimiert werden, was die Qualität erheblich verschlechtern würde. Komprimiert werden die Verwaltungsangaben, nicht die Gewichte selbst.

Verwandte Begriffe

NF4, Bits per Weight, Quantization, bitsandbytes, VRAM, K-Quants.