AWQ

AWQ steht für aktivierungsbewusste Gewichtsquantisierung. Die Grundbeobachtung: Nicht alle Gewichte sind gleich wichtig. Ein kleiner Anteil beeinflusst die Ausgabe überproportional, und welcher das ist, zeigt sich nicht an den Gewichten selbst, sondern daran, wie stark die zugehörigen Eingangswerte im Betrieb ausschlagen. Lin et al.

Die wichtigen Kanäle werden geschützt

Statt diese Gewichte in höherer Präzision zu speichern, was die Umsetzung verkompliziert, werden sie vor der Umrechnung hochskaliert und an anderer Stelle ausgeglichen. Der Effekt ist derselbe, ohne dass die Datei ein gemischtes Format braucht.

Gegenüber Verfahren, die den Fehler durch Nachsteuern ausgleichen, kommt AWQ ohne Rückgriff auf Ableitungen aus und ist damit weniger anfällig dafür, sich zu stark an die Kalibrierungsdaten anzupassen. Frantar et al. Welches Verfahren besser abschneidet, hängt vom Modell ab.

So kannst du dir das vorstellen

Beim Umzug werden die empfindlichen Gläser extra eingewickelt, der Rest kommt lose in die Kiste. Nicht alles braucht dieselbe Sorgfalt, und zu wissen, was empfindlich ist, spart Platz. Das Bild erklärt die Idee der Gewichtung, es beschreibt keine konkrete Umsetzung.

Was es in der Praxis konkret bedeutet

AWQ-Dateien begegnen dir vor allem im Umfeld von Serversoftware für Grafikkarten, wo sie schnelle Inferenz bei vier Bit ermöglichen. Wenn du zwischen Formaten wählen kannst, entscheidet meist die Unterstützung durch deine Laufzeitumgebung, nicht ein Qualitätsunterschied. Teste im Zweifel beide Fassungen an deinen eigenen Aufgaben.

Wo es verwechselt wird

Aktivierungsbewusst heißt nicht, dass Aktivierungen quantisiert werden. Gemeint ist, dass Beobachtungen über Aktivierungen bei der Gewichtsquantisierung helfen. Die Rechnung bleibt in höherer Präzision.

Verwandte Begriffe

GPTQ, SmoothQuant, Weight-Only Quantization, Calibration Dataset, vLLM, Quantization.