Quantisierung und Modellformate
Q4_K_M
Konkrete Quantisierungsvariante aus der K-Quant-Familie.
Q4_K_M ist die am häufigsten heruntergeladene Quantisierungsstufe für lokale Modelle. Der Name zerlegt sich in drei Teile: Q4 für vier Bit, K für die Formatfamilie mit gemischter Präzision, M für die mittlere von mehreren Größenstufen innerhalb dieser Bitzahl. llama.cpp
Die Stufenbuchstaben bestimmen, wo mehr Bits stecken
Neben M gibt es S für kleiner und L für größer. Der Unterschied liegt darin, welche Teile des Modells mit höherer Präzision gespeichert werden; die Aufmerksamkeitsschichten und Teile der Zwischenschichten sind empfindlicher als der Rest. Deshalb liegt der tatsächliche Durchschnitt über vier Bit pro Gewicht.
Praktisch heißt das: Zwischen den Stufen einer Bitzahl liegen einige hundert Megabyte und ein kleiner, aber messbarer Qualitätsunterschied. Zwischen zwei Bitzahlen liegt deutlich mehr. Hugging Face
So kannst du dir das vorstellen
Konfektionsgrößen mit Zwischengrößen. Die Sprünge zwischen S, M und L sind klein, der Sprung in die nächste Kategorie ist groß. Das Bild erklärt die Abstufung, es nennt keine konkreten Qualitätswerte.
Was es in der Praxis konkret bedeutet
Als Ausgangspunkt für lokale Modelle ist diese Stufe eine vernünftige Wahl: brauchbare Qualität bei etwa einem Viertel des ursprünglichen Speicherbedarfs. Wenn dein Grafikspeicher knapp ist, gehe erst eine Stufe kleiner innerhalb derselben Bitzahl, bevor du die Bitzahl senkst. Und prüfe, ob eine Fassung mit Gewichtungsdatei verfügbar ist, die ist bei gleicher Bezeichnung meist besser.
Wo es verwechselt wird
Das M steht für die Größenstufe, nicht für die Modellgröße oder eine Qualitätsklasse. Und vier Bit im Namen heißt nicht vier Bit pro Gewicht: Der tatsächliche Durchschnitt liegt darüber.
Verwandte Begriffe
K-Quants, GGUF, Bits per Weight, Importance Matrix, llama.cpp, Quantization.