Quantisierung und Modellformate
Importance Matrix
Kalibrierungsinformationen über die Bedeutung von Modellwerten.
Eine Importance Matrix, meist als imatrix abgekürzt, hält fest, welche Modellwerte für die Ausgabe besonders wichtig sind. Erzeugt wird sie, indem Textbeispiele durch das Modell laufen und dabei aufgezeichnet wird, welche Gewichte stark zur Ausgabe beitragen. Beim anschließenden Komprimieren werden diese Werte geschont. llama.cpp
Der Qualitätsunterschied zeigt sich bei starker Komprimierung
Bei acht oder sechs Bit ist der Effekt gering. Bei drei oder zwei Bit entscheidet die Gewichtung darüber, ob ein Modell noch brauchbar ist. Gemessen wird der Erfolg über Kennzahlen, die die Abweichung vom unkomprimierten Modell erfassen, etwa Perplexität oder den Abstand der Wahrscheinlichkeitsverteilungen.
Der Gedanke entspricht dem, was Verfahren im Grafikkartenumfeld über empfindliche Kanäle tun. Lin et al. Der Unterschied liegt in der Umsetzung, nicht in der Idee.
So kannst du dir das vorstellen
Eine Inventarliste, in der markiert ist, welche Teile für den Betrieb unverzichtbar sind. Beim Einsparen bleiben diese unangetastet. Das Bild erklärt den Zweck der Gewichtung, es beschreibt keine konkrete Umsetzung.
Was es in der Praxis konkret bedeutet
In Modellsammlungen erkennst du solche Dateien oft an einem Hinweis auf imatrix im Namen oder in der Beschreibung. Bei gleicher Bitzahl ist die gewichtete Fassung meist die bessere Wahl, besonders unterhalb von vier Bit. Wenn du selbst komprimierst, erzeuge die Matrix mit Texten aus deinem Einsatzgebiet, denn ihre Aussagekraft hängt an diesen Beispielen.
Wo es verwechselt wird
Die Matrix ist kein Bestandteil des fertigen Modells, sondern eine Hilfsdatei für den Komprimierungsvorgang. Und sie ersetzt keine Prüfung: Dass mit Gewichtung komprimiert wurde, sagt nichts darüber, wie gut das Ergebnis bei deinen Aufgaben ist.
Verwandte Begriffe
Calibration Dataset, K-Quants, GGUF, Bits per Weight, Quantization, llama.cpp.