---
term: "K-Quants"
slug: "k-quants"
glossar_id: "G577"
variants: []
category: "quantisierung-und-modellformate"
marker: "Technik"
short: "Familien spezieller Quantisierungsformate im lokalen LLM-Umfeld."
sources:
  - label: "llama.cpp: Quantisierungswerkzeug"
    url: "https://github.com/ggml-org/llama.cpp/blob/master/tools/quantize/README.md"
  - label: "Hugging Face: GGUF"
    url: "https://huggingface.co/docs/hub/en/gguf"
status: "entwurf"
updated: "2026-09-21"
---

K-Quants sind die Quantisierungsformate, die im Umfeld lokaler Laufzeitumgebungen verwendet werden. Ihre Bezeichnungen folgen einem Schema: Der Buchstabe Q und eine Zahl geben die Bitzahl an, das K steht für die Formatfamilie, und ein angehängter Buchstabe bezeichnet die Größenstufe innerhalb dieser Bitzahl. [llama.cpp](https://github.com/ggml-org/llama.cpp/blob/master/tools/quantize/README.md)

## Gemischte Präzision innerhalb einer Datei

Das Kennzeichen dieser Familie ist, dass nicht alle Teile des Modells gleich behandelt werden. Schichten, die stärker auf Komprimierung reagieren, werden mit mehr Bits gespeichert als der Rest. Deshalb liegt der tatsächliche Durchschnitt pro Gewicht über der Zahl im Namen, und deshalb gibt es zu einer Bitzahl mehrere Stufen.

Die Dateien werden im gängigen Containerformat für lokale Modelle abgelegt, das Gewichte und Metadaten in einer Datei zusammenfasst. [Hugging Face](https://huggingface.co/docs/hub/en/gguf)

## So kannst du dir das vorstellen

Ein Umzugskarton, in dem Geschirr in Luftpolster kommt und Handtücher lose. Die Kiste ist eine, die Sorgfalt darin ist verschieden. Das Bild erklärt die gemischte Behandlung, es beschreibt keine konkrete Formatstufe.

## Was es in der Praxis konkret bedeutet

Als Faustregel für lokale Modelle: Vier Bit in der mittleren Stufe ist der übliche Ausgangspunkt für brauchbare Qualität bei moderatem Speicherbedarf. Mehr Bits lohnen, wenn Speicher da ist; darunter wird es spürbar. Entscheide anhand der tatsächlichen Dateigröße im Verhältnis zu deinem freien Grafikspeicher und teste zwei Stufen gegeneinander, statt der Bezeichnung zu vertrauen.

## Wo es verwechselt wird

Das K steht nicht für die Bitzahl und auch nicht für Qualität, sondern für die Formatfamilie. Und die Angabe im Namen ist ein Etikett, nicht der tatsächliche Durchschnitt pro Gewicht.

## Verwandte Begriffe

**GGUF**, **Q4_K_M**, **Bits per Weight**, **Importance Matrix**, **llama.cpp**, **Quantization**.