---
term: "Bits per Weight"
slug: "bits-per-weight"
glossar_id: "G569"
variants: []
category: "quantisierung-und-modellformate"
marker: "Technik"
short: "Durchschnittliche Bitanzahl je gespeichertem Modellgewicht."
sources:
  - label: "Gholami et al.: A Survey of Quantization Methods"
    url: "https://arxiv.org/abs/2103.13630"
  - label: "Dettmers et al.: QLoRA"
    url: "https://arxiv.org/abs/2305.14314"
status: "entwurf"
updated: "2026-09-21"
---

Bits per Weight gibt an, wie viele Bit im Durchschnitt auf ein Modellgewicht entfallen. Der Wert ist selten glatt, weil moderne Verfahren nicht alle Teile eines Modells gleich behandeln: Empfindliche Schichten bekommen mehr Bits, unempfindliche weniger, und zusätzliche Angaben wie Skalierungsfaktoren kommen dazu. [Gholami et al.](https://arxiv.org/abs/2103.13630)

## Die Kennzahl macht Formate vergleichbar

Weil Verfahren unterschiedlich aufgebaut sind, sagt „4 Bit" allein wenig. Eine Datei mit nominell vier Bit kann tatsächlich bei 4,5 oder 5 Bit pro Gewicht liegen, sobald Zusatzangaben eingerechnet sind. Der Durchschnittswert macht den tatsächlichen Speicherbedarf vergleichbar und erlaubt eine einfache Rechnung: Bits pro Gewicht mal Parameterzahl geteilt durch acht ergibt die Dateigröße in Byte.

Bei sehr niedrigen Werten wird die Verteilung wichtiger als der Durchschnitt. Zwei Verfahren mit identischem Mittelwert können unterschiedlich gut sein, je nachdem, wo sie sparen. [Dettmers et al.](https://arxiv.org/abs/2305.14314)

## So kannst du dir das vorstellen

Der Durchschnittsverbrauch eines Fahrzeugs. Die Zahl erlaubt Vergleiche und sagt nichts darüber, ob der Verbrauch in der Stadt oder auf der Autobahn anfällt. Das Bild erklärt den Nutzen und die Grenze einer Durchschnittsangabe, es rechnet keinen Fall vor.

## Was es in der Praxis konkret bedeutet

Nutze die Kennzahl für die Speicherplanung: Bei acht Milliarden Parametern und 4,5 Bit pro Gewicht liegst du bei rund 4,5 Gigabyte für die Gewichte, plus Platz für Kontext und Zwischenwerte. Die tatsächliche Dateigröße einer Modelldatei ist der ehrlichere Ausgangspunkt als die Bezeichnung im Namen, denn sie enthält alles.

## Wo es verwechselt wird

Bits pro Gewicht ist nicht die nominelle Bitzahl im Dateinamen. Und ein niedrigerer Wert bedeutet nicht automatisch schlechtere Qualität, denn entscheidend ist, an welchen Stellen gespart wurde.

## Verwandte Begriffe

**Quantization**, **INT8**, **K-Quants**, **GGUF**, **VRAM**, **Sharded Weights**.