---
term: "FP16"
slug: "fp16"
glossar_id: "G567"
variants: []
category: "quantisierung-und-modellformate"
marker: "Technik"
short: "Gleitkommaformate unterschiedlicher Präzision und Zahlenbereiche."
sources:
  - label: "Micikevicius et al.: Mixed Precision Training"
    url: "https://arxiv.org/abs/1710.03740"
  - label: "Gholami et al.: A Survey of Quantization Methods"
    url: "https://arxiv.org/abs/2103.13630"
status: "entwurf"
updated: "2026-09-21"
---

FP16 bezeichnet Gleitkommazahlen mit 16 Bit, die halbe Breite des lange üblichen Formats mit 32 Bit. Halbierte Breite heißt halber Speicherbedarf und, auf passender Hardware, schnellere Rechnung. Eingeführt wurde das Verfahren für das Training, wo kritische Teilschritte weiterhin in voller Breite laufen. [Micikevicius et al.](https://arxiv.org/abs/1710.03740)

## Zwei Formate mit 16 Bit, die sich wichtig unterscheiden

Neben FP16 gibt es BF16. Beide belegen 16 Bit, teilen sie aber anders auf: FP16 hat mehr Stellen für die Genauigkeit, BF16 mehr für den Zahlenbereich, der dem 32-Bit-Format entspricht. Deshalb läuft BF16 beim Training stabiler, denn dort treten sehr kleine und sehr große Werte auf, die in FP16 zu null werden oder überlaufen.

Für die Ausgabe fertiger Modelle spielen beide die Rolle der Ausgangsgröße: Wenn von Komprimierung auf acht oder vier Bit die Rede ist, ist meist eines dieser Formate der Vergleichspunkt. [Gholami et al.](https://arxiv.org/abs/2103.13630)

## So kannst du dir das vorstellen

Zwei Lineale gleicher Länge, eines fein unterteilt für kurze Strecken, das andere grob für lange. Beide haben dieselbe Zahl an Strichen, nur anders verteilt. Das Bild erklärt den Unterschied zwischen Genauigkeit und Bereich, es beschreibt keine Zahlenformate im Detail.

## Was es in der Praxis konkret bedeutet

Bei Modellgewichten in Sammlungen steht meist BF16 oder FP16 als Ausgangsformat. Für die Planung reicht eine Faustregel: zwei Byte pro Parameter, also etwa 16 Gigabyte für acht Milliarden Parameter, plus Platz für Kontext und Zwischenwerte. Prüfe außerdem, ob deine Hardware BF16 unterstützt, denn ältere Grafikkarten können nur FP16.

## Wo es verwechselt wird

FP16 und BF16 sind nicht austauschbar, auch wenn beide 16 Bit belegen. Und 16 Bit ist bereits eine reduzierte Darstellung, auch wenn sie meist als volle Präzision bezeichnet wird.

## Verwandte Begriffe

**INT8**, **Quantization**, **Bits per Weight**, **VRAM**, **Tensor Cores**, **Compute**.