---
term: "Memory-Bound"
slug: "memory-bound"
glossar_id: "G389"
variants: ["Compute-Bound"]
category: "inferenzoptimierung-serving-und-leistungskennzahlen"
marker: "Technik"
short: "Begrenzung durch Speicherzugriff beziehungsweise Rechenkapazität."
sources:
  - label: "Dao et al.: FlashAttention"
    url: "https://arxiv.org/abs/2205.14135"
  - label: "Cai et al.: Medusa"
    url: "https://arxiv.org/abs/2401.10774"
status: "entwurf"
updated: "2026-09-21"
---

Memory-Bound heißt, dass eine Berechnung nicht durch die Rechenleistung begrenzt wird, sondern durch den Transport der Daten zwischen Speicher und Rechenwerk. Das Gegenstück, Compute-Bound, bezeichnet den umgekehrten Fall. Welcher Fall vorliegt, entscheidet darüber, welche Optimierung überhaupt etwas bringt. [Dao et al.](https://arxiv.org/abs/2205.14135)

## Die Ausgabeerzeugung ist der klassische Fall

Beim Erzeugen eines einzelnen Tokens müssen die gesamten Modellgewichte aus dem Grafikspeicher geholt werden, während vergleichsweise wenig gerechnet wird. Das Rechenwerk wartet auf Daten, und genau deshalb bringt Bündelung so viel: Dieselben geladenen Gewichte bedienen viele Anfragen gleichzeitig. [Cai et al.: Medusa](https://arxiv.org/abs/2401.10774)

Die Verarbeitung der Eingabe verhält sich umgekehrt, weil viele Tokens gleichzeitig verrechnet werden. Dort ist eher die Rechenkapazität der Engpass.

## So kannst du dir das vorstellen

Eine Küche, in der das Kochen schnell geht, aber jede Zutat einzeln aus dem Keller geholt wird. Ein zweiter Herd hilft nicht, ein Tablett schon. Das Bild erklärt, warum die Art des Engpasses die Gegenmaßnahme bestimmt.

## Was es in der Praxis bedeutet

Wer Leistung verbessern will, muss zuerst wissen, welcher Engpass vorliegt. Gegen Speicherbegrenzung helfen Bündelung, kleinere Datenformate wie quantisierte Gewichte oder Zwischenspeicher und Verfahren, die mehrere Tokens je Durchlauf erzeugen. Gegen Rechenbegrenzung helfen schnellere Hardware und bessere Ausnutzung der Rechenwerke.

Für Einkaufsentscheidungen ist das ebenfalls relevant: Bei speicherbegrenzten Aufgaben zählt die Speicherbandbreite einer Karte oft mehr als ihre Rechenleistung auf dem Datenblatt.

## Wo es verwechselt wird

Speicherbegrenzt heißt nicht, dass der Speicher voll ist, sondern dass der Weg dorthin zu langsam ist. Und dieselbe Anwendung kann in einer Phase speicher- und in der anderen rechenbegrenzt sein.

## Verwandte Begriffe

**FlashAttention**, **KV Cache**, **Batch Size**, **Speculative Decoding**, **Quantization**, **GPU**.