---
term: "GPU Offloading"
slug: "gpu-offloading"
glossar_id: "G591"
variants: []
category: "hardware-laufzeitumgebungen-und-entwickleroekosystem"
marker: ""
short: "Verlagerung von Modellteilen oder Berechnung auf die GPU."
sources:
  - label: "llama.cpp"
    url: "https://github.com/ggml-org/llama.cpp"
  - label: "NVIDIA: CUDA C Programming Guide"
    url: "https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html"
status: "entwurf"
updated: "2026-09-21"
---

Offloading bezeichnet das Aufteilen eines Modells zwischen Grafikkarte und Hauptspeicher, wenn es nicht vollständig in den Grafikspeicher passt. Ein Teil der Schichten liegt auf der Karte, der Rest im Arbeitsspeicher und wird vom Prozessor berechnet. [llama.cpp](https://github.com/ggml-org/llama.cpp)

## Der Verbindungsweg bestimmt das Tempo

Die Aufteilung funktioniert, ist aber teuer. Daten müssen über die Verbindung zwischen Hauptplatine und Karte laufen, die um ein Vielfaches langsamer ist als der Speicher auf der Karte selbst. [NVIDIA](https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html) Schon wenige ausgelagerte Schichten kosten spürbar Geschwindigkeit, und bei hohem Auslagerungsanteil erzeugt das System Text im Sekundentakt statt flüssig.

In der Praxis wird die Zahl der Schichten auf der Karte eingestellt und so weit erhöht, bis der Speicher knapp wird. Den letzten Rest Speicher freizulassen lohnt sich, weil der Kontextspeicher während des Gesprächs wächst.

## So kannst du dir das vorstellen

Werkzeug, das teilweise auf der Werkbank und teilweise im Keller liegt. Jeder Griff in den Keller kostet Minuten, während der Griff zur Werkbank Sekunden dauert. Das Bild erklärt den Unterschied der Zugriffswege, es nennt keine konkreten Werte.

## Was es in der Praxis konkret bedeutet

Offloading ist die Antwort auf die Frage, ob ein zu großes Modell überhaupt läuft, nicht auf die Frage, ob es angenehm läuft. Wenn du regelmäßig auslagern musst, ist ein stärker komprimiertes Modell fast immer die bessere Wahl: Es passt ganz auf die Karte und ist trotz geringerer Präzision schneller und oft brauchbarer als ein größeres Modell im Schneckentempo.

## Wo es verwechselt wird

Offloading ist nicht dasselbe wie das Verteilen eines Modells über mehrere Grafikkarten. Dort laufen alle Teile auf schnellem Speicher. Und es ist nicht dasselbe wie gemeinsamer Speicher, wo der Umweg über die Verbindung entfällt.

## Verwandte Begriffe

**VRAM**, **Unified Memory**, **OOM**, **Quantization**, **llama.cpp**, **Tensor Parallelism**.