---
term: "GPU"
slug: "gpu"
glossar_id: "G586"
variants: []
category: "hardware-laufzeitumgebungen-und-entwickleroekosystem"
marker: ""
short: "Parallelprozessor, der häufig für KI-Berechnungen eingesetzt wird."
sources:
  - label: "NVIDIA: CUDA C Programming Guide"
    url: "https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html"
  - label: "NVIDIA: Hopper-Architektur"
    url: "https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-depth/"
status: "entwurf"
updated: "2026-09-21"
---

Eine GPU ist ein Prozessor mit sehr vielen einfachen Rechenkernen, die dieselbe Operation gleichzeitig auf vielen Daten ausführen. Entstanden für Bildberechnung, passt dieser Aufbau zu neuronalen Netzen, deren Arbeit im Kern aus Matrixmultiplikationen besteht. [NVIDIA](https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html)

## Spezialeinheiten für Matrixoperationen

Moderne Karten enthalten neben den allgemeinen Kernen eigene Einheiten, die ausschließlich Matrixmultiplikationen in bestimmten Zahlenformaten ausführen. Sie sind der Grund, warum die Leistungsangaben für KI-Arbeitslasten um ein Vielfaches über der allgemeinen Rechenleistung liegen. [NVIDIA: Hopper](https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-depth/)

Für den Betrieb von Sprachmodellen sind zwei andere Angaben oft wichtiger: die Größe des Grafikspeichers, die bestimmt, welche Modelle überhaupt passen, und die Speicherbandbreite, die bestimmt, wie schnell Text erzeugt wird.

## So kannst du dir das vorstellen

Statt eines Spezialisten, der Aufgaben nacheinander löst, eine große Gruppe, die dieselbe einfache Aufgabe gleichzeitig auf vielen Datensätzen ausführt. Für Buchhaltung ungeeignet, für gleichartige Massenarbeit ideal. Das Bild erklärt den Aufbau, es beschreibt keine konkrete Karte.

## Was es in der Praxis konkret bedeutet

Bei der Auswahl zählt zuerst der Speicher: Modellgröße in Byte plus Platz für Kontext und Zwischenwerte muss hineinpassen, sonst läuft es gar nicht oder nur mit Auslagerung, was drastisch langsamer ist. Erst danach lohnt der Blick auf Bandbreite und Rechenleistung. Prüfe außerdem, welche Zahlenformate deine Karte beschleunigt, denn ältere Modelle unterstützen manche neueren Formate nicht.

## Wo es verwechselt wird

Die Rechenleistung auf dem Datenblatt gilt für ideale Bedingungen und bestimmte Formate. Und eine Karte mit mehr Rechenleistung, aber weniger Speicher kann für Sprachmodelle die schlechtere Wahl sein.

## Verwandte Begriffe

**VRAM**, **Memory Bandwidth**, **Tensor Cores**, **CUDA**, **TPU**, **GPU Offloading**.