---
term: "Sliding Window Attention"
slug: "sliding-window-attention"
glossar_id: "G069"
variants: ["SWA","Gleitende Fenster-Attention"]
category: "architektur-und-interne-modellbausteine"
marker: "Technik"
short: "Attention über ein begrenztes lokales Tokenfenster."
sources:
  - label: "Mistral 7B"
    url: "https://arxiv.org/pdf/2310.06825"
status: "entwurf"
updated: "2026-09-20"
---

Sliding Window Attention, kurz SWA, begrenzt den direkten Attention-Zugriff auf ein lokales Fenster von Positionen, das mit der verarbeiteten Folge weiterwandert. ([Mistral 7B](https://arxiv.org/pdf/2310.06825)) In der kausalen Variante der zugrunde liegenden Arbeit berücksichtigt eine Position innerhalb einer Schicht nur einen begrenzten Bereich des bisherigen Verlaufs. ([Mistral 7B](https://arxiv.org/pdf/2310.06825))

## So kannst du dir das vorstellen

Stell dir eine lange Papierrolle vor, die unter einem Lesefenster hindurchläuft. Du siehst unmittelbar nur den aktuellen Ausschnitt. Ältere Informationen könnten noch in Notizen stecken, die du beim bisherigen Lesen angefertigt hast.

Das Fenster steht für die direkten Verbindungen einer Attention-Schicht. Die Notizen veranschaulichen, dass Informationen aus früheren Abschnitten über bereits verarbeitete Darstellungen weiterwirken können. Sie sind kein Versprechen, dass jede alte Angabe später vollständig wiederhergestellt werden kann.

## Lokaler Zugriff, größere indirekte Reichweite

Wenn mehrere Schichten mit gleitenden Fenstern aufeinanderfolgen, können Informationen schrittweise über die Grenze eines einzelnen Fensters hinaus weitergegeben werden. ([Mistral 7B](https://arxiv.org/pdf/2310.06825)) Das theoretische Einzugsgebiet mehrerer Schichten ist deshalb größer als das direkte Fenster einer einzelnen Schicht. ([Mistral 7B](https://arxiv.org/pdf/2310.06825))

Diese indirekte Reichweite ist jedoch nicht dasselbe wie vollständige Attention zwischen allen Positionen. ([Mistral 7B](https://arxiv.org/pdf/2310.06825)) Verwechsle deshalb eine rechnerisch mögliche Informationsverbindung nicht mit einem Nachweis zuverlässiger Detailerinnerung.

## Was beim Betrieb gespart werden kann

Bei fester Fensterbreite entfällt die vollständige paarweise Attention über den gesamten bisherigen Verlauf; dazu kommt ein rollierender Key-Value-Cache, in dem ältere Einträge überschrieben werden. ([Mistral 7B](https://arxiv.org/pdf/2310.06825)) Das begrenzt den dafür benötigten Zwischenspeicher pro Schicht. ([Mistral 7B](https://arxiv.org/pdf/2310.06825))

Für Anwendungen mit langen Dokumenten würde ich gezielt testen, ob Informationen vom Anfang bei späteren Fragen noch korrekt verwendet werden. Prüfe außerdem die konkrete Architektur: Fenstergröße, Schichtaufbau und konfigurierte Kontextlänge sind unterschiedliche Angaben und sollten nicht als ein einziger Wert behandelt werden.

## Verwandte Begriffe

Zur Vertiefung eignen sich **Self-Attention**, **Causal Attention**, **Kontextfenster**, **KV Cache** und **Attention Sink**.