Architektur und interne Modellbausteine
Sliding Window Attention
Heißt auch SWA oder Gleitende Fenster-Attention.
Attention über ein begrenztes lokales Tokenfenster.
Sliding Window Attention, kurz SWA, begrenzt den direkten Attention-Zugriff auf ein lokales Fenster von Positionen, das mit der verarbeiteten Folge weiterwandert. (Mistral 7B) In der kausalen Variante der zugrunde liegenden Arbeit berücksichtigt eine Position innerhalb einer Schicht nur einen begrenzten Bereich des bisherigen Verlaufs. (Mistral 7B)
So kannst du dir das vorstellen
Stell dir eine lange Papierrolle vor, die unter einem Lesefenster hindurchläuft. Du siehst unmittelbar nur den aktuellen Ausschnitt. Ältere Informationen könnten noch in Notizen stecken, die du beim bisherigen Lesen angefertigt hast.
Das Fenster steht für die direkten Verbindungen einer Attention-Schicht. Die Notizen veranschaulichen, dass Informationen aus früheren Abschnitten über bereits verarbeitete Darstellungen weiterwirken können. Sie sind kein Versprechen, dass jede alte Angabe später vollständig wiederhergestellt werden kann.
Lokaler Zugriff, größere indirekte Reichweite
Wenn mehrere Schichten mit gleitenden Fenstern aufeinanderfolgen, können Informationen schrittweise über die Grenze eines einzelnen Fensters hinaus weitergegeben werden. (Mistral 7B) Das theoretische Einzugsgebiet mehrerer Schichten ist deshalb größer als das direkte Fenster einer einzelnen Schicht. (Mistral 7B)
Diese indirekte Reichweite ist jedoch nicht dasselbe wie vollständige Attention zwischen allen Positionen. (Mistral 7B) Verwechsle deshalb eine rechnerisch mögliche Informationsverbindung nicht mit einem Nachweis zuverlässiger Detailerinnerung.
Was beim Betrieb gespart werden kann
Bei fester Fensterbreite entfällt die vollständige paarweise Attention über den gesamten bisherigen Verlauf; dazu kommt ein rollierender Key-Value-Cache, in dem ältere Einträge überschrieben werden. (Mistral 7B) Das begrenzt den dafür benötigten Zwischenspeicher pro Schicht. (Mistral 7B)
Für Anwendungen mit langen Dokumenten würde ich gezielt testen, ob Informationen vom Anfang bei späteren Fragen noch korrekt verwendet werden. Prüfe außerdem die konkrete Architektur: Fenstergröße, Schichtaufbau und konfigurierte Kontextlänge sind unterschiedliche Angaben und sollten nicht als ein einziger Wert behandelt werden.
Verwandte Begriffe
Zur Vertiefung eignen sich Self-Attention, Causal Attention, Kontextfenster, KV Cache und Attention Sink.