Attention Sink

Ein Attention Sink ist eine Position, die ungewöhnlich viel Attention-Gewicht erhält, obwohl ihr Inhalt für die gerade bearbeitete Aufgabe nicht entsprechend wichtig sein muss. (Xiao et al.) Die StreamingLLM-Arbeit beobachtet dieses Verhalten besonders bei frühen Tokens in untersuchten autoregressiven Sprachmodellen. (Xiao et al.)

So kannst du dir das vorstellen

Stell dir ein Mischpult vor, dessen Regler gemeinsam immer dieselbe Gesamtsumme erreichen müssen. Ein bestimmter Kanal könnte einen großen Anteil aufnehmen, ohne die entscheidende Information zu liefern.

Das Bild veranschaulicht, warum ein hoher Gewichtswert nicht automatisch inhaltliche Bedeutung beweist. Es beschreibt keinen absichtlich eingebauten Abfallkanal und keine bewusste Entscheidung des Modells.

Eine Erklärung aus der Attention-Berechnung

Bei Softmax-Attention werden die Vergleichswerte in Gewichte umgewandelt, deren Summe eins ergibt. (Vaswani et al.) Die StreamingLLM-Autoren führen das Sink-Verhalten unter anderem darauf zurück, dass überschüssige Gewichtung auf gut zugängliche Positionen fallen kann und frühe Tokens für viele spätere Positionen sichtbar sind. (StreamingLLM)

Experimente mit inhaltlich wenig aussagekräftigen Anfangstokens stützen ihre Erklärung, dass der Effekt nicht allein von der semantischen Bedeutung dieser Tokens abhängt. (StreamingLLM) Das ist eine empirisch untersuchte Erklärung für die betrachteten Modelle, keine allgemeine Vorschrift für sämtliche Attention-Architekturen.

Warum das beim Streaming hilft

StreamingLLM behält einige Anfangstokens zusammen mit einem rollierenden Fenster jüngerer Key-Value-Einträge im Cache. (StreamingLLM) So bleiben die beobachteten Sink-Positionen erhalten, auch wenn ältere Einträge aus der Mitte des Verlaufs entfernt werden. (StreamingLLM)

Das ermöglicht in den untersuchten Einstellungen stabile Verarbeitung über lange Streams, erweitert aber nicht den tatsächlich verfügbaren Kontext auf sämtliche früheren Inhalte. (StreamingLLM) „Läuft dauerhaft weiter“ darf deshalb nicht mit „kann jede frühere Angabe wieder abrufen“ gleichgesetzt werden.

Für die Interpretation von Attention-Grafiken bleibt eine praktische Regel: Lies starke Markierungen als Rechengewichte und suche zusätzliche Belege, bevor du daraus eine inhaltliche Erklärung der Antwort ableitest.

Verwandte Begriffe

Hierzu passen Attention, KV Cache, Sliding Window Attention, Causal Attention und Kontextfenster.