Causal Attention

Causal Attention beschränkt den Attention-Zugriff so, dass eine Position keine Informationen aus späteren Positionen derselben Folge erhält. (Vaswani et al.) Causal Masking bezeichnet die entsprechende Maskierung der sonst möglichen Verbindungen. (Vaswani et al.)

So kannst du dir das vorstellen

Du übst mit einem Lückentext, wie eine Nachricht weitergehen könnte. Während du eine Stelle bearbeitest, darfst du den bisherigen Text lesen, aber nicht die noch verdeckte Fortsetzung.

Im Training kann das vollständige Dokument bereits auf dem Tisch liegen. Eine Abdeckung sorgt trotzdem dafür, dass du die jeweilige Lösung nicht vorweg siehst. So veranschaulicht die Maske eine Informationsgrenze innerhalb einer gemeinsamen Berechnung.

Warum das beim Training wichtig ist

Bei autoregressiver Sprachmodellierung soll das Modell aus dem bisherigen Verlauf das nächste Token vorhersagen; ein Token ist dabei eine Einheit der textinternen Zerlegung. (Originalarbeit) Ohne passende Maskierung könnten spätere Eingaben die gesuchte Fortsetzung bereits verraten. (Originalarbeit)

Die übliche kausale Self-Attention erlaubt den Zugriff auf die eigene und frühere Eingabepositionen, während das zugehörige Trainingsziel um eine Position verschoben ist. (Originalarbeit) Deshalb wäre „Das Modell darf sein aktuelles Token nicht sehen“ als allgemeine Erklärung ungenau.

Die Originalarchitektur setzt die gesperrten Attention-Vergleichswerte vor der Softmax-Normalisierung auf negative Unendlichkeit, sodass daraus kein Gewicht für spätere Positionen entsteht. (Originalarbeit) Das Maskieren ist somit Teil der Berechnung, keine nachträgliche Textzensur.

„Kausal“ bedeutet hier nicht Ursachenverständnis

In diesem Zusammenhang bezeichnet „kausal“ die gerichtete Zugriffsbeschränkung innerhalb einer Folge. (Originalarbeit) Aus dem Begriff folgt daher keine Aussage darüber, ob ein Modell Ursache und Wirkung in einem Geschäftsprozess richtig beurteilt.

Auch den erlaubten Rückblick solltest du separat prüfen: Sliding Window Attention kann zusätzlich zu einer kausalen Richtung ein begrenztes Fenster festlegen. (Mistral 7B) Beide Einschränkungen beantworten unterschiedliche Fragen: Wohin darf das Modell schauen, und wie weit?

Verwandte Begriffe

Dazu gehören Attention Mask, Self-Attention, Autoregressives Modell, Causal Language Model und Sliding Window Attention.