Self-Attention

Self-Attention bezeichnet Attention, bei der die abgleichenden Queries sowie die Keys und Values aus derselben Eingabefolge stammen. (Vaswani et al.) Dadurch kann das Modell die Darstellung eines Tokens, also eines Textbausteins, mit Informationen aus anderen zugänglichen Positionen dieser Folge anreichern. (Vaswani et al.)

So kannst du dir das vorstellen

Nimm als erfundenes Beispiel eine interne Nachricht: „Die Kundin hat den Vertrag geprüft. Danach hat sie ihn unterschrieben.“ Um „sie“ und „ihn“ sinnvoll einzuordnen, brauchst du Hinweise aus derselben Nachricht.

Stell dir vor, jede Textstelle bekommt eine Notiz, die auf andere Stellen im Dokument Bezug nehmen kann. Die Notiz zu „ihn“ könnte Informationen über den zuvor erwähnten Vertrag aufnehmen. Das ist ein Bild für kontextabhängige Darstellungen, keine Behauptung über die konkrete Gewichtung eines bestimmten Modells.

„Self“ bedeutet dieselbe Folge

Der Namensbestandteil „Self“ beschreibt die Herkunft der verarbeiteten Darstellungen: Das Modell gleicht Positionen innerhalb einer Folge miteinander ab. (Originalarbeit) Er bedeutet nicht, dass das Modell über sich selbst nachdenkt oder eine eigene Antwort kritisch kontrolliert.

Ob jede Position auf alle anderen zugreifen darf, ist eine zusätzliche Architekturentscheidung: Der ursprüngliche Transformer verwendet im Encoder unmaskierte Self-Attention, im Decoder dagegen eine kausale Maske gegen den Zugriff auf spätere Positionen. (Originalarbeit) Self-Attention ist deshalb nicht automatisch gleichbedeutend mit einem Blick in beide Textrichtungen.

Was bei langen Texten aufwendig wird

Bei vollständiger Self-Attention werden paarweise Beziehungen zwischen den Positionen berechnet; der entsprechende Rechenaufwand wächst quadratisch mit der Folgenlänge. (Originalarbeit) Ein begrenztes Aufmerksamkeitsfenster verändert dagegen, welche Positionen unmittelbar miteinander verbunden sind. (Mistral 7B)

Wenn du Architekturangaben vergleichst, prüfe deshalb getrennt, woher die Informationen stammen und wie weit die Verbindungen reichen. „Self-Attention“ beantwortet die erste Frage, aber noch nicht die zweite.

Verwandte Begriffe

Passend sind Attention, Causal Attention, Cross-Attention, Sliding Window Attention und Kontextfenster.