Architektur und interne Modellbausteine
Cross-Attention
Heißt auch Encoder-Decoder Attention.
Attention zwischen verschiedenen Repräsentationssequenzen, etwa Encoder und Decoder.
Cross-Attention ist ein Attention-Verfahren, bei dem die Queries aus einer anderen Darstellungsfolge stammen als die Keys und Values. (Vaswani et al.) Im ursprünglichen Transformer greift der Decoder damit auf die vom Encoder aufbereitete Eingabe zu, während er die Ausgabe erzeugt. (Vaswani et al.)
So kannst du dir das vorstellen
Stell dir eine Übersetzung einer Produktbeschreibung vor. Auf der einen Seite liegt der vollständig gelesene Ausgangstext, auf der anderen wächst die Übersetzung Wort für Wort.
Für die nächste Formulierung schaust du sowohl auf das bereits Geschriebene als auch auf passende Stellen der Vorlage. Der Blick innerhalb des entstehenden Textes veranschaulicht Self-Attention. Der Abgleich mit der getrennt aufbereiteten Vorlage steht für Cross-Attention. Diese Unterscheidung erklärt die Informationswege, nicht einen menschlichen Übersetzungsprozess im Modell.
Zwei Herkunftsbereiche, ein Abgleich
Eine Query ist ein berechneter Zahlenvektor, mit dem eine Position passende Informationen abgleicht; Keys dienen als Vergleichsvektoren und Values liefern die anschließend gewichteten Inhalte. (Originalarbeit) Bei Encoder-Decoder-Attention kommen die Queries aus dem Decoder, während Keys und Values aus dem Encoder-Ausgang abgeleitet werden. (Originalarbeit)
Der Originaldecoder besitzt sowohl maskierte Self-Attention als auch einen zusätzlichen Encoder-Decoder-Attention-Teilblock. (Originalarbeit) Cross-Attention ersetzt dort also nicht den Zusammenhang innerhalb der Ausgabe, sondern ergänzt einen Zugriff auf die verarbeitete Eingabe. (Originalarbeit)
Keine Bezeichnung für jede externe Information
Für die Verwendung des Begriffs ist entscheidend, woher Queries und Keys beziehungsweise Values in der Architektur stammen. (Originalarbeit) Ein nützlicher Prüfgedanke lautet deshalb: Gibt es tatsächlich zwei getrennte Darstellungsfolgen in diesem Rechenschritt?
Eine Produktbeschreibung wie „bezieht Dokumente ein“ genügt dafür nicht als Nachweis. Lass dir bei technischen Vergleichen zeigen, wie das konkrete Modell die Eingabe verarbeitet, statt aus einer sichtbaren Anwendungsfunktion auf einen bestimmten Attention-Baustein zu schließen.
Verwandte Begriffe
Naheliegend sind Self-Attention, Attention, Encoder-Decoder-Modell, Encoder-only Model und Decoder-only Model.