Attention

Attention ist ein Rechenverfahren, das Informationen aus mehreren Positionen gewichtet zusammenführt, um die Darstellung einer bestimmten Position zu aktualisieren. (Vaswani et al.) Im Transformer entstehen diese Gewichtungen aus gelernten Zahlenprojektionen, nicht aus bewusster Aufmerksamkeit oder einer menschlichen Entscheidung über Wichtigkeit. (Vaswani et al.)

So kannst du dir das vorstellen

Angenommen, du bearbeitest eine Reklamation: „Der Karton war unbeschädigt, aber das Display ist gesprungen.“ Für die Frage nach dem Schaden ist „Display“ besonders hilfreich; für eine Frage nach der Verpackung wäre „Karton“ naheliegender.

Attention kannst du dir als Mischpult vorstellen, das verschiedene Informationsspuren unterschiedlich stark beimischt. Welche Reglerstellung entsteht, hängt von der gerade verarbeiteten Position und den verfügbaren Informationen ab. Das Bild beschreibt eine gewichtete Mischung, keine zuverlässige Begründung dafür, warum eine Antwort richtig wäre.

Query, Key und Value

Bei der im ursprünglichen Transformer verwendeten Attention werden drei Arten von Vektoren berechnet, also geordnete Listen von Zahlen. (Originalarbeit)

• Query: Die Darstellung, mit der eine Position nach passenden Informationen abgleicht. (Originalarbeit)
• Key: Die Darstellung, gegen die dieser Abgleich an den verfügbaren Positionen erfolgt. (Originalarbeit)
• Value: Die Information, die anschließend entsprechend der berechneten Gewichte zusammengeführt wird. (Originalarbeit)

Die Vergleichswerte werden skaliert und durch eine Softmax-Funktion in Gewichte umgewandelt, die zusammen eins ergeben; anschließend entsteht eine gewichtete Summe der Values. (Originalarbeit) Eine Maske kann vorher festlegen, welche Positionen überhaupt berücksichtigt werden dürfen. (Originalarbeit)

Gewicht ist nicht gleich Bedeutung

Ein hoher Attention-Wert beweist nicht automatisch, dass eine Textstelle inhaltlich entscheidend für die endgültige Antwort ist: Untersuchungen zu Attention Sinks zeigen beispielsweise hohe Gewichte auf frühen Positionen mit geringer semantischer Bedeutung. (StreamingLLM) Solche Visualisierungen solltest du daher als Einblick in einen Rechenschritt lesen, nicht als vollständige Erklärung des Modellverhaltens.

Verwandte Begriffe

Zur Einordnung dienen Self-Attention, Cross-Attention, Attention Head, Attention Mask und Attention Sink.