Architektur und interne Modellbausteine
Positional Encoding
Heißt auch Positionskodierung.
Information über Tokenpositionen innerhalb einer Sequenz.
Positional Encoding bezeichnet Verfahren, die einer Modellberechnung Informationen über die Positionen oder Abstände von Elementen in einer Folge zugänglich machen. (Vaswani et al.) Im Transformer ergänzen sie die inhaltlichen Token-Darstellungen um Hinweise auf die Reihenfolge. (Vaswani et al.)
So kannst du dir das vorstellen
Vergleiche die Sätze „Der Kunde beliefert den Händler“ und „Der Händler beliefert den Kunden“. Die beteiligten Wörter sind sehr ähnlich, aber ihre Anordnung verändert die Aussage.
Stell dir vor, du legst Wortkarten auf einen Tisch und ergänzt ein Positionsraster. Die Karten tragen den Inhalt, das Raster liefert Informationen über ihre Anordnung. Eine Positionskodierung erfüllt rechnerisch eine entsprechende Funktion, auch wenn sie keine sichtbaren Nummernschilder an Wörter hängt.
Inhalt und Position sind verschiedene Informationen
Ein Token-Embedding übersetzt einen Textbaustein in einen Zahlenvektor; die ursprüngliche Transformer-Architektur addiert dazu einen gleich breiten Positionsvektor. (Originalarbeit) Die Arbeit verwendet Sinus- und Kosinusfunktionen mit unterschiedlichen Frequenzen und untersucht außerdem gelernte Positionsdarstellungen. (Originalarbeit)
Andere Verfahren bringen Positionen an einer anderen Stelle in die Berechnung ein: RoPE rotiert Query- und Key-Darstellungen abhängig von ihren Positionen. (RoFormer, Transformers-Dokumentation) Positionskodierung ist somit ein Oberbegriff, kein Synonym für das bloße Addieren einer Positionszahl.
Nicht mit einer Zugriffsmaske verwechseln
Eine Attention-Maske legt fest, welche Positionen berücksichtigt werden dürfen; die Positionskodierung stellt dagegen Informationen über ihre Anordnung bereit. (Originalarbeit) Beide können in derselben Architektur verwendet werden, lösen aber unterschiedliche Aufgaben. (Originalarbeit)
Auch eine definierte Positionsdarstellung garantiert noch keine zuverlässige Verarbeitung beliebig langer Folgen: Bei RoPE-basierten Modellen untersucht Position Interpolation gerade die Probleme einer Ausdehnung über die ursprünglichen Trainingslängen hinaus. (Chen et al.) Frage bei großen Kontextangaben daher zusätzlich nach Training und praktischer Qualität.
Verwandte Begriffe
Passend sind Position IDs, Embedding, RoPE, Attention Mask und Position Interpolation.