Transformer

Ein Transformer ist eine neuronale Modellarchitektur, die Informationen innerhalb einer Eingabefolge mithilfe von Attention miteinander verknüpft und anschließend weiterverarbeitet. (Originalarbeit) Attention berechnet dabei, wie stark die Darstellung einer Position Informationen anderer zugänglicher Positionen einbeziehen soll. (Originalarbeit)

So kannst du dir das vorstellen

Stell dir vor, du prüfst einen Auftrag: „Die Ersatzteile für die alte Maschine fehlen. Sie sollen morgen geliefert werden.“ Für die Bearbeitung reicht es nicht, jedes Wort einzeln zu betrachten. Du musst Bezüge zwischen den Angaben herstellen.

Als vereinfachtes Bild kannst du dir mehrere Bearbeitungsrunden vorstellen. In jeder Runde werden Informationen zwischen den Textstellen ausgetauscht und die jeweiligen Notizen überarbeitet. Die Runden stehen für aufeinanderfolgende Modellblöcke. Es handelt sich dabei um Zahlenberechnungen, nicht um Mitarbeitende, die den Auftrag bewusst verstehen.

Was in einem Block passiert

Der ursprüngliche Transformer kombiniert Attention mit einem Feed-Forward-Netz, das die Darstellung jeder Position separat umformt; zusätzliche Verbindungen und Normalisierungsschritte unterstützen den Informationsfluss. (Vaswani et al.) Die Textbausteine, sogenannte Tokens, werden dafür als Zahlenvektoren dargestellt, deren Werte sich über die Verarbeitungsschichten hinweg verändern. (Vaswani et al.)

Weil reine Attention die Reihenfolge nicht auf dieselbe Weise wie eine schrittweise Verarbeitung vorgibt, erhält das Modell zusätzlich Positionsinformationen. (Vaswani et al.) „Kunde bezahlt Lieferant“ und „Lieferant bezahlt Kunde“ sollen schließlich nicht dieselbe Bedeutung nahelegen.

Architektur ist nicht gleich Anwendung

Die Originalarbeit beschreibt einen Encoder, der die Eingabe verarbeitet, und einen Decoder, der daraus schrittweise eine Ausgabe erzeugt. (Originalarbeit) Der Begriff Transformer legt jedoch nicht allein fest, welche konkrete Aufgabe das fertige Modell übernimmt: Ein Modellkern lässt sich beispielsweise mit Köpfen für Klassifikation oder Sprachmodellierung kombinieren. (Hugging Face)

Für die Einordnung eines Produkts lohnt sich deshalb eine zweite Frage: Welches Modell wurde mit dieser Architektur trainiert, und wofür ist es vorgesehen? Der Architekturbegriff allein ist noch kein Beleg für verlässliche Antworten in deinem Einsatzgebiet.

Verwandte Begriffe

Vertiefend passen Attention, Self-Attention, Feed-Forward Network, Positional Encoding, Encoder-Decoder-Modell und Residual Stream.