Grundbegriffe und Modelltypen
Encoder-Decoder Model
Heißt auch Encoder-Decoder-Modell, Seq2Seq oder Sequence-to-Sequence.
Architektur zur Umwandlung einer Eingabesequenz in eine Ausgabesequenz.
Ein Encoder-Decoder Model verbindet zwei Modellteile: Der Encoder verarbeitet die Eingabe zu einer internen Repräsentation, und der Decoder verwendet diese Information zur Erzeugung einer Ausgabefolge. (Google) Solche Architekturen werden beispielsweise für Übersetzung und Zusammenfassung eingesetzt. (Hugging Face)
So kannst du dir das vorstellen
Stell dir einen zweistufigen Übersetzungsauftrag vor. Zuerst wird ein Ausgangstext aufgenommen und für die Weiterverarbeitung erschlossen. Danach entsteht daraus ein Text in der Zielsprache.
Zwischen beiden Schritten liegt in unserem Bild eine interne Arbeitsgrundlage. Sie muss weder wie der Ausgangstext aussehen noch genauso lang sein wie die spätere Übersetzung.
Im Modell ist diese Grundlage numerisch; der Encoder erzeugt keine menschlich lesbare Zusammenfassung als Zwischenzettel. (Google) Der Vergleich soll die Aufgabenteilung sichtbar machen.
Zwei Folgen, möglicherweise unterschiedliche Längen
Bei einer Sequence-to-Sequence-Aufgabe wird eine Eingabefolge in eine Ausgabefolge umgewandelt, deren Länge abweichen kann. (Google) Aus einem langen Text könnte eine kurze Zusammenfassung werden; eine Übersetzung muss ebenfalls nicht dieselbe Zahl von Wörtern oder Tokens haben.
„Seq2Seq“ beschreibt dabei die Aufgabe der Folgenumwandlung, während „Encoder-Decoder“ den hier behandelten Architekturaufbau benennt. (Google) Die Begriffe werden oft eng zusammen verwendet, sollten aber nicht jede denkbare Umsetzung dieser Aufgabe ausschließen.
Wie die Teile zusammenarbeiten
In einem Encoder-Decoder-Transformer kann der Decoder auf die vom Encoder bereitgestellten Informationen zugreifen und zugleich den schon erzeugten Teil seiner Ausgabe berücksichtigen. (Google) Für die Ausgabe kommen damit Informationen aus beiden Richtungen des Ablaufs zusammen: aus der Eingabe und aus der bisherigen Generierung.
Bei einer Zusammenfassung wäre die entscheidende Prüfung trotzdem inhaltlich: Bleiben die Kernaussagen erhalten? Wurden Einschränkungen ausgelassen? Hat sich die Bedeutung verändert? Die Architektur erklärt den Aufbau, ersetzt aber keine Bewertung des Ergebnisses.
Verwandte Begriffe
Encoder-only Model, Decoder-only Model, Cross-Attention, Transformer, Tokens und Natural Language Generation erklären die Bestandteile genauer. Cross-Attention ist der passende Anschluss für den Informationsaustausch zwischen beiden Seiten.