Decoder-only Model

Ein Decoder-only Model ist eine Transformer-Bauform ohne separaten Encoder, die im üblichen kausalen Aufbau eine Ausgabe Token für Token aus dem bisherigen Kontext erzeugt. (Google, Hugging Face) Decoder-Modelle werden deshalb häufig zusammen mit autoregressiver beziehungsweise kausaler Sprachmodellierung beschrieben. (Hugging Face)

So kannst du dir das vorstellen

Vor dir liegt ein Textanfang mit einem Auftrag: „Schreibe eine kurze Einladung zum Teamfrühstück. Beginn: 9 Uhr.“

Nun wächst die Antwort Stück für Stück. Jeder neue Abschnitt knüpft an den bereits verfügbaren Text an. Die Eingabe und die bisher erzeugte Fortsetzung bilden gemeinsam den Zusammenhang für den nächsten Schritt.

In der tatsächlichen Berechnung entsprechen die Schritte Tokens und nicht unbedingt vollständigen Wörtern. (OpenAI) Das Beispiel beschreibt die Reihenfolge der Generierung, keine bewusste Schreibplanung.

Warum heißt das „Decoder“?

In der vollständigen Encoder-Decoder-Architektur verarbeitet der Encoder eine Eingabe, während der Decoder daraus eine Ausgabefolge erzeugt; einige Transformer verwenden nur den Decoder-Teil. (Google) Aus diesem Architekturzusammenhang stammt der Name.

„Decoder“ bedeutet hier also nicht bloß, verschlüsselten Text zu entziffern. Gemeint ist ein bestimmter Baustein der Modellarchitektur.

Was die Bauform noch nicht verrät

Die Decoder-Bauform und die Abstimmung auf Anweisungen sind unterschiedliche Ebenen: Instruction-Tuning ist ein zusätzlicher Trainingsschritt, der das Befolgen von Aufgabenstellungen verbessern soll. (Google) Für einen Chatassistenten würde ich daher nicht allein nach „decoder-only“ auswählen.

Wichtiger wäre, ob die konkrete Variante die gewünschte Interaktion unterstützt und mit dem vorgesehenen Eingabeformat arbeitet. Ein Modellname kann Hinweise liefern; die Modellbeschreibung sollte den Ausschlag geben.

Unterschied zum Encoder

Encoder-Modelle erzeugen Repräsentationen einer Eingabe, während die hier beschriebene Decoder-Verwendung auf die fortlaufende Generierung ausgerichtet ist. (Hugging Face) Bei einer Architekturentscheidung geht es daher auch darum, welche Ausgabe der nächste Schritt in deinem System braucht.

Verwandte Begriffe

Passend sind Transformer, Autoregressives Modell, Causal Language Model, Instruct Model, Encoder-only Model und Encoder-Decoder Model. Sie trennen Bauform, Vorhersageaufgabe und spätere Anpassung voneinander.