Decoding

Decoding ist der Sammelbegriff für die Verfahren, mit denen aus der Wahrscheinlichkeitsverteilung des Modells die tatsächliche Ausgabe wird. Das Modell liefert nur Bewertungen; welche Tokens daraus werden, entscheidet die Decodierstrategie.

Von der Höchstwahl bis zum gezielten Zufall

Die einfachste Strategie nimmt immer das wahrscheinlichste Token. Das ist reproduzierbar und führt zu blassem, oft repetitivem Text. Holtzman et al. Die Gegenrichtung zieht zufällig aus der Verteilung, was Vielfalt bringt und Ausreißer zulässt.

Dazwischen liegen die gebräuchlichen Verfahren: Sie schneiden den unwahrscheinlichen Teil der Verteilung ab und ziehen aus dem Rest. Neuere Ansätze wählen anhand des Informationsgehalts statt anhand reiner Wahrscheinlichkeit. Meister et al.

So kannst du dir das vorstellen

Ein Chor gibt für jede Note mehrere Vorschläge unterschiedlicher Lautstärke. Die Decodierstrategie ist die Regel, nach der der Dirigent auswählt: immer den lautesten, oder zufällig unter den vernehmbaren. Dieselben Stimmen ergeben je nach Regel ein anderes Stück. Das Bild erklärt die Auswahlregel, nicht die Stimmen selbst.

Was es in der Praxis bedeutet

Die Wahl der Strategie ist eine fachliche Entscheidung, keine technische Nebensache. Für Auskünfte, Klassifikation und Werkzeugaufrufe ist Wiederholbarkeit meist wichtiger als Vielfalt. Für Texte, Ideensammlungen und Formulierungsvorschläge ist es umgekehrt.

Wichtig beim Vergleichen: Zwei Ausgaben desselben Modells mit verschiedenen Einstellungen sagen nichts über das Modell. Wer Varianten prüft, muss die Decodiereinstellungen festhalten und gleich halten.

Wo es verwechselt wird

Decoding hat hier nichts mit Entschlüsselung zu tun. Und es ist nicht dasselbe wie die Decode-Phase im Serving, die den zeitlichen Ablauf meint, nicht die Auswahlregel.

Verwandte Begriffe

Sampling, Greedy Decoding, Beam Search, Top-p, Temperature, Constrained Decoding.