Seed

Der Seed ist der Startwert für die Zufallszahlen, die beim Ziehen des nächsten Tokens verwendet werden. Bei gleichem Startwert, gleicher Eingabe und gleichen Einstellungen entsteht dieselbe Folge von Zufallszahlen und damit im Idealfall dieselbe Ausgabe.

Wiederholbarkeit ist schwerer, als sie klingt

Der Zufall betrifft nur die Auswahl aus der Verteilung, also die Stelle, an der gezogen wird. Holtzman et al. Alles andere ist deterministisch, jedenfalls in der Theorie.

In der Praxis hängt das Ergebnis zusätzlich an der Ausführung. Wie Anfragen gebündelt werden, wechselt im laufenden Betrieb, und Rechenoperationen auf Grafikkarten können je nach Bündelung minimal unterschiedliche Rundungen ergeben. Kwon et al. Deshalb garantieren Anbieter meist keine exakte Wiederholbarkeit, sondern nur eine weitgehende.

So kannst du dir das vorstellen

Ein Würfelbecher mit vorher festgelegter Wurffolge. Der Wurf ist wiederholbar, solange niemand den Tisch anstößt. Der Betrieb einer geteilten Maschine stößt regelmäßig an den Tisch. Das Bild erklärt die Grenze der Zusage.

Was es in der Praxis bedeutet

Für Tests und Fehlersuche ist ein fester Startwert nützlich, ersetzt aber keine Wiederholung: Wer wissen will, wie zuverlässig eine Aufgabe gelöst wird, lässt sie mehrfach laufen, statt sich auf einen Lauf zu verlassen.

Wer möglichst gleichförmige Ergebnisse braucht, senkt zusätzlich die Temperatur. Und für Nachvollziehbarkeit gehören Modellversion, Einstellungen und Prompt ins Protokoll, denn der Startwert allein sagt später nichts.

Wo es verwechselt wird

Ein fester Startwert erzeugt keine Garantie über Anbieter, Versionen oder Hardware hinweg. Und er macht Antworten nicht besser, nur gleichförmiger.

Verwandte Begriffe

Sampling, Temperature, Greedy Decoding, Evaluation, Model Drift.