Generierung, Sampling und Ausgabeformate
Streaming
Schrittweise Auslieferung der Ausgabe während ihrer Entstehung.
Streaming heißt, die Ausgabe Stück für Stück auszuliefern, während sie entsteht, statt auf die fertige Antwort zu warten. Technisch werden die Tokens ohnehin nacheinander erzeugt; Streaming gibt sie nur sofort weiter. Zhong et al.: DistServe
Die gefühlte Geschwindigkeit ändert sich, die tatsächliche nicht
Die Gesamtdauer bleibt gleich. Was sich ändert, ist der Zeitpunkt, zu dem der Nutzer etwas sieht, und damit die Wahrnehmung. Deshalb ist die Zeit bis zum ersten Token in Anwendungen mit Streaming die entscheidende Kennzahl.
Zu beachten ist, dass der Grund für das Ende erst am Schluss feststeht. Ob eine Antwort regulär endete, an der Längengrenze abbrach oder eine Ablehnung war, zeigt sich erst mit dem abschließenden Ereignis des Datenstroms. Anthropic: Handling stop reasons
So kannst du dir das vorstellen
Ein Brief, der Satz für Satz vorgelesen wird, statt am Ende fertig überreicht zu werden. Der Inhalt ist derselbe, das Warten fühlt sich anders an. Das Bild erklärt den Unterschied in der Wahrnehmung.
Was es in der Praxis bedeutet
Für Oberflächen ist Streaming fast immer die richtige Wahl, weil es die wahrgenommene Wartezeit stark senkt. Für Weiterverarbeitung dagegen oft nicht: Wer die Antwort in ein Format parsen oder prüfen muss, wartet besser auf den vollständigen Text.
Im Aufbau gehören drei Fälle behandelt: ein abgebrochener Datenstrom durch Netzprobleme, das Abbrechen durch den Nutzer und der Umgang mit Inhalten, die erst am Ende als unvollständig erkennbar sind.
Wo es verwechselt wird
Streaming beschleunigt nichts, es liefert früher aus. Und ein streamender Endpunkt ist kein Hinweis auf ein schnelleres Modell.
Verwandte Begriffe
Time to First Token, Inter-Token Latency, Decode Phase, Latency, Max New Tokens.