Inter-Token Latency

Inter-Token Latency ist der Abstand zwischen zwei aufeinanderfolgenden Tokens der Ausgabe. Sie beschreibt die zweite Phase einer Anfrage und wird in der Literatur auch als Zeit je Ausgabetoken geführt. Zhong et al.: DistServe

Die Zahl bestimmt das Lesetempo

Während die Zeit bis zum ersten Token die Wartezeit vor dem Start beschreibt, bestimmt dieser Abstand, wie flüssig der Text danach erscheint. Ein Wert um 50 Millisekunden je Token wirkt für die meisten Menschen wie zügiges Lesen, deutlich langsamere Werte wirken zäh.

Beeinflusst wird der Abstand vor allem von der Zahl gleichzeitig laufender Anfragen: Je mehr sich einen Durchlauf teilen, desto seltener kommt die einzelne Antwort an die Reihe. Genau hier liegt der Zielkonflikt zwischen Durchsatz und Antwortzeit. Agrawal et al.

So kannst du dir das vorstellen

Der Abstand zwischen den Worten eines Sprechers. Ein gleichmäßiges Tempo lässt sich gut folgen, stockendes Sprechen strengt an, selbst wenn am Ende dieselbe Information ankommt. Das Bild erklärt die Wirkung auf die Wahrnehmung.

Was es in der Praxis bedeutet

Miss nicht nur den Mittelwert, sondern die Schwankung. Eine Ausgabe, die im Schnitt schnell ist und zwischendurch sekundenlang hängt, wird als unzuverlässig erlebt.

Für Anwendungen ist außerdem die Ausgabelänge der größte Hebel: Zwei Sätze erscheinen sofort vollständig, eine Seite braucht auch bei gutem Tempo spürbar Zeit. Wer schnelle Antworten will, fordert knappe Antworten an, statt am Server zu schrauben.

Wo es verwechselt wird

Dieser Abstand ist nicht die Gesamtdauer und nicht der Durchsatz eines Systems: Tokens pro Sekunde können hoch sein, während die einzelne Antwort langsam tröpfelt. Und er hängt nicht an der Länge der Eingabe, die wirkt auf die Zeit bis zum ersten Token.

Verwandte Begriffe

Time to First Token, Tokens per Second, Latency, Decode Phase, Concurrency.