Tokens per Second

Tokens per Second gibt an, wie viele Tokens je Sekunde verarbeitet oder erzeugt werden. Die Zahl ist nur mit Angabe der Messart brauchbar, denn sie kann sich auf eine einzelne Anfrage oder auf das gesamte System beziehen, und sie kann Eingabe- und Ausgabetokens zusammenfassen oder trennen.

Durchsatz und Einzeltempo sind zwei verschiedene Zahlen

Für eine einzelne Anfrage entspricht der Wert dem Kehrwert des Abstands zwischen den Ausgabetokens. Für das System ist es die Summe über alle gleichzeitig laufenden Anfragen, und die steigt mit der Bündelung, während die einzelne Antwort langsamer wird. Agrawal et al.

Deshalb sind Leistungsangaben ohne Kontext wenig wert. Zu einer belastbaren Angabe gehören Modell, Hardware, Kontextlänge, Zahl gleichzeitiger Anfragen und ob Eingabe- oder Ausgabetokens gezählt werden. Zhong et al.: DistServe

So kannst du dir das vorstellen

Eine Autobahn transportiert viele Fahrzeuge pro Stunde und ist trotzdem im Stau langsam für den Einzelnen. Wer von Leistung spricht, muss sagen, ob er die Strecke oder das eigene Auto meint. Das Bild erklärt den Unterschied zwischen Durchsatz und Einzeltempo.

Was es in der Praxis bedeutet

Beim Vergleich von Anbietern und Aufbauten gilt: Zahlen sind nur vergleichbar, wenn die Messbedingungen gleich sind. Eine hohe Angabe kann bei einer Kontextlänge von wenigen hundert Tokens gemessen sein und bei deinen Eingaben mit zwanzigtausend Tokens keine Rolle spielen.

Für eigene Messungen reicht ein einfacher Aufbau: typische Anfragen, realistische Kontextlängen, steigende Nebenläufigkeit, und dabei sowohl Systemdurchsatz als auch Einzelantwortzeit aufzeichnen.

Wo es verwechselt wird

Tokens pro Sekunde sind keine Wörter pro Sekunde: Ein Token ist im Deutschen oft kürzer als ein Wort, was die Zahlen optisch vergrößert. Und ein hoher Durchsatz bedeutet nicht kurze Wartezeit.

Verwandte Begriffe

Inter-Token Latency, Time to First Token, Latency, Batch Size, Concurrency, Tokens.