Latency

Latency, auf Deutsch Latenz, ist die Zeit, die vergeht, bis eine Antwort vorliegt. Bei Sprachmodellen zerfällt sie in zwei Teile, die getrennt betrachtet werden: die Wartezeit bis zum ersten Token und das Tempo der weiteren Tokens. Zhong et al.: DistServe

Latenz und Durchsatz ziehen gegeneinander

Ein System lässt sich auf kurze Antwortzeiten oder auf hohen Durchsatz einstellen, aber nicht beliebig auf beides. Mehr gleichzeitige Anfragen lasten die Hardware besser aus und verlangsamen die einzelne Antwort. Diesen Zielkonflikt zu entschärfen ist das Thema vieler Serving-Verfahren. Agrawal et al.

Dazu kommt, dass Mittelwerte trügen. Für die Nutzererfahrung zählen die langsamen Fälle, weshalb üblicherweise auch hohe Perzentile berichtet werden.

So kannst du dir das vorstellen

Eine Warteschlange an der Kasse. Im Mittel geht es schnell, aber die eine Person mit dem großen Einkauf bestimmt, wie lange die Leute dahinter stehen. Wer nur den Durchschnitt misst, sieht diese Fälle nicht. Das Bild erklärt, warum Ausreißer zählen.

Was es in der Praxis bedeutet

Für Anwendungen ist die wichtigste Entscheidung, welcher Teil der Latenz für die Nutzer zählt. Bei einem Chatfenster ist es die Zeit bis zum ersten Zeichen, bei einer Stapelverarbeitung die Gesamtdauer, bei einem Agenten die Summe vieler Schritte.

Nützliche Hebel sind kurze Prompts, begrenzte Ausgabelängen, Streaming, Zwischenspeichern gleichbleibender Anfänge und die Wahl eines kleineren Modells für einfache Teilaufgaben. Bei Agenten kommt hinzu: Jede zusätzliche Runde ist eine vollständige Anfrage mehr.

Wo es verwechselt wird

Latenz ist nicht Durchsatz: Ein System kann viele Tokens je Sekunde liefern und für den Einzelnen langsam sein. Und sie ist keine feste Eigenschaft eines Modells, sondern hängt an Eingabelänge, Auslastung und Aufbau.

Verwandte Begriffe

Time to First Token, Inter-Token Latency, Tokens per Second, Concurrency, Model Serving, Batch Size.