Model Serving

Model Serving ist der Betrieb eines Modells als Dienst: Anfragen entgegennehmen, auf Grafikkarten verteilen, Antworten zurückgeben. Die Software dafür heißt Inference Server und kümmert sich um Warteschlangen, Speicherverwaltung und die Bündelung mehrerer Anfragen.

Durchsatz und Antwortzeit ziehen in verschiedene Richtungen

Jede Anfrage durchläuft zwei Phasen: Erst wird der gesamte Prompt verarbeitet, dann entstehen die Ausgabetokens einzeln nacheinander. Die erste Phase lastet die Rechenwerke gut aus, die zweite kaum, weshalb sich Bündelung vor allem in der zweiten lohnt. Mischt man beides, gerät man in einen Zielkonflikt zwischen Durchsatz und Antwortzeit. Agrawal et al.

Der zweite Engpass ist Speicher. Der Zwischenspeicher für die Aufmerksamkeitswerte wächst und schrumpft je Anfrage, und schlechte Verwaltung verschwendet ihn, was die mögliche Bündelgröße begrenzt. Kwon et al.

So kannst du dir das vorstellen

Ein Inference Server ist die Küche eines Restaurants. Mehrere Bestellungen laufen gleichzeitig, manche Arbeitsschritte lassen sich zusammenlegen, und die Küche muss entscheiden, ob sie schnell einzelne Teller ausgibt oder viele gleichzeitig. Das Bild erklärt den Zielkonflikt, nicht die technische Umsetzung.

Was es in der Praxis bedeutet

Wer eine Schnittstelle eines Anbieters nutzt, merkt vom Serving nur die Wirkung: schwankende Antwortzeiten, Begrenzungen und Preise je Token. Wer selbst betreibt, trifft die Entscheidungen selbst, und die wichtigste ist die Zielvorgabe: kurze Antwortzeit für interaktive Nutzung oder hoher Durchsatz für Massenverarbeitung.

Nützlich ist, beides getrennt zu messen. Ein System, das im Mittel schnell ist, kann für einzelne Nutzer unbrauchbar sein, wenn lange Anfragen die kurzen blockieren.

Wo es verwechselt wird

Serving ist nicht das Modell: Dasselbe Modell verhält sich auf verschiedenen Servern unterschiedlich in Geschwindigkeit und Grenzen. Und es ist kein Training, sondern der laufende Betrieb.

Verwandte Begriffe

Prefill, Decode Phase, Continuous Batching, KV Cache, Latency, Concurrency.