Chunked Prefill

Chunked Prefill teilt die Verarbeitung einer langen Eingabe in mehrere kleinere Abschnitte auf, statt sie in einem Zug zu erledigen. Zwischen diesen Abschnitten kann der Server andere Anfragen bedienen. Agrawal et al.

Lange Eingaben blockieren sonst die kurzen

Der Hintergrund ist der Zielkonflikt zwischen den beiden Phasen. Die Verarbeitung der Eingabe dauert lange und lastet die Rechenwerke aus, die Erzeugung der Ausgabe ist kurz und lässt sie brachliegen. Laufen beide gemischt, bremst eine lange Eingabe alle laufenden Ausgaben aus, weil sie die Rechenzeit für sich beansprucht.

Durch das Zerlegen in Abschnitte wird daraus eine Folge kleiner Arbeitspakete, die sich mit den Ausgabeschritten anderer Anfragen mischen lassen. Zusammen mit der blockweisen Speicherverwaltung ist das einer der Bausteine heutiger Serving-Systeme. Kwon et al.

So kannst du dir das vorstellen

Ein Kopierer, der einen 500-Seiten-Auftrag in Päckchen zu 50 Seiten aufteilt, damit zwischendurch jemand seine zwei Seiten kopieren kann. Der große Auftrag dauert etwas länger, alle anderen warten viel kürzer. Das Bild erklärt die Verteilung der Wartezeit, nicht die Technik.

Was es in der Praxis bedeutet

Für Betreiber ist das eine Stellschraube gegen das bekannte Problem, dass ein einzelner Nutzer mit einem sehr langen Dokument die Antwortzeiten aller anderen verschlechtert. Die Abschnittsgröße ist dabei die Einstellung: kleinere Abschnitte glätten die Wartezeiten, kosten aber etwas Gesamtdurchsatz.

Für Anwender erklärt das Verfahren, warum ein Dienst bei langen Eingaben oft gleichmäßig langsam antwortet, statt kurzzeitig ganz zu stocken.

Wo es verwechselt wird

Chunked Prefill hat nichts mit dem Zerschneiden von Dokumenten für die Suche zu tun, auch wenn beides Chunk heißt. Hier geht es um Abschnitte der Verarbeitung, dort um Abschnitte der Inhalte.

Verwandte Begriffe

Prefill, Continuous Batching, Latency, Model Serving, Disaggregated Serving.